Максим Шапошников, Nutanix
- 1. Распределенная файловая система NDFS и базирующаяся на ней Компьютерная платформа Nutanix Максим Шапошников
- 3. Google изменил все в ранних 2000 Physical transforms to virtual Converged architecture Services delivered via software Commodity hardware alters economics Традиционные (ранняя Yahoo, Altavista) Сервера, коммутаторы, SAN, NAS Модульные (Google, Amazon, Facebook) Стандартное оборудование, Map/Reduce, NoSQL
- 4. Google File System • Масштабируемость. Датацентры – как кубики лего. • Производительность. Скорость ответа на запросы миллисекунды. • Управляемость. Простые, идентичные компоненты, для легкости управления в любом масштабе. • Отказоустойчивость. Репликация данных и замена аппаратных компонент на лету.
- 5. RAID надежен? MythBusters могли бы возразить ;) • RAID6 практически гарантирует потерю данных в единой рейд-группе размером >500TB менее чем за год (вероятность 99.999%) • MTBF – маркетинг, на самом деле диски умирают партиями и не вовремя • Современные СХД могут восстанавливаться после сбоев дисков сутками и даже неделями, подъем из бэкапа – еще дольше • Отказ двух контроллеров в большинстве случаев – потеря данных или долговременный отказ в обслуживании
- 6. NDFS: Задачи и их решение • Создать ФС, подобную GFS, но спроектированную для общих задач / виртуализацию Создана NDFS, работающая «поверх» KVM, vmWare, HyperV • Предложить распределенную ФС на недорогом, стандарном X86 оборудовании высокой плотности размещения Поместили в 2 юнита сверхбыструю СХД + 4 «сервера» • Предоставить разделяемый доступ к датастору для всего кластера через стандартные протоколы NDFS способна работать через NFS, iSCSI, SMB3 Решить проблему split-brain Используем paxos, наиболее продвинутый алгоритм на сегодняшний день •
- 7. NDFS: Задачи и их решение • Решить множество проблем cтандартных IT инфраструктур Увеличили скорость ввода в эксплуатацию до минут, уменьшили стоимость и сложность, понизили энергопотребление, требуемое охлаждение, стойко-места • Предоставить реальную масштабируемость – от маленьких до очень больших проектов NDFS не имеет центральных точек отказа, использует NoSQL решения для работы с метаданными, масштабируется от 3-х узлов и не имеет теоритических лимитов расширения • Не использовать RAID ввиду устарелости, медленности и ненадежности Используется технология «размазывания данных» (dispersed data)
- 8. Кстати, нужна ли виртуализация? («у нас много денег на железо») • Постоянная головная боль для всей команды – высчитывать оптимальную аппаратную конфигруацию под конкретные задачи (или тратить $$$) • Считаем ядрами процессоров, гибайтами памяти и IOPS – сервера дешевле всего покупать одинаковые (память лишней не бывает) • Переезд сервисов на другое «железо» - трагикомедия • Пара команд из CLI или «кликов» мышкой, ни единого разрыва (с)! • «Мы тут чуть код улучшили в пятницу вечером» – требования к конфигурации могут кардинально измениться • Автоматически перераспределяемая нагрузка между аппаратными серверами (вплоть до времени суток) – как в сторону уменьшения, так и увеличения ресурсов, с учетом приоритетов • Множество точек управления, сложности развертывания ОС и ПО • Практически мнговенный деплой любых виртуальных машин и ПО, линкованный клон автоматически кэшируется на нужных аппаратных серверах, апдейт ОС всех VM кластера за минуты, загрузка ОС на них – секунды • Изоляция сервисов – условна, безопаснее разносить аппаратно • В пределах одного физического сервера абсолютно безопасно может находиться множество различных задач, вплоть до смешения разработки и продакшена
- 9. Новое поколение ДЦ? Универсальная платформа для гибридных облаков Гибкое управление нагрузками Общий интерфейс управления Управление данными ориентированное на виртуальные машины
- 11. Distributed File System (NDFS) Распределенная Файловая Система Распределенная Файловая Система Nutanix является масштабируемой, децентрализованной распределенной файловой системой, изначально разработанной для целей виртуализации. NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
- 12. Distributed File System (NDFS) Архитектура NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
- 13. Distributed File System (NDFS) Архитектура NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
- 14. Distributed File System (NDFS) Архитектура NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
- 15. Distributed File System (NDFS) Архитектура NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
- 16. Distributed File System (NDFS) Архитектура NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
- 17. Distributed File System (NDFS) Резервирование данных в кластере VM ABC Контроллерная VM данные Гипервизор VM данные DEF VM данные GHI Контроллерная VM Контроллерная VM Гипервизор Гипервизор
- 18. Distributed File System (NDFS) Как работает высокая доступность (HA)? VM данные ABC VM VM ABC данные данные DEF VM данные GHI Контроллерная VM Контроллерная VM Контроллерная VM Гипервизор Гипервизор Гипервизор
- 19. Distributed File System (NDFS) Как работает миграция VM? VM данные ABC VM данные DEF VM данные GHI Контроллерная VM Контроллерная VM Контроллерная VM Гипервизор Гипервизор Гипервизор
- 20. Distributed File System (NDFS) Оптимизация размещения данных Гостевая Гостевая VM Гостевая VM Гостевая VM VM cVM NFS датастор Гипервизор Горячие данные SATA SSD SATA SSD HDD HDD HDD HDD Холодные данные • • • Данные попадают на SSD Передвигаются на более медленные диски «Куратором» Поднимаются обратно на SSD в зависимости от количества и частоты обращений
- 21. Distributed File System (NDFS) Оптимизация ёмкости СХД. Сжатие. • • • Данные сжимаются при записи (синхронно) Идеально для архивации Высокая производительность для последовательных нагрузок • Данные сжимаются после того как стали «холодными» и мигрировали на низкопроизводительные уровни СХД Осуществляется (только) когда есть свободные вычислительные ресурсы Нет негативного эффекта на скорость вводавывода данных Идеально для нагрузок со случайным доступом • • •
- 22. Distributed File System (NDFS) Оптимизация ёмкости СХД. До 78% Сжатия
- 23. Линейное масштабирование Виртуальных машин В едином кластере могут независимо масштабироваться процессорные мощности и СХД Количество модулей (4 модуля на блок) NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
- 24. Аварийное восстановление Репликация каждой виртуальной машины
- 25. Управляем из единого интерфейса
- 26. Виртуализация высокой плотности 4 независимых модуля, совмещающих СХД и сервера Сервера 4x Независимых серверных модуля 8x Intel CPUs (80 ядер) До 1TB RAM Два 10Gbit Ethernet 4 модуля в 2U NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
- 27. Сценарии использования Виртуализация Виртуализация серверов рабочих мест Big data Приватные облака Hadoop Удаленные офисы Восстановление из аварий Локальные Непрерывность сервисы в бизнеса офисах
- 28. Как сказал Альберт Эйнштейн, «Безумие - делать одно и то же, и каждый раз ожидать иного результата»
- 29. NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY