Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                
SlideShare a Scribd company logo
Nutanix Acropolis - облако 
на базе KVM “под ключ”, 
или WebScale в коробке. 
Максим Шапошников
Гипервизор - ширпотреб 
1990 2005 Будущее 
Эффективность
Проблемы традиционных ДЦ 
1. Сложность (множество 
вендоров, различных 
коммуникаций) 
2. Неэффективность (место и 
энергопотребление) 
3. Непредсказуемое 
расширение (нелинейность)
Цели WebScale дизайна ДЦ 
• Массивное снижение энергопотребления и 
прогнозируемое масштабирование 
• Нет единой точки отказа 
• Распределять все 
• Всегда работает 
• Полная автоматизация и мощная аналитика 
Фундаментальные аксиомы 
• Стандартные однотипные x86 сервера: 
«отказало -> заменил» 
• Нет специализированных аппаратных средств 
• Весь интеллект и сервис в ПО 
• Линейный, предсказуемый рост 
Web-Scale IT
Openstack? Ха-ха три раза. 
• Не решает проблем низкого уровня (ввод-вывод данных) 
• Рабочие коммерческие варианты по факту очень дороги и 
несовместимы 
• Масса (зачастую) лишнего функционала, вносящего нестабильность. 
• Очень высокий порог вхождения - требуются специалисты экстра- 
класса для запуска и поддержки. 
• Чаще всего реально требуется не создание IaaS или PaaS, но 
внутренняя облачная инфраструктура. 
• Есть существенные проблемы масштабируемости.
Пилите Шура, они золотые! 
• OpenStack remains an emerging technology 
• It is not mature yet 
• Error handling not robust 
• Understanding the flow of calls and messages is needed 
• Large volume of message based rpc calls 
• Logging is not optimal (either too much or too little) 
• You must be willing to look at code 
• Networking (nova-network) is complicated 
• Multiple bridges 
• IPTables configuration not straight forward 
© IBM Corporation
Не путать проект и продукт 
Ceph, GlusterFS – отличные проекты 
• Крайне сложный запуск 
• Ограниченный или отсутствующий UI 
• Практически любое «железо» 
• Уникальные протоколы (эмуляция стандартных при необходимости) 
• Только ФС, не решает вопросов управления виртуализацией 
• Фактически, только KVM (ESXi / HyperV – говорить несерьезно) 
• Не создавались и не затачивались под виртуализацию. 
• Отсутствует взаимная интеграция гипервизора и СХД (локализация 
ввода-вывода)
Не путать проект и продукт 
Nutanix Acropolis – законченное решение 
• «Под ключ» с запуском за 15-30 минут 
• HTML5 UI 
• Ограниченный, но 100% протестированный набор оборудования 
(Supermicro, Dell) – полная интеграция IPMI / аппаратного 
мониторинга 
• Использование стандартных протоколов (iSCSI, NFS, SMB3) 
• BigData технологии (Cassandra, Zookeeper, etc), все распределенное 
• Комплексное решение 
• Не завязан на KVM
Proxmox? 
• Все проблемы стандартных решений 
• Копии конфигураций всех VM на каждом ноде 
• 16 нодов в кластере (2014 год!) 
• Попытка скопировать Look’n’Feel VMware vCenter (который уже 
устарел сам по себе) 
• Только KVM 
• Серьезнейшие проблемы производительности при большом количестве 
VM
Традиционные СХД 
• Архаичные RAID системы, не рассчитанные на масштабируемость и 
отказоустойчивость 
• Время “ребилда” современной СХД при отказе одного диска может быть 
часами или сутками. 
• RAID6 - потеря данных в течении года (при достаточно больших 
датасторах) - практически гарантирована 
• На рынок выходят диски 10TB, что несет в себе множество 
дополнительных проблем (Теперь мы идем к вам (с)! Сутки ребилда? 
Легко!) 
• Упор в количество интерфейсов ввода-вывода и производительность 
контроллеров.
Nutanix – все в одном 
• Отсутствуют все вышеназванные узкие места. 
• Безлимитное масштабирование (как по производительности, так и 
размеру кластера). Миллионы IOPS, тысячи VM на стойку 
• Использование по максимуму open-source компонент с существенной 
доработкой (Cassandra NoSQL, Apache ZooKeeper, Linux Kernel, EXT4, 
KVM). 
• Полностью программная реализация. 
• Распределенная файловая система NDFS и система управления 
облаком Acropolis. 
• Поддержка стандартной версии KVM (Centos 6.5+) через libvirt, но 
полностью своя реализация управления кластером - aCLI, HTML5 UI, 
RESTful API.
Nutanix – все в одном 
• Нет RAID или JBOD (на всех уровнях) 
• 2-я или 3-я защита данных 
• Disaster Recovery (репликация датацентров) 
• Метаданные файловой системы и кластера хранятся в NoSQL DB 
Cassandra. 
• Конфигурация кластера - Apache Zookeeper. 
• Активное применение SSD как полноценного уровня хранения (не 
кэширования).
Традиционные vs Nutanix 
Сервера 
Сеть СХД 
SAN
Nutanix 
Google 
Facebook 
Microsoft 
Другие 
решения VSAN Старые 
Архитектуры 
Гипер-конвергентные решения на x86 – 
интеграция компьютинга и СХД 
Все в программном обеспечении – 100% 
«только ПО» 
Распределение всего – кластеризация 
данных и сервисов 
Самоизлечение – изоляция сбоев и 
распределенное восстановление 
API автоматизация и мощная аналитика 
Множство различных приложений 
одновременно
Nutanix Distributed File System 
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
Компоненты кластера
Компоненты кластера 
Arithmos: Публикация и получение статистики гипервизора 
Cassandra: Конфигурация VM, файловая система NDFS. 3 или 5 копий. 
Stargate: подготовка и работа с виртуальными дисками, отдача по 
протоколам iSCSI / NFS / SMB3 
Zookeeper: конфигурация кластера (одна из наиболее устойчивых к 
partitioning систем хранения кластерных конфигураций) 
Prism: UI / CLI / API
CAP Теорема – «умный в гору» 
В любой реализации распределённых вычислений возможно обеспечить не 
более двух из трёх следующих свойств (WikiPedia): 
• Согласованность данных (англ. Consistency) — во всех вычислительных 
узлах в один момент времени данные не противоречат друг другу; 
• Доступность (англ. Availability) — любой запрос к распределённой 
системе завершается корректным откликом; 
• Устойчивость к разделению (англ. Partition tolerance) — расщепление 
распределённой системы на несколько изолированных секций не 
приводит к некорректности отклика от каждой из секций.”
…обойдет 
Значительная доработка Кассандры, многократное дублирование (3 – 5 
копий метаданных) с реализацией Paxos алгоритма. 
• CAP -> CAP 
• Практически мгновенная сходимость файловой системы – суровая 
необходимость 
• Доступность – без вариантов 
• Устойчивость к партиционированию – делаем множество копий
Резервирование данных 
Динамическая 
настройка различных уровней 
защиты для разных приложений 
в одном кластере 
 100% программно 
 RF-3 защищает от одновременного 
выхода из строя двух дисков, нодов 
и сетевых карт 
 Переключайтесь между RF-2 и RF-3 
 Уровень репликации (защиты) 
выставляется на уровне контейнера 
RF-2 контейнер (2 копии данных) 
RF-3 контейнер (3 копии данных)
Умное распределение 
Распределение данных 
между аппаратными 
блоками 
 V1: Защищает от потери 
блока целиком (4 нода / 
контроллера одновременно) 
 Доступно начиная с трех 
блоков 
Блок Блок Блок
CLI / API : Управление VM 
• CPU and memory. 
• Disk and NIC (hot-plug). 
• Boot order configuration. 
• Power operations. 
• Live migration. 
• Crash-consistent snapshot, restore, clone.
CLI / API: управление сетью 
• OpenvSwitch (для KVM) 
• VLAN 
• IPAM (перехват DHCP / ARP на уровне хоста)
UI
Prism Central 
Управление множеством 
кластеров по всему миру 
из единой точки 
 Агрегация статусов кластеров 
 Единая точка входа 
 Накапливание исторических 
данных для глубокого анализа 
 Упрощение рабочих процессов
Интегрированная защита 
Локальные и «на расстоянии» 
снапшоты для целей резервного 
копирования и восстановления 
из аварий через Prism 
 Безлимитные локальные 
снапшоты на основном 
кластере с Time Stream 
 Восстановление данных «одним 
кликом» 
 WAN-оптимизированная 
репликация для DR 
Снапшоты в другом ДЦ 
vdisk Локальные 
снапшоты 
DR Кластер 
Основной кластер 
Он-сайт вторичные 
Локальные бэкапы 
(вне кластера)
High End нагрузки и задачи 
• High End решение 
• Практически 
любые 
применения 
• Государство, 
Военные, 
Медицина, 
Корпорации, 
Сервис 
провайдеры
p.s. не грузится VM? 
Спасибо! 
m.shaposhnikov@nutanix.com 
@Nutanix_Russia

More Related Content

Nutanix Acropolis - облако на базе KVM под ключ, Максим Шапошников (Nutanix)

  • 1. Nutanix Acropolis - облако на базе KVM “под ключ”, или WebScale в коробке. Максим Шапошников
  • 2. Гипервизор - ширпотреб 1990 2005 Будущее Эффективность
  • 3. Проблемы традиционных ДЦ 1. Сложность (множество вендоров, различных коммуникаций) 2. Неэффективность (место и энергопотребление) 3. Непредсказуемое расширение (нелинейность)
  • 4. Цели WebScale дизайна ДЦ • Массивное снижение энергопотребления и прогнозируемое масштабирование • Нет единой точки отказа • Распределять все • Всегда работает • Полная автоматизация и мощная аналитика Фундаментальные аксиомы • Стандартные однотипные x86 сервера: «отказало -> заменил» • Нет специализированных аппаратных средств • Весь интеллект и сервис в ПО • Линейный, предсказуемый рост Web-Scale IT
  • 5. Openstack? Ха-ха три раза. • Не решает проблем низкого уровня (ввод-вывод данных) • Рабочие коммерческие варианты по факту очень дороги и несовместимы • Масса (зачастую) лишнего функционала, вносящего нестабильность. • Очень высокий порог вхождения - требуются специалисты экстра- класса для запуска и поддержки. • Чаще всего реально требуется не создание IaaS или PaaS, но внутренняя облачная инфраструктура. • Есть существенные проблемы масштабируемости.
  • 6. Пилите Шура, они золотые! • OpenStack remains an emerging technology • It is not mature yet • Error handling not robust • Understanding the flow of calls and messages is needed • Large volume of message based rpc calls • Logging is not optimal (either too much or too little) • You must be willing to look at code • Networking (nova-network) is complicated • Multiple bridges • IPTables configuration not straight forward © IBM Corporation
  • 7. Не путать проект и продукт Ceph, GlusterFS – отличные проекты • Крайне сложный запуск • Ограниченный или отсутствующий UI • Практически любое «железо» • Уникальные протоколы (эмуляция стандартных при необходимости) • Только ФС, не решает вопросов управления виртуализацией • Фактически, только KVM (ESXi / HyperV – говорить несерьезно) • Не создавались и не затачивались под виртуализацию. • Отсутствует взаимная интеграция гипервизора и СХД (локализация ввода-вывода)
  • 8. Не путать проект и продукт Nutanix Acropolis – законченное решение • «Под ключ» с запуском за 15-30 минут • HTML5 UI • Ограниченный, но 100% протестированный набор оборудования (Supermicro, Dell) – полная интеграция IPMI / аппаратного мониторинга • Использование стандартных протоколов (iSCSI, NFS, SMB3) • BigData технологии (Cassandra, Zookeeper, etc), все распределенное • Комплексное решение • Не завязан на KVM
  • 9. Proxmox? • Все проблемы стандартных решений • Копии конфигураций всех VM на каждом ноде • 16 нодов в кластере (2014 год!) • Попытка скопировать Look’n’Feel VMware vCenter (который уже устарел сам по себе) • Только KVM • Серьезнейшие проблемы производительности при большом количестве VM
  • 10. Традиционные СХД • Архаичные RAID системы, не рассчитанные на масштабируемость и отказоустойчивость • Время “ребилда” современной СХД при отказе одного диска может быть часами или сутками. • RAID6 - потеря данных в течении года (при достаточно больших датасторах) - практически гарантирована • На рынок выходят диски 10TB, что несет в себе множество дополнительных проблем (Теперь мы идем к вам (с)! Сутки ребилда? Легко!) • Упор в количество интерфейсов ввода-вывода и производительность контроллеров.
  • 11. Nutanix – все в одном • Отсутствуют все вышеназванные узкие места. • Безлимитное масштабирование (как по производительности, так и размеру кластера). Миллионы IOPS, тысячи VM на стойку • Использование по максимуму open-source компонент с существенной доработкой (Cassandra NoSQL, Apache ZooKeeper, Linux Kernel, EXT4, KVM). • Полностью программная реализация. • Распределенная файловая система NDFS и система управления облаком Acropolis. • Поддержка стандартной версии KVM (Centos 6.5+) через libvirt, но полностью своя реализация управления кластером - aCLI, HTML5 UI, RESTful API.
  • 12. Nutanix – все в одном • Нет RAID или JBOD (на всех уровнях) • 2-я или 3-я защита данных • Disaster Recovery (репликация датацентров) • Метаданные файловой системы и кластера хранятся в NoSQL DB Cassandra. • Конфигурация кластера - Apache Zookeeper. • Активное применение SSD как полноценного уровня хранения (не кэширования).
  • 13. Традиционные vs Nutanix Сервера Сеть СХД SAN
  • 14. Nutanix Google Facebook Microsoft Другие решения VSAN Старые Архитектуры Гипер-конвергентные решения на x86 – интеграция компьютинга и СХД Все в программном обеспечении – 100% «только ПО» Распределение всего – кластеризация данных и сервисов Самоизлечение – изоляция сбоев и распределенное восстановление API автоматизация и мощная аналитика Множство различных приложений одновременно
  • 15. Nutanix Distributed File System NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
  • 17. Компоненты кластера Arithmos: Публикация и получение статистики гипервизора Cassandra: Конфигурация VM, файловая система NDFS. 3 или 5 копий. Stargate: подготовка и работа с виртуальными дисками, отдача по протоколам iSCSI / NFS / SMB3 Zookeeper: конфигурация кластера (одна из наиболее устойчивых к partitioning систем хранения кластерных конфигураций) Prism: UI / CLI / API
  • 18. CAP Теорема – «умный в гору» В любой реализации распределённых вычислений возможно обеспечить не более двух из трёх следующих свойств (WikiPedia): • Согласованность данных (англ. Consistency) — во всех вычислительных узлах в один момент времени данные не противоречат друг другу; • Доступность (англ. Availability) — любой запрос к распределённой системе завершается корректным откликом; • Устойчивость к разделению (англ. Partition tolerance) — расщепление распределённой системы на несколько изолированных секций не приводит к некорректности отклика от каждой из секций.”
  • 19. …обойдет Значительная доработка Кассандры, многократное дублирование (3 – 5 копий метаданных) с реализацией Paxos алгоритма. • CAP -> CAP • Практически мгновенная сходимость файловой системы – суровая необходимость • Доступность – без вариантов • Устойчивость к партиционированию – делаем множество копий
  • 20. Резервирование данных Динамическая настройка различных уровней защиты для разных приложений в одном кластере  100% программно  RF-3 защищает от одновременного выхода из строя двух дисков, нодов и сетевых карт  Переключайтесь между RF-2 и RF-3  Уровень репликации (защиты) выставляется на уровне контейнера RF-2 контейнер (2 копии данных) RF-3 контейнер (3 копии данных)
  • 21. Умное распределение Распределение данных между аппаратными блоками  V1: Защищает от потери блока целиком (4 нода / контроллера одновременно)  Доступно начиная с трех блоков Блок Блок Блок
  • 22. CLI / API : Управление VM • CPU and memory. • Disk and NIC (hot-plug). • Boot order configuration. • Power operations. • Live migration. • Crash-consistent snapshot, restore, clone.
  • 23. CLI / API: управление сетью • OpenvSwitch (для KVM) • VLAN • IPAM (перехват DHCP / ARP на уровне хоста)
  • 24. UI
  • 25. Prism Central Управление множеством кластеров по всему миру из единой точки  Агрегация статусов кластеров  Единая точка входа  Накапливание исторических данных для глубокого анализа  Упрощение рабочих процессов
  • 26. Интегрированная защита Локальные и «на расстоянии» снапшоты для целей резервного копирования и восстановления из аварий через Prism  Безлимитные локальные снапшоты на основном кластере с Time Stream  Восстановление данных «одним кликом»  WAN-оптимизированная репликация для DR Снапшоты в другом ДЦ vdisk Локальные снапшоты DR Кластер Основной кластер Он-сайт вторичные Локальные бэкапы (вне кластера)
  • 27. High End нагрузки и задачи • High End решение • Практически любые применения • Государство, Военные, Медицина, Корпорации, Сервис провайдеры

Editor's Notes

  1. Purpose of the Slide: Talk about the big challenges enterprise customers face today. Establish a baseline that everyone can agree to. Key Points: - Datacenters have become increasingly complex over the years. Every part of the infrastructure lifecycle is complex, from buying and deploying to configuring, managing and scaling infrastructure. - As infrastructure became more complex, IT organizations also became more siloed. You needed storage experts to manage complex network storage and networking experts to manage enterprise network topologies. ITIL processes emerged to deal with the complexity. All this significantly slowed down the pace of IT deployment. Orgs have to trade off doing it right with doing it fast. - As demand for resources (compute, network, storage) goes up, organizations want to be able to add capacity incrementally and predictably. Scale-up (big iron) infrastructure makes it difficult to scale in small increments when needed.
  2. Purpose: Talk about where and how web-scale IT originated, and what some of the common are between different web-scale data centers Key Points: Web companies like Google and Facebook started pushing the limits of existing infrastructure systems and processes in ways that traditional businesses did not. They needed infrastructure that could support their business requirements (rapid application development cycles, scale on demand, cost containment). They tried using existing infrastructure solutions, but quickly realized that legacy infra was a poor fit for their needs. Over time, these companies developed an alternate approach to IT that enabled them to get past limitations in infrastructure. Some common traits of web-scale IT: Infrastructure built from commodity server hardware pooled together using intelligent software. This allows customers to start small and scale one server at a time – true scale-out The software in the system is distributed across all the nodes. You don’t have central metadata servers or name nodes. You don’t see controller bottlenecks Embarrassingly parallel operations – everything in the system, including storage functions like deduplication and metadata management and system cleanup, is distributed across all nodes. There are no hotspots or bottlenecks, allowing for massive scale Compute and storage sit very close to each other. Data does not have to go back and forth between storage and compute over a network. Data has gravity, so co-locating storage and compute eliminates network bottlenecks and system slowdown Heavy automation eliminates the need for expensive, error-prone manual operations. You don’t
  3. Hyper-converged on x86 servers Compute and storage integrated in a single server with no network in between Eliminate network bottlenecks, All intelligence in software No reliance on hardware for data services, performance, resilience, etc. Distributed everything Data is intelligently distributed in all the nodes in the cluster so that no single node becomes a data access hotspot Services are distributed across the cluster so that as new nodes are added the processing capacity for data services scales out No single point of failure Redundancy in data (through replication, erasure coding, etc.) allows for component failure without loss of data Redundancy of controllers and control path enables recovery from failure of individual controllers API-driven automation and rich analytics - Programmatic interface and data-driven decision making in the system
  4. 15