3. Проблемы традиционных ДЦ
1. Сложность (множество
вендоров, различных
коммуникаций)
2. Неэффективность (место и
энергопотребление)
3. Непредсказуемое
расширение (нелинейность)
4. Цели WebScale дизайна ДЦ
• Массивное снижение энергопотребления и
прогнозируемое масштабирование
• Нет единой точки отказа
• Распределять все
• Всегда работает
• Полная автоматизация и мощная аналитика
Фундаментальные аксиомы
• Стандартные однотипные x86 сервера:
«отказало -> заменил»
• Нет специализированных аппаратных средств
• Весь интеллект и сервис в ПО
• Линейный, предсказуемый рост
Web-Scale IT
5. Openstack? Ха-ха три раза.
• Не решает проблем низкого уровня (ввод-вывод данных)
• Рабочие коммерческие варианты по факту очень дороги и
несовместимы
• Масса (зачастую) лишнего функционала, вносящего нестабильность.
• Очень высокий порог вхождения - требуются специалисты экстра-
класса для запуска и поддержки.
• Чаще всего реально требуется не создание IaaS или PaaS, но
внутренняя облачная инфраструктура.
• Есть существенные проблемы масштабируемости.
7. Не путать проект и продукт
Ceph, GlusterFS – отличные проекты
• Крайне сложный запуск
• Ограниченный или отсутствующий UI
• Практически любое «железо»
• Уникальные протоколы (эмуляция стандартных при необходимости)
• Только ФС, не решает вопросов управления виртуализацией
• Фактически, только KVM (ESXi / HyperV – говорить несерьезно)
• Не создавались и не затачивались под виртуализацию.
• Отсутствует взаимная интеграция гипервизора и СХД (локализация
ввода-вывода)
8. Не путать проект и продукт
Nutanix Acropolis – законченное решение
• «Под ключ» с запуском за 15-30 минут
• HTML5 UI
• Ограниченный, но 100% протестированный набор оборудования
(Supermicro, Dell) – полная интеграция IPMI / аппаратного
мониторинга
• Использование стандартных протоколов (iSCSI, NFS, SMB3)
• BigData технологии (Cassandra, Zookeeper, etc), все распределенное
• Комплексное решение
• Не завязан на KVM
9. Proxmox?
• Все проблемы стандартных решений
• Копии конфигураций всех VM на каждом ноде
• 16 нодов в кластере (2014 год!)
• Попытка скопировать Look’n’Feel VMware vCenter (который уже
устарел сам по себе)
• Только KVM
• Серьезнейшие проблемы производительности при большом количестве
VM
10. Традиционные СХД
• Архаичные RAID системы, не рассчитанные на масштабируемость и
отказоустойчивость
• Время “ребилда” современной СХД при отказе одного диска может быть
часами или сутками.
• RAID6 - потеря данных в течении года (при достаточно больших
датасторах) - практически гарантирована
• На рынок выходят диски 10TB, что несет в себе множество
дополнительных проблем (Теперь мы идем к вам (с)! Сутки ребилда?
Легко!)
• Упор в количество интерфейсов ввода-вывода и производительность
контроллеров.
11. Nutanix – все в одном
• Отсутствуют все вышеназванные узкие места.
• Безлимитное масштабирование (как по производительности, так и
размеру кластера). Миллионы IOPS, тысячи VM на стойку
• Использование по максимуму open-source компонент с существенной
доработкой (Cassandra NoSQL, Apache ZooKeeper, Linux Kernel, EXT4,
KVM).
• Полностью программная реализация.
• Распределенная файловая система NDFS и система управления
облаком Acropolis.
• Поддержка стандартной версии KVM (Centos 6.5+) через libvirt, но
полностью своя реализация управления кластером - aCLI, HTML5 UI,
RESTful API.
12. Nutanix – все в одном
• Нет RAID или JBOD (на всех уровнях)
• 2-я или 3-я защита данных
• Disaster Recovery (репликация датацентров)
• Метаданные файловой системы и кластера хранятся в NoSQL DB
Cassandra.
• Конфигурация кластера - Apache Zookeeper.
• Активное применение SSD как полноценного уровня хранения (не
кэширования).
14. Nutanix
Google
Facebook
Microsoft
Другие
решения VSAN Старые
Архитектуры
Гипер-конвергентные решения на x86 –
интеграция компьютинга и СХД
Все в программном обеспечении – 100%
«только ПО»
Распределение всего – кластеризация
данных и сервисов
Самоизлечение – изоляция сбоев и
распределенное восстановление
API автоматизация и мощная аналитика
Множство различных приложений
одновременно
17. Компоненты кластера
Arithmos: Публикация и получение статистики гипервизора
Cassandra: Конфигурация VM, файловая система NDFS. 3 или 5 копий.
Stargate: подготовка и работа с виртуальными дисками, отдача по
протоколам iSCSI / NFS / SMB3
Zookeeper: конфигурация кластера (одна из наиболее устойчивых к
partitioning систем хранения кластерных конфигураций)
Prism: UI / CLI / API
18. CAP Теорема – «умный в гору»
В любой реализации распределённых вычислений возможно обеспечить не
более двух из трёх следующих свойств (WikiPedia):
• Согласованность данных (англ. Consistency) — во всех вычислительных
узлах в один момент времени данные не противоречат друг другу;
• Доступность (англ. Availability) — любой запрос к распределённой
системе завершается корректным откликом;
• Устойчивость к разделению (англ. Partition tolerance) — расщепление
распределённой системы на несколько изолированных секций не
приводит к некорректности отклика от каждой из секций.”
19. …обойдет
Значительная доработка Кассандры, многократное дублирование (3 – 5
копий метаданных) с реализацией Paxos алгоритма.
• CAP -> CAP
• Практически мгновенная сходимость файловой системы – суровая
необходимость
• Доступность – без вариантов
• Устойчивость к партиционированию – делаем множество копий
20. Резервирование данных
Динамическая
настройка различных уровней
защиты для разных приложений
в одном кластере
100% программно
RF-3 защищает от одновременного
выхода из строя двух дисков, нодов
и сетевых карт
Переключайтесь между RF-2 и RF-3
Уровень репликации (защиты)
выставляется на уровне контейнера
RF-2 контейнер (2 копии данных)
RF-3 контейнер (3 копии данных)
21. Умное распределение
Распределение данных
между аппаратными
блоками
V1: Защищает от потери
блока целиком (4 нода /
контроллера одновременно)
Доступно начиная с трех
блоков
Блок Блок Блок
22. CLI / API : Управление VM
• CPU and memory.
• Disk and NIC (hot-plug).
• Boot order configuration.
• Power operations.
• Live migration.
• Crash-consistent snapshot, restore, clone.
23. CLI / API: управление сетью
• OpenvSwitch (для KVM)
• VLAN
• IPAM (перехват DHCP / ARP на уровне хоста)
25. Prism Central
Управление множеством
кластеров по всему миру
из единой точки
Агрегация статусов кластеров
Единая точка входа
Накапливание исторических
данных для глубокого анализа
Упрощение рабочих процессов
26. Интегрированная защита
Локальные и «на расстоянии»
снапшоты для целей резервного
копирования и восстановления
из аварий через Prism
Безлимитные локальные
снапшоты на основном
кластере с Time Stream
Восстановление данных «одним
кликом»
WAN-оптимизированная
репликация для DR
Снапшоты в другом ДЦ
vdisk Локальные
снапшоты
DR Кластер
Основной кластер
Он-сайт вторичные
Локальные бэкапы
(вне кластера)
27. High End нагрузки и задачи
• High End решение
• Практически
любые
применения
• Государство,
Военные,
Медицина,
Корпорации,
Сервис
провайдеры
Purpose of the Slide:
Talk about the big challenges enterprise customers face today. Establish a baseline that everyone can agree to.
Key Points:
- Datacenters have become increasingly complex over the years. Every part of the infrastructure lifecycle is complex, from buying and deploying to configuring, managing and scaling infrastructure.
- As infrastructure became more complex, IT organizations also became more siloed. You needed storage experts to manage complex network storage and networking experts to manage enterprise network topologies. ITIL processes emerged to deal with the complexity. All this significantly slowed down the pace of IT deployment. Orgs have to trade off doing it right with doing it fast.
- As demand for resources (compute, network, storage) goes up, organizations want to be able to add capacity incrementally and predictably. Scale-up (big iron) infrastructure makes it difficult to scale in small increments when needed.
Purpose: Talk about where and how web-scale IT originated, and what some of the common are between different web-scale data centers
Key Points:
Web companies like Google and Facebook started pushing the limits of existing infrastructure systems and processes in ways that traditional businesses did not. They needed infrastructure that could support their business requirements (rapid application development cycles, scale on demand, cost containment). They tried using existing infrastructure solutions, but quickly realized that legacy infra was a poor fit for their needs.
Over time, these companies developed an alternate approach to IT that enabled them to get past limitations in infrastructure. Some common traits of web-scale IT:
Infrastructure built from commodity server hardware pooled together using intelligent software. This allows customers to start small and scale one server at a time – true scale-out
The software in the system is distributed across all the nodes. You don’t have central metadata servers or name nodes. You don’t see controller bottlenecks
Embarrassingly parallel operations – everything in the system, including storage functions like deduplication and metadata management and system cleanup, is distributed across all nodes. There are no hotspots or bottlenecks, allowing for massive scale
Compute and storage sit very close to each other. Data does not have to go back and forth between storage and compute over a network. Data has gravity, so co-locating storage and compute eliminates network bottlenecks and system slowdown
Heavy automation eliminates the need for expensive, error-prone manual operations. You don’t
Hyper-converged on x86 servers
Compute and storage integrated in a single server with no network in between
Eliminate network bottlenecks,
All intelligence in software
No reliance on hardware for data services, performance, resilience, etc.
Distributed everything
Data is intelligently distributed in all the nodes in the cluster so that no single node becomes a data access hotspot
Services are distributed across the cluster so that as new nodes are added the processing capacity for data services scales out
No single point of failure
Redundancy in data (through replication, erasure coding, etc.) allows for component failure without loss of data
Redundancy of controllers and control path enables recovery from failure of individual controllers
API-driven automation and rich analytics
- Programmatic interface and data-driven decision making in the system