Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                
SlideShare a Scribd company logo

Возможности повышения производительности вычислительных кластеров

•
•
Vsevolod Shabad
Vsevolod Shabad

Возможности повышения производительности вычислительных кластеров для tNavigator

1 of 18
Download to read offline
Возможности повышения производительности вычислительных кластеров Всеволод Шабад, генеральный директор vshabad@netproject.ru (985) 765-76-03 IV конференция пользователей tNavigator – Уфа, август 2016
IV конференция пользователей tNavigator – Уфа, август 2016 Кто такой «СетьПроект»? Нишевой системный интегратор: создаем и развиваем ИТ-инфраструктуру для сейсморазведки и промысловой геофизики 2
IV конференция пользователей tNavigator – Уфа, август 2016 Как посчитать производительность HPC? Теоретическая пиковая производительность Intel® Xeon® (Гфлопс): •Кол-во_ядер x Тактовая_частота x Кол-во_инструкций_за_такт Пример для Intel Xeon E5-2699v4 (22C, 2.2 GHz): •22 * 2.2 * 16 = 774,40 Гфлопс Пиковая_производительность_кластера = Кол-во_узлов x Кол-во_CPU x Пиковая_производительность_CPU 3 Intel, the Intel logo, the Intel Inside logo and Xeon are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries
IV конференция пользователей tNavigator – Уфа, август 2016 Как сделать кластер очень быстрым? Больше узлов Больше процессоров Больше ГГц Больше ядер 4 Почему бы и нет?
IV конференция пользователей tNavigator – Уфа, август 2016 Какие есть препятствия? Стоимость •стоимость создания кластера •стоимость эксплуатации кластера Ограничения смежных подсистем •память, сеть, диск, … Ограничения масштабируемости 5 http://static.og-hpc.org/Rice2010/Slides/Brazell-Fjerstad-OG-HPC-2010-SLB-Chevron.pdf
IV конференция пользователей tNavigator – Уфа, август 2016 Стоимость создания кластера Параметр Выбор CPU Неоптимальный Оптимальный Сервер Lenovo NeXtScale (nx360 M5) CPU 2x Xeon E5-2699 v4 (44 ядра, 2.2 ГГц) 2x Xeon E5-2680 v4 (28 ядер, 2.4 ГГц) RAM 160 ГБ (5.7 ГБ / ядро) PC4-2400 256 ГБ (5.8 ГБ / ядро) PC4-2400 HDD нет (загрузка по сети) Network 1x Infiniband FDR, 2x GigE Производительность, Тфлопс 1.55 1,08 (–30%) Цена List Price, USD 45 087 22 226,00 (–51%) Цена List Price, USD/Тфлопс 29 110,9 20 671,50 (-29%) 6 Типичный вычислительный узел tNavigator в ценах List Price
IV конференция пользователей tNavigator – Уфа, август 2016 Стоимость эксплуатации кластера Повышение температуры воздуха в серверной на 5O C позволяет снизить энергозатраты системы охлаждения на 20% (Intel, IDC, Gartner) Штатная температура 35o C •DELL FX2 •HPE Apollo 6000 •Supermicro MicroBlade Штатная температура 40o C •Fujitsu CX400 •Lenovo NeXtScale 7
IV конференция пользователей tNavigator – Уфа, август 2016 Ограничения смежных подсистем ОЗУ Сеть Локальные диски Сетевая файловая система Система охлаждения … 8
IV конференция пользователей tNavigator – Уфа, август 2016 ОЗУ: постоянный рост производительности 1500 1600 1700 1800 1900 2000 2100 2200 2300 2400 2500 Пропускная способность шины памяти, MT/s DDR3-1866 DDR3-2133 DDR4-2133 DDR4-2400 +12,5% 9
IV конференция пользователей tNavigator – Уфа, август 2016 ОЗУ: неочевидные ограничения Пример для HPE Apollo (ProLiant XL230a Gen9): 10 http://h20195.www2.hp.com/v2/getpdf.aspx/c04390759.pdf?ver=9
IV конференция пользователей tNavigator – Уфа, август 2016 Сеть: постоянный рост производительности 20 30 40 50 60 70 80 90 100 Пропускная способность, Гбит/с TrueScale Infiniband QDR Infiniband FDR Infiniband EDR Omni-Path 11 +79%
IV конференция пользователей tNavigator – Уфа, август 2016 Сеть: неочевидные ограничения Испытания в лаборатории Mellanox (апрель 2016) 12
IV конференция пользователей tNavigator – Уфа, август 2016 Загрузка компонентов кластера 30% 40% 50% 60% 70% 80% 90% 100% Оптимальный (лимитирует только CPU) Неоптимальный (ничто не лимитирует — мощности избыточны) Неоптимальный (лимитирует сеть, а не CPU) Ограничителем производительности кластера должна быть только производительность CPU! CPU RAM Network Local HDD Shared File System 13
Ограничения масштабируемости Неблокируемый кластер из 36 узлов … 1 коммутатор Infiniband Неблокируемый кластер из 37 узлов … 3 коммутатора Infiniband 14
IV конференция пользователей tNavigator – Уфа, август 2016 Как построить эффективный кластер? Работоспособный Высокопроизводительный Расширяемый Надёжный Недорогой •во внедрении •в эксплуатации 15
IV конференция пользователей tNavigator – Уфа, август 2016 Обратиться к профессионалам! Знания •особенностей G&G-приложений •особенностей ИТ-инфраструктуры Умения •тщательно проектировать •гладко внедрять •слушать и слышать •делать больше, чем обещали Опыт •различных проектов у различных заказчиков 16
IV конференция пользователей tNavigator – Уфа, август 2016 О «СетьПроекте» Для согласования аппаратных конфигураций кластеров, рабочих станций и инфраструктурных решений наша компания все чаще привлекает экспертов из фирмы «СетьПроект». Коллектив компании неоднократно принимал участие в формировании архитектур ВЦ под различные технологии Paradigm и зарекомендовал себя с самой лучшей стороны. Сергей Левин, Директор по продажам ООО «Парадайм Геофизикал» 17
IV конференция пользователей tNavigator – Уфа, август 2016 Бежим вместе? http://www.netproject.ru/ 18

More Related Content

Возможности повышения производительности вычислительных кластеров

  • 1. Возможности повышения производительности вычислительных кластеров Всеволод Шабад, генеральный директор vshabad@netproject.ru (985) 765-76-03 IV конференция пользователей tNavigator – Уфа, август 2016
  • 2. IV конференция пользователей tNavigator – Уфа, август 2016 Кто такой «СетьПроект»? Нишевой системный интегратор: создаем и развиваем ИТ-инфраструктуру для сейсморазведки и промысловой геофизики 2
  • 3. IV конференция пользователей tNavigator – Уфа, август 2016 Как посчитать производительность HPC? Теоретическая пиковая производительность Intel® Xeon® (Гфлопс): •Кол-во_ядер x Тактовая_частота x Кол-во_инструкций_за_такт Пример для Intel Xeon E5-2699v4 (22C, 2.2 GHz): •22 * 2.2 * 16 = 774,40 Гфлопс Пиковая_производительность_кластера = Кол-во_узлов x Кол-во_CPU x Пиковая_производительность_CPU 3 Intel, the Intel logo, the Intel Inside logo and Xeon are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries
  • 4. IV конференция пользователей tNavigator – Уфа, август 2016 Как сделать кластер очень быстрым? Больше узлов Больше процессоров Больше ГГц Больше ядер 4 Почему бы и нет?
  • 5. IV конференция пользователей tNavigator – Уфа, август 2016 Какие есть препятствия? Стоимость •стоимость создания кластера •стоимость эксплуатации кластера Ограничения смежных подсистем •память, сеть, диск, … Ограничения масштабируемости 5 http://static.og-hpc.org/Rice2010/Slides/Brazell-Fjerstad-OG-HPC-2010-SLB-Chevron.pdf
  • 6. IV конференция пользователей tNavigator – Уфа, август 2016 Стоимость создания кластера Параметр Выбор CPU Неоптимальный Оптимальный Сервер Lenovo NeXtScale (nx360 M5) CPU 2x Xeon E5-2699 v4 (44 ядра, 2.2 ГГц) 2x Xeon E5-2680 v4 (28 ядер, 2.4 ГГц) RAM 160 ГБ (5.7 ГБ / ядро) PC4-2400 256 ГБ (5.8 ГБ / ядро) PC4-2400 HDD нет (загрузка по сети) Network 1x Infiniband FDR, 2x GigE Производительность, Тфлопс 1.55 1,08 (–30%) Цена List Price, USD 45 087 22 226,00 (–51%) Цена List Price, USD/Тфлопс 29 110,9 20 671,50 (-29%) 6 Типичный вычислительный узел tNavigator в ценах List Price
  • 7. IV конференция пользователей tNavigator – Уфа, август 2016 Стоимость эксплуатации кластера Повышение температуры воздуха в серверной на 5O C позволяет снизить энергозатраты системы охлаждения на 20% (Intel, IDC, Gartner) Штатная температура 35o C •DELL FX2 •HPE Apollo 6000 •Supermicro MicroBlade Штатная температура 40o C •Fujitsu CX400 •Lenovo NeXtScale 7
  • 8. IV конференция пользователей tNavigator – Уфа, август 2016 Ограничения смежных подсистем ОЗУ Сеть Локальные диски Сетевая файловая система Система охлаждения … 8
  • 9. IV конференция пользователей tNavigator – Уфа, август 2016 ОЗУ: постоянный рост производительности 1500 1600 1700 1800 1900 2000 2100 2200 2300 2400 2500 Пропускная способность шины памяти, MT/s DDR3-1866 DDR3-2133 DDR4-2133 DDR4-2400 +12,5% 9
  • 10. IV конференция пользователей tNavigator – Уфа, август 2016 ОЗУ: неочевидные ограничения Пример для HPE Apollo (ProLiant XL230a Gen9): 10 http://h20195.www2.hp.com/v2/getpdf.aspx/c04390759.pdf?ver=9
  • 11. IV конференция пользователей tNavigator – Уфа, август 2016 Сеть: постоянный рост производительности 20 30 40 50 60 70 80 90 100 Пропускная способность, Гбит/с TrueScale Infiniband QDR Infiniband FDR Infiniband EDR Omni-Path 11 +79%
  • 12. IV конференция пользователей tNavigator – Уфа, август 2016 Сеть: неочевидные ограничения Испытания в лаборатории Mellanox (апрель 2016) 12
  • 13. IV конференция пользователей tNavigator – Уфа, август 2016 Загрузка компонентов кластера 30% 40% 50% 60% 70% 80% 90% 100% Оптимальный (лимитирует только CPU) Неоптимальный (ничто не лимитирует — мощности избыточны) Неоптимальный (лимитирует сеть, а не CPU) Ограничителем производительности кластера должна быть только производительность CPU! CPU RAM Network Local HDD Shared File System 13
  • 14. Ограничения масштабируемости Неблокируемый кластер из 36 узлов … 1 коммутатор Infiniband Неблокируемый кластер из 37 узлов … 3 коммутатора Infiniband 14
  • 15. IV конференция пользователей tNavigator – Уфа, август 2016 Как построить эффективный кластер? Работоспособный Высокопроизводительный Расширяемый Надёжный Недорогой •во внедрении •в эксплуатации 15
  • 16. IV конференция пользователей tNavigator – Уфа, август 2016 Обратиться к профессионалам! Знания •особенностей G&G-приложений •особенностей ИТ-инфраструктуры Умения •тщательно проектировать •гладко внедрять •слушать и слышать •делать больше, чем обещали Опыт •различных проектов у различных заказчиков 16
  • 17. IV конференция пользователей tNavigator – Уфа, август 2016 О «СетьПроекте» Для согласования аппаратных конфигураций кластеров, рабочих станций и инфраструктурных решений наша компания все чаще привлекает экспертов из фирмы «СетьПроект». Коллектив компании неоднократно принимал участие в формировании архитектур ВЦ под различные технологии Paradigm и зарекомендовал себя с самой лучшей стороны. Сергей Левин, Директор по продажам ООО «Парадайм Геофизикал» 17
  • 18. IV конференция пользователей tNavigator – Уфа, август 2016 Бежим вместе? http://www.netproject.ru/ 18