Андрей Похилько — Нагрузочное тестирование типичного интернет сервиса
•
2 likes•3,505 views
Нагрузочное тестирование интернет-сервиса начинается с того, что мы выясняем ожидаемый профиль нагрузки. Вооружившись подходящим инструментом, мы проводим типовую последовательность тестов и измеряем основные показатели производительности: ёмкость, скорость и надёжность. При этом особое внимание необходимо уделять наблюдению за состоянием ресурсов тестируемой системы.
Андрей Похилько — Нагрузочное тестирование типичного интернет сервиса
- 2. Андрей Похилько Рук. группы НТ Рекламных технологий Нагрузочное тестирование типичного сервиса
- 3. Обзор 1. Место НТ в нашем мире 2. Наш взгляд на сервисы 3. Что мы ценим в инструментах 4. Универсальная процедура НТ
- 4. А разве есть такая теория? Теория НТ
- 5. Когда в товарищах согласья нет... ● Разногласия в терминах ● Границы ответственности НТ
- 6. 6 Инженерия производительности Это разработка, тестирование и эксплуатация и НТ – её часть Performance Engineering
- 7. 7 Планирование мощностей “Сколько серверов понадобится сейчас? А сколько – в будущем?” Capacity Planning
- 8. 8 Нагрузочное тестирование Load Testing Поставщик информации для всех
- 9. 9 Наша задача Выяснить ключевые показатели производительности для данного сервиса
- 12. 12 Ёмкость ● Ёмкость = максимальная пропускная способность (max throughput) ● Повышается от параллелизма ● Единицы измерения: RPS, VU Capacity
- 14. 14 Времена ответов Response Times • Единицы измерения: миллисекунды для % ответов • Влияет на ёмкость • Влияет на удовлетворенность пользователей
- 16. 16 Надёжность Stability • Как долго можем работать без остановки? • Как быстро восстановимся после проблем? • Единицы измерения: часы
- 17. 17 Еще показатели • Доступность • Масштабируемость • Критический ресурс
- 19. Закрытые и открытые ● Это не про систему, а про пользователей сервиса ● Суть – реакция нагрузки на деградацию сервиса ● На практике всё не так однозначно
- 20. 20 Закрытая модель нагрузки СЕРВЕР Очередь Интенсивность прихода запросов зависит от времени ответа
- 21. 21 Открытая модель нагрузки СЕРВЕР Очередь Интенсивность прихода запросов не зависит от времени ответа
- 22. 22 Stateless и Stateful • HTTP • DNS • FTP • IMAP / SMTP / POP3 Stateful протокол гораздо сложней поддержать в инструменте
- 24. 24 «Типичный» интернет-сервис? ● Открытый и Stateless на фронтэнде ● Закрытый на бэкенде ● Нужно уметь тестировать любые
- 25. 25 Ожидаемая нагрузка и SLA • Пиковая рабочая нагрузка и запас • SLA по времени ответа • Наработка на отказ, время восстановления • Полезно иметь ожидания – есть с чем сравнивать
- 27. Сценарные и hit-based ● Сценарий ближе к правде жизни ● Hit-based это вырожденный сценарий ● Сведение сценариев к hit-based
- 28. Открытая и закрытая нагрузка ● Закрытый отрабатывает расписание VU ● Открытый отрабатывает расписание RPS ● Суть разницы – реакция на деградацию сервиса Гвоздь именно здесь
- 29. Телеметрия Зачем на самолетах “черные ящики”? Хороший инструмент может собрать любые метрики
- 30. Результаты тестов ● Хранение, доступное команде ● Интерактивные отчеты ● Агрегаты и таймлайны ● Сравнение тестов ● Регрессионные последовательности ● API для автоматизации
- 31. Устройство Яндекс.Танка Цель разработки Яндекс.Танка ― сделать НТ удобным
- 32. Ядро Ядротанка Агрегатор Конфигурирование + Артефакты Связь между модулями Рабочий цикл теста Отчеты Автостопы JMeter BFG Телеметрия ab ShellExec Консольный вывод ResourceCheck
- 33. Стрелялки ● phantom – (а)синхнонный hit-based ● ab – синхронный hit-based ● JMeter – (a)синхронный сценарный ● BFG – смотря что реализовать
- 34. Сбор телеметрии ● Linux-specific ● Требует SSH-доступа без пароля (по ключу) ● Сбор с нескольких хостов ● Кастомные метрики ● Startup/Shutdown хуки
- 35. Анализ результатов ● Консольный вывод и WebOnline ● Модуль отчета с графиками ● Заливка в Graphite ● Артефакты для самообслуживания
- 36. Прочие плюшки ● Куча опций с дефолтами ● Автостопы ● Shellexec-хуки ● Готовность к оберткам ● Готовность к дополнениям Побалуй себя...
- 37. Резюме первой части ● НТ – малая толика инженерии производительности ● Сервисы: открытые и закрытые, stateless и stateful ● Инструменты: сценарные и hit-based, (а)синхронные ● Телеметрия бесценна ● В Яндекс.Танке есть всё необходимое
- 38. Передышка Пауза
- 39. Процедура НТ I. Ёмкость синхронным инструментом II. Ёмкость асинхронным (если нужно) III. Времена ответа IV. Восстановление V. Стабильность
- 40. Подготовка ● На каких серверах тестируем ● Кто всё настраивает ● Доступы и полномочия ● Написание сценариев ● Подготовка данных
- 43. Времена ответа
- 44. Восстановление
- 45. Стабильность
- 48. Финал тестирования Ёмкость измерена: выдерживаем X RPS, запас N крат Времена ответов: P% ответов укладываются в K мс Восстановление после сбоя занимает: Y минут Время стабильной непрерывной работы: от T часов
- 49. Андрей Похилько Руководитель группы нагрузочного тестирования рекламных технологий apc4@ya.ru Спасибо!