Всеволод Поляков "История одного мониторинга"
•
0 likes•644 views
«Мир изменился… Я чувствую это в воде… Я чувствую это в земле…» Галадриэль «Какой-то отсталый у неё мониторинг» Сева Поляков В этом докладе я хочу рассказать вам историю о современном мониторинге, на примере выбора для моего текущего проекта. Когда нужен prometheus, когда нужен SaaS и почему графит не умрёт. Также я постараюсь пройтись по всем новинкам и важным изменениям в современном мире мониторинга.
Report
Share
Всеволод Поляков "История одного мониторинга"
- 1. Всеволод Поляков История одного мониторинга…
- 9. Условия выбора • Ценакачество • Фичи которые нам нужны
- 11. Cabot
- 13. Стоимость в год: (1300 * 12) = 15.600$ • Стоимость серверов: 3 (m4.x2large + 1 Tb) ≈ 1300$/m
- 14. Стоимость в год: (1300 * 12) + (4500 * 12) = 69.600$ • Стоимость серверов: 3 (m4.x2large + 1 Tb) ≈ 1300$/m • Стоимость 30% времени команды: (15.000$/m * 30)/100 ≈ 4500$
- 15. Стоимость в год: (1300 * 12) + (4500 * 12) = 69.600$ • Стоимость серверов: 3 (m4.x2large + 1 Tb) ≈ 1300$/m • Стоимость 30% времени команды: (15.000$/m * 30)/100 ≈ 4500$ • Упущенная выгода на внедрение = месяц * все деньги от даунтаймов ≈ бесценно.
- 16. 15$/h * 12 * 200h = 36.000$ 69.600 - 36.000 = 33.600$ выгоды! Datadog (minimum price) per host
- 17. Расчёт стоимости Версия self hosted
- 18. Стоимость в год: (516 * 12) = 6.192$ • Стоимость серверов: 3 (m4.large + 1 Tb) ≈ 516$/m
- 19. Стоимость в год: (516 * 12) + (750 * 12) = 15.192$ • Стоимость серверов: 3 (m4.large + 1 Tb) ≈ 516$/m • Стоимость 5% времени команды: (15.000$/m * 5)/100 ≈ 750$
- 20. 15$/h * 12 * 200h = 36.000$ 23$/h * 12 * 200h = 55.200$ 55.200 - 15.192 = 40.008$ выгоды! Datadog (minimum price) per host Datadog (maximum price) per host
- 22. Как считаю я
- 23. • Есть ли люди которым интересно заниматься и поддерживать мониторинг? • Какие фичи нам нужны и в каких решениях они есть? • Сколько метрик мы собираемся собирать? • Сколько времени мы хотим хранить данные?
- 26. Чеки на хостах Плюсы: • Не нужна база данных • Простая логика Минусы: • Всё равно нужна база данных • Простой логики недостаточно • Нет предсказаний • Нет истории
- 27. Что хранить в БД? • События: • Можно делать что-угодно
- 28. Какие бывают события • Статус ответа • Время выполнения чего-то • Ошибки • Уникальные ID • Потребление какого-то ресурса
- 32. Типичная математика • Количество за фрейм времени (чтобы видеть тренд) • Гистограммы (распределения) • Среднеемаксимальноеминимальное • Перцентили
- 33. Что хранить в БД? • События: • Дорого опрашивать • Дорого хранить
- 36. Алерты Мало метрик Детализация Дебаг Профайлинг Много метрик Ещё больше метрик
- 37. /some_page
- 40. /some_page Статус ответа 10.. 20.. 30.. 40.. 50.. Время ответа Первый байт Полное время Коннект к бекенду
- 41. /some_page Статус ответа 10.. 20.. 30.. 40.. 50.. Время ответа Первый байт Полное время Коннект к бекенду Гистограммы 0..100ms 100..200ms … 1s..infinity
- 42. /some_page Статус ответа 10.. 20.. 30.. 40.. 50.. Время ответа Первый байт Полное время Коннект к бекенду Гистограммы Перцентили 0..100ms 100..200ms … 1s..infinity 99.9% 99% … 50%
- 43. /some_page Статус ответа 10.. 20.. 30.. 40.. 50.. Время ответа Первый байт Полное время Коннект к бекенду Гистограммы Перцентили 0..100ms 100..200ms … 1s..infinity 99.9% 99% … 50% Уники по IP
- 44. /some_page Статус ответа 10.. 20.. 30.. 40.. 50.. Время ответа Первый байт Полное время Коннект к бекенду Гистограммы Перцентили 0..100ms 100..200ms … 1s..infinity 99.9% 99% … 50% Уники по IP Прочие метрики
- 45. • Время и количество выполнений функций • В и К выполнений внешних запросов • Прочие штуки (количество подключений, обьем хипа)
- 46. • Системные метрики • Дисковая подсистема • Сеть • Всякая лабуда • Докеры-шмокеры
- 48. Это ещё не полное разрешение (100 000 / 200 = 500) * 23 * 12 = 138,000$/year SaaS
- 49. 6 инстансов, 8 терабайт дисков Храним сколько хотим 1700 * 12 = 20,400$/year
- 52. Инстанс 1 Приложение Prometheus API Коллектор системных метрик Prometheus API Инстанс 2 Инстанс 3 Инстанс 4 Service Discovery К О Л Л Е К Т О Р Storage PromQL Alerting WebUI
- 53. Функции • abs() • absent() • ceil() • changes() • clamp_max() • clamp_min() • count_scalar() • day_of_month() • day_of_week() • days_in_month() • delta() • deriv() • drop_common_labels() • exp() • floor() • histogram_quantile() • holt_winters() • time() • vector() • year() • <aggregation>_over_time() • hour() • idelta() • increase() • irate() • label_join() • label_replace() • ln() • log2() • log10() • minute() • month() • predict_linear() • rate() • resets() • round() • scalar() • sort() • sort_desc() • sqrt()
- 54. Prometheus • Удобно устанавливать • Алертинг из коробки • Cross-region из коробки • Поддерживает теги • Медленный и ресурсоемкий (не тестировал новую версию) • Слабая математика • Проблемы с перцентилями • Проблема с историческими данными (нет инструментов для ребалансинга)
- 56. Инстанс 1 Приложение Коллектор системных метрик Инстанс 2 Инстанс 3 Инстанс 4 influxDB Alerting WebUI
- 58. Influxdb • Поддерживает теги • Платный кластеринг • Достаточно медленный • Достаточно глючный (в прошлом) • Свой алертинг • Всё ещё мало математики
- 59. Elasticsearch • Всё в одном • Достаточно медленный • Можно записывать не много метрик • Алертинг платный • Но, отлично подходит для RAW данных
- 61. Инстанс 1 Приложение Коллектор системных метрик Инстанс 2 Инстанс 3 Инстанс 4 relay Node 1 cache1 cache2 Web Node 2 cache1 cache2 Web
- 64. Graphite • Нет алертинга • В меру проворный • Достаточно математики • Нет тегов (есть наработки) • Своеобразный ребалансинг кластера • И вообще кластер своеобразный
- 66. Инстанс 1 Приложение Коллектор системных метрик Инстанс 2 Инстанс 3 Инстанс 4 OpenTSDB HBase (Hadoop)
- 67. Функции • avg • count • Dev • ep50r3 • first • last • mimmin • mimmax • min • max • p99 • sum • zimsum
- 68. OpenTSDB • Нет алертинга • Местами неповоротливый • Отличная расширяемость кластера • Есть теги • Мало математики
- 69. Cassandra back
- 70. Инстанс 1 Приложение Коллектор системных метрик Инстанс 2 Инстанс 3 Инстанс 4 Hawkular KairosDB Cyanite M3 OpenTSDB Cassandra
- 71. Cassandra-back • Нет алертинга • Медленно читает • Отличная расширяемость кластера • Есть теги • Мало математики, хотя можно руками дописывать
- 72. Go-graphite
- 73. Инстанс 1 Приложение Коллектор системных метрик Инстанс 2 Инстанс 3 Инстанс 4 relay Node 1 Go-carbon Crabon-api Node 2 Go-carbon Crabonsearch
- 74. Функции • Всё что в графите • diffSeriesLists • multiplySeriesLists • Fast Fourier transform • Kolmogorov–Smirnov test • Low-pass filter • Pearson correlation coefficient • Polynomial regression • Tukey's range test
- 75. Go-graphite • Нет алертинга • Быстрый на чтение • Вменяемая расширяемость кластера (buckytools) • Есть теги… ну можно прикрутить • И с математикой всё отлично • Читает из всех источников
- 76. Алерты • Sensu • Bosun • Nagios • Moira • Grafana
- 77. –Выдуманный монах “ELK для логов, сын мой”
- 78. И ещё одна штука…