Экстремальная оптимизация производительности на примере MongoDB Java Driver
•
0 likes•321 views
При работе с базами данных мы часто сталкиваемся с тем, что ORM фреймворки, принося нам удобство и гибкость, требуют непомерную плату – серьезное падение производительности. Казалось бы, чтобы решить эту проблему, достаточно просто отказаться от ORM и использовать низкоуровневый API. Но иногда и этого бывает недостаточно… Презентация подготовлена по материалам выступления Евгения Берлога на витебской конференции “Developer's Software Conference” (31.10.2015). Запись выступления: https://events.epam.com/events/dsc2015/talks/104.
Report
Share
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to Экстремальная оптимизация производительности на примере MongoDB Java Driver
Similar to Экстремальная оптимизация производительности на примере MongoDB Java Driver (20)
More from Vitebsk DSC
More from Vitebsk DSC (15)
Экстремальная оптимизация производительности на примере MongoDB Java Driver
- 1. 31 ОКТЯБРЯ, 2015 ЭКСТРЕМАЛЬНАЯ ОПТИМИЗАЦИЯ ПРОИЗВОДИТЕЛЬНОСТИ на примере MongoDB Java Driver
- 3. План выступления С чего все начиналось Выбор стандартного решения Что-то пошло не так… Что мы могли сделать? Что мы сделали? Выводы
- 4. Исходные условия Oracle Coherence WEB REST Internal Tool х 15 х 15 х 10
- 6. Особенности системы Большие размеры объектов (~1MB) Много уровней вложенности Зависимости между объектами Вложенные массивы Множество сценариев использования Ограниченный объем RAM
- 7. Выбор фреймворка M MORPHIA SPRING DATA Многообещающий красавчик Уверенный в себе крепыш «Плоский» и гибкий работяга JAVA DRIVER + самописный ORM
- 8. Нагрузочное тестирование 100% запросов на чтения 50 параллельных потоков 1 млн запросов
- 9. Morphia, сек Java-драйвер + самописный ORM, сек Документ 10KB 14,0 13,7 (-2,2%) Документ 100KB 120,0 115,9 (-3,5%) Документ 1MB 927,2 887,0 (-4,4%) Суммарное время выполнения запросов Результаты тестирования
- 10. Morphia, сек Java-драйвер + самописный ORM, сек Документ 10KB 0,101 0,097 (-4,0%) Документ 100KB 1,044 0,995 (-4,7%) Документ 1MB 9,377 8,811 (-6,1%) Суммарное время работы сборщика мусора (GC) Результаты тестирования
- 11. Plain MongoDB driver Большой объем потребляемой памяти Сборщик мусора отрабатывает часто Непредсказуемая производительность и стабильность
- 12. Что же делать?
- 14. Что не так с Plain driver? MongoDB MongoDB Driver Converter Service byte[ ] DBObject Domain
- 15. А что, если… MongoDB MongoDB Driver Converter Service byte[ ] DBObject ByteArrayToDomainConverter Domain
- 17. Другие улучшения Создание строк Кэширование строк «Ленивая» загрузка документов «Ленивая» десериализация
- 18. Создание строк?
- 19. Да, создание строк Текущая реализация в драйвере String createString() { byte[] bytes = new byte[size]; readBytes(bytes); // copy bytes from input stream return new String(bytes, UTF8_CHARSET); }
- 20. Создание строк Попытка #1 – Чуть-чуть лучше String createString() { char[] array = new char[bytes.length]; for (int i = 0; i < bytes.length; i++) { array[i] = (char) bytes[i]; } return new String(array); }
- 21. Создание строк Попытка #2 – Оптимально String createString() throws IllegalAccessException { char[] array = new char[bytes.length]; for (int i = 0; i < bytes.length; i++) { array[i] = (char) bytes[i]; } String s = new String(); Field field = String.class.getDeclaredField("value"); field.set(s, array); return s; }
- 22. Создание 1 млрд строк Общее время, сек Время GC, сек new String(byte[ ], UTF-8) 95,8 0,884 new String(char[ ]) 93,0 (-3,0%) 0,861 (-3,0%) Reflection 92,1 (-3,9%) 0,568 (-36,0%)
- 23. Кэширование строк 0xffaa11 0xccff2e String 1 String 2 ... ... ... ... ConcurrentHashMap • Ключ – hash от строки • Значение – CopyOnWriteArrayList<String>
- 25. «Ленивая» подгрузка Domain Proxy LinkResolver Template load() readIds() resolve() findByIds(ids) setItems(resolved) getItems()
- 26. Что получилось { "_id": "Java", "type": "language", "father": { "class": "JavaContributor", "name": "James", "surname": "Gosling", "hasBeard": true }, "features": /* массив байт */ } Business rules
- 27. Что получилось { "_id": "Java", "type": "language", "father": { "class": "JavaContributor", "name": "James", "surname": "Gosling", "hasBeard": true }, "features": /* массив байт */ } Optional No package Reflections
- 28. Что получилось { "_id": "Java", "type": "language", "father": { "class": "JavaContributor", "name": "James", "surname": "Gosling", "hasBeard": true }, "features": /* массив байт */ } Lazy de-serialization
- 29. Что получилось { "_id": "Java", "type": "language", "father": { "class": "JavaContributor", "name": "James", "surname": "Gosling", "hasBeard": true }, "features": [ "object-oriented", "static type-checking" ] } De-serialized array
- 30. Что получилось Java-драйвер + самописный ORM, сек «Улучшенный» Java-драйвер, сек Документ 10KB 13,7 12,7 (-7,3%) Документ 100KB 115,9 105,2 (-9,2%) Документ 1MB 887,0 791,4 (-10,7%) 100% запросов на чтения 50 параллельных потоков 1 млн запросов Суммарное время выполнения запросов
- 31. Что получилось 100% запросов на чтения 50 параллельных потоков 1 млн запросов Суммарное время работы сборщика мусора (GC) Java-драйвер + самописный ORM, сек «Улучшенный» Java-драйвер, сек Документ 10KB 0,097 0,087 (-10,0%) Документ 100KB 0,995 0,791 (-20,5%) Документ 1MB 8,811 5,861 (-33,5%)
- 32. Недостатки решения Сложность поддержки Сложность тестирования • Соответствие BSON формату • Коллизии кэширования • Многопоточность
- 33. Java Driver 3.0+ Апрель 2015 API упрощающий интеграцию
- 34. Выводы
- 35. Вопросы ?