2. Разбираемся в аббревиатурах
● БД - база данных, массив информации,
например в файле, на диске, флэшке
или кластере компьютеров
● СУБД - система управления базами
данных. Это программа для внесения
изменений в базу данных и поиска по
ней.
3. Who am I?
● технический руководитель департамента хранения данных, Mail.Ru
Group
● в балете опыт менеджмента - 17 лет
● техническое руководство top-notch C/C++ разработчиками
● а также, с некоторых пор, Python Developers, Frontend Developers,
Devops, Support Engineers, Technical Writers, etc
● автор курса о современных СУБД для проекта Техносфера на ВМК МГУ
● Основатель Moscow MySQL User Group - сообщества из более 500
пользователей и администраторов СУБД MySQL
● В Mail.Ru придумал и делаю единственную российскую NoSQL СУБД -
Tarantool
5. Что мы для этого делаем
● Одно из крупнейших сообществ разработчиков в России - 600 человек
● Сертификация
● Тренинги
● HR awareness
6. План встречи
● SQL, NoSQL, DWH, OLAP, ETL, BigData, - что это вообще значит?
● Какие специалисты по СУБД бывают
● Предварительный отбор DBA: наиболее важные критерии
● Q&A
7. SQL
● SQL - structured query language,
структурированный язык
запросов. Стандарт языка работы
с данными в реляционных СУБД,
предложенный IBM в 1974 г.
Содержит как команды
изменения данных (INSERT,
UPDATE), так и поиска (SELECT)
9. Краткая история СУБД: модели данных
● Ранние СУБД имитируют средства для хранения информации реального
мира: библиотеки, картотеки или бухгалтерскую книгу (гроссбух)
● 1970: всё есть иерархия
● 1980: всё есть таблица (SQL)!
● 1990: всё есть объект
● 2000: всё есть документ!
● 2010: NoSQL
● 2020: возврат SQL
Представления человека о структуре информации только формируются!
10. По модели данных
● Иерархические
● Реляционные
● Объектные
● Документные
● Графовые
● Мульти-модельные (современный тренд)
16. OLTP и OLAP
● OLTP - on-line transaction
processing, обработка транзакций
в реальном времени. Речь идёт
как о банковских транзакциях, так
и retail/e-commerce и др.
● OLAP - on-line analytical
processing - интерактивная
аналитическая обработка
транзакций. Технология
*подготовки* данных к
многомерному анализу
18. BI, DWH
BI - business intelligence -
деятельность по анализу данных о
работе предприятия направленная на
поиск новых возможностей по
развитию бизнеса
DWH - data warehouse, склад данных -
практика сбора данных о работе
предприятия в отдельную СУБД
предназначенную для BI, и сам такой
склад
19. BigData
Big Data, большие данные - наборы данных
слишком большие для управления
“традиционными” СУБД.
… ничем не напоминает “NoSQL”?
На самом деле: Программы и методы для
предиктивной и поведенческой аналитики.
Размер набора данных не так важен.
20. Первые 6 способов классификации СУБД (из 126)
● по назначению: OLTP/OLAP/документооборот/time series/high frequency
trading
● по способу размещения: cloud/on premise/horizontal/vertical/database
machine
● по бизнес модели: open vs. closed source
● по модели данных
● по модели консистентности
● по эксплуатационным свойствам
○ Variety
○ Velocity
○ Volume
21. 5 баз данных, которые у вас на слуху
● PosgreSQL - OLTP, реляционная, открытая, вертикально
масштабируемая
● MySQL - OLTP, реляционная, открытая, вертикально масштабируемая
● Oracle - OLTP, реляционная, закрытая, вертикально масштабируемая
● Microsoft SQL Server - OLTP, реляционная, закрытая, вертикально
масштабируемая
● MongoDB - OLTP, документная, открытая*, горизонтально
масштабируемая
Скорее всего вы будете искать DBA для СУБД из top5!
23. Две главных профессии, связанные с СУБД
● 99% современного программного обеспечения используют СУБД
● Навыки работы с СУБД - обязательны для любого разработчика
Но есть две профессии связанные исключительно с СУБД:
● DBA - Database Administrator, администратор баз данных -
проектирование баз данных, их создание и эксплуатация
● PL/SQL, Pg/PLSQL Developer - разработчик на языке PL/SQL -
разработчик программ выполняющихся внутри СУБД (хранимых
процедур)
24. Будущее профессии
Amazon Aurora, Google BigQuery, Microsoft Azure SQL - базы данных уходят в
облако и не требуют DBA.
При этом опыта использования облачных продуктов на рынке пока нет - нет
и специалистов на рынке труда.
25. Какой DBA стоит дороже?
Oracle: опыт работы с Oracle Database Options
● Real Application Clusters
● In-Memory
● Partitioning
● OLAP/Advanced Analytics
MySQL, PostgreSQL, Microsoft SQL Server, MongoDB - чёткой градации нет,
необходимо квалифицировать soft skills.
26. Путь джедая в профессии
QA/Системный
администратор
DBA
Devops Разработчик
27. И уйти из авиации?
MySQL MS SQL
PostgreSQL Oracle
Банки, энтерпрайзы,
больше денег,
Меньше работы и
больше стабильности
Но… тренды
заставляют думать о
будущем
Стартапы,
Digital, возможно
больше денег но
и больше
работы.
Свежевыжатый
сок и вот это
вот всё.
31. Вопросы при найме DBA
● Общий объём данных в эксплуатации (строк, байт)?
● Чем бэкап отличается от репликации?
● В чём заключается смысл принципа need to know?
● Как правильно обновлять схему данных в production?
32. Где искать DBA
● PG Day, PGConf
● MySQL User Group meetup
● Highload, Стачка!, Devconf
● Tarantool User Group
● Конференция “Корпоративные базы данных”, “Технологии баз данных”
● Oracle Technology Days
33. Adam Bosworth’s six F
1. Fame - become famous, by making a great product
2. Fortune - money is king, earn a fortune, everything else comes second
3. Family - this job is good for your family, either by providing you with enough
money and time for the family or by being your family
4. Freedom - being able to do what you want at work. You lose it when you get
the first customer
5. Fun - because your work is fun
6. Force - because your work gives you a chance to improve lives of many
people.
34. Знакомтесь, господин Н.
● Закончил ВМК МГУ
● участвовал в заметном научном проекте
● опыт работы в Yandex, PT Security
● блестяще проходит техническое интервью
● решает сложнейшие задачи на работе
● Через 9 месяцев переведён в probation, через 12
уволен со скандалом
Что не так?
35. Знакомтесь, господин Н.
● Написал свою операционную систему
● Невероятная производительность
● Коллеги, работающие с Н., теряют интерес к
работе и уходят
● Через год работы обнаруживается side project
● Через 2 года конфликтов и переводов внутри
Mail.Ru Group успешно уходит в Yandex на роль
ведущего разработчика
Итог: 3 года в Mail.Ru Group, 0 строк кода в production
36. Topgrading
● 8 шагов при отборе
● оценка по 50
компетенциям
● TORC техника
● topgrading snapshot