Мастер класс по алгоритмам. Часть 1
•Download as PPTX, PDF•
0 likes•1,044 views
http://it-people.ru/master-klass-po-algoritmam-i-stukturam-dannyx/
Report
Share
More Related Content
What's hot
What's hot (20)
Similar to Мастер класс по алгоритмам. Часть 1
Similar to Мастер класс по алгоритмам. Часть 1 (20)
More from Pavel Egorov
More from Pavel Egorov (14)
Мастер класс по алгоритмам. Часть 1
- 1. Мастер-класс по алгоритмам Павел Егоров https://twitter.com/xoposhiy pe@kontur.ru
- 2. Disclaimer • 200 часов — примерно столько нужно для подготовки минимального специалиста по алгоритмам • Длительность мастер-класса — 8 часов
- 3. Сложность алгоритмов C.N2 с различными константами Кажется, что константа очень важна C.N и C.N log(N) в сравнении с C.N2 Константа уходит далеко на второй план
- 4. Сложность алгоритмов • Процессор устроен так, что разные операции стоят разное количество тиков. • И даже стоимость одной операции может различаться в разы в зависимости от условий • Константа не имеет смысла! • Принято писать O(N log N), игнорируя константу
- 5. Асимптотическая сложность Говорят, «сложность алгоритма O(f(n))», если количество операций подразумеваемого вычислителя начиная с некоторого достаточно большого n0 меньше, чем f(n) (с точностью до константы). Боле строго: ∃C>0, n₀: ∀n > n₀ → operations(n) < C⋅f(n)
- 6. Массив • Массив: область памяти. • Операции: – a[i] = x – x = a[i] – a.Length • Важно: нельзя увеличить размер массива
- 7. Задача Циклический сдвиг массива Сдвинуть массив циклически на k. Идея: k раз сдвинуть массив циклически на 1 Сложность? Правильное решение?
- 9. Циклический сдвиг массива Reverse(array, 0, k-1); //O(k) Reverse(array, k, n-1); //O(n-k) Reverse(array, 0, n-1); // O(n)
- 10. Динамический массив Хотим массив, но с дополнительной операцией Add(x) Идея: – Держать массив размером с запасом. – Помнить количество использованных элементов этого массива – При исчерпании запаса — создавать новый больший массив и копировать всё в него
- 11. Динамический массив Add(x){ if (Count == array.Length) { var newArray = CreateNewArrayOfSize(array.Length+10); Copy(array, newArray); array = newArray; } array[Count++] = x; } for(int i=0; i<N; i++) list.Add(i); O(N + 10 + 20 + 30 + … + N) = O(N + (10 + N) * N / 20) = O(N*N)
- 12. Динамический массив Add(x){ if (Count == array.Length) { var newArray = CreateNewArrayOfSize(2*array.Length); Copy(array, newArray); array = newArray; } array[Count++] = x; } for(int i=0; i<N; i++) list.Add(i); O(N + 2 + 4 + 8 + … + N) = O(N + 2*N) = O(N)
- 14. Бинарное дерево поиска Хотим новую структуру данных Set! Операции: Contains(x), Add(x) быстрее O(N) Node { Node left, right; int value; } Сложность операций?
- 16. Бинарное дерево поиска На той же идее можно сделать и Map Операции: Add(key, value) value = Find(key) Node { Node left, right; int key; string value; }
- 17. Бинарное дерево поиска. Задача Сделать эффективную (быстрее O(N)) операцию node = GetNodeAt(index) Сложность операции? Node { Node left, right; int key; string value; int size; }
- 18. Бинарное дерево поиска. Задача Какова может быть сложность операции обхода всех узлов, начиная с первого узла с ключом left и заканчивая последним узлом с ключом right? foreach(Node node in GetAll(left, right)) Write(node.value); Node { Node left, right; int key; string value; }
- 19. Бинарное дерево поиска Добавление пары (key, value) Поиск по ключу Поиск i-ого элемента Перебор K последовательных элементов O(log N) O(K)
- 20. Хэш-таблица
- 21. Хэш-таблица Добавление пары Поиск по ключу O(1) Поиск i-ого элемента Перебор последовательных элементов O(N)
- 22. Hash vs Tree 16000 Tree/Hash 14000 12000 Tree 15 Hash 10 5 10000 0 8000 0 5000000 10000000 6000 4000 2000 0 0 2000000 4000000 6000000 8000000 C# 5.0 (Dictionary & SortedDictionary), i7 2GHz 10000000
- 23. Hash vs Tree Добавление 10М пар (в секундах) int → int int → string string → string Hash 0.5 3 6 Tree 5 9 44 Поиск 10М пар (в секундах) int → int int → string string → string Hash 0.7 3 8 Tree 7 12 75 Расход памяти на 10М пар int → int int → string string → string Hash 250 Mb 660 Mb 930 Mb Tree 290 Mb 560 Mb 850 Mb C# 5.0 (Dictionary & SortedDictionary), i7 2GHz
- 24. Задачка 1 Показать всех друзей Пети, которые были на этой странице новостей.
- 25. Задачка 2 Произвести нечеткое сравнение двух текстов. Результат сравнения — число от 0 до 1: 0 — не похожи, 1 — полностью совпадают
- 26. Задачка 3 Найти все товары, в описании которых встречаются все перечисленные теги.
- 27. SQL Select SELECT friend1 FROM Friends WHERE friend2 = ‘134123’ Индекс по friend2 — это что? Дерево или хэш? Что ключ, а что значение?
- 28. Обычные SQL-индексы — деревья B-Tree, B*Tree, B+Tree, … Оптимизируют работу с диском Очень похожи по характеристикам на бинарные деревья. Держать все данные в памяти будет быстрее (MemCache, Redis, …)
- 29. SQL и индексы 8.5.3. How MySQL Uses Indexes http://dev.mysql.com/doc/refman/5.0/en/mysql-indexes.html
- 30. SQL и понимание индексов
- 31. SELECT * FROM t WHERE a = 1; SELECT a FROM t WHERE a = 1; SELECT f1, f2, f3 FROM t WHERE f1='abc' AND f2=2 SELECT top 10 a FROM t WHERE a > 1 ORDER BY a; SELECT * FROM t WHERE name LIKE 'abc%'; SELECT * FROM t WHERE name LIKE '%abc'; SELECT * FROM t WHERE a > 100 AND b < 10; SELECT * FROM t WHERE a = 100 AND b < 10; SELECT * FROM t WHERE a > 100 AND b = 10; SELECT * FROM t WHERE f1='abc' AND f2 = 2; SELECT * FROM t WHERE f1='abc' AND f2=2 ORDER BY f3 DESC, f4 ASC
- 32. SELECT * FROM t WHERE f1='abc' OR f2=2; SELECT * FROM t WHERE DateAdd(f1, 7) = '2011-01-01'; SELECT * FROM t WHERE f1 = DateAdd( '2011-01-01', -7) SELECT * FROM points WHERE x BETWEEN 100 AND 200 AND y BETWEEN 200 AND 400; SELECT * FROM t1 JOIN t2 ON t1.cityname = t2.cityname SELECT * FROM parent JOIN child ON child.parentId = parent.id WHERE parent.type = 'important';
- 34. «Иные» запросы — иные индексы — иные структуры данных
- 35. Полнотекстовый поиск «котики порно скачать бесплатно» • [Исправление опечаток] • Лемматизация (кот порн скач бесплатн) • Синонимия (белочки sex download без смс) • Обратный индекс (слово → документы) • Ранжирование (сортировка результатов) Ключевые слова: Lucene (Solr, Elasticsearch), Sphinx
- 36. Гео-поиск «найди кафешку рядом со мной» SELECT * FROM Poi WHERE type="cafe" AND Distance(location, me) < 1000 R-Tree (rectangles tree), Geohash Ключевые слова: MySQL spatial extensions, Spatial Index, Geometric types, PostGIS
- 37. Распределенные БД Кластер, все данные в памяти → • Хэш-индексы — скорость • Деревянные индексы — порядок Как обрабатывать запросы?
- 38. Домашнее задание 0 Определить асимптотическую сложность алгоритма: int F0(int n){ int x = 0; for(int i=0; i<n; i++) for(int j=1; j<n; j*=2) x += i*j; return x; }
- 39. Домашнее задание 1 Определить асимптотическую сложность алгоритма: int F1(int n){ int x = 0; for(int i=0; i<n; i++) for(int j=i; j<n-i; j+=2) x += i*j; return x; }
- 40. Домашнее задание 2 Определить асимптотическую сложность алгоритма: int F2(int n){ int x = 0; int j = 1; for(int i=1; i<n; i++) { while (j<n && j%i !=0) j++; if (j<n) x += i*j; } return x; }
- 41. Домашнее задание 3* Дан алгоритм: void Make(int n, bool flag) { if (n==0) return; for (int i=0; i<n; i++) Action(flag); Make((int)(A*n), flag); Make((int)(A*n), !flag); } Действие Action выполняется за константное время. Определить асимптотическую сложность алгоритма при A=1/2, A=1/3 и A=2/3
- 42. Домашнее задание 4 Могут происходить следующие события: • Добавление нового комментария • Удаление комментария • «Like» комментарию • Запросить K не удалённых комментариев, которые менялись (добавлялись или лайкались) самыми последними.
- 43. Ещё о применении хэшей Ключевые слова: полиномиальный хэш, rolling hash