Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                
SlideShare a Scribd company logo

Рекомендательные системы: роль и оценка эффективности

•
•

Краткий обзор видов рекомендательных систем (персонализированные/неперсонализированные, холодный старт, коллаборативная фильтрация тип) и способов их применения в B2C сервисах для улучшения бизнес-показателей: снижения стоимости привлечения пользователя, улучшения удержания и повышения маржинальности.

1 of 20
Download to read offline
РЕКОМЕНДАТЕЛЬНЫЕ СИСТЕМЫ: РОЛЬ И ОЦЕНКА ЭФФЕКТИВНОСТИ Константин Савенков CEO Intento konstantin.savenkov@gmail.com Форум “Секреты детского маркетинга” 22-23 июня 2016
Про себя • 2014-2015 - операционный директор Bookmate, переключился с технических аспектов на цели и задачи бизнеса • С 2016 - со-основатель & CEO Intento • Консультирую несколько компаний по внедрению РС, иногда читаю лекции Константин Савенков, к.ф-м.н Занимаюсь рекомендательными системами с 2010 года, проекты Zvooq (музыкальный стриминг),Theory&Practice (образование) и Bookmate (чтение книг по подписке). (konstantin.savenkov@gmail.com)
План • Теория: поиск, рекомендательные системы, персонализация, холодный старт • Практика: рекомендательные системы в интерфейсах и коммуникации • Бизнес: что можно улучшить при помощи рекомендательных систем • Кейс: РС для оптимизации конверсии
Рекомендательные системы Между клиентом, который знает что ему нужно, и товаром в наличии не должно стоять ничего. Для всего остального есть рекомендательные системы. есть в наличии нет в наличии ПОИСК клиент знает что ему нужно РЕКОМЕНДАТЕЛЬНЫЕ СИСТЕМЫ клиент не уверен
Везде, где не хватает места показать всё что есть Особенно актуально для мобильных интерфейсов Рекомендательные системы на практике
Пример Bookmate витрина поиск фасетный поиск страница книги библиотека пользователя уведомления социальный фид
Несколько важных случаев • заменители (alternative) • сопутствующие товары (cross sell) • аксессуары (up sell) • пустое состояние • коммуникация ПОХОЖИЕ ТОВАРЫ, КОТОРЫЕ НЕ ПОКУПАЮТ ВМЕСТЕ OPEN RATE х2-х3 ЗА СЧЕТ ТАРГЕТИРОВАНИЯ ОБ ЭТОМ ЧАСТО ЗАБЫВАЮТ +12-20% К ЧЕКУ
Рекомендательные алгоритмы Интерфейс Правильный пользователь Объяснение Алгоритм Каталог неперсонализированные персонализированные на контенте на поведении оффлайн онлайн Алгоритм - лишь часть рекомендательной системы
ИНТЕРФЕЙСЫ И ПРОСТЫЕ АЛГОРИТМЫ АЛГОРИТМ АЛГОРИТМ ДАННЫЕ Пример простой рекомендательной системы История покупок в магазине Популярные товары Витрина для нового клиента с максимизацией покрытия аудитории Заменители / сопутствующие / аксессуары на странице товара (неперс.) Заменители / сопутствующие / аксессуары в корзине (неперс.) Таргетированная коммуникация Персональные рекомендации (оффлайн) Похожие товары СЛОЖНОСТЬ
Сделали простую РС Что дальше? Прежде, чем тратить больше ресурсов на улучшение рекомендательной системы, нужно: 1. Оценить эффект от простой РС (сплит-тест). 2. Понять, насколько его можно улучшить усложнением. Давайте с этим разберемся.
Бизнес показатели Юнит-экономика: маржинальные прибыли и убытки доход с клиента (LTV) СТОИМОСТЬ ТОВАРА ЗАТРАТЫ НА ПРИВЛЕЧЕНИЕ (CAC) времяжизниклиента средний чек средний чек … ПРОФИТ!
Продуктовые метрики траффик посетители активированные покупатели лояльные пассивные реактивированные % % % % % Связи на схеме - показатели, на которые влияет изменение продукта (сайта, сервиса, приложения) Каталог можно представить как матрицу: РОСТ МАРЖА CAC активация конверсия удержание реактивация
Влияние рекомендательной системы Затраты на привлечение Доход с клиента Стоимость проданного товара Маркетинговый бюджет Новые клиенты Средний чек Время жизни клиента Маржинальность корзины Конверсия Удержание Реактивация Маржинальность витрины ÷ ×
Влияние рекомендательной системы * *рекомендательная система Затраты на привлечение Доход с клиента Стоимость проданного товара Маркетинговый бюджет Новые клиенты Средний чек Время жизни клиента Маржинальность корзины Конверсия Удержание Реактивация Маржинальность витрины ÷ ×
Кейс: Повышение конверсии • Гипотезы для проверки: 1. Конверсия через рекомендуемые товары выше средней 2. Достаточно много пользователей воспользуется рекомендациями • Единственный путь - сплит-тестирование: – конверсия из разных каналов трафика отличается до 20 раз – аккуратно контролировать качество трафика сложнее, чем сделать сплит-тест • Делайте пилоты: – Запуск с ограниченными затратами, затем оценка результатов и решение о масштабировании (масштабирование своей системы, контракт с поставщиком итп)
Кейс Bookmate / E-Contenta Группа А Группа Б 3 первые книги от редакции 3 первые книги от РС хол. старта Воспользовались рекомендациями Конверсия в покупку Общая конверсия Выглядит неплохо! Неужели стало на 40% больше клиентов? На самом деле нет, так как лишь 7% не знало что почитать
Оценим экономическую эффективность • Для оплаты сторонней РС по модели CPO, комиссия за заказ не должна превышать $0.14 (на самом деле, должна быть еще ниже) • В случае фиксированного платежа за лицензию в размере $1000**/мес, этот вариант имеет смысл начиная с 7143 новых клиентов/мес, или размера маркетингового бюджета от $35K. * Величины CAC и маркетингового бюджета - модельные ** величина взята с потолка Общая конверсия С% Цена привлечения = $5 Группа А Группа Б Общая конверсия 1.028*С% Цена привлечения = $4.86 Конверсия выше в 1.4 раза для 7% пользователей Общая конверсия по всем каналам - С%
Другие кейсы • Повышение времени жизни клиента • сложность с проведением сплит-тестов (требуется много времени) • решение проблемы через когортный анализ • Повышение маржинальности • маржинальность корзины зависит от маржинальности витрины
С чего начать? • Анализ: посмотрите на поисковое поведение пользователей, чтобы понять, скольким из них понадобится рекомендательная система (и какая). • Простая неперсонализированная РС: Сделайте простую неперсонализированную систему, которая будет работать на всех (и новых, и повторных) и даст заменители, сопутствующие и аксессуары • Простая персонализированная РС: Обязательно сделайте сплит-тест и оцените эффект! • Стороннее решение холодного старта: Попробуйте какое-то стороннее решение на основе DMP для решения проблемы холодного старта. Обязательно пилот! Платите за улучшение относительно простого решения. • Стороннее решение на коллаборативной фильтрации, чтобы посмотреть на улучшение относительно простого алгоритма. Обязательно пилот! Платите за улучшение относительно простого решения. • Экономическая оптимизация. Как только объемы выросли, замените на свою систему или переговоритесь с поставщиком (например, с CPO на фиксированную цену)
Вопросы и ответы Константин Савенков konstantin.savenkov@gmail.com

More Related Content

Рекомендательные системы: роль и оценка эффективности

  • 1. РЕКОМЕНДАТЕЛЬНЫЕ СИСТЕМЫ: РОЛЬ И ОЦЕНКА ЭФФЕКТИВНОСТИ Константин Савенков CEO Intento konstantin.savenkov@gmail.com Форум “Секреты детского маркетинга” 22-23 июня 2016
  • 2. Про себя • 2014-2015 - операционный директор Bookmate, переключился с технических аспектов на цели и задачи бизнеса • С 2016 - со-основатель & CEO Intento • Консультирую несколько компаний по внедрению РС, иногда читаю лекции Константин Савенков, к.ф-м.н Занимаюсь рекомендательными системами с 2010 года, проекты Zvooq (музыкальный стриминг),Theory&Practice (образование) и Bookmate (чтение книг по подписке). (konstantin.savenkov@gmail.com)
  • 3. План • Теория: поиск, рекомендательные системы, персонализация, холодный старт • Практика: рекомендательные системы в интерфейсах и коммуникации • Бизнес: что можно улучшить при помощи рекомендательных систем • Кейс: РС для оптимизации конверсии
  • 4. Рекомендательные системы Между клиентом, который знает что ему нужно, и товаром в наличии не должно стоять ничего. Для всего остального есть рекомендательные системы. есть в наличии нет в наличии ПОИСК клиент знает что ему нужно РЕКОМЕНДАТЕЛЬНЫЕ СИСТЕМЫ клиент не уверен
  • 5. Везде, где не хватает места показать всё что есть Особенно актуально для мобильных интерфейсов Рекомендательные системы на практике
  • 6. Пример Bookmate витрина поиск фасетный поиск страница книги библиотека пользователя уведомления социальный фид
  • 7. Несколько важных случаев • заменители (alternative) • сопутствующие товары (cross sell) • аксессуары (up sell) • пустое состояние • коммуникация ПОХОЖИЕ ТОВАРЫ, КОТОРЫЕ НЕ ПОКУПАЮТ ВМЕСТЕ OPEN RATE х2-х3 ЗА СЧЕТ ТАРГЕТИРОВАНИЯ ОБ ЭТОМ ЧАСТО ЗАБЫВАЮТ +12-20% К ЧЕКУ
  • 9. ИНТЕРФЕЙСЫ И ПРОСТЫЕ АЛГОРИТМЫ АЛГОРИТМ АЛГОРИТМ ДАННЫЕ Пример простой рекомендательной системы История покупок в магазине Популярные товары Витрина для нового клиента с максимизацией покрытия аудитории Заменители / сопутствующие / аксессуары на странице товара (неперс.) Заменители / сопутствующие / аксессуары в корзине (неперс.) Таргетированная коммуникация Персональные рекомендации (оффлайн) Похожие товары СЛОЖНОСТЬ
  • 10. Сделали простую РС Что дальше? Прежде, чем тратить больше ресурсов на улучшение рекомендательной системы, нужно: 1. Оценить эффект от простой РС (сплит-тест). 2. Понять, насколько его можно улучшить усложнением. Давайте с этим разберемся.
  • 11. Бизнес показатели Юнит-экономика: маржинальные прибыли и убытки доход с клиента (LTV) СТОИМОСТЬ ТОВАРА ЗАТРАТЫ НА ПРИВЛЕЧЕНИЕ (CAC) времяжизниклиента средний чек средний чек … ПРОФИТ!
  • 12. Продуктовые метрики траффик посетители активированные покупатели лояльные пассивные реактивированные % % % % % Связи на схеме - показатели, на которые влияет изменение продукта (сайта, сервиса, приложения) Каталог можно представить как матрицу: РОСТ МАРЖА CAC активация конверсия удержание реактивация
  • 13. Влияние рекомендательной системы Затраты на привлечение Доход с клиента Стоимость проданного товара Маркетинговый бюджет Новые клиенты Средний чек Время жизни клиента Маржинальность корзины Конверсия Удержание Реактивация Маржинальность витрины ÷ ×
  • 14. Влияние рекомендательной системы * *рекомендательная система Затраты на привлечение Доход с клиента Стоимость проданного товара Маркетинговый бюджет Новые клиенты Средний чек Время жизни клиента Маржинальность корзины Конверсия Удержание Реактивация Маржинальность витрины ÷ ×
  • 15. Кейс: Повышение конверсии • Гипотезы для проверки: 1. Конверсия через рекомендуемые товары выше средней 2. Достаточно много пользователей воспользуется рекомендациями • Единственный путь - сплит-тестирование: – конверсия из разных каналов трафика отличается до 20 раз – аккуратно контролировать качество трафика сложнее, чем сделать сплит-тест • Делайте пилоты: – Запуск с ограниченными затратами, затем оценка результатов и решение о масштабировании (масштабирование своей системы, контракт с поставщиком итп)
  • 16. Кейс Bookmate / E-Contenta Группа А Группа Б 3 первые книги от редакции 3 первые книги от РС хол. старта Воспользовались рекомендациями Конверсия в покупку Общая конверсия Выглядит неплохо! Неужели стало на 40% больше клиентов? На самом деле нет, так как лишь 7% не знало что почитать
  • 17. Оценим экономическую эффективность • Для оплаты сторонней РС по модели CPO, комиссия за заказ не должна превышать $0.14 (на самом деле, должна быть еще ниже) • В случае фиксированного платежа за лицензию в размере $1000**/мес, этот вариант имеет смысл начиная с 7143 новых клиентов/мес, или размера маркетингового бюджета от $35K. * Величины CAC и маркетингового бюджета - модельные ** величина взята с потолка Общая конверсия С% Цена привлечения = $5 Группа А Группа Б Общая конверсия 1.028*С% Цена привлечения = $4.86 Конверсия выше в 1.4 раза для 7% пользователей Общая конверсия по всем каналам - С%
  • 18. Другие кейсы • Повышение времени жизни клиента • сложность с проведением сплит-тестов (требуется много времени) • решение проблемы через когортный анализ • Повышение маржинальности • маржинальность корзины зависит от маржинальности витрины
  • 19. С чего начать? • Анализ: посмотрите на поисковое поведение пользователей, чтобы понять, скольким из них понадобится рекомендательная система (и какая). • Простая неперсонализированная РС: Сделайте простую неперсонализированную систему, которая будет работать на всех (и новых, и повторных) и даст заменители, сопутствующие и аксессуары • Простая персонализированная РС: Обязательно сделайте сплит-тест и оцените эффект! • Стороннее решение холодного старта: Попробуйте какое-то стороннее решение на основе DMP для решения проблемы холодного старта. Обязательно пилот! Платите за улучшение относительно простого решения. • Стороннее решение на коллаборативной фильтрации, чтобы посмотреть на улучшение относительно простого алгоритма. Обязательно пилот! Платите за улучшение относительно простого решения. • Экономическая оптимизация. Как только объемы выросли, замените на свою систему или переговоритесь с поставщиком (например, с CPO на фиксированную цену)
  • 20. Вопросы и ответы Константин Савенков konstantin.savenkov@gmail.com