Все

Авито. Рекомендации

2023-10-23 12:00 Видео data science interview
А вы задумывались, как устроены рекомендации в Авито, и есть ли у бесконечности предел? Что общего между пользователем и товаром, можно ли их сравнивать? Что за Collab, Item2Vec, CatBoost, Redis и User2Vec? Кто такой Портосик?
На эти и другие вопросы мы постарались ответить в этом видео.
В далёком 2015 году главная страница Авито навсегда изменилась. На смену тогда уже привычной карте России пришла бесконечная лента персональных рекомендаций. Во главе с Василием Лексиным был создан юнит Recommendations. Перед инженерами стояли амбициозные цели, которые требовали использования передовых технологий и принятия смелых решений.
Машинное обучение сегодня для нас с вами обыденность. ML-модели используются повсеместно, от самых известных, которые умеют создавать картины или описывать предметы, до узконаправленных и спрятанных «под капотом» привычных нам сервисов, которыми мы пользуемся ежедневно.
Но на старте сервиса Рекомендаций ML-модели не умели делать практически ничего из этого. Результаты их работы были далеки от идеала, поэтому инженерам из новообразованного юнита предстояло создать сервис Рекомендаций с нуля.

00:00 | Начало
00:52 | Что из себя представляют рекомендаци?
03:39 | Как рекомендации стали центральной частью Авито
04:27 | История сервиса
06:21 | Как сформировался юнит Recommendations
08:00 | Главный вызов
09:53 | Как изменилась главная страница Авито
10:19 | Техническое устройство Рекомендаций
12:53 | ML-модели
14:43 | Хранение данных
17:47 | Архитектура Рекомендаций
21:48 | Базовые модели Рекомендаций
26:38 | Catboost, ранжирование и Representation
29:28 | Работа Авито Рекомендаций с самого начала
31:17 | История кота Портосика
35:40 | Финал

Статьи по теме на Хабре:
Как и почему перешли с Python на Go: https://clc.to/9VnV_A
Разработка — всё? Действительно ли нас всех заменят роботы: https://clc.to/bjLxkA
Как data science Авито Доставке помогал: https://clc.to/mEHJsw
Как мы используем item2vec для рекомендаций похожих товаров: https://clc.to/gjF6Hw
Молчание вентиляторов. Google Colab, Javascript и TensorflowJS: https://clc.to/fYum0w
Использование faiss для поиска по многомерным пространствам: https://clc.to/dHf0qg
Простое руководство по дистилляции BERT: https://clc.to/N70EwA

AvitoTech — это команда инженеров Авито. Подпишитесь на наш канал, соцсети и блоги, чтобы узнавать больше о технологиях Авито 👇🏻
ВК: https://vk.com/avitotech
Телеграм: https://t.me/avitotech
Хабр: https://habr.com/ru/company/avito
Медиум (eng): https://medium.com/avitotech
Гитхаб: https://github.com/avito-tech
Сайт: https://avito.tech