В Авито созданы десятки сервисов, в которых используются модели машинного обучения. Модели встречаются большие и маленькие. Суммарная нагрузка на сервисы около 1млн RPM.
В докладе Олег рассказывает, как мы используем инфраструктуру для удобной эксплуатации МЛ-моделей и демонстрирует разработанную нами библиотеку для запуска МЛ-моделей в продакшне и под нагрузкой.