Избегаем ошибок в экспериментах: что если A и B разошлись

Доклад Тимура построен от простых вещей к сложным. Сначала он напоминает базовую теорию про A/B-тесты и эксперименты, а затем переходит к конкретному кейсу по анализу скидочных акций на услуги продвижения.

00:00 — Представление спикера и план доклада
01:11 — Объяснение A/B-тестов на примере запуска Доставки
04:01 — Уточняем результат: RATIO, proxy-метрика, subsample и выбор пользователей для теста
13:28 — Кейс: анализ скидок на продвижение на Авито
17:35 — Уточняем результаты: subsample и subsample + proxy
22:05 — Смотрим на разрезы
24:39 — Ошибки, которые закрались в предыдущие выводы, и как их починить
38:25 — Выводы: что привело к успеха
20:46 — Ответы на вопросы

Посмотреть презентацию Тимура