Привет! Меня зовут Артём Дронов, я аналитик команды A/B-тестирования в Авито. Недавно мы выпустили на внешний рынок продукт, который помогает нам проводить эксперименты в компании — это платформа для A/B-тестирования Trisigma, разработанная AvitoTech.
За последние пять лет количество экспериментов в Авито выросло с сотни до нескольких тысяч в год. Наша платформа Trisigma сейчас — ключевой инструмент для анализа и тестирования гипотез, а в итоге — важное условие для успеха бизнеса. В этой статье я рассказываю, как работает Trisigma и чем она отличается от других платформ.
Перейти на сайт Trisigma можно по клику вот здесь, а по этой ссылке вы найдете техническую документацию платформы.
Про то, как в целом устроено тестирование в Авито, мой коллега Данила писал ранее на Хабре, вот эта статья. Рекомендую к прочтению, если вам интересно А/B-тестирование и организация этого процесса.
Что вообще такое Trisigma?
Это платформа для автоматизации А/B-тестирования и комплексной аналитики цифровых сервисов. Trisigma помогает компаниям принимать решения о качестве и эффективности разработки новых и обновлению существующих продуктов, основываясь на анализе данных и результатах экспериментов.
Trisigma изначально была создана для внутренних нужд и первое применение получила в Авито. В процессе использования мы накопили определенный опыт, а потом поняли — пора делиться наработками с рынком в рамках полноценного продукта. В дальнейшем AvitoTech намерена расширить свое присутствие в сегменте B2B-решений, представив и другие продукты для оптимизации и автоматизации разработки.
Еще одна разработка AvitoTech — инструмент для мобильных автотестов Emcee, узнать о котором больше можно здесь.
В каких случаях Trisigma выгодна?
Trisigma будет работать с бизнесом любого размера — от стартапов до крупных корпораций, которые создают цифровые продукты для массового рынка. Но особенно оценят платформу компании из сфер электронной коммерции, банковского сектора, стриминговых сервисов и образовательных платформ. Наиболее эффективно оценить смогут в бизнесах, ориентированных на b2c и с большим потоком пользователей — цифры А/Б-тестов показательны только когда есть достаточно широкая выборка.
Мы посчитали, что самостоятельная разработка аналогичной платформы обойдется средней компании в несколько десятков миллионов рублей и потратить на это придется примерно два года. Кроме того, вложения на поддержку инфраструктуры и команды платформы составят не менее 50 миллионов рублей.
Trisigma же стоит существенно дешевле, так как развертывается в облаке, а вся поддержка и работа команды – на стороне AvitoTech. Она не требует значительных технических ресурсов со стороны клиентов и легко масштабируется. Точная стоимость использования Trisigma зависит от потребностей конкретного клиента.
Как мы начинали и к чему пришли
О своей платформе для A/B-тестов в Авито задумались еще в 2016 году. Тогда провели два масштабных редизайна и оба релиза катились в прод без A/B. В редизайн было вложено много ресурсов, затягивать релиз никто не хотел, а A/B-тесты стоили дорого. Это вышло боком – метрики покупателей после релизов «упали ступенькой».
2017 год был объявлен годом быстрых A/B-экспериментов – релизы регулярно стали проходить валидацию через эксперименты. Аналитики проводили тесты руками в формате 24/7. Стало понятно, что аналитика A/B — бутылочное горлышко и пришло время строить платформу, так что запрос на платформу у нас сформировался от продукта.
К каким выводам мы пришли:
- без платформы АБ-тестов продуктовая команда вынуждена заниматься ручным трудом и все упирается в ресурс аналитика, причем этот аналитик должен быть высокой квалификации. И при этом он может тратить неделю на один эксперимент;
- при внедрении платформы Trisigma «бутылочных горлышек» не остается, аналитика автоматизируется, поэтому количество экспериментов зависит только от количества идей/гипотез, которые продуктовая команда успевает доставлять до конечного пользователя;
- платформа стимулирует горизонтальное расширение компании, появление новых продуктовых команд. Аналитик с помощью платформы может одновременно проводить десяток экспериментов, сотни в год.
Немного цифр из опыта использования Trisigma в Авито:
- количество продуктовых экспериментов в год увеличилось с 10+ до 4000+;
- успешные эксперименты обеспечили рост ключевых показателей, таких как выручка или количество покупателей, на уровне 10–20% в год.
Преимущества Trisigma
Выделю четыре основных на мой взгляд достоинства платформы:
- Скорость и удобство тестирования. Trisigma позволяет быстро запускать эксперименты и проверять гипотезы, что ускоряет развитие продукта благодаря более оперативному внедрению новых функций.
- Оптимизация рабочего времени аналитиков. Благодаря автоматизации расчёта метрик платформа освобождает до 90% рабочего времени аналитиков: ресурсы команды теперь могут быть перераспределены для решения более сложных и креативных задач.
- Единая система для всех команд. Платформа объединяет данные по всем экспериментам в одном месте независимо от специфики работы команды.
- Минимизация ошибок. Повышение надежности результатов за счет исключения человеческих ошибок.
Trisigma связывает процесс тестирования новых функций с анализом их влияния на бизнес-показатели. Это помогает компаниям получить полную картину развития цифрового продукта и избегать потерь от запуска неудачных обновлений.
О функционале. Если тезисно пробежаться по возможностям платформы — то я выделяю шесть основных пунктов:
- настройка групп и весов — Trisigma поддерживает возможность сплитования фичей на неограниченное количество групп. Каждой группе можно установить свой вес;
- проведение экспериментов на любых устройствах — WEB и мобильные приложения;
- обработка большого числа метрик и сегментов в эксперименте — десятки тысяч метрик-разрезов в одном эксперименте считаются бесперебойно;
- полностью прозрачное экспериментирование: История изменений, Комментарии, Описание, Ответственные специалисты;
- безопасный запуск большого множества экспериментов одновременно — система слоев позволяет проводить большое количество экспериментов одновременно без рисков их конфликтов;
- таргетирование пользователей. Раздавайте фичи только целевым пользователям за счет: Проведения экспериментов со списками конкретных пользователей, Анализа данных только по пользователям, столкнувшихся с тестовой фичей (получивших Exposure).
Интерфейс и возможности
Страница экспериментов. На главной странице собраны все эксперименты компании. Сотни команд одновременно тестируют гипотезы через Trisigma, а фильтры помогают быстро находить нужные проекты по команде, задаче или другим параметрам.
Создание эксперимента. Запуск нового теста начинается с заполнения формы. В ней указываются:
- продуктовые данные (например, команда и задача);
- технические параметры (тип устройств, версии приложений).
Платформа поддерживает гибкость: можно вручную задавать группы пользователей, использовать списки, а также устанавливать параметры взаимодействия тестов друг с другом.
Отчёты по экспериментам. Ключевая особенность Trisigma — удобный отчёт с результатами тестов. Чаще всего мы проводим эксперименты в формате Fixed Horizon. В отчёте отображаются:
- оценка изменений для каждой метрики;
- динамика изменений (по клику на ячейку таблицы);
- целевые и контрметрики эксперимента.
Платформа предоставляет множество возможностей для поиска и фильтров. При настройке эксперимента можно определить, в каких сегментах будут посчитаны нужные метрики.
После этого мы можем в отчёте посмотреть на разницу в поведении пользователей по сегментам, например, по разным регионам или версиям устройств. Важно отметить, что все метрики, которые мы сейчас видим в отчёте, считаются по единым принципам во всех экспериментах на платформе. Для того чтобы обеспечить подобный расчёт продуктово и инфраструктурно, мы используем так называемый семантический слой.
Семантический слой: основа стандартов
Семантический слой — это в некотором смысле уровень абстракции, который вводится между продуктовыми запросами и данными в хранилище. Как правило, он состоит в формулировании некоторых правил, по которым могут быть подсчитаны продуктовые метрики.
Семантический слой упрощает работу аналитиков:
- все метрики считаются по единым стандартам;
- исключаются разночтения, поскольку правила расчёта задаются один раз и используются всеми командами.
Как это работает?
Для добавления метрики нужно:
- Определить источник данных.
- Задать логику расчёта (описать действия и колонки).
- Оформить метрику в реестре, добавив теги и описание.
После этого метрика становится доступной в инфраструктуре компании: её можно добавлять в эксперименты или использовать в отчётности.
Подробнее почитать об этом можно в статье Данилы по этой ссылке.
Удобство и взаимодействие команд
Trisigma помогает не только запускать тесты, но и решать задачи, связанные с конфликтами экспериментов:
- система слоёв изолирует тесты друг от друга;
- пересечения между тестами пользователи отмечают в UI, а платформа подсказывает, как безопасно запускать новые эксперименты.
Кроме того, аналитики могут обсуждать тесты прямо на платформе, задавать вопросы в комментариях и уточнять дальнейшую стратегию. Также на платформе можно оформлять итоги эксперимента, чтобы в дальнейшем было удобнее изучать прошлые результаты.
Итоги
Trisigma позволяет автоматически проверять эффективность новых функций на разных сегментах аудитории до их массового запуска. Компании могут запускать сотни экспериментов одновременно на различных платформах и операционных системах, а также в разных пользовательских сегментах. Имеются гибкие настройки тестов и генерация подробных отчетов о результатах.
Платформа умеет обрабатывать большие потоки данных цифровых сервисов, вычислять и систематизировать метрики и показатели качества продукта. Система интегрируется с существующими у клиента аналитическими системами (разными БД, например Clickhouse), чтобы забирать данные и по ним считать метрики. Также Trisigma визуализирует результаты в понятной и доступной форме, что упрощает анализ даже для тех, кто не является профессиональным аналитиком.
Trisigma — это не просто платформа для тестирования. Это инструмент, который стандартизирует подход к анализу данных, ускоряет работу и позволяет экспериментировать с продуктами более осознанно.
Спасибо за уделенное статье время! Если у вас появились вопросы по работе продукта — встретимся в комментариях.
Если вам интересны подробности, заглядывайте в наш Telegram-канал Avito Data Tech. Там мы делимся материалами о Trisigma и других проектах нашей команды.
Больше о том, какие задачи решают инженеры Авито, — на нашем сайте и в телеграм-канале AvitoTech. А вот здесь — свежие вакансии в нашу команду.
