Данила Леньков, Avito - Инфраструктура A/B-тестирования для централизации обработки результатов скачать в хорошем качестве

Данила Леньков, Avito - Инфраструктура A/B-тестирования для централизации обработки результатов

Совсем скоро Матемаркетинг-22, 17-18 ноября Подробности: https://matemarketing.ru/ Программа: https://clck.ru/y6jEV Купить билет: https://matemarketing.ru/ Доклад рассказывает об общем устройстве инфраструктуры с погружением в детали: безопасный сплит трафика в тесте, типы метрик, производительность при масштабировании, оптимизация, визуализация. Слушатели смогут перенять опыт в построении эффективной инфраструктуры. Платформа А/В-тестирования нужна для того, чтобы валидировать продуктовые изменения. Главная трудность состоит в том, что невозможно быстро запускать A/B-тесты, потому что всё делается «руками». Перед аналитиками стоит задача ускорить и автоматизировать этот процесс. Когда A/B-тестов становится много, они начинают накладываться друг на друга, пересекаться, ломать интерфейс, приводя к некорректным результатам. Статистика Avito: 50 экспериментов одновременно, в каждом эксперименте трекается примерно 300 метрик, а если учитывать срезы, то число метрик достигает 8000. Каждый день проводится примерно 14 млн. измерений. Такие числа в принципе невозможно отсмотреть. Поэтому, чтобы отсматривать такое количество результатов нужно иметь грамотную визуализацию. Короткие выводы: 1. Текстовые конфиги лучше, чем GUI 2. Использование слоёв и тройного посола для распределение трафика 3. Универсальная формула метрик – observations/ groupby/ threshold 4. Внедрение «бакетов» 5. Линеаризация Ratio вместо Bootstrap 6. Табло для визуализации результатов 7. Minimum Detedtable Effect – важнейший показатель 8. Lift, P-value в динамике, гистограмы