Никита Маршалкин: A/B-тесты сложнее, чем кажется | Интервью | karpov.courses скачать в хорошем качестве

Никита Маршалкин: A/B-тесты сложнее, чем кажется | Интервью | karpov.courses

Симулятор A/B-тестов: http://bit.ly/40uPpjt У нас гостях Никита Маршалкин, Data Scientist Вконтакте. Мы обсудили, как устроены A/B-тесты в компании, а именно: ● как работают системы сплитования; ● работают ли обычные статистические тесты на Big Data и какие подводные камни там есть; ● особенности A/B-тестов в социальных сетях; ● где научиться мастерски проводить A/B-тестирование. А/Б-тесты, подборка от Никиты: 1. Бомбическая книжка: https://experimentguide.com 2. Кладезь информации про А/Б в индустрии: https://exp-platform.com 3. Practitioner’s Guide to Statistical Tests:   / practitioners-guide-to-statistical-tests   4. Пуассоновский бутстрап и бакетизация: https://research.google/pubs/pub43157/ 5. Эксперименты в соцсетях: https://arxiv.org/abs/1404.7530 6. Заметки с саммита по экспериментам на KDD’19: https://research.fb.com/publications/... 7. Туториал по построению оптимизации в b2c продуктах: https://onlineuserengagement.github.io/ Учитесь Data Science с нами: https://karpov.courses/ 00:00 Что такое A/B-тесты 03:02 Системы сплитования 12:55 Экосистема A/B-тестов ВКонтакте 16:50 Тонкости тестирования на проде 18:55 Проверка гипотез на Big Data 23:25 Bootstrap 27:34 A/B-тесты без A/B-тестов 30:10 Ухудшающие A/B-тесты 31:55 Можно ли принимать решения без A/B-тестов ? 33:38 Кто те люди, которые занимаются A/B-тестами? 34:55 Материалы и знания, которых нигде нет!