Никита Маршалкин |AB-тесты сложнее, чем кажется |Интервью |karpov.courses
Симулятор A/B-тестов: to.karpov.courses/EfZPIw У нас гостях Никита Маршалкин, Data Scientist Вконтакте. Мы обсудили, как устроены A/B-тесты в компании, а именно: ● как работают системы сплитования; ● работают ли обычные статистические тесты на Big Data и какие подводные камни там есть; ● особенности A/B-тестов в социальных сетях; ● где научиться мастерски проводить A/B-тестирование. А/Б-тесты, подборка от Никиты: 1. Бомбическая книжка: https://experimentguide.com 2. Кладезь информации про А/Б в индустрии: https://exp-platform.com 3. Practitioner’s Guide to Statistical Tests: https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f 4. Пуассоновский бутстрап и бакетизация: https://research.google/pubs/pub43157/ 5. Эксперименты в соцсетях: https://arxiv.org/abs/1404.7530 6. Заметки с саммита по экспериментам на KDD’19: https://research.fb.com/publications/top-challenges-from-the-first-practical-online-controlled-experiments-summit/ 7. Туториал по построению оптимизации в b2c продуктах: https://onlineuserengagement.github.io/ Учитесь Data Science с нами: https://karpov.courses/ 00:00 Что такое A/B-тесты 03:02 Системы сплитования 12:55 Экосистема A/B-тестов ВКонтакте 16:50 Тонкости тестирования на проде 18:55 Проверка гипотез на Big Data 23:25 Bootstrap 27:34 A/B-тесты без A/B-тестов 30:10 Ухудшающие A/B-тесты 31:55 Можно ли принимать решения без A/B-тестов ? 33:38 Кто те люди, которые занимаются A/B-тестами? 34:55 Материалы и знания, которых нигде нет! . . . . #удаленнаяработа #аналитика #аналитик #аналитикданных #mlинженер #продакт #продактменеджер #abтесты #карповкурсы #сезонконтентаRUTUBE #karpovcourses #валерабабушкин #анатолийкарпов #толякарпов #работавit
Симулятор A/B-тестов: to.karpov.courses/EfZPIw У нас гостях Никита Маршалкин, Data Scientist Вконтакте. Мы обсудили, как устроены A/B-тесты в компании, а именно: ● как работают системы сплитования; ● работают ли обычные статистические тесты на Big Data и какие подводные камни там есть; ● особенности A/B-тестов в социальных сетях; ● где научиться мастерски проводить A/B-тестирование. А/Б-тесты, подборка от Никиты: 1. Бомбическая книжка: https://experimentguide.com 2. Кладезь информации про А/Б в индустрии: https://exp-platform.com 3. Practitioner’s Guide to Statistical Tests: https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f 4. Пуассоновский бутстрап и бакетизация: https://research.google/pubs/pub43157/ 5. Эксперименты в соцсетях: https://arxiv.org/abs/1404.7530 6. Заметки с саммита по экспериментам на KDD’19: https://research.fb.com/publications/top-challenges-from-the-first-practical-online-controlled-experiments-summit/ 7. Туториал по построению оптимизации в b2c продуктах: https://onlineuserengagement.github.io/ Учитесь Data Science с нами: https://karpov.courses/ 00:00 Что такое A/B-тесты 03:02 Системы сплитования 12:55 Экосистема A/B-тестов ВКонтакте 16:50 Тонкости тестирования на проде 18:55 Проверка гипотез на Big Data 23:25 Bootstrap 27:34 A/B-тесты без A/B-тестов 30:10 Ухудшающие A/B-тесты 31:55 Можно ли принимать решения без A/B-тестов ? 33:38 Кто те люди, которые занимаются A/B-тестами? 34:55 Материалы и знания, которых нигде нет! . . . . #удаленнаяработа #аналитика #аналитик #аналитикданных #mlинженер #продакт #продактменеджер #abтесты #карповкурсы #сезонконтентаRUTUBE #karpovcourses #валерабабушкин #анатолийкарпов #толякарпов #работавit