Эксперименты
Отчёты собраны движком abengine по синтетическим логам интернет-магазина: 150 000 пользователей, 4 недели истории и 3 недели экспериментов. Четыре эксперимента идут одновременно с независимым хешированием пользователей.
| Эксперимент | Пользователей | Основная метрика | Эффект | p-value | Решение |
|---|---|---|---|---|---|
| A/A-проверка платформы aa_platform_check | 118 739 | Конверсия в покупку | +0,30 % | 0,788 | Эффект не обнаружен |
| Новый чекаут в один экран checkout_redesign | 118 739 | Конверсия в покупку | +3,03 % | 0,0081 | Раскатывать |
| Баннер акции на главной promo_banner | 116 441 | Выручка на пользователя | +0,49 % | 0,785 | Невалидный эксперимент |
| Блок рекомендаций v2 recommendations_v2 | 118 739 | CTR карточек товара | +6,71 % | < 0,0001 | Не раскатывать |
Что внутри отчёта: проверка сплита (SRM) и баланса групп до старта, CUPED, дельта-метод для метрик-отношений, поправка Холма, последовательный анализ (mSPRT), срезы. Методы проверены на 3 000 симулированных экспериментов — результаты в README.