promo_banner · 07.09.2026 — 27.09.2026

Баннер акции на главной

Гипотеза: Баннер с акцией увеличит выручку на пользователя

Результатам нельзя доверять

Соотношение групп 59 230 : 57 211 вместо 50/50 (SRM, p < 0,0001). Пользователи теряются неслучайно — эффект смещён. Найти причину (логирование, редиректы, боты), исправить и перезапустить.

Пользователей116 441 control 59 230 · treatment 57 211

Выручка на пользователя (основная)+0,49 % 95 % ДИ [−3,02 %; +4,00 %], p = 0,785

Сплит 50/50 (SRM)нарушен χ² = 35,0, p < 0,0001

Баланс до старта (выручка)перекос разница +5,2 %, p = 0,0067

Метрики

Метрика	Control	Treatment	Изменение, 95 % ДИ	p-value	CUPED: −дисперсия	MDE	Итог
Выручка на пользователя основная Выручка оплаченных заказов / пользователи в эксперименте	875 ₽	900 ₽	+0,49 % [−3,02 %; +4,00 %]	0,785	19 %	5,0 %	нет разницы
Конверсия в покупку вторичная Доля пользователей хотя бы с одним оплаченным заказом	18,94 %	19,45 %	+1,51 % [−0,72 %; +3,74 %]	0,183 Холм: 0,550	12 %	3,2 %	нет разницы
Средний чек вторичная Выручка / число оплаченных заказов	3 168 ₽	3 162 ₽	−0,57 % [−3,06 %; +1,92 %]	0,653 Холм: 0,927	13 %	3,6 %	нет разницы
CTR карточек товара вторичная Клики / просмотры карточек	11,59 %	11,56 %	−0,31 % [−1,15 %; +0,52 %]	0,463 Холм: 0,927	53 %	1,2 %	нет разницы
Доля отменённых заказов защитная Отменённые / все заказы	7,06 %	7,72 %	+9,57 % [+1,45 %; +17,68 %]	0,021	0 %	11,6 %	хуже

Изменение и интервал — с CUPED (ковариата — та же метрика за 28 дней до старта); для отношений — линеаризация + CUPED, без снижения дисперсии — дельта-метод. Вторичные метрики — с поправкой Холма; защитные проверяются без поправки, чтобы не пропустить вред. MDE — минимальный эффект, который тест заметил бы с мощностью 80 %.

лучше хуже разница не значима

Выручка на пользователя по дням

накопленный эффект 95 % ДИ на этот день всегда-валидный ДИ (mSPRT)

Обычный тест ни в один из дней не показал p < 0,05. Всегда-валидный mSPRT значимости не достиг (p = 0,882 на последний день). Итог принимается по плановой длительности (21 дней); узкий синий интервал честен только для одного взгляда в конце. Серый — интервал, которым можно пользоваться при ежедневном мониторинге.

Срезы по платформам

Платформа	Пользователей	Выручка на пользователя	95 % ДИ	p-value
Android	41 081	+8,53 %	[+2,38 %; +14,69 %]	0,0066
iOS	24 029	−3,38 %	[−10,55 %; +3,80 %]	0,357
Веб	51 331	−4,40 %	[−9,66 %; +0,86 %]	0,101

Разведочный анализ: без поправок на множественность, решения по срезам не принимаются — только гипотезы для следующих экспериментов.