checkout_redesign · 07.09.2026 — 27.09.2026

Новый чекаут в один экран

Гипотеза: Оформление заказа в один экран вместо трёх поднимет конверсию в покупку

Раскатывать

Конверсия в покупку: +3,0 % [+0,8 %; +5,3 %], p = 0,0081. Защитные метрики не ухудшились.

Пользователей118 739 control 59 580 · treatment 59 159

Конверсия в покупку (основная)+3,03 % 95 % ДИ [+0,79 %; +5,27 %], p = 0,0081

Сплит 50/50 (SRM)в порядке χ² = 1,5, p = 0,222

Баланс до старта (выручка)в порядке разница −2,2 %, p = 0,228

Метрики

Метрика	Control	Treatment	Изменение, 95 % ДИ	p-value	CUPED: −дисперсия	MDE	Итог
Конверсия в покупку основная Доля пользователей хотя бы с одним оплаченным заказом	18,77 %	19,20 %	+3,03 % [+0,79 %; +5,27 %]	0,0081	12 %	3,2 %	лучше
Выручка на пользователя вторичная Выручка оплаченных заказов / пользователи в эксперименте	857 ₽	894 ₽	+5,38 % [+1,80 %; +8,96 %]	0,0032 Холм: 0,0097	19 %	5,1 %	лучше
Средний чек вторичная Выручка / число оплаченных заказов	3 170 ₽	3 160 ₽	−0,02 % [−2,52 %; +2,48 %]	0,989 Холм: 0,989	13 %	3,6 %	нет разницы
CTR карточек товара вторичная Клики / просмотры карточек	11,56 %	11,59 %	−0,41 % [−1,23 %; +0,42 %]	0,333 Холм: 0,667	53 %	1,2 %	нет разницы
Доля отменённых заказов защитная Отменённые / все заказы	7,35 %	7,43 %	+1,19 % [−6,61 %; +8,99 %]	0,765	0 %	11,1 %	нет разницы

Изменение и интервал — с CUPED (ковариата — та же метрика за 28 дней до старта); для отношений — линеаризация + CUPED, без снижения дисперсии — дельта-метод. Вторичные метрики — с поправкой Холма; защитные проверяются без поправки, чтобы не пропустить вред. MDE — минимальный эффект, который тест заметил бы с мощностью 80 %.

лучше хуже разница не значима

Конверсия в покупку по дням

накопленный эффект 95 % ДИ на этот день всегда-валидный ДИ (mSPRT)

Если бы решение принимали, глядя на результат каждый день, обычный тест впервые показал бы p < 0,05 на 8-й день. Всегда-валидный mSPRT значимости не достиг (p = 0,057 на последний день). Итог принимается по плановой длительности (21 дней); узкий синий интервал честен только для одного взгляда в конце. Серый — интервал, которым можно пользоваться при ежедневном мониторинге.

Срезы по платформам

Платформа	Пользователей	Конверсия в покупку	95 % ДИ	p-value
Android	41 819	+0,71 %	[−2,98 %; +4,41 %]	0,706
iOS	24 450	+7,38 %	[+2,57 %; +12,18 %]	0,0026
Веб	52 470	+2,78 %	[−0,69 %; +6,25 %]	0,117

Разведочный анализ: без поправок на множественность, решения по срезам не принимаются — только гипотезы для следующих экспериментов.