aa_platform_check · 07.09.2026 — 27.09.2026

A/A-проверка платформы

Гипотеза: Группы ничем не отличаются: проверка сплитования и расчёта метрик

Эффект не обнаружен

Конверсия в покупку: +0,3 % [−1,9 %; +2,5 %], p = 0,788. При таком объёме тест заметил бы эффект от 3,2 % (MDE при мощности 80 %). Если меньший эффект важен — нужен больший трафик, иначе решение принимается по другим соображениям.

Пользователей118 739 control 59 428 · treatment 59 311

Конверсия в покупку (основная)+0,30 % 95 % ДИ [−1,91 %; +2,51 %], p = 0,788

Сплит 50/50 (SRM)в порядке χ² = 0,1, p = 0,734

Баланс до старта (выручка)в порядке разница +2,5 %, p = 0,182

Метрики

Метрика	Control	Treatment	Изменение, 95 % ДИ	p-value	CUPED: −дисперсия	MDE	Итог
Конверсия в покупку основная Доля пользователей хотя бы с одним оплаченным заказом	18,91 %	19,06 %	+0,30 % [−1,91 %; +2,51 %]	0,788	12 %	3,2 %	нет разницы
Выручка на пользователя вторичная Выручка оплаченных заказов / пользователи в эксперименте	863 ₽	888 ₽	+1,72 % [−1,80 %; +5,23 %]	0,338 Холм: 1,000	19 %	5,0 %	нет разницы
Средний чек вторичная Выручка / число оплаченных заказов	3 157 ₽	3 173 ₽	+0,64 % [−1,85 %; +3,12 %]	0,616 Холм: 1,000	13 %	3,5 %	нет разницы
CTR карточек товара вторичная Клики / просмотры карточек	11,55 %	11,60 %	−0,37 % [−1,19 %; +0,46 %]	0,384 Холм: 1,000	53 %	1,2 %	нет разницы
Доля отменённых заказов защитная Отменённые / все заказы	7,28 %	7,49 %	+3,18 % [−4,61 %; +10,97 %]	0,423	0 %	11,1 %	нет разницы

Изменение и интервал — с CUPED (ковариата — та же метрика за 28 дней до старта); для отношений — линеаризация + CUPED, без снижения дисперсии — дельта-метод. Вторичные метрики — с поправкой Холма; защитные проверяются без поправки, чтобы не пропустить вред. MDE — минимальный эффект, который тест заметил бы с мощностью 80 %.

лучше хуже разница не значима

Конверсия в покупку по дням

накопленный эффект 95 % ДИ на этот день всегда-валидный ДИ (mSPRT)

Обычный тест ни в один из дней не показал p < 0,05. Всегда-валидный mSPRT значимости не достиг (p = 1,000 на последний день). Итог принимается по плановой длительности (21 дней); узкий синий интервал честен только для одного взгляда в конце. Серый — интервал, которым можно пользоваться при ежедневном мониторинге.

Срезы по платформам

Платформа	Пользователей	Конверсия в покупку	95 % ДИ	p-value
Android	41 819	+0,89 %	[−2,81 %; +4,59 %]	0,636
iOS	24 450	+0,15 %	[−4,49 %; +4,79 %]	0,949
Веб	52 470	−0,12 %	[−3,54 %; +3,30 %]	0,944

Разведочный анализ: без поправок на множественность, решения по срезам не принимаются — только гипотезы для следующих экспериментов.