recommendations_v2 · 07.09.2026 — 27.09.2026

Блок рекомендаций v2

Гипотеза: Новая модель рекомендаций повысит кликабельность карточек товара

Не раскатывать: пострадала защитная метрика

Статистически значимо ухудшилась доля отменённых заказов. Выигрыш по основной метрике не компенсирует риск — разобраться в причинах до повторного запуска.

Пользователей118 739 control 59 246 · treatment 59 493

CTR карточек товара (основная)+6,71 % 95 % ДИ [+5,86 %; +7,56 %], p < 0,0001

Сплит 50/50 (SRM)в порядке χ² = 0,5, p = 0,473

Баланс до старта (выручка)в порядке разница +1,6 %, p = 0,395

Метрики

Метрика	Control	Treatment	Изменение, 95 % ДИ	p-value	CUPED: −дисперсия	MDE	Итог
CTR карточек товара основная Клики / просмотры карточек	11,16 %	12,00 %	+6,71 % [+5,86 %; +7,56 %]	< 0,0001	53 %	1,2 %	лучше
Конверсия в покупку вторичная Доля пользователей хотя бы с одним оплаченным заказом	19,08 %	18,89 %	−1,51 % [−3,70 %; +0,68 %]	0,176 Холм: 0,352	12 %	3,1 %	нет разницы
Выручка на пользователя вторичная Выручка оплаченных заказов / пользователи в эксперименте	886 ₽	865 ₽	−3,14 % [−6,57 %; +0,29 %]	0,073 Холм: 0,219	19 %	4,9 %	нет разницы
Средний чек вторичная Выручка / число оплаченных заказов	3 161 ₽	3 169 ₽	+0,03 % [−2,39 %; +2,45 %]	0,982 Холм: 0,982	13 %	3,5 %	нет разницы
Доля отменённых заказов защитная Отменённые / все заказы	6,25 %	8,52 %	+36,25 % [+27,30 %; +45,20 %]	< 0,0001	0 %	12,8 %	хуже

Изменение и интервал — с CUPED (ковариата — та же метрика за 28 дней до старта); для отношений — линеаризация + CUPED, без снижения дисперсии — дельта-метод. Вторичные метрики — с поправкой Холма; защитные проверяются без поправки, чтобы не пропустить вред. MDE — минимальный эффект, который тест заметил бы с мощностью 80 %.

лучше хуже разница не значима

CTR карточек товара по дням

накопленный эффект 95 % ДИ на этот день всегда-валидный ДИ (mSPRT)

Если бы решение принимали, глядя на результат каждый день, обычный тест впервые показал бы p < 0,05 на 1-й день. Всегда-валидный mSPRT, рассчитанный на ежедневные взгляды, — на 1-й день. Итог принимается по плановой длительности (21 дней); узкий синий интервал честен только для одного взгляда в конце. Серый — интервал, которым можно пользоваться при ежедневном мониторинге.

Срезы по платформам

Платформа	Пользователей	CTR карточек товара	95 % ДИ	p-value
Android	41 819	+6,53 %	[+5,12 %; +7,95 %]	< 0,0001
iOS	24 450	+7,28 %	[+5,51 %; +9,05 %]	< 0,0001
Веб	52 470	+6,55 %	[+5,22 %; +7,87 %]	< 0,0001

Разведочный анализ: без поправок на множественность, решения по срезам не принимаются — только гипотезы для следующих экспериментов.