Кейс A/B-тестирования на реальных данных · Kevin Hillstrom, MineThatData, 2008
Email-рассылка: какую версию слать и кому
64 000 клиентов интернет-магазина одежды случайно разделили на три группы: мужское письмо, женское письмо, без письма. Две недели после рассылки отслеживали визиты, покупки и выручку. Гипотезы и метод зафиксированы до анализа.
Рекомендация: отправлять мужскую версию всем клиентам
Выручка на клиента
Среднее за две недели и 95 %-интервал.
Подтверждающие гипотезы H1–H3
| Гипотеза | База | Письмо | Разница, 95 % ДИ | Рост | p (Холм) | Бутстреп-ДИ | Итог |
|---|---|---|---|---|---|---|---|
| H1 · Мужское vs без письма | $0,65 | $1,42 | $0,77 [$0,48; $1,05] | +117 % | < 0,0001 | [$0,49; $1,05] | подтверждена |
| H2 · Женское vs без письма | $0,65 | $1,08 | $0,42 [$0,17; $0,68] | +65 % | 0,0024 | [$0,17; $0,68] | подтверждена |
| H3 · Мужское vs женское | $1,08 | $1,42 | $0,34 [$0,03; $0,66] | +32 % | 0,031 | [$0,03; $0,66] | подтверждена |
Welch t-тест с CUPED (ковариата — сумма покупок за прошлый год), поправка Холма на три сравнения. CUPED здесь почти не помог: снижение дисперсии 0,04 % — траты за год слабо предсказывают покупку в ближайшие две недели. Бутстреп-интервал (10 000 выборок) совпадает с t-тестом, несмотря на скошенность.
Вторичные метрики
| Метрика | Сравнение | База | Письмо | Рост | p (Холм) |
|---|---|---|---|---|---|
| Доля визитов | Мужское vs без письма | 10,63 % | 18,27 % | +72 % | < 0,0001 |
| Доля визитов | Женское vs без письма | 10,62 % | 15,13 % | +42 % | < 0,0001 |
| Доля визитов | Мужское vs женское | 15,14 % | 18,27 % | +21 % | < 0,0001 |
| Конверсия в покупку | Мужское vs без письма | 0,57 % | 1,25 % | +118 % | < 0,0001 |
| Конверсия в покупку | Женское vs без письма | 0,57 % | 0,88 % | +54 % | 0,0003 |
| Конверсия в покупку | Мужское vs женское | 0,88 % | 1,25 % | +42 % | 0,0003 |
Холм по шести проверкам. Мужское письмо лучше по всем метрикам — выбор версии не зависит от того, что считать главным.
Экономика
Дополнительная выручка на 1 000 писем: мужское — $767 [$483; $1 052]. Маржи в данных нет, поэтому ниже — максимальная стоимость одного письма, при которой рассылка окупается, для разных уровней маржи.
| Маржа | Мужское письмо | Женское письмо |
|---|---|---|
| 20 % | $0,15 (не ниже $0,10) | $0,08 (не ниже $0,03) |
| 30 % | $0,23 (не ниже $0,14) | $0,13 (не ниже $0,05) |
| 40 % | $0,31 (не ниже $0,19) | $0,17 (не ниже $0,07) |
| 50 % | $0,38 (не ниже $0,24) | $0,21 (не ниже $0,08) |
«Не ниже» — по нижней границе 95 %-интервала эффекта. Стоимость email-рассылки обычно в десятки раз меньше — запас прочности большой.
H4: работает ли письмо лучше, если совпадает с прошлыми покупками
Эффект на выручку на клиента по сегментам истории покупок. Синие — значимы после поправки Холма. Женское письмо работает у тех, кто покупал женское, и не работает у остальных; мужское — у всех. Но различия эффектов между сегментами не значимы (минимальное p = 0,086 до поправки, 0,688 после) — H4 не подтверждена. Это гипотеза для следующего теста с бо́льшей выборкой, а не основание для решения.
Таргетинг: разным клиентам — разные письма?
| Правило (подобрано на половине данных) | Выручка на клиента | 95 % ДИ | vs «всем мужское» | 95 % ДИ разницы |
|---|---|---|---|---|
| Никому не слать | $0,56 | [$0,39; $0,75] | −$1,04 | [−$1,43; −$0,66] |
| Всем женское | $1,20 | [$0,93; $1,50] | −$0,40 | [−$0,87; $0,06] |
| Всем мужское | $1,60 | [$1,25; $1,96] | — | |
| По истории покупок (3 сегмента) → везде мужское | $1,60 | [$1,25; $1,95] | ≈ $0 | [−$0,02; $0,01] |
| История × канал (9 сегментов) | $1,41 | [$1,09; $1,75] | −$0,20 | [−$0,50; $0,09] |
| История × сумма покупок (21 сегмент) | $1,41 | [$1,09; $1,77] | −$0,19 | [−$0,39; $0,01] |
Правила подобраны на случайной половине клиентов и оценены на другой. Правило по истории покупок само выбрало мужское письмо для всех сегментов. Более дробные правила (9 и 21 ячейка) подстроились под шум обучающей половины и на отложенной проиграли — классическое переобучение.
Ограничения
- Нет защитных метрик: отписки и жалобы на спам в данных не записаны — риск для базы рассылки не оценён.
- Горизонт — две недели: неизвестно, не «переносит» ли письмо покупки, которые случились бы позже.
- Маржа и стоимость письма — допущения; решение устойчиво при марже от 20 %.
- Данные 2008 года, одна рассылка: перенос на другой сезон или ассортимент — новая проверка, а не вывод.