Как выжимать максимум из A/B тестов в В2С без увеличения объема трафика?
Ребята, привет! Если бы вы с первого раза попали в свою аудиторию и сделали креативы с супер конверсиями, мы бы за вас порадовались (но не от всего сердца 😃). Хотя понимаем, что наверняка вам приходится бесконечно проверять гипотезы, особенно в В2С, менять и адаптировать продукт.
Считается, что А/B можно проводить только на большой аудитории, но на встрече групп R-Founders Павел Бухтик (Head of Analytics, ex-FindMyKids, автор канала No Data No Growth) подсветил 5 моментов, которые позволят проводить А/B даже на небольшом трафике: а значит, экономить бюджеты — приятно же! 🤑 Читаем!
1️⃣ Вы можете ожидать большие эффекты. Вы не крупная компания и многие аспекты продукта еще не оптимизированы. Смело берите бОльшие MDE при дизайне А/B.
2️⃣ Проводите А/B-тесты параллельно. Для этого не нужно больше трафика.
3️⃣ Применяйте прокси-метрики. Они с опережением и большей чувствительностью покажут изменение целевой метрики в будущем. С их помощью вы будете быстрее принимать решения, даже если эффект на целевой метрике нужно ждать очень долго.
4️⃣ Исключайте пользователей, которые не участвуют в эксперименте. Иначе это приведет к удлинению теста.
5️⃣ Используйте
Sequential Testing. Он позволяет завершать эксперименты досрочно. И это ускоряет их проведение в среднем и в медиане на ~26%.
Помните, что А/B-тесты про управление рисками. Ошибки в гипотезах всё равно будут. Но, проводя больше экспериментов, правильных выводов будет всё больше. И даже проводя А/B, только 1 из 10 тестов дает положительный результат, поэтому один А/B должен окупать неудачи остальных девяти.
Может быть полезно:
•
Чеклист и шаблон проведения АБ экспериментов
•
Шаблон журнала АБ экспериментов
Ну что, кайфанули от дайджеста? Если так, то не скупитесь на лайк Паше за его экспертность, а нам за отличный материал.
❤️
А как у вас получается тестировать свои продуктовые гипотезы и не тратить много денег?
@rfoundersgoglobal