Как я ускоряю проверку гипотез Проверять гипотезы нужно быстро. Как в новых продуктах, так и в растущих. Чем больше проверишь, тем больше узнаешь, большему научишься, повысишь вероятность успеха. Для продукта ранней стадии, как у меня, катить один за одним A/B-тесты — недоступная роскошь. Тупо не хватит трафика. А проверять надо много и быстро. Хочу поделиться своими принципами ускорения проверки гипотез, которые использую как в собственном проекте, так и в клиентских. 🔸 Проверять большие гипотезы Немного математики. Если конверсию в 10% вы хотите увеличить на 30%, то есть довести до 13%, вам понадобится 1629 пользователей в каждой группе теста. Если вариантов два, то нужно 3258 пользователей. Легко считается на калькуляторе. У ранних продуктов стат значимость либо будет набираться месяцами, либо понадобятся дополнительные тысячи $ на трафик. Поэтому проверять надо гипотезы, способные давать кратный рост конверсий. Что это за гипотезы и где их взять? Все очень просто, то есть, сложно. Кратный рост могут давать гипотезы, предполагающие радикальные изменения. Вместо переверстки блока с отзывами на лендинге сделать полностью новый лендинг с другой структурой, другим нарративом и копирайтами. Или вместо лендинга использовать чат-бот воронку. Или минимум инфы, форму сбора лидов и продажу через личное общение. Изменения логики, смысла и структуры могут давать кратную разницу в конверсиях. Файн тюнинг элементов или шагов воронки не может практически никогда. В таком подходе на первый план выходят способности быстро, дешево и на приемлемом уровне реализовывать новые решения. Получается, что навыки delivery для быстрой проверки гипотез важнее, чем навыки discovery, которые так любят продакты. 🔸 Быть честным в оценке Из первого принципа рождается второй. Велик соблазн накинуть пару десятков процентов мелкой гипотезе, чтобы потратить меньше усилий не запуск теста. Постоянно приходится себя контролировать и напоминать, что чудес не бывает. Что лучше сделать больше сейчас и собрать валидные данные, чем потом переделывать. Еще лучше работать в команде, чтобы иметь честное мнение со стороны. 🔸 Подглядывать Да простят меня аналитики, которых я люблю и уважаю, но для стартапа проблема подглядывания — не проблема, а возможность. На больших гипотезах разница как правило видна быстро и выводы можно сделать быстро. На средних все бывает сильно менее очевидно и нужно время для стат значимых результатов. Если я вижу, что быстрого эффекта гипотеза не дала, то следую такому принципу: — есть рост, держу тест; — нет роста, сворачиваю. В большинстве случаев потратить время на ложноположительный результат выгоднее, чем дать шанс ложноотрицательному. Понятно, что этот принцип следует применять не всегда. Так как он анти-статистический по своей природе, существенную роль играет интуиция. Если вы очень верите в гипотезу, а она не дает быстрого роста, иногда можно подержать подольше. 🔸 Собирать обратную связь Проверяйте простые изменения на людях. Делать UX-тесты, показывать прототипы и макеты реальным пользователям или представителям аудитории. Можно знакомым, которые плюс-минус подходят по профилю, или, прости господи, чату GPT. Важно соблюдать базовую гигиену: не спрашивать мнений, не задавать вопросов о будущем. Только показывать и просить комментировать. Как результат, поможет спокойно, без тестов катить некритичные изменения, отсекая досадные ошибки, которые могут снижать конверсию. Резюмирую: — Генерируйте и проверяйте большие гипотезы, существенно меняющие пользовательский опыт; — Оценивайте потенциальный результат честно: чем заметнее изменение, тем выше шанс на быстрый рост; — Не держите каждый эксперимент до талого, это привилегия больших ребят с трафиком и качественной аналитикой, тормозите раньше, если нет положительного результата; — Проверяйте изменения на людях или на худой конец на машинах, чтобы избежать непредсказуемых эффектов. Дайте реакций, если пост понравился. А то я перестал реакции выпрашивать, и их все меньше становится.