No Data No Growth | Pavel Bukhtik

Почему А/A/B тесты не имеют смысла?

Многие ошибочно считают, что для проверки корректности эксперимента и системы сплитования, нужно проводить А/A/B тесты. И я часто вижу применение такого подхода в компаниях.

Но такой подход совершенно не решает задачу, которую команды ставят перед собой. Более того – он только добавляет издержек. И вот почему:

1️⃣ Возьмем один А/А тест. Даже если система сплитования работает корректно, у нас всегда есть вероятность alpha встретить ошибку первого рода. Таким образом, один эксперимент не дает нам никакой картины о корректности системы. Аналогично и при сравнении контролей в рамках одного А/A/B теста.

2️⃣ Максимальная мощность эксперимента достигается при разделении теста 50/50. А/A/B – снизит статистическую мощность эксперимента. Это приведет к увеличению длительности. И сделает это без добавочной ценности.

3️⃣ Ситуация отягощается еще сильнее тем, что из-за А/A/B теста возникает проблема множественного сравнения. И с ней тоже нужно что-то делать.

Как объяснить менеджменту, что так делать не нужно?

С помощью симуляции: Возьмите любой исторический А/B тест. Возьмите у него группу А и разделите её 50/50 тысячу раз, каждый раз с новой солью. Покажите, что несмотря на то, что это все данные контроля, тест прокрасится ~50 раз.

Как тогда эффективно проверить корректность системы сплитования?

Проведите 1000 А/А тестов на нужной метрике с применением нужного стат. критерия ДО проведения А/B. Посмотрите на распределение 1000 полученных p_value – оно должно быть равномерным. Если условие выполняется – проводите А/B. Если нет – ищите причину и чините.

Именно такой подход позволит вам выявить множество потенциальных багов в системе сплитования.

Зачем нужен сертификат прохождения курса?

Знаю, что сейчас сертификатами никого не удивишь, но всё равно приятно получать подтверждение того, что ты прошёл какое-то обучение. У меня самого порядка 50+ разных сертификатов.

Меня спрашивали, буду ли я выдавать такие по прохождению своих курсов. И я решил, что да. Правда в формате «по-запросу» и для тех, кто принимал активное участие на практиках и делал домашки.

В основном, ребята кладут сертификат в какую-нибудь папочку на память. Но мне приятно, что большинство выпускников указывают прохождение моего курса в резюме. А нанимающие менеджеры, видя такую запись, понимают, что кандидат прошел качественное обучение у меня. По запросу – я могу подтвердить подлинность прохождения обучения и дать характеристику кандидата.

Из менее очевидных плюшек – с прохождения курса можно получить налоговый вычет. Если вы уже принимали участие в одном из моих курсов, или планируете – я предоставлю все необходимые документы.

Также, обучение всегда можно оплатить за счет работодателя. А можно прийти с заявкой на корпоративное обучение, и я адаптирую программу под вашу специфику.

Старт второго потока по АБ уже 2 декабря. Узнать детали и оставить заявку можно по ссылке 👇

nodatanogrowth.com/product-analyst-ab-testing

Приходите за практикой и систематизацией знаний ❤️

Нужно ли в 2025 году писать сопроводительные письма?

Если твое сопроводительное письмо выглядит так:

«Здравствуйте! Прошу рассмотреть мое резюме на позицию X. Спасибо!»

То можешь даже не тратить время на его рассылку.

Если ты начинающий специалист – такое письмо никак не поможет.

Если имеешь минимальный релевантный и хорошо описанный опыт, а работу ищешь в РФ или в компаниях с русскими корням за границей – с тобой и без сопроводительного будут хотеть пообщаться.

При этом, написав лишнего в письме, можно только ухудшить свои шансы быть приглашенным на HR-скрининг.

Сопроводительное письмо – это про возможность выделиться на фоне остальных кандидатов.

Оно дает эффект тогда, когда вы очень хотите повысить шансы приглашения на собеседование на конкретную позицию.

Другой сценарий – когда понимаете, что конкуренция высока. Это актуально как для начинающих специалистов, так и для тех, кто ищет работу в иностранных компания без русских корней. В последних даже если у вас уверенный опыт в резюме, получить приглашение – та еще задача.

Письмо особенно хорошо сработает, если сможете найти человека, который вас зареферит и передаст письмо HR напрямую.

Как написать сопроводительное так, чтобы оно действительно выделяло?

Самое главное – письмо должно быть персонализировано под каждую конкретную позицию. В нем нужно показать вашу мотивацию и почему вы match для конкретной позиции.

Оно должно быть коротким, но содержательным. Объем – 3-5 небольших абзаца. Это примерно половина листа, или около 1000 символов. Стиль – деловой, но не слишком формальный.

Оптимальная структура и ключевые аспекты следующие:

1️⃣ Поприветствуйте потенциального работодателя и представьтесь. Напишите, на какую вакансию откликаетесь. Укажите название компании и должность, на которую откликаетесь, так, как они написаны в вакансии.

2️⃣ Объясните, почему хотите работать в этой компании и что именно вас привлекает в вакансии.

3️⃣ Расскажите о своих профессиональных качествах, которые будут полезны компании. Для этого читаем требования вакансии и пишем про свои скиллы, которые помогут решить их задачи. При этом максимально используем формулировки и ключевые слова из вакансии.

4️⃣ Почему я лучший среди остальных? Описываем достижения в цифрах. Даем понять, что вы не просто работу работаете, а приносите конкретные результаты.

5️⃣ Благодарим за то, что потенциального работодатель прочитал ваше письмо до конца. Пишем Call-to-Action (например: звоните – буду рад пообщаться).

6️⃣ В конце оставляем контакты: имя, телефон, почтовый адрес, телеграм, прочие контакты. по которым рекрутер сможет с вами связаться.

Пример сопроводительного письма на позицию продуктового аналитика, которая предполагает решение проблемы с количеством ad-hocов и выстраивание системы дашбордов на Tableau – смотрите в комментариях к этому посту.

А как вы относитесь к сопроводительным письмам? Поделитесь своим опытом в комментариях.