🔎 Как проверять репрезентативность выборки
Есть ловушка в аналитике, в которую попадают многие — соблазн сделать важный вывод на основании нерепрезентативной выборки.
Андрон Алексанян — CEO Simulative — описал несколько способов как проверять репрезентативность выборки на примере посещений сайта. Будем выяснять, почему упала конверсия CR1.
0. Просто из соображений адекватности
Если вы невооруженным взглядом видите, что большинство посетителей за последнюю неделю — девушки 20-25 лет из Казахстана, то очевидно неверным будет вывод, что лендинг плохо конвертит на всех посетителей сайта. Ваша выборка сильно смещена.
1. Сравнение описательных статистик
Обычно ситуация не такая очевидная. И первое, что можно сделать — сравнить описательные статистики между текущей выборкой и генеральной совокупностью. Например, среднее, медиану, моду, квантили и т.д.
Получить точное значение для генеральной совокупности вы, конечно, не сможете (т.к. для этого нужно загнать на ваш сайт все население страны). Однако оценить его с неким доверительным интервалом на основании исторических данных, которые вы считаете достаточно репрезентативными — можно. И если посчитанные статистики попадают в эти доверительные интервалы - значит выборка репрезентативна.
Однако тут не забываем про квартет Энскомба. Иногда описательные статистики могут быть одинаковыми, а реальные выборки ох как отличаться.
➡️ Полный текст статьи читайте тут.