«Перфекционизм - первый враг аналитики» или гранулярность признаков 🔥Я перфекционист. Если я пишу код - я сразу пишу с конфигами, автотестами и докером. Если пишу текст - упарываюсь в смайлики, отступы, форматирование и так далее. Это классное качество, но когда его слишком много - это сильно мешает жить. А еще мешает делать качественную аналитику.
Приведу несколько примеров, чтобы показать, как это проявляется:
1. Какое-то время назад мы решили внедрить аналитику в перформанс-рекламу - научились разбирать каждый баннер на цвета (основной и вспомогательные), объекты (кошка/пианино/китаянка), отдельные слова (купи/приходи/вебинар/на/скидка) и кучу других признаков (порядка 50). После этого мы собрали дашборд и понаделали кучу фильтров - можно было отсортировать и фильтрануть абсолютно все, что угодно. Кажется, это успех.
2. Аналогично мы сделали с email-рассылками - по каждому письму мы выделяли формат (контент/промо/опрос), тему, содержание (истории успеха, социальные доказательства, навыки аналитика) и CTA (купи, подпишись, регистрируйся). Получилось в итоге порядка 40-50 значений признаков - мы буквально знали о каждом письме все.
3. Не поверите, но с SMM-постами в социальные сети мы сделали также - у нас была куча групп: шпаргалка, туториал, заметка, опрос, лайфхак и так далее. Разумеется, все было в удобной табличке, с кросс-фильтрации, разными представлениями и сортировкой.
И знаете, что объединяет все эти 3 истории? Кроме того, что мы потратили на это уйму времени - МЫ НИХРЕНА НЕ СМОГЛИ ПРОАНАЛИЗИРОВАТЬ. И это парадокс - как так, вроде же у нас максимально детализировано все было разбито + удобно подготовлено для аналитики: фильтры, представления, подсветка, разбивка на группы и т.д.
Мы обдумали все и поняли - нас сгубила лишняя гранулярность признаков: мы слишком подробно раздробили признаки, из-за чего у нас тупо было недостаточно данных для проведения анализа. Чтобы получить какие-то статзначимые выводы, надо было отправить условно миллион писем или открутить миллион разных баннеров. Сам фреймворк рабочий, но мы стали заложниками своей же детализации.
Плюс в жизни зачастую не низкоуровневые структуры влияют на результат (например, отдельное слово вряд ли напрямую влияет на перформанс баннера), а более общие - например, «смыслы», упоминание чего-то в тексте, наличие триггеров в тексте и так далее.
Теперь во всех проектах мы стараемся объединять признаки в группы. Это непростой процесс, порой уходит несколько итераций, чтобы результат получился качественным. Например, весь «экспертный» контент в наши соцсети мы ужали до двух категорий: «шпаргалка» и «образовательный контент». Чтобы это сделать, у нас ушло несколько итераций обсуждений с кучей примеров и легким спором. Зато в конце у нас получилась исчерпывающая картинка и мы даже дали формальное определение каждой группе!
В общем, мораль такая: будьте осторожны при проведении аналитики - не дробите признаки слишком сильно и старайтесь обобщать, чтобы получать «необходимый и достаточный» (всем математикам привет 🙂) набор признаков.
А когда этот пост наберет 100 огонечков 🔥, я поделюсь с вами шаблоном таблицы, которую мы используем для проведения аналитики по email-рассылкам!