Вы, наверное, слышали выражение: “Если ты не можешь что-то измерить, ты не можешь этим управлять”. Цитату приписывают Вильяму Демингу, основоположнику ключевых теорий менеджмента, – который, на самом деле, сказал ровно обратное: “Неправильно предполагать, что, если ты не можешь что-то измерить, ты не можешь этим управлять, - этот миф может дорого вам обойтись”. Накидаю на эту тему несколько тезисов, про которые было бы интересно с вами подискутировать в комментах: 1) Наша индустрия сильно смещена в сторону принятия решений на основе измерений, нежели чем на основе интуиции и вкуса. 2) Это смещение произошло из-за того, что большинство лидеров мнений работали/работают в крупных организациях типа Яндекса, Гугла, “большой четверки” - в сильных data-driven культурах. То есть, 90% популярных материалов про принятие решений были созданы ребятами, которые оперировали на стадии “от 100 к 1000”, а не “от 0 к 1”. При этом ребятам, работающим на стадии от 0 к 1, сложнее пробиться через наши фильтры, потому что мы редко когда слышали о компаниях, где они работают. 3) У крупных организаций нет механизма для оценки “вкуса”. Когда требуется оценить результат работы тысяч человек, фокус на измерениях позволяет в разы сократить время на performance review и создать ощущение справедливости. 4) Но очень часто именно это приводит к общей неэффективности и неумению создавать новые продукты. Вместо опыта пользователя, команды концентрируются на том, чтобы доказать пользу своему руководству. “Если ты не измерил что-то, ты не можешь доказать, что ты что-то улучшил”. Более того, чрезмерный фокус на данных без внимания к вкусу и здравому смыслу часто приводит к тому, что ошибки в измерениях никого не волнуют. (А эти ошибки происходят постоянно - собираем неправильные данные; не собираем ивенты определенного типа; неправильно считаем метрику, и тд) 5) При этом есть огромная разница между измерениями и оценкой (evaluation), которая может полагаться на качественные суждения и экспертизу. Сравните: я могу “оценить”, как идет прогресс по проекту (без прыжков через хулахупы, но на основе моего опыта и доступных мне сигналов) // я могу “измерить”, как идет прогресс по проекту (надо собрать данные для бейзлайна, провести A/B тесты, добиться стат значимости и тд). Я вижу тренд в Долине, что некоторые компании (например, Airbnb, Linear) начинают больше полагаться на вкус, чем на данные, - но при этом начинает страдать счастье сотрудников, так как многие решения ощущаются очень субъективно и, скорее всего, спущены сверху вниз (вкус директора > вкус интерна). Интересно, найдет ли кто-то способ удачно сочетать и то, и другое - или это физически невозможно? :)