Закон Гудхарта // Goodhart's law На прошедшей конференции было много разговора о метриках: о стандартных продуктовых (DAU/MAU/CAC/и т.д.), или о том, как мерить производительность разработки (lead time, deployment frequency, change failure rate, time to restore), и о всяких прочих. И при такой всеобщей любви к метрикам нужно, наверное, упомянуть хорошо известный закон Гудхарта , о котором у меня пока не было статьи, а она точно понадобится, например для будущего цитирования Закон звучит так : Метрика, ставшая целью, становится плохой метрикой Общий смысл заключается в том, что как только метрика становится целью для кого-то (а цель, как правило, связана с внешней мотивацией, например, вознаграждением), он моментально начинает искать способы достичь этой метрики наиболее простым путем: Нужно повысить Lead Time и Deployment Frequency? Ок, будем дробить задачи до крохотных релизов. Нужно снизить количество ошибок в проде? Перестанем прод обновлять — и так хорошо работает. Как пример такого поведения можно привести так называемый «Эффект кобры» — когда британцы в Индии заметили, что стало слишком много кобр, они предложили выкупать у населения головы змей. Население, понятное дело, стало змей разводить в специальных фермах, что привело к увеличению их поголовья. Самое интересное, что когда награду за головы отменили, то всех змей выпустили на волю, так что в итоге их количество даже увеличилось. Почти такой же кейс недавно был в Новой Зеландии : правительство озаботилось большим количеством оружия у населения и объявило программу выкупа. Как следствие, оружия привезли еще больше из всех ближайших областей, так как за него теперь платили неплохие деньги Или вот ситуация более близкая к корпоративному миру — разорение компании Enron в 2001 г, крупнейшего на тот момент в мире поставщика электроэнергии. Компания разорилась из-за мошенничества с бухгалтерской отчетностью, показатели которой и были главной целью менеджмента: вместо того, чтобы использовать основные показатели для управления бизнесом, они сфокусировались на том, чтобы сфальсифицировать их. Как избежать негативных последствий закона Гудхарта (помимо очевидного совета, что метрики нужно использовать для измерения, а не для целеполагания)? * По возможности не привязывать показатели к бонусам/штрафам и другой денежной компенсации (что звучит прямо противоположно основной идее управления через KPI, поэтому в большинстве крупных компаний не совсем реально). * Использовать несколько показателей для оценки ситуации. Как в DORA — 4 метрики, 2 из которых направлены на скорость, еще 2 — на стабильность. Читерить на всех 4 может быть сложнее, чем просто делать работу. * Кроме краткосрочных (месяц/квартал), ставить и более долгие (год) цели : в таком случае локальная оптимизация может быть не так выгодна