Можно ли спрогнозировать точность геополитических прогнозов и как это потом использовать#лонгрид#статьиКороткий ответ:
можно, и очень точно! А потом,
зная точность прогнозов разных
экспертов, можно получить
ещё более точный прогнозА теперь длиннее! Сегодня мы рассматриваем интересную
статью, посвящённую
точности геополитических прогнозов. 153 участника, 10 вопросов с
ответом да/нет от "
кто победит на выборах: Байден или Трамп" (речь идёт о выборах 2020 года) до "
запустит ли КНДР межконтинентальную баллистическую ракету в [заданный промежуток времени]". На каждый вопрос участники должны были дать ответ в виде
вероятности наступления события с
текстовым обоснованием,
списком показателей, на которые смотрит эксперт,
оценкой своей экспертности в этой области и т.д. Всего - 11 разных показателей.
Из всего этого изобилия авторы статьи формируют ряд показателей и обучают
модель для предсказания точности отдельных
прогнозов (
прогнозирование точности прогнозов звучит конечно прекрасно!)). И эта модель оказывается очень точной! Достигнутая
точность на тестовых данных:
ROC AUC = 0.85, если тестовые данные - это
новые эксперты; и
ROC AUC = 0.96, когда в качестве тестовых данные берутся
новые прогнозы тех же экспертов, которые модель видела при обучении. Очень и очень неплохо! Собственно
модель тут -
логистическая регрессия с регуляризацией, всё очень просто и интерпретируемо.
Точнее оказываются те эксперты, которые более
уверены в своих прогнозах, верят, что их
прогнозы будут близки к среднему прогнозу других экспертов, у которых в обоснованиях
больше слов, ориентированных на
время, и
меньше - на
прошлое, настоящее и связанных с
определённостью. Показатели про слова получены на основе Linguistic Inquiry and Word Count dictionary, интересующиеся могут там подробнее посмотреть, что входит в каждый из этих списков.
А дальше всё просто - зная точность отдельных экспертов, можно более корректно агрегировать их прогнозы в одну цифру. И она будет заметно (и статистически значимо) точнее, чем отдельные прогнозы!