Заменят ли ИИ-двойники живых респондентов? Вышла статья как с помощью синтетических респондентов можно с 85% точностью предсказать ответы реальных людей, служивших прототипами для персон. Статью подготовили эксперты Стэнфорда, Сиэтла и Google DeepMind. Они сделали с 1052 респондентами с помощью ИИ-интервьюера двухчасовые глубинные интервью. Создали ИИ-агентов на основе транскриптов и языковой модели. И начали задавать живым людям новые вопросы и сравнивать, насколько ИИ-агент повторяет ответ своего прототипа. Ключевые выводы: • Агенты достигли 85%-ной точности в воспроизведении ответов участников опроса (измеряли ответы по Американскому опроснику The General Social Survey (GSS) и Big Five) • Успешно воспроизвели 4 из 5 социологических экспериментов (оценка вреда, роль справедливости, восприятие выгод от конфликтов, влияние власти) • Результаты с использованием транскрипта интервью + LLM были лучше, чем у агентов, основанных только на демографических данных или характеристиках личности • Продемонстрировал меньшую предвзятость по демографическим группам Мои размышления: • Уже не первый раз синтетики показывают хорошие предсказания в социологических опросах. См. исследование Predicting Results of Social Science Experiments. Там тоже корреляция была r = 0.85. • Очень интересно повторить эксперимент для продуктовых исследований — т.е. насколько можно получить высокую точность в исследовательских вопросах, которые обычно интересуют маркетинговые и продуктовые команды? При этом сравнить это с точностью экспертов — напр. исследователей, которых эти персоны хорошо знают. И с повторными исследованиями этой же аудитории. • В случае успеха (вероятно, надо будет найти верную методику) это будет означать, что любая компания может сделать себе банк персон на основе глубинок и обращаться к ним для создания и теста гипотез. • Для использования банка персон придется многим научиться мыслить в вероятностной модели, уметь использовать не 100% ответы и научиться использовать при мозговых штурмах синтетиков. Банк персон надо будет обновлять и для каких-то типов вопросов они будут работать плохо, но классно, что интервью может делать ИИ-интервьюер, что удешевляет процесс сбора данных. • Может образоваться рынок синтетиков — представьте, что вы на панели подписаны на обновления определенных группы населения, а агентство обновляет их с определенной частотой. Пока рынок будет тормозить инерция и неумение работать с такими респондентами, но лидеры быстро поймут что к чему. Учтите еще, что в огромном количестве компаний, решения принимают вообще без исследований на «чуйке создателей» или нет ресурсов на исследования. • И отвечая на вопрос заголовка «Заменят ли ИИ-двойники живых респондентов?» — не заменят, потому что для создания двойника нужен живой человек. Но сами по себе респонденты бизнесу не нужны. Ему нужна сонастройка с реальностью. И если это будет происходить за счет цифровый двойников - it is ok. Цифровые двойники облегчат доступ к реальности и повысят частоту обращения к ней. А LLM и интервью выступят в роли духа, оживляющего аватара. Оригинал статьи. 🗣️ Ваше мнение?