Заменят ли ИИ-двойники живых респондентов?
Вышла статья как с помощью
синтетических респондентов можно с 85% точностью предсказать ответы реальных людей, служивших прототипами для персон.
Статью подготовили эксперты Стэнфорда, Сиэтла и Google DeepMind. Они сделали с 1052 респондентами с помощью ИИ-интервьюера двухчасовые глубинные интервью. Создали ИИ-агентов на основе транскриптов и языковой модели. И начали задавать живым людям новые вопросы и сравнивать, насколько ИИ-агент повторяет ответ своего прототипа.
Ключевые выводы:
• Агенты достигли 85%-ной точности в воспроизведении ответов участников опроса (измеряли ответы по Американскому опроснику The General Social Survey (GSS) и Big Five)
• Успешно воспроизвели 4 из 5 социологических экспериментов (оценка вреда, роль справедливости, восприятие выгод от конфликтов, влияние власти)
• Результаты с использованием транскрипта интервью + LLM были лучше, чем у агентов, основанных только на демографических данных или характеристиках личности
• Продемонстрировал меньшую предвзятость по демографическим группам
Мои размышления:
• Уже не первый раз синтетики показывают хорошие предсказания в социологических опросах. См. исследование
Predicting Results of Social Science Experiments. Там тоже корреляция была r = 0.85.
• Очень интересно повторить эксперимент для продуктовых исследований — т.е. насколько можно получить высокую точность в исследовательских вопросах, которые обычно интересуют маркетинговые и продуктовые команды? При этом сравнить это с точностью экспертов — напр. исследователей, которых эти персоны хорошо знают. И с повторными исследованиями этой же аудитории.
• В случае успеха (вероятно, надо будет найти верную методику) это будет означать, что любая компания может сделать себе банк персон на основе глубинок и обращаться к ним для создания и теста гипотез.
• Для использования банка персон придется многим научиться мыслить в вероятностной модели, уметь использовать не 100% ответы и научиться использовать при мозговых штурмах синтетиков. Банк персон надо будет обновлять и для каких-то типов вопросов они будут работать плохо, но классно, что интервью может делать ИИ-интервьюер, что удешевляет процесс сбора данных.
• Может образоваться рынок синтетиков — представьте, что вы на панели подписаны на обновления определенных группы населения, а агентство обновляет их с определенной частотой. Пока рынок будет тормозить инерция и неумение работать с такими респондентами, но лидеры быстро поймут что к чему. Учтите еще, что в огромном количестве компаний, решения принимают вообще без исследований на «чуйке создателей» или нет ресурсов на исследования.
• И отвечая на вопрос заголовка «Заменят ли ИИ-двойники живых респондентов?» — не заменят, потому что для создания двойника нужен живой человек. Но сами по себе респонденты бизнесу не нужны. Ему нужна сонастройка с реальностью. И если это будет происходить за счет цифровый двойников - it is ok. Цифровые двойники облегчат доступ к реальности и повысят частоту обращения к ней. А LLM и интервью выступят в роли духа, оживляющего аватара.
Оригинал статьи.
🗣️ Ваше мнение?
