Что общего между астрологом и искусственным интеллектом? (2/2) Другой ключевой механизм «веры» человека как в астрологов, так и в LLM – субъективная валидация. Люди склонны воспринимать общие утверждения как точные и личные. Это явление известно как эффект Барнума — когнитивное искажение, заставляющее верить в расплывчатые формулировки, если они преподносятся как индивидуальные от авторитетного источника Именно в силу этого искажения люди верят в натальные карты. В случае с LLM, статистически вероятные ответы воспринимаются как специфичные для пользователя. Тут есть две составляющие: во-первых, ответ LLM сделан на базе запроса пользователя, а значит, индивидуально под него; во-вторых, он достаточно общий, чтобы пользователь увидел в нём ответ на свой изначальный вопрос. Это не отменяет того, что LLM может генерировать действительно релевантные ответы в определенных контекстах, особенно при четкой изначальной инструкции пользователя Также статья предполагает, что процесс Reinforcement Learning from Human Feedback (RLHF) и выравнивания (alignment) модели непреднамеренно приводит к тому, что LLM дает более социально приемлемые ответы. Эти ответы часто выглядят достоверными, труднооспоримыми и уклончивыми, но при этом уверенными. Ровно такие пассажи бывают и от астрологов – без радикальщины. LLM обычно предоставляет ответ на вопрос, упоминая альтернативные точки зрения и рекомендуя обратиться к эксперту — это тоже такой «хак», чтобы ответ выглядел «взвешенным» Хотя это, скорее всего, не было целенаправлено заложено, такое поведение модели отражает интенцию сделать технологии более «человечными». Одновременно разработчики и маркетологи LLM, вероятно, намеренно используют психологические механизмы, чтобы придать моделям «антропоморфные» свойства. Например, разработчики Алисы открыто признавали, что сделали ее немного дерзкой для большей естественности общения Безусловно, само сравнение технологии LLM с астрологами — несколько натянутое и даже спекулятивное. Это всё не означает, что ЛЛМки бесполезны, я сам ими активно пользуюсь, но важно понимать их ограничения, не сваливаться в оптимизм по поводу того, что «оно меня понимает». Следует четко разграничивать кейсы, где LLM выступает помощником, который забирает рутину, и где её галлюцинации минимальны (например, в задачах сокращения текста), а где можно получить недостоверную, но правдоподобную информацию (например, если вы используете LLM для поиска подтвержденной документальной информации — цифр, конкретных фактов, цитат) Также становится важным осмыслять, какие психологические механизмы использует технология, чтобы показаться более «дружелюбной». Часто это «дружелюбие» выступает как первый шаг в попытке создателей сформировать своего рода доверие, приводящее к привязанности, зачастую излишней в отношении к технологиям