🤪 Почему генеративный ИИ ошибается? Слово hallucinate (с англ. «галлюцинировать») стало словом 2023 года. В контексте ИИ это означает ситуации, когда нейросеть генерирует ложную и бессмысленную информацию. Рассказываем, почему это происходит, на примере больших языковых моделей (LLM), таких как GPT-4 или Claude 2. 😒 Как LLM ищут ответ и почему врут? Большие языковые модели похожи на Т9, функцию автозаполнения в смартфонах, предсказывая следующее слово на основе предыдущих: например, после «привет» обычно идет фраза «как дела». Однако LLM более продвинуты: они обучаются на огромных объемах данных и учитывают весь контекст текста. Хотя LLM умеют грамматически правильно строить предложения, они не осознают их смысл. Они подбирают слова, основываясь на вероятности и «случайно» выбирая самый подходящий вариант. Что происходит в это время внутри модели, мы не знаем — это «черный ящик». Итак, LLM знают, как писать, но не понимают, о чем они пишут. Поэтому, когда ChatGPT выдает какую-то небывальщину, это означает, что LLM посчитала такой вариант сочетания слов наиболее подходящим, а не потому, что она «так думает». Более подробное объяснение устройства LLM читайте здесь. ➕ Что еще влияет на галлюцинации ИИ? → Ошибки, неточности и фейки в обучающих датасетах. → Неправильный контекст в запросе. → Недостаточная обученность или, напротив, переобучение. 👎 Как часто нейросети выдумывают? Согласно исследованиям, ChatGPT выдумывает ~3% информации. Модели компании Meta ~5%. Claude 2 — 8%. Более старые — ошибаются чаще. ❌ Что можно сделать с галлюцинациями? → Обратная связь — уязвимые темы должен прокомментировать человек. Этим занимаются компании-разработчики. → Грамотно составлять запросы, давая достаточно контекста. Смотрите памятку по написанию промптов. CEO OpenAI Сэм Альтман считает, что проблему галлюцинаций решат в ближайшие 2 года, однако также добавил: «Существует баланс между креативностью и идеальной точностью, и модели придется учиться, когда вы захотите от нее того или другого». @hiaimedia