👍 Что происходит у ChatGPT «под капотом» Многие думают, что ChatGPT отлично разбирается во всем, что пишет, и еще лучше умеет выдумывать истории. На самом же деле, модель-трансформер предсказывает, какое слово наиболее вероятно должно идти в тексте следующим. Выпускник Стэнфорда Грант Сандерсон выпустил 30-минутное видео о том, как устроен GPT. Ниже краткий FAQ о механизме подбора слова. Спойлер: не обещаем, что будет просто, но точно проще, чем в учебниках. 🔠 Процесс генерации текста можно описать 3 словами: Предсказание → Добавление → Повтор. Большие языковые модели (LLM) предсказывают следующее слово в тексте, добавляют его к тексту, а затем повторяют операцию. 🔠 На первом этапе модель делит текст на токены: слова, части слов или комбинации символов. 🔠 Что именно означает каждое слово модель определяет по контексту и месту слова во фразе. Для этого используется механизм внимания. При этом токены могут «общаться» друг с другом для уточнения контекста: например, чтобы отличить «модель» ML от «фотомодели». По итогу этого «общения» данные по каждому токену обновляются. 🔠 Следующий этап — модель задает к каждому токену множество вопросов: является ли это существительным, на каком языке оно написано и т.д. За этот этап отвечает многослойный перцептрон. 🔠 После многочисленных повторов этих двух операций появляется список слов, которые, скорее всего, могут следовать в тексте далее. Каждому слову присвоена вероятность, модель выбирает слово с наивысшей вероятностью. После чего трансформер ищет следующее слово. ⏰ Таймкод лекции: ⏺️ Процесс поиска слова. ⏺️ Главная идея глубокого ML. ⏺️ Где находится искомое слово. ⏺️ Как слова превращаются в векторы. ⏺️ Почему ChatGPT забывает контекст. ▶️ Посмотреть полностью обзор на трансформеры можно тут. Также по теме: 🤪 Почему генеративный ИИ ошибается? 🔍 Лекция Майкла Вулриджа «Какое будущее ждет генеративный ИИ?» @hiaimedia