📕 Искусственный интеллект умнеет, обучая другие модели Педагоги в процессе обучения детей углубляют и собственные знания. Это связано с тем, что преподавание заставляет человека четко структурировать информацию и выявлять пробелы. Оказалось, этот принцип работает и с большими языковыми моделями (LLM). Китайские ученые из Университета Цинхуа адаптировали методику обучения через преподавание (Learning by Teaching, LBT) для тренировки нейросетей. В ходе опыта мощная модель GPT-4 передавала знания более простой GPT-3.5. Как это работает ➡️ Сильный тренирует слабого. В процессе обучения «учитель» отвечает на вопросы «ученика» и объясняет ему сложные концепции, которые младшая модель еще не может понять. ➡️ Обобщение знаний. Сильная модель вынуждена формулировать ответы так, чтобы их понимала слабая модель. Такое «обобщение» заставляет «учителя» по-новому взглянуть на свои знания, упрощая и перестраивая их. ➡️ Улучшение сильной модели. Во время тренировки «учитель» анализирует собственные знания. Это помогает сильной модели выявить и устранить свои слабые стороны или даже найти новые способы решения задач. В итоге она совершенствует алгоритмы, повышает точность предсказаний и улучшает общее качество работы. ❔ Зачем это нужно LBT открывает новые перспективы для развития искусственного интеллекта. В OpenAI уже используют новую мощную модель Strawberry для обучения нейросети Orion, которая придет на смену GPT-4o. И, судя по инсайдерской информации, тренировка проходит успешно. К тому же, один «учитель» может натаскивать сразу несколько «учеников». А использование такого подхода для улучшения LLM помогает снизить зависимость от данных, созданных человеком. 📱 Посмотреть подробную лекцию о работе ученых из Цинхуа можно здесь. Еще по теме: ➡️ Что происходит у ChatGPT «под капотом» ➡️ Когда закончатся данные для обучения LLM? #news #ChatGPT @hiaimedia