Революция LLM в контексте биологического правдоподобия обратного распространения ошибки Последние выдающиеся результаты больших языковых моделей (поколения «OpenAI o1/o3») и уже совсем не кажущиеся фантастикой или инвестиционным маркетингом обещания лидеров Силиконовой долины типа Альтмана и Суцкевера создать в скором времени не просто сильный искусственный интеллект, но и сверхинтеллект, снова с максимальной остротой актуализировали ключевой вопрос – насколько же «цифровой мозг» больших языковых моделей похож на биологический мозг? Что же такое мы на самом деле создаем, если, судя по всему, всего через несколько лет мы вручим (фактически, добровольно) этому рукотворному преемнику свою судьбу и судьбу всей жизни на Земле, и, по ощущениям многих людей, уже никто и ничто не может остановить этот ускоряющийся как снежная лавина процесс передачи эволюционной эстафеты интеллекта и сознания с белкового на кремниевый носитель? Многие сейчас обращаются к нам, психофизиологам (когнитивным нейроученым), как к людям, которые разбираются в реальных мозговых механизмах реальной психики и поведения, с настоятельной просьбой дезавуировать такого рода заявления как псевдонаучный маркетинговый хайп, который раскручивается только ради привлечения инвесторов. Лично я не думаю, что это так. 1. Первый и главный вопрос в этом сюжете – это вопрос биологического правдоподобия алгоритма обратного распространения ошибки, который является базой всех эффективно работающих на практике искусственных нейронных сетей (в том числе тех, которые являются «цифровым мозгом» больших языковых моделей). Изобретенный более полувека назад, этот алгоритм «взлетел» только в десятых годах нашего тысячелетия, когда после «дозревания» вычислительной базы графических процессоров при активном участии будущего нобелевского лауреата Джеффри Хинтона началась революция глубокого обучения. За большое время, прошедшее с открытия алгоритма обратного распространения ошибки и вплоть до начала 2020-х годов, отношение научного сообщества к нему существенно изменилось. Изначально он воспринимался как биологически неправдоподобный, т.е. нейробиологи не понимали, как биологический мозг может реализовывать этот алгоритм, однако, со временем появилось много идей, как это все-таки может происходить. Всем, кто действительно хочет разобраться в этом вопросе, я настоятельно рекомендую ознакомиться с ключевой статьей 2020 года «Backpropagation and the brain» (главные авторы – Тимоти Лилликрэп и Джеффри Хинтон, Джеффри Хинтон любезно выложил на своем сайте полный текст: https://www.cs.toronto.edu/~hinton/absps/backpropandbrain.pdf). Авторы тщательно исследуют вопрос о том, насколько биологический мозг может реализовывать алгоритм обратного распространения ошибки (в том числе предлагают свою собственную оригинальную модель NGRAD – «Neural Gradient Representation by Activity Differences») и приходят к выводу, что теперь, по прошествии десятилетий, это кажется гораздо более реальным, чем раньше. Лично мне кажется, что, похоже, эволюция и «хотела бы» прямо имплементировать в мозг алгоритм обратного распространения ошибки в силу его максимальной простоты и непосредственной эффективности, но это было сложно сделать чисто нейроанатомически, и эволюции пришлось искать «костыли» и обходные пути, в результате чего эта имплементация произошла непрямым образом (более локальным, а не глобальным, типа как постулируется в NGRAD). Нам повезло – похоже, конструируя в памяти компьютера искусственные нейронные сети, мы цифровым образом с легкостью обошли те чисто нейроанатомические ограничения («срезали угол»), которые были в биологическом мозге, и вышли на «идеальный» алгоритм обучения, который «хотела», к которому «стремилась», но который прямым, «в лоб», образом не смогла реализовать природа. Даже если эта гипотеза в силу ее радикальности неверна, то все равно главный вывод статьи Лилликрэпа и Хинтона остается незыблемым – обратное распространение ошибки в целом теперь не является чем-то совсем непредставимым с биологической точки зрения, это эволюционно-нейробиологически вполне возможный механизм.