Для затравки подготовил большой материал, посвященный 20-летию написания книги Рэя Курцвейла «The Singularity is near», в которой он сделал совершенно безумное для 2005 года предсказание о появлении разумных машин с человеческим уровнем интеллекта в 2029м. (Теперь в 2024 уже не такое и безумное, правда? 🤓 ) Не хочу бросаться громкими фразами по типу «если вас не удивляет то, что делают современные LLM, вы ничего не понимаете в том, как работают современные LLM», поэтому просто укажу на то, что удивляет лично меня. В своей основе нынешние LLM не содержат каких-то фундаментальных отличий от первых рекурентных нейросетей, предсказывавших следующий символ, который следует вывести на экран, исходя из цепочки верно угаданных предыдущих символов и весов, обученных на большом объеме схожей по содержанию информации — различия, по большей части, количественные. Удивительно здесь то, что делая это, они в принципе оказались способными выдавать семантически осмысленные фразы, а на момент сейчас уже и целые страницы текста. Я никогда не был ИИ-скептиком, но я всегда считал, что для достижения подобных результатов нам придется ждать долгие годы, пока завершатся проекты типа Human Connectome или Blue Brain Project, картографируюшие 3д-структуру реального человеческого мозга. И не сложно понять почему: человеческий мозг содержит сотни триллионов синапсов, 3д структура которых проходила точную настройку на протяжении как минимум 500 млн лет. Это буквально самый сложный физический объект в наблюдаемой нами Вселенной. И тут мы берем немного улучшенный персептрон… и он работает. Причем по чисто внешним признакам он работает лучше чем многие из вполне настоящих людей. Для меня это означает, что мы сделали, совершенно невероятное в своей неожиданности, фундаментальное открытие в области нейробиологии — по чистой случайности, используя обычный брутфорс, ухватили ту самую внутреннюю структуру человеческого мозга, которая отвечает за складывание слов в контекстуально осмысленные предложения. Да, это не модель целого человеческого разума, ее все еще только предстоит сделать, но это модель той его части, которую всегда считали чисто чистовеческой особенностью и чуть ли не краеугольным камнем человечности в принципе. Что в свою очередь означает что теперь уже именно реверс инженеринг искусственных нейросетей может сказать нам много всего о человеческом мозге, а не наоборот. https://vednewman.ru/statyi/perechityvaya-kurtsveyla