Конспект редкого интервью Dario Amodei, CEO/со-основателя Anthropic, про пределы нейронок через рост compute и data, страхи, шпионов, биотерроризм. Его взял подкастер типа Lex Fridman - Dwarkesh Patel Непубличность - Dario keeps low profile, чтобы как ученый нечаянно не стать интеллектуально зависимым от имиджа, толпы, славы - видел такие кейсы Anthropic - Их модель Claude названа в честь Клода Шеннона / теория информации через энтропию - Я и другие фаундеры - физики, любим их тк ML пока не оч. глубокая сфера и физики быстро вливаются - У компании траст, управляющий ею в целях AI safety (!) - Прокуроры пытаются отклонить аргумент адвокатов Sam Bankman, что он в 2022 вложил $500М в Anthropic по оценке $4 млрд, а сейчас оценка $20-30 млрд - хватит покрыть ущерб клиентов FTX 🙈 Нейронки - Мы не знаем, почему нейронки учатся. Начинал со speech recognition в Baidu вместе с Andrew Ng, и там увидел взлет точности по мере роста data. Позже ему в Open AI Karpathy рассказал “модели просто хотят учиться, дай им data, убирай им препятствия”, прямо дзен koan. Но да, когда растят compute и данные, а потом LLM (технически просто предсказыватель следующего слова) вдруг “рассуждает” или пишет простой код - это каждый раз удивляет - Intelligence это не спектр от дурачка до Эйнштейна, а много разных domain expertise areas - Нам далеко от исчерпания compute и сбора данных где угодно, “закон” что корми нейронки дальше - будут удивлять - продолжится. Первым это понял Shane Legg из Deepmind - Часть прогресса будет и за счет архитектуры нейронок - мы и так из языка многое взяли - Развитие будет как мессиво/снежный ком разных моделей, и мне сложно делать всякие линейные/экспоненциальные прогнозы Страхи AI - Dario по образованию [био]физик, ориентируется на эмпирические факты + все теории об опасности AI не подтверждались (он угадал в 10%, что уже круть) - Ему близок подход mechanistic interpretability, что нейронки можно reverse engineer как и обычный софт, выделять слои и веса как изменяющиеся переменные в коде и устанавливать принципы работы. Условно, просвечивать как мозг рентгеном/МРТ. В этом шарит Chris Olah - Не верит, что alignment сам по себе появится в связи с ростом сеток. Верит, что ничего там внутри моделей не optimizing against us =) - Страх вещь сложная, тк мешаем в кучу и AGI, и misuse, и что экономически нейронки будут обгонять труд людей, или что отберут у нас роль исследователей итп - Нужно держать в уме риски misuse (типа ядерного оружия), это потребует каких-то новых международных governing bodies, чтобы и демократично, но и сработало Биотерроризм - Я выступал в сенате, что да, модели через 2-3 г. смогут точнее давать подсказки про сложную цепочку шагов, нужную потенциальным биотеррористам. Короче, как в 1970ые когда открыли лабораторную ДНК, и на конфе в Asilomar правильно же разглядели возможные будущие риски Cybersecurity - Украсть веса наших моделей какому-то государству? У нас глава security из браузера Chrome, и его цель - повысить цену хакерской атаки так, чтобы им было дешевле натренить модель самим. Мы делим работу на кусочки (compartmentalization), а иначе если 1000 сотрудников, и каждый знает все секреты - 100% найдется 1-2 шпиона - Китай взялся за дело после успеха ChatGPT, отчасти из-за них так паримся про security - С учетом талантов, модели уровня GPT4/Claude 2 стоят $200-300М. Кстати, исследования AI safety требуют обладания моделями такого фронтирного уровня: что они могут, что нет - Для сверхбольших моделей безопасность датацентров должна расти (чтобы не унести оттуда данные. Или пока мы результаты качаем) Бизнес - Интересно, попробует кто натренить модель на $10 млрд? - С одной стороны в модели вваливают адские $, с другой - ищут им применение в экономике. Это турбулентный процесс - Я плох в прогнозах. Да и все, комон Сознание - LLM пока на 2-3 порядка меньше compute делают, чем мозг и на 3-4 порядка меньше синапсов. Может поэтому им надо триллионы слов вместо 100 млн человеку к 18 годам? - Теорий сознания пока нет, так что лучше просто верить феноменам, которые видим перед собой