Ilya Sutskever, Head of Science в Open AI и родом из Н.Новгорода, 40 мин интервью в No Priors podcast: Все было неочевидно - Нейронки много лет были на обочине рисеча тк по ним нельзя же доказывать теоремы, поэтому не котировалось. А также долго не было достаточно compute, чтобы сработало: у AlexNet в сотни раз бОльший размер нейронок, чем ранее - Мозг человека подсказал, что это может сработать: у нас много [похоже устроенных] нейронов, и они успевают процессить зрение в реальном времени. Хотя скептики долгое время считали, что бионейроны - другие - Много звезд сошлось, когда украинец у Хинтона Alex Krizhevsky вдруг запрогал GPU для ускорения нейронок, плюс еще ноу-хау (convolutional networks итп) - и вот вам AlexNet, и это вдруг выстрелило - эмерджентные свойства Open AI - OpenAI начинали чтобы сделать AGI - автономные системы, которые смогут делать работу людей на благо всего человечества - Начали как nonprofit, но тк нужно бесконечно compute, перетекли в компанию, но с profit cap, и кажется мы такие единственные в мире - В 2016-2017г был каменный век нейронок, но вдруг случился сдвиг от “делай рисеч, пиши статьи, мелкий impact на мир” к масштабным проектам. Мы сперва с успехом нарастили размер сеток для игр, и появилась гипотеза - а может приложиться и к тексту? Трансформерами запилили GPT1 - и увидели признаки жизни. Это реально как в фантастике Артур Кларк или кто: “any sufficiently advanced technology is indistinguishable from magic” - Мы комбинируем в нашей организации и bottom up ideas, и top down. И мы все время растим compute и datasets (на ближайшие годы проблема размеров данных решаема) - это всегда давало отдачу. Но разные вещи скэйлятся по-разному, естественно мы постоянно ищем что даст бОльшую отдачу Развитие LLM - Надежность ответов будет расти, сможем на них полагаться (типа последствия решений в реальном мире велики, как проверять?) + LLM будут глубже погружаться в домены знаний - Для конкретных сфер люди будут хотеть как можно более компактные модели (e.g. 7 млрд параметров), а на больших моделях делать приложения Open source - Затрудняюсь предсказывать что-либо. Теоретически, спрос на такое в среднесрочной перспективе будет велик - Но модели пока просто поиграться, что-то написать, что-то нарисовать. Но когда-то дорастут до способности много сложных шагов проделать самостоятельно, e.g. автономно сделать tech company или автономно делать science - и вы захотите такую модель выложить в открытый доступ? Может, поизучать сперва в closed source, а потом за пару лет open source будет catch-up? AI vs. био и люди - Есть гипотеза, что трансформерами все можно сделать - просто специализация сеток разная, ну как разные участки мозга. Известны кейсы когда детям отрезали половину мозга, а они вырастали в здоровых людей - мозг переназначает какой частью мозга какие задачи делать.. Или у хорьков нервы от глаза выводили на слуховую кору мозга - и все работало - Однородность мозга у людей и животных подтверждает, что и в AI надо big uniform architecture. Да и в целом в биологии всего 20 белок-кодирующих аминокислот - и они программируют все остальное, эволюция ленива - и мы следуем по ее пути - Жизнь станет цифровой когда системы станут и супер надежными, и автономными - а пока это не так - Определения мы всегда выбираем из удобства. ОК. Reproduction (как живая жизнь же себя воспроизводит) - уже с нами (мы стали инфо от прошлых поколений реплицировать смартфонами), а автономность - еще нет Будущее - На 10 лет очень сложно предсказать. Можете себе представить живой data center? Если они станут умными, то хочется, чтобы они испытывали теплые/позитивные чувства к людям - Я занимаюсь super alignment project, цель: чтобы у super intelligence были warm feelings к humanity. Не дружба, а хотя бы pro social AI - В сфере alignment пока мало людей работает, надо больше - Технологии развиваются волнами, и сейчас мы в фазе ускорения. AI не квантовая физика (где надо быть оч smart и много лет погружаться в graduate school), сажаем людей - прогресс в AI. А замедление - хрен знает, но когда-то будет..