Интервью David Luan, фаундера Adept - AI агенты для knowledge workers, подняли $400 млн с 2022, были вынуждены продаться Amazon: - Раньше он был VP of engineering GPT и Dall-e - Главный миф про AGI - что через 10 лет заберет у нас работу. Да нет, просто будет скачок как от MS-DOS к графическим интерфейсам Co-pilots - Это и просто путь захвата рынка новыми игроками, но и наш ангел Scott Belsky (фаундер Behance) говорит: будет collapse of talent - один чел будет играть роль сразу PM/designer/engineer, руля пачкой co-pilots, мы станем более generalists - У enterprises большие бюджеты на опыты с AI и мы переоцениваем их real adoption щас, но через 10 лет в продакшне будет больше, чем думаем - AI services компании (помогают внедрять AI в enterprises) будут больше по выручке, чем model providers. Но продуктовые - еще больше Adept - Мы не пилим LLM, а в узкой нише агентов кому можно поручить произвольную работу. И тут верим в вертикальную интеграцию начиная от интерфейса end users - Разница: RPA/Uipath делают много идентичных задач, их внедряют по полгода (меняя процессы) всякие Accenture (главный канал продаж). Агенты же постоянно меняют план как решать задачу. Enterprises юзают RPA и агенты параллельно - Через 5-10 лет сможем ставить агентам высокоуровневые цели - Мы как self-driving, когда его еще не было - потенциал даже сложно вообразить Foundational models, чипы - LLM сами по себе не продукт. Станут base layer для всего, как в софте EC2 nodes и storage. Nvidia подъедает, идя по value chain, поэтому все cloud providers и LLM игроки пилят свои чипы - Думаю, будет вертикальная интеграция LLM и чипов. А иначе Google нет смысла продавать TPU, если фора по цене 20% - проще самим тренить и брать выручку с end users - Альянс Apple и OpenAI двоякий: говорит, что коммодитизация LLM будет, но и еще что Gpt4o с мультимодальностью и OpenAI пока научно далеко впереди. А Apple будет мелкими моделями что-то солвить локально на приватных data юзеров - У топ LLM сжимается окно набрать нужный объем выручки от end users чтобы остаться независимыми 3 эпохи DL в AI 1. До 2012 в AI и ML пробовали всякое и не работало 2. Google Brain 2012-2018, чистый R&D: собрали всех топ ученых и каждый искал из своего любопытства -> создали transformers, diffusion, оптимизацию - все, что сейчас воспринимают как должное 3. А с 2018 new age - Deepmind поняли, что надо прикладывать ML к разным real world or science problems Лернинги OpenAI - Я работал с Ильей, он говорил: давай трансформеры - они же всюду применимы - OpenAI направлял бездну людей на одну проблему (типа “как управлять рукой робота”), этот подход уже не как в просто academia (там главная цель - статьи). Не пачка мелких ракет, а лунная программа - 6 лет от transformers к chatGPT - это чтобы end users ну прям оценили. И за год до B2C релиза ChatGPT выкатили API разрабам играться Ограничения моделей - Не верю в иссякание performance моделей, просто это логарифмическая кривая: GPT5 заюзает в 100x больше вычислений, чем GPT4. Но закон Мура позволяет - Но LLM НЕ superhuman, НЕ рождают новые подходы к нерешенным задачам - Про данные как было? E.g. Учим решать maths - грузим кучу правильных решений, ОК. Но можно встроить модель в блокноты людей, кто только пробует решить, и это бездна data to absorb. Их больше в разговорах и на whiteboards, чем в datasets. Ну и конечно "бесконечный RL пока не решишь" типа AlphaGo Reasoning - Reasoning: для меня это способность порождать новые мысли. В отрасли есть идеи как решать, на roadmaps всех LLM игроков, но нужен рисеч - Кодеры строят что-то конкретное, но в AI ты мало что меняешь, а просто растишь масштаб и наблюдаешь new intelligence. Хотя щас сложнее быть уверенным "натреним модель на $2 млрд, 100% что-то улучшим" =) - Окно контекста в ML сложно, хотя у Gemini 1 млн токенов, но надо real memory оf long term предпочтений юзеров Прочее - Open source оч важен, пусть и с неким лагом из-за роста костов, но так вся отрасль будет поспевать за лидерами - Регуляторы, к сожалению, ваще не понимают tech - А паника по AI - это уже совсем глупости