​Нейросети воссоздают игровой процесс без кода и графики из оригинала Модели машинного обучения теперь не просто копируют оригинальный игровой код, а заново конструируют процесс игры, предлагая интерактивные и динамичные симуляции. Такие технологии открывают новые горизонты для симуляций, где ИИ не просто реагирует на команды игрока, но и самостоятельно генерирует бесконечно развивающийся виртуальный мир. Одни из самых многообещающих примеров таких технологий — это GameGen-O от Tencent и GameNGen от Google Research. Tencent: GameGen-O — ИИ для открытых миров Tencent с несколькими университетами из Китая и Гонконга разработал ИИ-модель GameGen-O для создания симуляций видеоигр с открытым миром. Исследователи обучали модель на OGameData — наборе данных из более чем 100 современных видеоигр. Всего отобрали 15 тыс. видеороликов геймплея. Сначала ее научили генерировать игровой контент, а затем добавили компонент InstructNet, чтобы пользователь мог интерактивно управлять этим контентом. GameGen-O воссоздает действия персонажа и окружение, а игрок может управлять героем и наблюдать изменения в игровом мире в реальном времени. Поддержка существующих игровых движков делает эту технологию легко внедряемой в разработку игр, автоматизируя процесс создания игровых миров и контента. GameNGen: опыт Google Research и DeepMind Ранее исследователи из Google Research, Google DeepMind и Тель-Авивского университета создали модель GameNGen. Основа GameNGen — диффузионная нейросеть, которая предсказывает каждый следующий кадр игры, используя последовательность ранее сгенерированных кадров и поток команд игрока на входе. Сначала исследователи научили ИИ-агента играть в Doom с помощью алгоритма проксимальной оптимизации политики (Proximal Policy Optimization). Так он накопил записи действий и 900 млн кадров обучающих данных. Затем с их помощью обучили диффузионную модель на базе Stable Diffusion v1.4 генерировать следующий кадр. В итоге модель оказалась способна реагировать на действия игрока в реальном времени, правильно изменять цифры счетчиков здоровья, патронов и брони в зависимости от действий игрока и урона от монстров и другого окружения в игре. Игровой мир также меняется в зависимости от действий игрока: открываются и закрываются двери, появляются новые монстры и др. Как и в случае с разработкой Tencent, GameNGen не «пишет» реальную игру, а попиксельно воссоздает видео прохождения этой игры, причем потенциально бесконечное — может генерировать новые и новые уровни. В ней игрок в реальном времени взаимодействует с виртуальной средой. Модель выдает настолько высокое качество графики (20 кадров в секунду), что с первого взгляда очень сложно отличить реальную игру от симуляции. Для симуляции хватает вычислительных мощностей одного TPU. Для демонстрации возможностей исследователи воссоздали классику игр 90-х — первый Doom.