Во втором эксперименте предложена Latent Space Diffusion Evolution, вдохновлённая latent space diffusion models (https://arxiv.org/abs/2112.10752). Она позволяет решать проблемы с многомерными пространствами параметров, исследуя низкоразмерное латентное пространство. Здесь метод применили для RL задач, где сеть должна научиться управлять классической тележкой с шестом (которая cart-pole). Для управления использовалась двуслойная сетка с 58 параметрами. Напрямую Diffusion Evolution работает плохо, зато если перейти в латентное пространство с двумя параметрами, то всё хорошо. Я так понял, что преобразование выполняется через случайную матрицу проекции, и через него считаются только расстояния между решениями, а сами решения обновляются в исходном пространстве. Результат хороший, работает и с более крупными сетками (проверили также на трёхслойной сети с 17410 параметров). В общем, зачёт. Заодно показали, что можно переносить работающие решения из других областей (как перенесли идею из латентных диффузионок). Это похоже на подход, активно используемый Tri Dao и Albert Gu в их SSM, когда сводят в один класс SSM и что-то известное типа линейного трансформера и переносят на SSM идеи, работающие на этом трансформере, как было в работе про Mamba-2 (https://t.center/gonzo_ML/2718), например. Это всё очень прикольная движуха, показывающая, что обучение и эволюция по большому счёту делают одно и то же. А вспоминая работу про сравнение обучения нейросети через SGD с диффузионным процессом (Neural Network Diffusion, https://t.center/gonzo_ML/2394), то транзитивно можно, наверное, сказать, что и градиентные спуски -- это тоже эволюционные алгоритмы? Снова объединяются эволюция и обучение? И может в таком случае термодинамический компьютер (https://t.center/gonzo_ML/2313) -- универсальное железо для всего этого будущего AI? Есть над чем подумать. Есть и открытые вопросы, например, очень большой вопрос про то, что диффузионки работают на конечном времени, а реальная эволюция потенциально бесконечна и open-ended. Как адаптировать Diffusion Evolution к open-ended сеттингу? Могут ли другие варианты диффузионных моделей привести к новым эволюционным алгоритмам? (почему нет?) Можно ли в эволюционные алгоритмы привнести inductive biases из диффузионок? Как латентные диффузионные модели соотносятся с нейтральными генами? Можно ли продвинуть диффузионки идеями из эволюции? Короче, давайте активно кросс-опыляться!