Тренд в ИИ - память.Meta*, Google, Sakana AI предложили разные пути развития ИИ ИТ- гиганты представили свои решения для улучшения памяти языковых моделей, демонстрируя разные подходы к развитию ИИ. Развитие памяти в ИИ системах - ключевой фактор для создания более совершенных моделей. Meta предлагает немедленные улучшения существующих систем: 1. Замена feed-forward слоев на специальные слои памяти с механизмом поиска 2. Увеличение параметров модели без роста вычислительных затрат 3. До 128 млрд параметров памяти 4. Особенно эффективен для фактологических задач В то время как Google предлагает фундаментально новую архитектуру. Об этом мы писали здесь. Подход Meta решает актуальную проблему масштабирования параметров, предлагает быстрые практические улучшения, остается в рамках существующей парадигмы трансформеров. А Google переосмысливают саму природу работы с информацией в нейросетях. Вводят биологически-инспирированные механизмы памяти. Предлагают принципиально новый способ обучения и адаптации. Интересно, что не только гиганты работают над улучшением памяти и адаптивности ИИ. Например, Sakana AI недавно представила Transformer², который предлагает свой подход к адаптации моделей. Однако их решение менее фундаментально и больше похоже на улучшенную версию существующих методов адаптации. *Запрещенная организация в России.