🔥 Google представили Transformers 2.0 — это новая архитектура Titans, которая может стать главным двигателем прогресса LLM в 2025 году. Краткий пересказ огромного исследования: • Проблема: трансформеры обрабатывают ограниченный объем контекста, часто забывают его части и отвлекаются на неважные детали. • Решение: архитектура Titans с тремя типами памяти! 1. Краткосрочная память — для обработки инфы сейчас; 2. Долгосрочная память — для хранения важной инфы из прошлого; 3. Постоянная память — для хранения текущего запроса. • Titans работает как человеческий мозг — забывает неактуальную инфу, а в долгосрочную память кладёт только самое важное. • Результат: Titans запоминает контекст длиной больше 2 миллионов токенов! Можно загрузить три полных версии романа «Война и мир» за раз — больше, чем у любых существующих нейронок. Архитектура, которая проложит путь к AGI — тут. @notboring_tech