❗️Google представили новую архитектуру Titans Исследователи из Google Research представили новый подход к обработке длинных последовательностей данных, вдохновленный работой человеческой памяти. Современные языковые модели сталкиваются с серьёзным ограничением: они могут эффективно обрабатывать только ограниченный объем контекста (как наша краткосрочная память - около 30 секунд). Это создает проблемы при анализе длинных текстов, где важна информация из далекого прошлого. Исследователи разработали Titans с тремя типами памяти: 1. Краткосрочная память (механизм внимания) - для точной обработки текущего контекста 2. Долговременная память - для хранения важной информации из прошлого 3. Постоянная память - для хранения общих знаний о задаче Система учится запоминать важную информацию так же, как это делает человеческий мозг - фокусируясь на неожиданных и значимых событиях. При этом используется умный механизм "забывания", позволяющий освобождать память от неактуальной информации. Преимущества: • Может работать с контекстом длиной более 2 млн токенов • Превосходит существующие модели в задачах обработки языка • Эффективно использует вычислительные ресурсы • Может применяться в различных областях: от анализа текстов до биоинформатики