Тут на реддите кипиш — исследователи из Google research представили новую архитектуру нейросетей - Titans, объединяющую рекуррентные модели и механизм внимания. Авторы задаются вопросом, неужели Attention is all we need? В отличие от трансформеров, ограниченных фиксированной длиной контекста, Titans используют нейросетевую долгосрочную память, что позволяет использовать её адаптивно и забывать ненужные данные. В тестах Titans превзошли трансформеры, эффективно обрабатывая контекст более 2 млн токенов с высокой скоростью и точностью, особенно в задачах поиска скрытых данных. В общем назревает битва Титанов vs Трансформеров, посмотрим кто в итоге победит✨  Научная статья