Эмм MiniMax (да которые в видео) выпустили серию моделей MiniMax-01 с открытым исходным кодом, включая MiniMax-Text-01 с контекстным окном в 4 миллиона токенов. Модель использует гибридную архитектуру, сочетающую Lightning Attention, Softmax Attention и Mixture-of-Experts (MoE). Это позволяет обрабатывать и поддерживать огромные объемы информации, что может революционизировать AI-ассистентов и мультиагентные системы. (занавес) Блог тут Юзаем тут Гитхаб тут