🔥Тэкс, свежий дроп - Mixtral-8x22B! Mistral как обычно в своем стиле, тупо оставили magnet-ссылку на торрент с весами своей новой модели. Вот знатные троли. Новая модель это Mixture of Experts Mixtral-8x22B: - Размер модели 262 GB (я так понимаю веса в fp16) - 8 экспертов / 2 активных - В сумме 141 B параметров / активных 39B - 56 слоев, hidden_dim=16384, 48 attention голов - Размер контекста 65536 токенов. Обстановочка в гонке моделей накаляется с каждым днем. Кажется, Command R+ могут подвинуть на лидерборде! Weclome to ARENA! 🍿 @ai_newz