Дошли руки до GigaChat MAX, которую в этом месяце релизнула команда Сбера. Хорошенько погонял его на различных задачах, провел метаанализ арен, автометрик и замеров на бенчмарках и действительно подтверждаю, что это лучшая русская LLM-модель. По лидерборду MERA и по ряду других GigaChat MAX однозначно превосходит остальные русскоязычные LLM. Что касается открытых зарубежных моделей, то с LLaMa 3.1 405B он идет вровень и лишь немного уступает GPT4o. Посмотрел данные по аренам (все-таки они сейчас считаются самым релевантным инструментом для получения именно пользовательского фидбека) Arena‑Hard‑En, Arena-Hard-Ru и Arena-General-Ru дали +- схожие результаты. GigaChat MAX практически всегда оказывается в топе. Причем предыдущая модель Pro тоже показывает себя более, чем достойно. В дополнение, разработчики уверяют, что они отдельно работали над красотой ответов, которая с появлением арен для бенчмарка стала одним из основных требований к чат-ботам. Ответы, в сравнении с предыдущими версиями, действительно стали более полными, четкими, структурированными, а главное — релевантными. Также, судя по выдаваемым результатам, разрабы действительно улучшили токенизатор. Код, который пишет GigaChat MAX стал гораздо цельнее и чище. Я использовал в тестах API GigaChat MAX из Studio — собрал свой кастомный чат-бот. Но модель также доступна через бот в Telegram или в веб‑версии. Доступ фактически безлимитный.