DeepSeek V2.5
Обновлённая модель, результат мержа DeepSeek V2 и
DeekSeek Coder V2, сочетающая позитивные стороны обеих моделей и заменяющая обе. В большинстве бенчей лучше чем оба своих предшественника, но в паре есть деградация. Советуют подкрутить температуру и промпт, если есть какие-то странности.
Всё по той же крайне низкой цене - 14 центов за миллион токенов на вход и 28 центов на выход. А ещё есть Context Caching, который в 10 раз срезает стоимость инпута и бесплатно хранится сутки.
Если не хочется использовать API, то веса модели уже доступны. Из-за нестандартной архитектуры, с инференсом были проблемы, но последняя версия
SGLang их исправила - перформанс вырос в 7 раз.
Huggingface
@ai_newz