Высок ли потенциал китайских LLM: новое исследование от EpochAI (надеемся, на этот раз не проспонсированное OpenAI)
Основное: исследователи насчитали, что мощности, выделяемые на обучение моделей, в Китае растут почти в два раза медленнее, чем у конкурентов с Запада и Европы. Если для глобала это 4.8x в год, то в Китае 2.9x (если считать с конца 2021).
Это не означает, что потенциала у Китая нет. Например, до 2021 – посмотрите на график – они уверенно давили педаль в пол, за счет чего и догнали мировую индустрию.
А сейчас разрыв опять растет. Конечно, флопсы – это только один из аспектов, и метрики последних моделей DeepSeek нам явно на это указывают, но все-таки недостаток мощности это риск. Например, уже сейчас
Китаю бы потребовалось 2 года, чтобы достичь скейла глобального сегодняшнего топ-10. Неужели Gwern
был прав?