Вот это новость от AMD! Как долго я этого ждал. AMD наконец вступила в Deep Learning игру и показывает серьезную заявку пошатнуть монополию NVIDIA на рынке AI чипов. Сегодня они представили новую видеокарту для обучения и инференса нейронных сетей — AMD MI300X. Эта крошка вполне может тягаться с Nvidia H100. Вот её характеристики: — 192 Gb VRAM на одном чипе, (против 80Gb у H100, NVL версия не в счёт) — 5.2Tb пропускная способность памяти (против 3.35 y H100) — Бенчмарков по скорости пока нет, но одна Mi300X легко тянет 40B языковую модель Falcon в риалтайме (см на видео). Это первая видеокарта, которая вмещает модель такого размера полность в своей памяти. Ещё (это очень важно) AMD договорились с Pytorch Foundation о том, что их софтовый стэк ROCm и все обновления будет поддерживаться и сразу запиливаться в Pytorch 2.0. То есть теперь гонять сети на картах AMD станет также легко как и на гпу от Nvidia! Это чудесные новости! @ai_newz