NVIDIA Project Digits -
персональный AI сервер на ладошке.
NVIDIA показала компактную AI платформу стоимостью в 3k USD, которая может
запускать модели размером до 200B. А если соединить две машины - до 405B.
На борту - GB10 Grace Blackwell чип. У чипа может быть до 128 GB unified памяти (похоже на маки). На борту крутится DGX OS и запускается весь софт NVIDIA. Машинка может использоваться отдельно или подключаться к компьютеру.
Получается такой DGX сервер на минималках. В продаже — начиная с Мая. Это может быть выгодным вариантом для компаний, которые хотят протестировать локальных AI ассистентов без покупки большого сервера с GPU.
Скажем, для небольших AI стартапов в EU, которым нужно работать с личными данными или секретами компаний - это очень выгодное решение. На заточку под работу с RAG-ами еще намекает место для данных - до 4TB flash storage на борту.
У вас есть проекты, где бы хорошо зашла такая машина?
Ваш,
@llm_under_hood 🤗