В свободное время начал шатать LLM'ки на локальном железе. Кажется еще чуть-чуть и пересекутся две кривые: доступность мощных и предобученных моделей для решения широкого круга задач (локально) и дешевое железо для их запуска. Вот тут писали про использование Phi-4 для FPGA-разработки (там в комментариях еще сгенерённый код двухклокового FIFO). Что примечательно, эта Phi-4 по размеру влезает в стоковый Mac mini M4 за $600 и позволяет все эти же упражнения делать локально. Сейчас у меня две платформы, чтобы потрогать разные LLM "дёшево и сердито и вмещается в рюкзак с ноутбуком 😅": ▫️Mac mini M4 (16GB 120GB/s) ▫️NUC-подобный х86 со встройкой Radeon 780M (96GB 60GB/s) У эппла самая большая проблема - фикс размера ОЗУ (притом без 100% предоплаты доступны только базовые версии), но если всё упирается в её пропускную способность или есть возможность задействовать в дополнении к GPU еще и NPU (как в случае с Whisper) - тут конечно в своей ценовой категории мак мини вне конкуренции). Еще наткнулся на довольно исчерпывающий бенчмарк LLM'ок на широком спектре оборудования. В конце бенчмарка приведено заключение: ▫️Покупайте геймерскую серию от NVIDIA, если хотите сэкономить ▫️Берите серверную версию NVIDIA, если у вас бизнесовые задачи ▫️Возьмите макинтош, если не хотите заморачиваться с обслуживанием и хотите тишины и энергоэффективности (и говорить всем, что у вас мак 😃) ❓Инженеры, а какие LLM и для каких задач вы используете локально на машине: поделитесь в комментариях. @embedoka