Бенчмарк Whisper.cpp на 60-минутном файле с русской речью:
▫️large-v3 [GPU]: 15:40 (
4x)
▫️large-v3-turbo [GPU]: 5:45
▫️large-v3-turbo [GPU+NPU]: 3:20 (
18x)
Как видно из цифр и скрина: использование NPU (
ANE - Apple Neural Engine) не только ускоряет инференс, но и существенно повышает энергоэффективность.
А теперь о болях:
при помощи утилиты мониторинга видно, что температура чипа под нагрузкой достигает неприличных цифр, при этом вентилятор продолжает работать бесшумно. Это всё потому, что вентилятор крутится на
20% от полной мощности и никакими ухищрениями (штатными настройками макоси) не получилось сдвинуть эту настройку с мёртвой точки. Конечно же с точки зрения Эппла это не баг, а фича (ведь ваш мини будет оставаться бесшумным при любых нагрузках, охраняя ваш чуткий сон), но мною это воспринимается как подлый запрограммированный износ и ограничение доступа к железу.
И о решении этой боли:
Нужно всего лишь
купить😄 одну из двух существующих на сегодняшний день программ для контроля оборотов вентилятора (
TG pro или
macsfancontrol). Более того - обе программу существуют только в виде GUI-варианта. Это просто счастье неимоверной величины, о котором я не мог мечтать сидя под линуксом на "железе простолюдинов"
😃
Программы конечно красивые и считывают несколько десятков температур различных комплектующих макмини, но мне-то нужна единственная фича: поддать газку на единственной вертушке
🙏
PS: Пока сижу на триале и, кажется, знаю что себе на рождество подарю
🤬
(
быть может за две недели еще какие-то моменты всплывут, требующие срочной покупки супер-навороченной программы с супер-красивым GUI 😳)
@embedoka