View in Telegram
Dealer.AI
Exo для тех кто мечтал в "две руки". exo — это тулза для распределенного запуска на своих девайсах LLM. Поддерживается iPhone, iPad, Android, Mac, Linux. Использует среды MLX, llama.cpp, tinygrad. В качестве стратегии шеринга весов моделей использует разные…
Ребята колятся уже по-крупному, на всю котлету с x4 M4 запускают LLMки в distributed с уже упоминаемой мной либой exo!
Пошла жара в массы!
За инфоповод спасибо GenerativeAnton
https://fxtwitter.com/alexocheema/status/1855238474917441972
Пошла жара в массы!
За инфоповод спасибо GenerativeAnton
https://fxtwitter.com/alexocheema/status/1855238474917441972
FxTwitter / FixupX
Alex Cheema - e/acc (@alexocheema)
M4 Mac Mini AI Cluster
Uses @exolabs with Thunderbolt 5 interconnect (80Gbps) to run LLMs distributed across 4 M4 Pro Mac Minis.
The cluster is small (iPhone for reference). It’s running Nemotron 70B at 8 tok/sec and scales to Llama 405B (benchmarks soon).
Uses @exolabs with Thunderbolt 5 interconnect (80Gbps) to run LLMs distributed across 4 M4 Pro Mac Minis.
The cluster is small (iPhone for reference). It’s running Nemotron 70B at 8 tok/sec and scales to Llama 405B (benchmarks soon).
Telegram Center
Channel