🗞 ـ بهینه‌سازی آموزش مدل‌های زبان بزرگ با روش Frenzy 🔘 ـ پژوهشگران به منظور افزایش کارایی در آموزش مدل‌های زبان بزرگ (LLM) روی خوشه‌های GPU ناهمگون، روش Frenzy را توسعه داده‌اند. این روش به کمک پیش‌بینی مصرف حافظه و بهینه‌سازی زمان‌بندی، تخصیص منابع را به صورت پویا انجام می‌دهد. Frenzy با استفاده از دو ویژگی Memory-Aware Resources Predictor و Heterogeneity-Aware Scheduling، مصرف حافظه را با دقت بالا پیش‌بینی و وظایف را به صورت بهینه بین GPUهای مختلف توزیع می‌کند. آزمایش‌ها نشان داده‌اند که Frenzy دقت پیش‌بینی مصرف حافظه را به بیش از 92% رسانده و زمان‌بندی را ده برابر سریع‌تر از روش‌های سنتی انجام داده است. 🔗 MarkTechPost 🪄 مشاهده خلاصه مطلب با AI ✔ @rade_ai_news | @rade_ai