دستاوردهای یادگیری عمیق(InTec)

Test time training

که از MIT هم اومده بسیار جذابه‌ها (نه برای پروداکشن البته؛ حداقل فعلا نه).

از کانال محمد طلایی عزیز
قبلاً هم این کانال رو به بچه‌هایی که علاقه‌مند به مباحث مالی هستند معرفی کردند.

محمد از دوستان خوب و بسیار با سوادم هست، که همیشه از خوندن مطالب و بحث کردن باهاش لذت می‌برم

خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل از جمله pretraining در GPT-2 بهتر بوده.

ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:

۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان، قبل از آپدیت momentum

Paper
Github
کد:

from adopt import ADOPT
#optimizer = Adam(model.parameters(), lr=1e-3)
optimizer = ADOPT(model.parameters(), lr=1e-3)

خیلی خوب جواب میده
اونقدر هم دست به کد هست که :

باید بهش بگی داداش، فقط توضیح بده کد نزن ی دیقه بذار خودمم به راه‌حل فکر کنم

من تمام تست‌ها رو روی Rust انجام دادم.

نتایج
Qwen2.5 32b

تست می‌کنم و میگم.

ولی اگر خواستید کار قشنگی بکنید
نرید توی نوت‌بوک‌های آموزشی که توسط community نگهداری می‌شه اشتباه تایپ تغییر بدید.

خیلی پروژه‌های بزرگ هستند که:
۱- داکیومنت آپدیت شده ندارند (برای خیلی از فیچرهای جدید)
۲- داکیومنت فارسی ندارند
۳- داکیومنت مثال نداره
۴- تست نویسی مناسبی نداره
۵- داک‌استرینگ و تایپینگ ندارند.

همه‌ی اینها کارهای بسیار با ارزش و بزرگی هست که می‌تونید انجام بدید؛ حتی وقتی دارید یک کتابخونه رو یاد میگیرید، خیلی هم اسم بهتری داره
ولی
هیچوقت از هیچ کاری تو دنیای open source سعی نکنید سو استفاده کنید.

اون شخصی بود که لینکدین گذاشته بود که
Pull Request
زده روی پروژه models خود تنسرفلو بعد ۱۸۰۰ تا لایک و ... گرفته.

تا اینجاش به ما ربطی نداشت، ولی اونم پکیج فروشی رو شروع کرده. (که دیگه به ما ربط داره)

تازه اسم بچه‌های AI رو هم داره خراب می‌کنه

تمام کاری که کرده این بوده، A0 رو به A2 تغییر داده.

آموزش همکاری روی پروژه‌های open source هم گذاشته.
پشمام

اینجا کاخ سفید و اینم ایلان ماسک.

دونالد ترامپ رئیس جمهور جدید آمریکا (ایلان طرفدار ایشون)

ایلان این حرکت رو بعد از خرید توییتر زده بود.



الان ی مشت حسود پلاستیکی میان میگن عکس فتوشاپ هست‌

تکنیک مورد علاقه جدیدم :

https://docs.instructlab.ai

ی بنده خدا هم هست توی لینکدین
۲ سال و نیم هست (حداقل از وقتی من میشناسم) داره مصاحبه می‌کنه که موقعیت خارج از ایران بگیره

هنوز موفق نشده، بعد تجربیاتی که می‌ذاره زیر ۱۰۰۰ تا لایک نداره.

امشب دیدم زده می‌خواد بصورت خصوصی افراد رو راهنمایی کنه موقعیت بگیرن (با هزینه)

بعد ۳۰۰ تا اسکل هم کامنت کردن با این مضمون که :
تورو خدا منو بذار تو اولویت

لینکدین از اینستاگرام هم اسکل بیشتر داره 🤣😂

بگذارید هرکس به آیین خودش باشد.
زنان را گرامی بدارید.
فرودستان را دریابید.
اجازه دهید هرکسی به تکلم قبیله‌ی خویش سخن بگوید.

آدمی تنها در مقام خویش به منزلت خواهد رسید.

۷ آبان روز بزرگداشت کوروش کبیر، همایون باد.

اگر لینکدین رو بذارم مرجع بیش از ۸۰٪ کسانی که در زمینه AI کار می‌کنند و سطح Senior (با توجه به لینکدین)

فقط مدرس هوش مصنوعی هستند.
یا بنیانگذار شرکتی که از API هوش مصنوعی شرکت‌های خارجی استفاده می‌کند.
و هیچ پروژه موفق دپلوی شده‌ای ندارند.


فروش رویا به نسل جدید توی شرایط سخت این روزها منبع درآمد این گروه شده.


اگر خواستید حرف‌های من رو validate کنید این مسیری هست که ما رفتیم :

1) LinkedIn crawler (playwright mostly)
2) Json parser for most of the information
3) LLM & LLM Scrappers
4) Search company, role and ... using google/duckduckgo api
5) Human check (for edge cases)

این پروژه‌ای بود که من به دوتا از بچه‌ها دادم (هدف یادگیری llm finetune و ... بود با یک پروژه چالشی)

الان خود کد و تحلیل‌هاشون رو می‌فروشند، شما هم می‌تونید تمرین کنید.


شاید تا چندوقت دیگه اینم سرویس شد (برای تمرین بیشتر و تعداد یوزر در اسکیل بزرگ)


پ.ن : فقط منتورشیپ بچه‌ها ٫ کد ریوو با من بود و بنده هیچ کدی رو نزدم روی این پروژه (همش کار خودشون بود)

این ویدئو ۷۰٪ سوالاتی که توی چندماه اخیر (بعد از راه‌اندازی @PyRust ) پرسیدید رو جواب میده و خیلی هم عالی :

Youtube Link

بطور کلی PyData اخیر سخنرانی خوب کم نداشت واقعا

سال 2020 درمورد نحوه استفاده از Rapids توی شرکتی که اون زمان کار میکردم گفتم.
بعدتر درمورد cuGraph هم صحبت کردم.


دیروز دیدم یک تیم ایرانی شدیدا درگیر پردازش یک حجم بزرگ از گراف هستند که خب networkX سالها طول میکشه

قبل خرید و تصمیمات … گرفتن یک مشاوره از من گرفتند؛ کد رو بردم روی cuGraph و پردازش تا 300x سریعتر شد؛ قطعا بیشتر هم میشد ولی نیاز به اپتیمایز کردن نبود.


خواستم یادآوری کنم که؛ حواستون به پستهای قدیمی کانال هم باشه؛ بعضیاش طلاس
زمان لازم داره تا ارزشش مشخص بشه.

اون پست رو یادتون هست ؟

حالا ماکروسافت امروز اومد کلی ابزار رو open-source کرد که مهم‌ترین مورد مربوط به این کانال

BitNet.cpp

هست که با efficiency بالا مدل‌ها رو می‌بره روی 1bit برای inference داستان اونجایی قشنگ میشه که خیلی‌ها دارن مدل‌های 70B رو باهاش می‌برن روی لوکال و CPU اجرا می‌کنند.

https://github.com/microsoft/BitNet

متأسفانه فرصت تست نداشتم و امشب هم فکر نکنم بتونم
ولی حتماً برای فردا روی مدل‌های سایز مختلف سعی می‌کنم تست کنم و نتایج رو منتقل کنم.

سخنرانی جالبی بود :
مهمترین عنصر پیاده سازی هست

Pydata Youtube

#موقت

اولین تبلیغ مربوط به سرویسی هست که گروهی از دوستان توسعه دادند.
سرویس تا امروز خصوصی بوده

سر میزان تخفیف به اعضای کانال چونه بزنم
تست‌ها رو هم انجام بدم

باهاتون به اشتراک میذارم (درصورت رضایت)؛ هرچند وقتی سرویس خصوصی بود بسیار باهاش کار کردم.

تبلیغ یک بوت کمپ پاییزی رو ۷-۸ نفر برای من فرستادید (اسم نمی‌برم چون بعضی از مدرس‌هاش رو باهاشون کار کردم)

فقط به این دوستان گفتم بروند، بررسی کنند اسم این افراد و شرکت‌هایی که زدند آیا اون شرکت محصول هوش مصنوعی درستی داره یا نه

اینکه دارند از یک سرویس دیگه api می‌گیرند (مثلاً گوگل، آمازون و ...) و بعد روی api خودشون به شما سرویس میدهند نه ...

خودشون به جواب رسیدند، چون بازم بعضی از شما عزیزان دارید برام ارسال می‌کنید توی کانال گذاشتم که خودتون بررسی کنید.

موفق باشید 🌹

یوتیوب خودمون که لایوهای؛ advance python اونجا قرار میگیره :


https://www.youtube.com/@PyHints