LLM Journal Club

🔔 اعلام برنامه جلسه‌ی سیزدهم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: تقویت استدلال در مدل‌های زبانی بزرگ با استفاده از یادگیری تقویتی با برنامه‌ریزی معکوس
👤 ارائه‌دهنده: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۱/۰۷، ساعت ۲۰:۰۰ تا ۲۱:۳۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه، روشی برای تقویت توانایی استدلال در مدل‌های زبانی بزرگ معرفی می‌شود. با استفاده از یادگیری تقویتی و برنامه‌ریزی معکوس، مدل‌ها از نقاط ساده‌تر آموزش را آغاز کرده و به تدریج در انجام وظایف پیچیده‌تر بهبود می‌یابند. این روش عملکرد مدل‌ها را در حل مسائل چندمرحله‌ای به شکل قابل‌توجهی بهبود می‌دهد.
منابع:
Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning

کانال یوتیوب ژورنال‌کلاب
افزودن رویداد به تقویم گوگل‌
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.

یادآوری

🔔 اعلام برنامه جلسه‌ی دوازدهم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع:
Molmo and PixMo: Open Weights and Open Data for State-of-the-Art Vision-Language Models
👤 سخنران مهمان: محمدرضا صالحی، دانشجوی دکترای دانشگاه واشینگتن و پژوهشگر هوش مصنوعی در شرکت اپل
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۰/۳۰، ساعت ۲۱:۳۰ تا ۲۳:۰۰
📍 مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه:
مدل‌های Molmo و PixMo بررسی می‌شوند که با استفاده از وزن‌ها و داده‌های باز، پیشرفت‌هایی چشمگیر در مدل‌های چندوجهی زبان-تصویر ارائه داده‌اند. این مدل‌ها با تکیه بر مجموعه‌داده‌های نوآورانه، زیرنویس‌های دقیق انسانی، و معماری بهینه‌سازی‌شده، عملکردی رقابتی با سیستم‌های انحصاری دارند و تمامی وزن‌ها، داده‌ها و کدهای آن‌ها به‌صورت باز منتشر شده است.
منابع:
Molmo and PixMo: Open Weights and Open Data for State-of-the-Art Vision-Language Models

📺 کانال یوتیوب ژورنال‌کلاب
📅 افزودن رویداد به تقویم گوگل

از همه‌ی علاقه‌مندان دعوت می‌کنیم که در این جلسه شرکت کنند!
#LLM #LLM_JC #LLM_Club #INL_Lab
#VLM

این جلسه لغو شده و در هفته‌های آینده برگزار می‌شود.

🔔 اعلام برنامه جلسه‌ی دوازدهم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: چالش‌های اخیر در مالتی‌مدال‌ها
👤 سخنران مهمان: دکتر علی‌رضا فتحی، رهبر تیم در گوگل دیپ‌مایند، پژوهشگر پیشین هوش مصنوعی در اپل و پژوهشگر پیشین در دانشگاه استنفورد
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۰/۲۳، ساعت ۱۸:۰۰ تا ۱۹:۳۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه، دکتر علی‌رضا فتحی پیرامون چالش‌ها و پیشرفت‌های اخیرِ مالتی‌مدال‌ها صحبت خواهند کرد.

افزودن رویداد به تقویم گوگل‌
کانال یوتیوب ژورنال‌کلاب
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM #LLM_JC #LLM_Club #INL_Lab

یادآوری، شروع جلسه ساعت ۱۸:۰۰

🔔 اعلام برنامه جلسه‌ی یازدهم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: «بهبود قدرت استدلال در مدل‌های زبانی بزرگ»؛ بررسی شش پژوهش پذیرفته شده در آی‌سی‌ام‌ال ۲۰۲۴
👤 ارائه‌دهنده: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۰/۱۶، ساعت ۱۸:۰۰ تا ۱۹:۳۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه، پنج مقاله مرتبط با «استدلال» در مدل‌های زبانی بزرگ که در کنفرانس آی‌سی‌ام‌ال ۲۰۲۴ پذیرفته شده‌اند بررسی خواهند شد.
منابع:
1. NExT: Teaching Large Language Models to Reason about Code Execution
2. Premise Order Matters in Reasoning with Large Language Models
3. Improving Factuality and Reasoning in Language Models through Multiagent Debate
4. Chain of Code: Reasoning with a Language Model-Augmented Code Emulator
5. MathScale: Scaling Instruction Tuning for Mathematical Reasoning
6. language Agent Tree Search Unifies Reasoning, Acting, and Planning in Language Models

کانال یوتیوب ژورنال‌کلاب (اسلایدها و ویدئوها)
افزودن رویداد به تقویم گوگل‌
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM #LLM_JC #LLM_Club #INL_Lab #Reasoning

یادآوری

🔔 اعلام برنامه جلسه‌ی دهم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: انتساب مقیاس‌پذیر رفتار مدل‌های زبانی بزرگ به منابع داده و نورون‌ها
👤 سخنران مهمان: دکتر طاها بهادری، پژوهشگر ارشد یادگیری ماشین در آمازون و عضو هیئت علمی وابسته دانشگاه واشنگتن
🗓 زمان: یک‌شنبه ۱۴۰۳/۱۰/۰۹، ساعت ۱۹:۰۰ تا ۲۰:۳۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه، دکتر طاها بهادری، به معرفی روش‌های نوین برای بررسی و تحلیل رفتار مدل‌های زبانی بزرگ خواهند پرداخت. این ارائه بر روی چگونگی نسبت دادن رفتار این مدل‌ها به داده‌های آموزشی و سازوکارهای داخلی (مانند نورون‌ها) تمرکز خواهد کرد. همچنین، از مفاهیم یادگیری درون‌متنی (In-Context Learning) برای انتساب سریع داده‌های آموزشی استفاده خواهد شد.
برخی از منابع مرتبط با جلسه:
1. Fast Training Dataset Attribution via In-Context Learning

افزودن رویداد به تقویم گوگل‌
کانال یوتیوب ژورنال‌کلاب
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM #LLM_JC #LLM_Club #INL_Lab

یادآوری

🔔 اعلام برنامه جلسه‌ی نهم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: مروری بر برخی از نوآوری‌های اخیر در رگ و چالش‌های آن‌ها
👤 ارائه‌دهنده: حانیه سرتیپی
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۹/۲۵، ساعت ۱۸:۰۰ تا ۱۹:۳۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در ارائه‌ی این هفته، روش‌های جدید برای بهبود رگ را بررسی می‌کنیم.
بحث‌ها شامل موارد زیر خواهند بود: اصلاح خطاهای مدل با استفاده از داده‌های بازیابی‌شده، نقد خودکار برای ارتقای کیفیت پاسخ‌ها، و بهینه‌سازی پرس‌وجوها برای دستیابی به پاسخ‌های دقیق‌تر.
منابع:
1. Corrective Retrieval Augmented Generation
2. Self-RAG: Learning to Retrieve, Generate, and Critique Through Self-Reflection
3. RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation
افزودن رویداد به تقویم گوگل‌
از همه‌ی شما دعوت می‌کنیم که در این جلسه‌ شرکت کنید.
#LLM #LLM_JC #LLM_Club #INL_Lab

یادآوری

🔔 اعلام برنامه جلسه‌ی هشتم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: معماری دوگانه برای بهبود ایمنی و کارایی در مدل‌های زبانی بزرگ
👤 سخنران مهمان: دکتر شروین قاسملو از پژوهشگران ارشد هوش مصنوعی در شرکت متا
🗓 زمان: سه‌شنبه ۱۴۰۳/۰۹/۲۰، ساعت ۲۱:۳۰ تا ۲۳:۰۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه، دکتر شروین قاسملو درباره‌ی معماری نوآورانه‌ی Doppelgänger صحبت خواهد کرد؛ روشی که به‌صورت همزمان به بهینه‌سازی ایمنی و مفید بودن مدل‌های زبانی بزرگ (LLM) می‌پردازد. این معماری با اضافه کردن یک ماژول موازی به مدل، ایمنی ورودی و خروجی را در لحظه‌ی تولید هر توکن پیش‌بینی می‌کند و نیاز به مدل‌های جداگانه برای ارزیابی ایمنی پس از تولید را حذف می‌کند. این رویکرد با استفاده از داده‌های کم، نتایجی دقیق‌تر و کارآمدتر ارائه می‌دهد و به بهبود سرعت و کاهش مصرف منابع منجر می‌شود.

منابع:
1. Doppelgänger’s Watch: A Split Objective Approach to Large Language Model
افزودن رویداد به تقویم گوگل‌
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
#LLM #LLM_JC #LLM_Club #INL_Lab

مکان برگزاری: vc.sharif.edu/ch/mjafari

یادآوری

🔔 اعلام برنامه جلسه‌ی هفتم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: بررسی پژوهش Self-Instruct
👤 سخنران مهمان: دکتر یگانه کردی
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۹/۰۴، ساعت ۱۸:۰۰ تا ۱۹:۳۰
مکان برگزاری: vc.sharif.edu/ch/mjafari
🔍 در این جلسه میزبان دکتر یگانه کردی از دانشگاه Brown و از پژوهشگران اصلی پژوهش Self-Instruct هستیم. این مقاله روشی برای هم‌راستا کردن مدل‌های زبانی بزرگ (LLM) با استفاده از مجموعه‌ای از دستورالعمل‌های خودتولید شده ارائه داده است. این روش به مدل کمک می‌کند تا بدون نیاز به داده‌های برچسب‌خورده‌ی گسترده، قابلیت پاسخ‌دهی دقیق‌تر و منطبق‌تر با اهداف کاربر را به دست آورد.
منابع:
1. Self-Instruct: Aligning Language Models with Self-Generated Instructions
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
افزودن رویداد به تقویم گوگل‌
#LLM #LLM_JC #LLM_Club #INL_Lab

جلسه متاسفانه با ده دقیقه تاخیر از ساعت ۱۸:۱۰ آغاز می‌شود

یادآوری

جلسه‌ی امروز لغو و هفته‌ی آینده برگزار می‌شود

🔔 اعلام برنامه جلسه‌ی ششم ژورنال‌کلاب مدل‌های زبانی بزرگ

📚 موضوع: رونمایی از LayerSkip؛ روش جدید Meta AI برای سرعت‌بخشی به فرآیند تولید توکن در مدل‌های زبانی بزرگ
👤 ارائه‌دهنده: معین سلیمی
🗓 زمان: یک‌شنبه ۱۴۰۳/۰۸/۲۰، ساعت ۱۸:۰۰ تا ۱۹:۳۰
🔍 در این جلسه، مقاله LayerSkip از پژوهشگران Meta AI را بررسی می‌کنیم؛ روشی نوآورانه که با ترکیب آموزش و حذف لایه‌ها، سرعت خروجی در مدل‌های زبانی بزرگ را افزایش می‌دهد. این راهکار امکان خروج زودهنگام از لایه‌ها را فراهم می‌کند و باعث کاهش هزینه‌های محاسباتی می‌شود بدون آنکه دقت مدل کاهش یابد.
منابع:
1. LayerSkip: Enabling Early Exit Inference and Self-Speculative Decoding
2. Fast Inference from Transformers via Speculative Decoding
از همه‌ی شما دعوت می‌کنیم که در این جلسه شرکت کنید.
افزودن رویداد به تقویم گوگل‌
کانال یوتیوب ژورنال‌کلاب

#LLM #LLM_JC #LLM_Club #INL_Lab