NLP stuff

تیر آخر برای فهمیدن ترنسفورمرها!

اگر هنوزم ترنسفورمرها رو مشکل دارید و با خوندن پست‌های ما روی ویرگول هنوزم دوشواری دارید، توصیه اکید می‌کنیم دو تا لینک زیر رو بجوئید. لینک اول یه بلاگ پسته که از بیخ و بن ترنسفورمرها رو توضیح میده. از اول ضرب نقطه‌ای و وان‌هات انکودینگ شروع کرده تا حتی BPE رو توضیح میده.
لینک دوم هم پیاده‌سازی پایتورچی ترنسفورمرها رو خط به خط توضیح میده. قبلا ورژن قدیمیش رو پست کرده بودیم. کدش رو می‌تونید از گیتشون پول کنید و ران کنید و با دیباگ کردن خروجی و متغیرهای قضیه رو ببینید. برای یه مسئله ساده (خروجی دادن یک دنباله ورودی تصادفی) پیاده کردند که راحت خروجی و متغیرها رو ببینید.
ما هر دو این لینک‌ها رو از ریپو سوم (از آقای Elvis) یافتیم که ریپو داره آپدیت هم میشه.

لینک بلاگ:
https://e2eml.school/transformers.html

لینک پیاده‌سازی:
http://nlp.seas.harvard.edu/annotated-transformer

لینک ریپو:
https://github.com/dair-ai/Transformers-Recipe

#read
#blog

@nlp_stuff

اوپن‌سورس‌ شدن جهان پروتئین‌ها توسط دیپ‌مایند

پروتئین‌ها واحد‌های پایه اعمال بایولوژیکی بدن انسان هستند. حمل اکسیژن‌ها توسط گلبول‌ها، تشخیص نور توسط چشم‌، حرکت ماهیچه‌ها و تشخیص سلول‌های سرطانی و خلاصه هر چه مکانیزم بایولوژیکی در هر چه موجود زنده هست رو پروتئین‌ها پی‌ریزی می‌کنند. هر پروتئین خودش از رشته‌ای از آمینواسید‌ها تشکیل شده (کلا ۲۰ نوع آمینواسید داریم) که طول این رشته میتونه تا چند هزار آمینواسید هم برسه. حالا نحوه تعامل و فعل و انفعالات بین این آمینواسید‌ها شکل سه‌بعدی یک پروتئین رو تعیین میکنه که بسیار پیچیده و دارای پیچ‌خوردگی‌ها و تا‌های زیادیه. از طرفی همین شکل سه‌بعدی پروتئین تعیین می‌کنه که پروتئین چه کاری و به چه صورتی انجام میده. ما اگر بدونیم میتونیم مثلا سریع‌تر علت بیماری‌ها رو بفهمیم و سریع‌تر براشون دارو و درمان پیدا کنیم یا حتی انزیم‌هایی رو کشف کنیم که بتونن پلاستیک رو بازیافت کنند.
برای چند دهه دانشمندان این حوزه تلاششون بر فهمیدن ساختار یک پروتئین از آمینواسید‌هاش بود که این تلاش‌ها به روش‌های آماری و بعد هم با ظهور ماشین لرنینگ به دیپ‌لرنینگ سپرده شدند. شرکت دیپ‌مایند در چند سال گذشته ابتدا مدل alphafold رو خلق کرد که میتونست همین تسک رو یعنی پیش‌بینی شکل سه‌بعدی هر پروتئین رو انجام بده. مدل alphafold یک مدل انقلابی در حوزه بیوانفورماتیک حساب میشه که یک مساله واقعی رو حل کرده. حالا دیپ‌مایند اومده و طی یک حرکت خفن پیش‌بینی مدل alphafold از شکل سه‌بعدی ۲۰۰ میلیون پروتئين (کل تعداد پروتئین‌هایی که در جهان تا حالا می‌شناسیم) رو اوپن‌سورس کرده! به امید این که سرعت در حوزه تحقیقات بایولوژی بالا بره.

لینک توضیح دیپ‌مایند:
https://www.deepmind.com/blog/alphafold-reveals-the-structure-of-the-protein-universe
لینک دیتابیس اوپن‌سورس شده:
https://alphafold.ebi.ac.uk/

پ.ن.: از این که پست‌های کانال رو به اشتراک می‌گذارید صمیمانه ازتون ممنونیم.

#read
#news

@nlp_stuff