Интро в Трансформеры для чайников
3Blue1Brown, популярный математический ютубер, начал выпускать серию
видео о том, как работает трансформер. Первое видео посвящено эмбеддингам и тому, как моделька определяет, какой токен ей выдать. Вышло лучшее объяснение темы "для чайников", с анимациями и довольно простым языком. Обещает ещё две части: одну посвящённую Attention, другую MLP.
Если после просмотра возникнет желание погрузиться в детали:
- У Андрея Карпатого есть видео где он имплементирует и объясняет как саму
GPT, так и её
токенизатор.
-
Лекция Интро в большие языковые модели (LLM), тоже от Карпатого.
#ликбез
@ai_newz