В компанию к LLaMA (поскольку это базово GPT с несколькими трюками) докину ещё апдейты от уважаемого Карпатыча — четырёхчасовое видео про репродукцию GPT-2 на базе ранее выпущенного nanoGPT:

📹 https://youtu.be/l8pRSuU81PU

А также его свеженький репозиторий, где все шаги из того же видео разложены по коммитам и позволяют разобраться в процессе реализации шаг за шагом:

📌 https://github.com/karpathy/build-nanogpt

#Links