Нейродайджест за неделю (#9): Я нечасто постил на прошлой неделе, однако произошло много интересного. Вот тут несколько хайлайтов. 🔥 LLaMA - новая языковая модель от Meta AI LLaMA - семейство моделей (7, 13, 33 и 65 млрд параметров). При том, что количество параметров у LLaMA на порядок меньше, она может превосходить GPT-3 по качеству на бенчмарках. Что не менее важно, Meta релизит веса для исследователей. 🛞 Стартап Амазона Zoox, производящий автономные такси, получил разрешение на поездки В машине полностью отсутствует руль и педали. Однако, пока что, тестирование на дорогах общего пользования сильно ограничено: ездить можно только по выходным, не более 65км/ч и только в отведенных районах. 🤗 Библиотека PEFT от Hugging Face для эффективного файн-тьюнинга PEFT интегрирован с HF Accelerate и позволяет оптимизировать только часть параметров, что значительно экономит необходимые ресурсы. Как прмер, авторы приводят файнтьюнинг bigscience/T0_3B (3B params), для которой требования VRAM снизились с ~50Gb до 15Gb. ⚡Либа FlexGen позволяет запустить огромную языковую модель типа OPT-175B/GPT-3 на одной видеокарте 16 GB VRAM. Вот только нужно 200Gb оперативки. 📈 Трендовый гайд по промпт-инженерингу Хочешь красивую генерацию – люби и промпты подбирать. В репе есть примеры инженеринга промтов для разных задач, а так же лекция и другие материалы на тему. 👀 Grid-search по лекарствам против рака с помощью Компьютерного зрения. Ученые испытывали препараты не на раковом больном, а параллельно на десятках образцах его тканей. При этом, за изменениями в целевых клетках, наблюдала нейронка, которая позволяла отмечать даже малые изменения в клетках после терапии. В итоге смогли найти подходящее лекарство, про которое раньше даже и не думали, и у пациента началась ремиссия. 🔎 Google нашел новый эффективный оптимайзер – Lion. [Пост] ❱❱ Читать предыдущий нейродайджест #дайджест @ai_newz