На некоторых ивентах мы уже рассказывали о нашей библиотеке turbo-alignment с инструментами для полного цикла работы над LLM. С тех пор в ней появилось много нового, так что, готовы рассказать об этом и здесь! Если вы разрабатываете продукты на базе LLM или экспериментируете с их обучением, то это точно для вас 🦍 🌸 Уже реализовали и проверили в боевых условиях необходимые методы для обучения языковых моделей под продуктовые задачи. 🌸 Добавили в репозиторий инструменты для анализа методов алаймента — это супер упрощает не только продуктовую разработку, но и научные исследования в LLM. 🌸 Обучить и протестировать языковую модель можно, запустив несколько команд в консоли. Библиотекой можно пользоваться даже если у вас нет глубокой экспертизы в LLM. 🌸 Никаких single-file implementation и jupyter ноутбуков. Все эксперименты полностью конфигурируются и воспроизводятся, поэтому проверять много гипотез просто. Особенно если у вас много GPU. 🌸 Уже есть реализация пайплайнов SFT, RM, RAG, разных оффлайн методов алаймента (DPO, KTO, ASFT, ORPO, SlicHF, RSO и др). С помощью turbo-alignment можно обучать и тестировать мультимодальные архитектуры, которые понимают картинки и аудио (например LLaVA и HoneyBee). Скоро добавим поддержку онлайн методов алаймента. Подробнее об этом можете почитать в README репозитория. Уверены, что turbo-alignment и модель T-lite, о которой мы писали недавно, помогут всем построить светлое будущее с самыми крутыми LLM. А пока — будем благодарны вашим issue, чтобы сделать библиотеку еще круче 👽