На некоторых ивентах мы уже рассказывали о нашей библиотеке
turbo-alignment с инструментами для полного цикла работы над LLM.
С тех пор в ней появилось много нового, так что, готовы рассказать об этом и здесь! Если вы разрабатываете продукты на базе LLM или экспериментируете с их обучением, то это точно для вас
🦍🌸 Уже реализовали и проверили в боевых условиях необходимые методы для обучения языковых моделей под продуктовые задачи.
🌸 Добавили в репозиторий инструменты для анализа методов алаймента — это супер упрощает не только продуктовую разработку, но и научные исследования в LLM.
🌸 Обучить и протестировать языковую модель можно, запустив несколько команд в консоли. Библиотекой можно пользоваться даже если у вас нет глубокой экспертизы в LLM.
🌸 Никаких single-file implementation и jupyter ноутбуков. Все эксперименты полностью конфигурируются и воспроизводятся, поэтому проверять много гипотез просто. Особенно если у вас много GPU.
🌸 Уже есть реализация пайплайнов SFT, RM, RAG, разных оффлайн методов алаймента (DPO, KTO, ASFT, ORPO, SlicHF, RSO и др). С помощью turbo-alignment можно обучать и тестировать мультимодальные архитектуры, которые понимают картинки и аудио (например LLaVA и HoneyBee). Скоро добавим поддержку онлайн методов алаймента. Подробнее об этом можете почитать в
README репозитория.
Уверены, что
turbo-alignment и модель
T-lite, о которой мы
писали недавно, помогут всем построить светлое будущее с самыми крутыми LLM.
А пока — будем благодарны вашим issue, чтобы сделать библиотеку еще круче
👽
