🚀 Опубликовали наш новый
препринт: GigaCheck: Detecting LLM-generated Content 📄Технология та же, что и в
продукте, но
перенесли на открытые модели и англоязычные тексты.
TL;DR Вынесли вообще всех.
Давайте по деталям.
В статье мы выделяем две подзадачи: определяем, написан ли текст человеком или генеративной моделью (LLM) и находим конкретные AI-интервалы
🤖🔍 Первая задача — классификация текста — решается с помощью файнтюна LLM модели общего назначения. В исследовании мы использовали высокопроизводительную
Mistral-7B, которая превосходит другие модели аналогичного размера во многих задачах.
🔎 Вторая задача — детекция AI-интервалов — решается нами с помощью модели
DN-DAB-DETR, адаптированной из области компьютерного зрения. DETR модель обучается на фичах от зафайнтюненной LLM, однако, если данных для обучения LLM на классификацию недостаточно, используем фичи от исходной
Mistral-7B-v0.3 ✅ Для подтверждения эффективности методов мы провели обширные эксперименты на различных датасетах. На пяти классификационных наборах данных обученные нами модели продемонстрировали
SOTA результаты, а также показали высокие метрики в
out-of-distribution экспериментах, работая с данными из доменов, отличающихся от встречавшихся в обучении, или от генераторов, не участвующих в создании обучающей выборки. Наша модель также успешно обошла
Paraphrasing Attack🛡️📊 Для оценки DETR детектора мы использовали четыре набора данных: RoFT, RoFT-chatgpt, CoAuthor и TriBERT.
Первые два датасета ориентированы на поиск границы между частями текста, написанными человеком и AI, второй содержит произвольное количество интервалов для каждого текста, третий — один или два интервала.
📝 Для корректного сравнения с другими работами мы переводим наши предсказания из интервального вида к предложениям.
🎉 Во всех экспериментах, включая out-of-domain, предложенный нами подход показал выдающиеся результаты!
До нас ещё никто не применял
Detection Transformer для анализа сгенерированного текстового контента.
CV-шники идут в NLP 😎Мы надеемся, что наш метод вдохновит будущих исследователей!
📈📖 Статья тут 🌐 Лендинг тут🤖 Телеграм-бот тут
