Эксперты, полагавшие, что чувство юмора присуще исключительно человеку, скорее всего, ошибались Исследователь из Нью-Йоркского университета, Джулианн Чжоу поставила перед собой задачу, оценить работу двух LLM, специально обученных распознавать человеческий сарказм. «В области смыслового анализа NLP умение правильно распознавать сарказм необходимо для понимания истинного мнения человека», — пишет Чжоу в своей статье. Большие языковые модели (LLM) — это алгоритмы глубокого обучения, которые могут анализировать подсказки на различных естественных языках и в ответ генерировать реалистичные ответы. Этот многообещающий класс моделей обработки естественного языка (NLP — Natural Language Processing) становится все более популярным после выпуска платформы Open AI ChatGPT. В настоящее время существует несколько моделей NLP, которые могут обрабатывать тексты и определять их основной эмоциональный тон, или, другими словами помогают, установить, какие эмоции выражает текст — положительные, отрицательные или нейтральные. Однако многие обзоры и комментарии, размещенные в Интернете, содержат иронию и сарказм. Модели часто ошибаются и классифицирует такие комментарии как «положительные», хотя на самом деле высказывания выражают отрицательные эмоции. Поэтому сегодня разрабатываются модели, которые смогут обнаружить сарказм в текстах. Две из наиболее многообещающих модели — CASCADE и RCNN-RoBERTa, были представлены еще в 2018 году разными исследовательскими группами. Чжоу провела серию тестов, направленных на оценку способности моделей CASCADE и RCNN-RoBERTa обнаруживать сарказм в комментариях, размещенных на известной онлайн-платформе Reddit. Способность этих двух моделей обнаруживать сарказм в образцах текстов сравнивалась со средней точностью человека при выполнении той же задачи и с точностью нескольких базовых моделей для анализа текстов, не специализированных на сарказме. Очень улучшает распознавание сарказма контекст — особенно описание самого автора текста, которое формируется из других его же текстов. Лучшей среди всех моделей оказалась RoBERTa. Среднему человеку она уступила, но сравнительно немного. Подробнее: Techinsider