Кажется, пора переходить на «вы»😱 В феврале этого года группа учёных из Университета Васэда (Япония) выяснила, что
невежливые вопросы снижают качество ответов больших лингвистических моделей вроде ChatGPT.
🧠 Для эксперимента учёные писали вежливые и невежливые промпты на английском, китайском и японском языках. В качестве универсальных лингвистических моделей использовали GPT-4 и GPT-3.5, но также для запросов на английском обращались к Llama2-70B, на китайском — к ChatGLM3 и на японском — к Swallow-70B.
🤓 Тематика промптов касалась переводов, генерации текста и вопросов на знание различных фактов, в том числе культурных.
💻 Оценивали результаты путём сравнения точности ответов на вежливые и не очень промпты. Непосредственно вежливость запросов оценивали по шкале от 1 до 8, где 1 — грубое обращение, а 8 — торжественное, подобострастное.
🫣 Оказалось, что грубые запросы ухудшают результат. Кроме того, лучше других с задачами при вежливых вопросах справлялись GPT-4 и GPT-3.5. Модель ChatGLM3 для китайского языка давала качественные ответы практически исключительно на вежливые запросы, неверно интерпретируя грубые промпты или вообще игнорируя их. Японская модель Swallow-70B также давала более точные и полные ответы при использовании вежливых запросов.
🙈 Летом этого года лингвист Александр Пиперски провёл
похожий эксперимент на русском. Он обращался к ChatGPT-4 в вежливой и не очень форме с просьбой решить четыре задачи и дать к ним пояснения. Так вот, в ответ на вежливый запрос чат выдал правильные решения для всех четырёх задач, а при невежливом обращении решение двух задач слил.
Признавайтесь, насколько вежливые промпты пишете?
