🌸Чаевые для LLM: сколько нужно пообещать?🌸 #nlp #про_nlp #prompt_engineering Популярный прием в промпт-инжиниринге — добавить обещание денег за хорошо выполненную работу (что? да!) "I'm going to tip $200 for a perfect solution!" Изначальный reddit-тред показывает, что в сравнении с отсутствем чаевых можно получить примерно +5-11% итогового качества. На стриме Сиолошной Денис пошутил, что обещает вообще 5к долларов для эффективности своих затравок. В тот же момент я подумала — а как бы сделать оптимизировать выбор суммы чаевых? Конечно, такое уже кто-то проверил в интернете. 🟣Метод очень простой: — будем делать перебор сумм разного порядка, подставляя их в шаблон

I'll tip you {tip} for a perfect answer.

— замеряем качество решения задачи с разными суммами, от $0.1 до $1,000,000 — так как разные затравки влияют еще и на длину выдачи, может оказаться, что некоторые промпты делают наши генерации длиннее, и в том числе дороже. Так что будем учитывать и этот параметр тоже — будем проверять на gpt-4-turbo, на задаче генерации валидных Python one-liners (можно было выбрать задачу получше, да) 🟣Краткий итог проверки: — лучше всего предлагать 10-20 долларов чаевых, это значение, при котором качество вырастает — если пообещать очень крупную сумму (более 100 тыс), качество тоже вырастает, но значительно вырастает и длина генерации — разные затравки неконсистентно увеличивают длину генерации, нужно отслеживать каждую — очень маленькие чаевые качество ухудшают! лучше ничего не писать про чаевые В целом достаточно интерпретируемый итог, если считать, что мы пытаемся затравкой воссоздать реалистичные условия, при которых кто-то старается. Контринтуитивными кажутся совсем большие суммы, так как такие события должны быть очень редкими и не очень помогать. Andrej Karpathy как-то говорил в State of GPT, что написать "веди себя как ученый с IQ 120" гораздо лучше, чем "с IQ 400", так как IQ 400 в корпусе не встречалось. (Как и милионные чаевые) Что думаете? 🟣Ссылка