Как резко повысить качество ответа нейросети за счет пошагового вывода и обратной связи? Вчера мы с Володей Казаковым (из Мандрик, Казаков и роботы) готовились к митапу про ИИ. Разговорились, у кого какие открытия и инсайты случились за последнее время. Выделили два главных вывода — по одному на каждого. 1. Володя нашел мощный и простой способ оценивать навык написания промптов через тестовое задание. Вот описание метода и его идеи. 2. Ну а я открыл метод, как улучшать качество и релеватность ответов нейросети через последовательные корректировки в процессе вывода длинного перечня. По сути, это очень продвинутый «Few-shot prompts» (использование нескольких примеров) для ситуации, когда вы не уверены в качестве своих примеров для «обучения» нейросети. Расскажу подробнее! Зачем он нужен? Одна из распространенных проблем с качеством ответа нейросетей — это недостаточная конкретика и недостаточная релевантность вашей конкретной задаче (а, точнее, вашим специфическим трудноформализуемым представлениям о качественном результате). Наверняка вы с таким сталкивались — когда заказчик или коллега говорит «вот это хорошо, а это — нет», но на вопрос: «помоги понять, почему, давай сформулируем критерии», отвечает: «не знаю, но я это просто чувствую/вижу». Как он работает? Метод последовательной корректировки и обучения нейросети достаточно прост: 1. Вы пишете подробный промпт для генерации нужного вам перечня (идей, вызовов, названий и тп), запросив много вариантов (например, 20-25), желательно попросив их нумеровать (так будет проще давать обратную связь). 2. В конце промпта вы добавляете фразу «пожалуйста, выводи по пять ответов за один раз и запрашивай у меня обратную связь, улучшая каждый следующий ответ». 3. Получив первый ответ, вы в следующем промпте отмечаете понравившиеся и непонравившиеся варианты, если можете, объясняете, чем они лучше или хуже (глядя на список, это сделать гораздо проще, чем «размышляя перед пустым листом»), и даете направления улучшения (еще конкретнее, еще детальнее, еще очевиднее в плане практической пользы и тп), и просите продолжать. По сути, таким образом вы предоставляете нейросети такие важные для нее примеры, чтобы реализовать стратегию Few-shot prompts. 4. Повторяете пункт 3 с каждым последующим ответом, давая обратную связь на предыдущий ответ 5 (!!!). Дойдя до конца перечня, просите доработать теперь и первый ответ (варианты 1-5), с учетом всех улучшений. 6. Повторяете это, пока не будете полностью довольны вариантами (обычно мне хватает ещё раз дойти до середины списка, после чего качество уже не повышается) 7. Профит. 👉 Чем это помогает в работе? Это отличный и сравнительно несложный способ повысить качество и релевантность ответа за счет обучения нейросети на предыдущих ответах (=примерах), а также осознать свои неосознанные требования, которые теперь можно формализовать. Может показаться, что это сложновато и достаточно сделать изначально хороший промпт. Не могу с этим согласиться, потому что такое «обучение» позволяет мне добиваться такой релевантности, которую я ни разу не получал ни после первого промпта, ни после последовательного улучшения промптов при условии перезапуска процесса с начала. в каталог кейсов (28+ примеров)