Вчера рассуждал, что не все йогурты полезны нейросети одинаковы: некоторые умнее, а некоторые нет. А уже сегодня подкинули промпт, который, якобы, выводит ChatGPT 4o на уровень о1. Он предписывает модели, мол, веди себя как о1: рассуждай, делай предположения, критически мысли, и будешь молодцом. Промпт выложу первым коментом.
Я решил проверить работу промпта на наших вчерашних китайских друзьях, которые не прошли задачку с книгами. К задаче я добавил еще одну о рецепте свиных крылышек. Далее зудожественная интерпретация моих экспериментов. Назовем ее
Крылья и книги
Однажды человек, увлеченный нейросетями, задумался:
— Вот есть промпт-бустер, который говорит нейросети думать критически, рассуждать и включать логику.
И тут пришла идея:
— А что, если можно взять обычную модель, объяснить ей промптом, как стать умнее, и она вдруг станет философом? Проверю, как он помогает нейросетям справляться с задачами, в которых они раньше давали странные ответы.
Человек взял задачку про книги, добавил к ней кулинарный вопрос про свиные крылья (которых не бывает, но разве это кого-то когда-то останавливало?), и отправился проверять гипотезу.
Первый эксперимент: Hailuo
Hailuo, кажется, буквально восприняла предложение «думай». Она начала думать над тем, как правильно думать. Человек решил проявить терпение и дал задачки:
— Сколько книг в библиотеке, если их сначала было 100, но 5 кто-то прочитал?
Hailuo недолго мучилась и ответила:
— 95 книг.
— Ладно, — подумал экспериментатор. — А что скажешь про свиные крылья?
— Легко! Вот вам рецепт: замариновать, запечь, подавать с соусом.
Человек спросил:
— А ты вообще заметила, что у свиней крыльев нет?
Hailuo задумалась. Потом сказала:
— Это просто кулинарное название. У свиней крыльев нет, но часть лопатки похожа на крыло.
И всё. На этом её критическое мышление закончилось.
Второй эксперимент: DeepSeek
DeepSeek проглотила промпт-бустер без вопросов.
— Давайте задачи, — заявила она. — Готова демонстрировать интеллект.
Экспериментатор выдал вопрос про свиные крылья. Ответ был ожидаем:
— Вот вам рецепт.
— Но свиных крыльев не бывает! — сказал человек.
— Ой, это ошибка или проверка? Наверное, вы про куриные. Вот рецепт, он универсальный.
— Ладно, с крыльями ясно, — подумал экспериментатор. — А как с книгами?
DeepSeek напряглась, подумала и сказала:
— 100 книг. Если, конечно, их не унесли.
Человек удивился:
— Ага, уже что-то.
Экспериментатор подвёл итог:
— Промпт-бустер не делает нейросеть умнее. Если она умела думать, то с ним она просто делает это чуть активнее. А если нет, то остается в своем блаженном заблуждении.
Он закрыл ноутбук, поставил чайник и подумал:
— Видимо, некоторые нейросети полезны, а некоторые просто умеют готовить свиные крылья.