Немного пятничного ИИ-скепсиса:
🤖 В Nature вышла
статья, в которой продемонстрировано, что происходит, если обучать нейросети на текстах, сгенерированных тем же искусственным интеллектом. Из-за того, что каждая следующая версия может игнорировать определенные части обучающего набора данных, ошибки усиливаются, происходит «коллапс модели».
Исследователи использовали
LLM для создания текстов в стиле Википедии, затем обучили на них новые модели. На девятой итерации получилось то, что называется «AI gibberish»: от статьи о проектировании английских церковных башен XIV века пришли к обсуждению популяции зайцев с разноцветными хвостами.
Здесь еще несколько интересных ссылок и замечаний.
🤖 «ChatGPT is bullshit» – не восклицание, в сердцах произнесенное после очередной попытки промтостроения, но название статьи в Springer. Здесь придется сперва разобраться в оттенках не заячьих хвостов, но слова bullshit – авторы настаивают на том, что искажения, выдаваемые нейросетями, ближе к «чуши» и «ерунде», чем «галлюцинациям».
#ии #нейросети #llm