Большие языковые модели учатся на текстовых данных — но в итоге могут не только вести диалог, писать тексты и работать переводчиком: ChatGPT готов и математическую задачу для вас решить, и код написать — предела их возможностей пока не видно. Проблема в том, что скоро этим моделям, кажется, не на чем будет учиться — у специалистов по искусственному интеллекту почти закончился интернет для обучающих датасетов. В прошлом году в Nature ученые опубликовали исследование, в котором показали, что и сгенерированные тексты могут не решить эту проблему. Если использовать для обучения синтетический текст, то языковые модели, возможно, ждет цифровой инбридинг и вырождение. Разбираемся, так ли серьезна проблема недостатка данных и вырождения языковых моделей и стоит ли вообще тревожиться по поводу будущего генеративного искусственного интеллекта 👁️