Пока все тестировали новую «рассуждающую» модель o1 от OpenAI, Scale AI и Center of AI Safety объявили о проведении конкурса под завораживающим названием «Последний экзамен человечества» («Humanity Last Exam»).
Основная задача конкурса - собрать самые сложные вопросы для оценки работы будущих систем ИИ. Раз текущие модели пугают нас своей способностью за час
написать код PhD-исследования, необходимо разработать тесты, решить которые им будет уже не под силу.
В рамках конкурса принимаются вопросы, затрагивающие самые разные области знания - от математики и логики до аналитической философии (
судя по текущим заявкам, философских вопросов пока не так много).
Требования к вопросам следующие: высокая сложность, оригинальность, безопасность (
никаких вопросов про изготовление атомной бомбы), объективность (
вопросы про смысл жизни, вселенной и всего такого тоже не принимаются).
После того, как вы записали ваш вопрос, его предварительно проверяют на современных языковых моделях, чтобы определить, не является ли он слишком простым.
За топ-500 лучших вопросов обещают денежные призы, а авторов самых сложных заданий могут также упомянуть в итоговой научной статье.
Я уже задала свой вопрос.
Вам тоже рекомендую подумать над своим в качестве интеллектуальной разминки.
#future
#philosophy