В честь дня знаний: несколько любопытных материалов про «внутренний мир» LLM: Во-первых, 3blue1brown продолжают радовать наглядными роликами, объясняющими работу GPT. Теперь можно узнать, как в языковых моделях работает механизм внимания и как они запоминают факты. Видео на этом канале всегда очень понятные и доступные + есть русские субтитры. Так что если вы до этого не смотрели их эксплейнеры, то сейчас самое время это сделать. И парочка статей: ▪️Machine Psychology - очередная попытка проложить путь к "машинной психологии", нацеленной на понимание процессов поведения и познания у ИИ. Авторы фокусируются на вычислительных инструментах, которые помогают обнаруживать новые эмерджентные способности у LLM и отслеживать поведенческие паттерны моделей. В статье дается обзор существующих практик машинной психологии, а также выделяются лучшие методы и наиболее перспективные направления для будущих исследований. ▪️What is it like to be a bot? The world according to GPT-4 (Dan Lloyd) - статья, опубликованная в Frontiers of Psychology, посвященная, опять же, эмерджетным свойствам языковых моделей. Автор предлагает методы реконструкции субъективного мира модели (s-world) в целях последующего сравнения когнитивных способностей различных LLM. Пользуясь инструментами философской феноменологии и когнитивной этологии, Дэн Ллойд выделяет ряд характерных поведенческих закономерностей и ошибок, обыкновенно допускаемых GPT-4, и предполагает, что их происхождение связано с отсутствием у LLM способности к субъективному восприятию времени. Этот недостаток свидетельствует о том, что GPT-4 в конечном счете не способен создавать стабильную модель окружающего мира (но это не точно). #papers