На днях Нобелевская премия по физике была присуждена за успехи в машинном обучении, а ее обладателями стали Джеффри Хинтон и Джон Хопфилд. Опустим удивленную реакцию многих «разработчиков», не знающих о теоретических и практических основах дисциплины, в которой они работают (многое говорит об этой индустрии), и поговорим об интервью одного из лауреатов премии, Джеффри Хинтона. Начинается это интервью с максимального бэнгера, цитирую: «Я особенно горжусь тем, что один из моих студентов уволил Сэма Альтмана». Напомню, что Сэм Альтман — это основатель OpenAI (разработали ChatGPT), компании по исследованию «искусственного интеллекта», которая когда-то была создана на некоммерческой основе. Несмотря на название, компания перестала уже давно раскрывать принципы работы своих продуктов, что крайне обеспокоило многих исследователей. Недавно из OpenAI ушло много ключевых фигур, а Сэм Альтман теперь даже думает о вариантах реструктуризации компании в коммерческую. Продолжается интервью ответами на вопросы, в которых Хинтон фокусируется на безопасности ИИ. Как он сам признается, сейчас эта тема является для него приоритетной. Его первый тезис: мы до сих пор не понимаем, как нам избежать катастрофических сценариев, и поэтому нам срочно нужны исследования на эту тему. «Самые лучшие и молодые исследователи должны работать над безопасностью ИИ, а государства должны заставлять крупные компании предоставлять вычислительные оборудования для этих работ». Второй тезис: большинство лучших исследователей, с которыми он знаком, верят, что ИИ станет умнее людей. По времени все дают разные прогнозы, но многие ставят на ближайшие 20 лет. Третий тезис: замедлить развитие ИИ невозможно, так как, по мнению Хинтона, он дает слишком много пользы в разных сферах, в первую очередь в системе здравоохранения. Если сделать это развитие безопасным, то оно будет «чудесным». Четвертый тезис касается Сэма Альтмана и OpenAI: компания создавалась с особым акцентом на безопасности ИИ. Ее главной целью было разработать ИИ и гарантировать его безопасность. Но, к несчастью, со временем Сэм Альтман стал больше волноваться о прибыли, чем о безопасности. Пятый тезис: государства могут поощрять крупные компании уделять больше сил безопасности ИИ. По словам Хинтона, почти все ресурсы ИИ-компаний сейчас уходят на улучшение моделей из-за конкуренции. Он бы хотел, чтобы безопасности уделялась хотя бы треть ресурсов. Шестой тезис: есть немедленные риски и более долгосрочные риски. К немедленным относятся дипфейки, которые используются для влияния на результаты выборов, и кибератаки. По словам Хинтона, с прошлого года количество фишинга увеличилось в 12 раз благодаря использованию LLM. Как академик, Хилтон также выступает за то, чтобы молодым ученым давали возможность работать над тем, что им интересно, и поощряли их любопытство и научных интерес, а не загоняли в какие-то определенные рамки исследований.