На днях Нобелевская премия по физике была присуждена за успехи в машинном обучении, а ее обладателями стали
Джеффри Хинтон и
Джон Хопфилд.
Опустим удивленную реакцию многих «разработчиков», не знающих о
теоретических и
практических основах дисциплины, в которой они работают (многое говорит об этой индустрии), и поговорим
об интервью одного из лауреатов премии, Джеффри Хинтона.
Начинается это интервью с
максимального бэнгера, цитирую: «
Я особенно горжусь тем, что один из моих студентов уволил Сэма Альтмана». Напомню, что Сэм Альтман — это основатель OpenAI (разработали ChatGPT), компании по исследованию «искусственного интеллекта», которая когда-то была создана на некоммерческой основе. Несмотря на название, компания
перестала уже давно раскрывать принципы работы своих продуктов, что крайне обеспокоило многих исследователей. Недавно из OpenAI ушло много ключевых фигур, а Сэм Альтман теперь даже думает о вариантах реструктуризации
компании в коммерческую.
Продолжается интервью ответами на вопросы, в которых Хинтон фокусируется на безопасности ИИ. Как он сам признается, сейчас эта тема является для него приоритетной.
Его первый тезис: мы до сих пор не понимаем, как нам избежать катастрофических сценариев, и поэтому нам
срочно нужны исследования на эту тему. «Самые лучшие и молодые исследователи должны работать над безопасностью ИИ, а государства должны заставлять крупные компании предоставлять вычислительные оборудования для этих работ».
Второй тезис: большинство лучших исследователей, с которыми он знаком, верят, что ИИ станет умнее людей. По времени все дают разные прогнозы, но многие ставят на ближайшие 20 лет.
Третий тезис: замедлить развитие ИИ невозможно, так как, по мнению Хинтона, он дает слишком много пользы в разных сферах, в первую очередь в системе здравоохранения. Если сделать это развитие безопасным, то оно будет «чудесным».
Четвертый тезис касается Сэма Альтмана и OpenAI: компания создавалась с особым акцентом на безопасности ИИ. Ее главной целью было разработать ИИ и гарантировать его безопасность. Но, к несчастью, со временем Сэм Альтман стал больше волноваться о прибыли, чем о безопасности.
Пятый тезис: государства могут поощрять крупные компании уделять больше сил безопасности ИИ. По словам Хинтона, почти все ресурсы ИИ-компаний сейчас уходят на улучшение моделей из-за конкуренции. Он бы хотел, чтобы безопасности уделялась хотя бы треть ресурсов.
Шестой тезис: есть немедленные риски и более долгосрочные риски. К немедленным относятся дипфейки, которые используются для влияния на результаты выборов, и кибератаки. По словам Хинтона, с прошлого года количество фишинга увеличилось в 12 раз благодаря использованию LLM.
Как академик, Хилтон также выступает за то, чтобы молодым ученым давали возможность работать над тем, что им интересно, и поощряли их любопытство и научных интерес, а не загоняли в какие-то определенные рамки исследований.
