Прочитал книгу The Coming Wave от со-основателя Deepmind Mustafa Suleyman (сейчас фаундер Inflection AI на $1.5 млрд от Гейтса и Рида Хоффмана), вышла в сент 2023: Витя - Это его страхи и его т.н. “запрос на идеальный социум”: что технологии есть благо, но у них есть сверхриски, и поэтому власти/общество должны предпринять действия + “давайте бояться вместе” =) - НЕ читать: сыро/мало новизны, спекуляции без данных, много воды Идеи - В ближайшие годы AI и сам разовьется, и продвинет synthetic biology и робототехнику. У этих 3 технологий общее что они порождают автономно действующие в мире агенты, и если не озаботиться проблемой сдерживания (containment) этих технологий, то их уникальные возможности засолвить людям все, что можно для нашей биологической цивилизации, могут обернуться супер-рисками в ближайшие декады - Риски: от неравенства (в пользу AI софта, роботов, в пользу более развитых стран), исчезновения национальных государств (уже в кризисах), биотерроризма (корона покажется детсадом), супер-авторитаризма и до AGI - 10 лет обсуждал это приватно, теперь хочет широкую дискуссию I. Homo technologicus - Все tech за 10 тыс лет помогали растить население + дешевеют и массово распространяются (всегда), и скорость этой диффузии растет - Ядерное оружие - редчайший пример, когда удалось добиться относительного нераспространения, а ГМО юзают и климат не меняют итп - Modern Civilization = (Life + Intelligence) * Energy II. Большая волна - Силу нейронок понял когда мы засолвили игру Go (после 3ех ходов 2*10^15 комбинаций) в AlphaGo, учили на 150К партий людей + само с собой играло = одолело чемпиона мира. Дальше успешно приложили AlphaGo к т.н. проблеме фолдинга белка - Generative AI это пройденный этап, важнее идущий взрыв LLM, когда миллиарды параметров станут триллионами (из-за роста вычислительных способностей по закону Мура). Тест Тьюринга надо апгрейдить (а есть ли в AI сознание или нет - пофигу, только отвлекает нас) - В ДНК схожая акселерация: жизни 3.7 млрд лет, а тут бац: synthetic biology + ДНК принтеры (демократизация) -> будет взрыв креативности, регуляции/этика уже не поспевают, корона - частный случай (этически оч спорных) т.н. gain of function опытов и типичный кейс утечки из лаб - Китай вваливает $ в науку сколько и США. Идет технологическая гонка наций, ей сильно способствует, что в современной науке культура открытости, знания циркулируют, сайты препринтов + open source/Github - За 50 лет XX века ВВП вырос 6x, а сейчас может еще 2x: +$100 трлн за 50 лет - Национализм, капитализм, наука - это 3 неотъемлемых фичи мира, их не убрать III. Риски - В 21 год пошел в экологию, и в мэрии Лондона поработал, но тут выстрелил Fb и понял: влияние tech больше политики -> пошел в технобизнес - Мир хрупок из-за усложнения (хакеры) + идут откаты: в авторитаризм (все могут захотеть себе слежку камерами как уже в Китае), в теории заговора (QAnon), в инфовойны через дезинформацию - Технологии это форма власти, а тк доступ к tech демократизируется (e.g. ждем дешевых роботов с оружием), то и власть тоже демократизируется? Tech всегда смещают баланс власти: e.g. дроны с GPS за $2К надо сбивать ракетами Patriot за миллионы $ каждая - Можно улететь в катастрофы а-ля корона на новом уровне из-за synthetic biology. Можно незаметно стагнировать как цивилизации ранее, или как старение сейчас в Японии, Корее, EU, РФ IV. Сдерживание - Что делать? Быстрее внедрять изощренное регулирование. Страны в дилемме: нераспространение vs. оставаться конкурентными. Также, world of atoms было проще контролить, чем world of bits... - Нужно растить в мире осознание проблемы среди учёных, у властей стран, у широкой аудитории, что задача сдерживания оч важна - Простых ответов нет, но позволит начать вырабатывать шаги: общая культура безопасности, требовать аудит технологий, выиграть цивилизации время, международные соглашения уровня ООН, критикуют пусть практики из своих сфер, внедрять налоги на tech/ведущие корпорации (компенсировать рост неравенства), в целом порождать массовый запрос общества на решение этой проблемы