#nlp #про_nlp #длиннопост #ai_alignment #discussion 🌸TLDR; Мои взгляды на AI Alignment🌸 Сейчас будет пост спекулятивного характера. Вместо того, чтобы дать вам обзор и источники, буду писать сразу, что думаю. Тезисы по итогу выкристаллизовались из интервью RationalAnswer, а также из нескольких моих лекций по AI Alignment. 🟣AI Alignment — поле экспериментов и смешения дисциплин, где вместе сталкиваются ученые, разработчики, специалисты по этике философии ИИ, эффективные альтруисты, лонгтермисты, космисты и тд, из-за чего консенсуса, конечно же, долгое время не предвидится, и это нормально. Попутно обнародуется много дополнительных проблем, заметенных под ковер, — чего стоит хотя бы один пример из недавнего поста Тимнит Гебру, когда выяснилось, что среди лонгтермистов есть сторонники евгеники. 🟣Разговор про AI Alignment — разговор про риски и их митигирование. С рисками надо работать как с рисками. И тут события с маленькой вероятностью и большим вредом, конечно, смотрятся слабым аргументом. Зато кризис доткомов и 2008 год — это мы офигенно предусмотрели. Такой же кризис с AGI даст совершенно другую степень последствий. 🟣Корпорации — misaligned superintelligent entities, НИИ и лаборатории — aligned non-general superintelligent entities. Когда к этому добавятся misaligned general intelligent entities — вопрос времени. 🟣Мне достаточно странно слышать от людей, которые занимаются разработкой ML-систем, что регулировать ничего не надо. Искренне не понятно, как можно на голубом глазу говорить, что нужно строить машины без тормозов и атомные АЭС без системы безопасности. Почему не нужно делать ничего, чтобы предусмотреть потенциальный вред от своей разработки. Описание ограничений ML-системы, описание условий, в которых она может работать не как положено — должна ложиться на авторов ML-системы. Тем не менее, формат работы и сложность задачи таковы, что она переносится на коммьюнити. Желаю несогласным радикализоваться, получив desk reject на конференции за отсутствие limitations и ethical considerations. Нда #reviewer2 🟣Регулирование все равно будет, вопрос в том, сколько нам нанесут счастья и причинят пользы несодержательными законами. 🟣В 2022 и 2023 мы наблюдаем большое количество неудачных стратегий по медиапрезентации ИИ и его последствий. Обсуждали риски — завели хайп-трейн — получили регулирование (OpenAI). Не обсуждали риски — случился pr-риск в Твиттере — получили снятие демо, полный пак по damage control и плохую лицензию на модель (Galactica). Единственное решение — open source и открытые инструменты с равным доступом для всех. Воспроизводимость, полностью описанные и отвалидированные границы применимости, описанные ограничения на разных типах задач, языках, навыках, распределениях. Плюс быстрый научный прогресс. 🟣Алармизм, "думерство" и т.д. — это все просто попытки повесить ярлык на тот же самый неудобный вопрос: "А как будут работать суды при анкапе?". Никак Дискасс.