Американский AI Safety Institute опубликовал рекомендации по снижению риска ненадлежащего использования фундаментальных моделей ИИ двойного назначения Американский AI Safety Institute подготовил еще один проект документа (NIST AI 800-1 Managing Misuse Risk for Dual-Use Foundation Models), который призван дополнить Систему управления рисками в сфере ИИ (NIST AI Risk Management Framework (AI RMF)), опубликованную в марте 2023 года. Разработка данного документа была определена октябрьским Указом Президента США «О разработке и использовании искусственного интеллекта в условиях безопасности, надежности и доверия» (мой разбор указа можно почитать тут). В Указе содержится определение моделей ИИ двойного назначения. Так как оно довольно громоздкое, выложу его отдельно комментарием к посту. Документ обобщает лучшие практики по выявлению, оценке и управлению рисками, которые могут возникнуть при ненадлежащем использовании моделей ИИ. Указанные в нем рекомендации направлены на всех субъектов, участвующих в жизненном цикле моделей, но наиболее релевантны именно для разработчиков. Рекомендации определяются в виде семи целей, которым корреспондируют конкретные практики (в документе практики расписаны более подробно, включая необходимое документирование): 1. Оценить риски потенциальной возможности ненадлежащего использования моделей, если они станут доступны злоумышленникам. Делать это следует еще до разработки моделей на основе их предполагаемых характеристик. 2. Разработать планы по управлению рисками в случае ненадлежащего использования моделей. В частности, следует определить приемлемые и неприемлемые уровни риска, учитывая нормативные требования и потенциальные выгоды (оправданы ли риски), а также согласовать планы разработки и развертывания моделей с ресурсами и ограничениями, которые могут потребоваться для управления рисками. 3. Управлять рисками утечки и кражи информации, которая позволит злоумышленникам воссоздать модель. Стоит разрабатывать модель только тогда, когда соответствующие риски значительно снижены путем использования разнообразных методов (например, посредством метода красных команд, использования передовых фреймворков кибербезопасности). 4. Оценить, учитывая технические и социальные факторы, каким образом злоумышленники могут использовать модель ненадлежащим образом. 5. Распространять модель (через API или публиковать параметры и иные характеристики) только тогда, когда риски адекватно снижены. 6. Изучать опыт уже развернутых моделей, а также взаимодействовать с общественность и другими организациями в целях поиска путей митигирования потенциальных рисков. 7. Раскрыть релевантную информацию о разработке и применении моделей для общественности и научных организаций. В документе содержатся два приложения. Первое представляет собой глоссарий терминов, а второе – примеры конкретных мер защиты моделей от ненадлежащего использования. К таким мерам относятся, например: а) внедрение более совершенных методов обучения моделей; б) определение и блокирование попыток ненадлежащего использования моделей; в) ограничение доступа к возможностям моделей; г) обеспечение адекватного уровеня открытости моделей; д) прекращение разработки и использования моделей, если имеются высокие риски их ненадлежащего использования. Также ранее Национальный институт стандартов и технологий США (NIST) опубликовал еще четыре проекта документа, связанных с генеративными системами ИИ. Почитать про них подробнее можно в моем посте тут.