Национальный институт стандартов и технологий США (NIST) опубликовал четыре проекта документа, связанных с генеративными системами ИИ Вчера Национальный институт стандартов и технологий США опубликовал четыре проекта документа, разработка которых была определена октябрьским Указом Президента США «О разработке и использовании искусственного интеллекта в условиях безопасности, надежности и доверия» (мой разбор указа можно почитать тут). Почти все документы содержат важные практические рекомендации. Однако это пока лишь первые версии, размещенные для публичного обсуждения. Кратко пройдемся по их содержанию: 1. AI RMF Generative AI Profile (NIST AI 600-1) Документ является дополнением к Системе управления рисками в сфере ИИ (NIST AI Risk Management Framework (AI RMF)), опубликованной в марте 2023 года. Напомню, что AI RMF предусматривает рекомендации, сформулированные органами власти для частных компаний, по безопасным разработке и использованию систем ИИ в разных сферах. Новый документ сосредоточен на способах митигирования специфических рисков, которые возникают в ходе разработки и использования генеративных систем ИИ. В их числе: 1) снижение барьеров по созданию химического, биологического, ядреного и другого вооружения; 2) конфабуляции (в быту их часто именуют галлюцинациями); 3) генерация опасных рекомендации и жесткого контента; 3) конфиденциальность; 5) безопасность окружающей среды; 6) взаимодействие человека с системой ИИ, способное привести к предвзятостям, мисэлайнменту и т.п.; 7) целостность информации; 8) информационная безопасность; 9) интеллектуальная собственность; 10) генерация непристойного или оскорбляющего контента; 11) генерация токсичного или предвзятого по каким-либо человеческим характеристикам контента; 12) многоступенчатость вывода систем и моделей на рынок и различные этапы их жизненного цикла. 2. Secure Software Development Practices for Generative AI (NIST SP 800-218A) Документ также призван дополнить AI RMF и предусматривает особенности применения Системы безопасной разработки программного обеспечения Secure Software Development Framework (SSDF). Он содержит конкретные шаги по имплементации SSDF, которые призваны обеспечить безопасность разработки и применения систем и моделей ИИ. 3. Reducing Risks Posed by Synthetic Content (NIST AI 100-4) В отчете рассматриваются существующие методы и рекомендации для: 1) проверки подлинности контента и отслеживания его происхождения; 2) маркировки сгенерированного контента, например, с помощью водяных знаков; 3) обнаружения сгенерированного контента; 4) предотвращения создания генеративными системами ИИ противоправного сексуализированного или насильственного контента; 5) тестирования систем и моделей; 6) оценки сгенерированного контента. 4. A Plan for Global Engagement on AI Standards (NIST AI 100-5) В документе описывается план разработки стандартов в сфере ИИ. Также в NIST объявили о создании исследовательского проекта GenAI, призванного в будущем разработать методики по оценке систем и моделей ИИ, требований к наборам данных и маркировке контента. На первом этапе предполагается проведение исследования, призванного разработать методику дифференциации сгенерированного контента и созданного человеком.