Хроники ИТМ 2022. День 2: кризис доверия
Если в первый день лейтмотивом стала бесшовная интеграция, то во второй день много говорили о проблемах и горячих точках, которые сдерживают внедрение искусственного интеллекта в медицину. Сразу несколько спикеров затронули проблему доверия, которая в последнее время стала, можно сказать, ребром и к которой обратился взор экспертов, занимающихся медицинским ИИ, по всему миру.
Интересную эволюцию научных исследований здесь проследил
Александр Гусев, эксперт нашего Центра, ЦНИИОИЗ Минздрава, а также директор по развитию платформы Webiomed. Сначала, когда в 2014-2016 гг пошел взрывной рост публикуемых работ, большинство из них было посвящено изучению технических возможностей разных вариантов машинного обучения, в том числе нейронок, затем в 2018-2020 перешли к тщательному анализу действенности, применимости и метрикам точности. А теперь пишут о доверии к внедрению. И здесь наблюдается интересный феномен, ибо сейчас действительно не хватает данных о клиническом импакте ИИ - как он влияет на заболеваемость? На смертность? Как его помощь можно конвертировать в реальный клинический эффект?
Ответов пока слишком мало, и они слишком разрозненны. Вопрос к доверию сильно обостряет проблема интерпретируемости ИИ (мало какой из сервисов позволяет объяснить, почему он принял конкретное решение), проблема ответственности (а кто будет отвечать, если сервис ошибется?), страхи перед ИИ («мы не знаем, что это такое, страшно, очень страшно» (с) ), а еще конфиденциальности мединформации (это вообще больное место, по которому потом бьют «сотрудники информационной безопасности Сбербанка»).
Что делать? Подходить к решению вопроса доверия индивидуально. Чье доверие нам необходимо? Если врачей - обучать, рассказывать, просвещать, показывать, как работает, на пальцах. Если ученых - проводить качественные клинические исследования, корректно подсчитывать статистику, публиковаться в качественных научных журналах, то есть доказывать, «что ты не верблюд», научными методами. Если руководителей организаций - опять же, объяснять, чего именно позволит добиться внедрение ИИ, но уже в экономических терминах и цифрах с доказательной базой. Еще есть регуляторы, эксперты и обычные люди, пациенты - к ним тоже нужен особый подход
Александр отмечает, что стратегия формирования доверия - это вопрос баланса, и я с ним в этом абсолютно согласна. Необходимо найти золотую середину между безоговорочным доверием, которое обычно на стороне разработчиков, и максимальной критикой с сомнениями, которые присущи академической науке. Должно получиться эдакое доверие с элементами самокритики, к ключевым принципам которого будут относиться доверие к производителю, к данным, к моделям и к продукту. А чтобы это осуществилось, разработчиков нужно независимо сертифицировать и периодически проводить их аудит, данные должны проходить несколько этапов подготовки, и к ним нужно предъявлять определенные требования (нужны ГОСТы), отчеты о моделях должны быть полны, прозрачны, воспроизводимы и валидированы (нужны ГОСТы), а продукт должен проходить независимый мониторинг на этапе постмаркетинга и регистрироваться в качестве медизделия.
При обсуждении доверия нельзя не упомянуть этику ИИ - также предмет активных и иногда довольно ожесточенных дискуссий. «Когда все хорошо, начинаешь о чем-то думать», - точно подметил
Антон Владзимирский, зам. директора по науке в нашем Центре, имея в виду сальтаторное развитие отрасли и в мире, и в нашей стране. А что вообще обсуждают, когда говорят об этике фактически машины? Какая впринципе у нее может быть этика? Не происходит ли умышленной гуманизации бездушного инструмента? Спикер резонно заметил, что скорее нужно беспокоиться об этике людей, которые этот ИИ создают и выкладывают его в открытый доступ без должных испытаний и проверок, как это было, например, с некоторыми сервисами по диагностике ковида во время пандемии.
#ИИшница