ISO/IEC 23894:2023 — важный ориентир по управлению рисками в ИИ

Введение и назначение

Стандарт был опубликован в феврале 2023 года. Он разработан рабочей группой ISO/IEC JTC 1/SC 42 (искусственный интеллект) и направлен на организации, которые разрабатывают, производят, внедряют или используют системы, услуги или продукты с применением искусственного интеллекта (ИИ).
Стандарт предлагает руководство (guidance), а не обязательные требования (т.е. не сертификационный стандарт в классическом смысле). Он призван помочь интегрировать управление рисками, специфичными для ИИ-систем, в существующие процессы управления рисками.
Он построен как дополнение к более общему стандарту ISO 31000:2018 «Risk management – Guidelines» — структура документа зеркалирует разделы ISO 31000 и дополняет их ИИ-специфическими элементами.

Целью применения стандарта является:

• повышение доверия к ИИ-решениям, снижение вредных последствий (этических, правовых, репутационных)
• систематизация управления рисками, связанными с ИИ (например, смещение данных, непрозрачные модели, безопасность)
• интеграция управления рисками в жизненный цикл ИИ-системы: от разработки до эксплуатации и утилизации.

Структура стандарта и ключевые разделы

Стандарт состоит (в сокращённой форме) из трёх основных разделов:

1. Принципы (Clause 4) — общие принципы управления рисками, с акцентом на особенности ИИ.
2. Фреймворк (Clause 5) — структура управления рисками, роли и обязанности, интеграция в организацию, ресурсы, коммуникации.
3. Процессы (Clause 6) — конкретные процессы: установление контекста, идентификация рисков, оценка (анализ/оценка вероятности и последствий), обработка рисков (treatment), мониторинг, запись и отчётность.

Дополнительно в приложениях (Annex A, B, C) приведены: типичные цели и источники ИИ-рисков, примеры соответствий процессов ИИ-системы и жизненного цикла.

Теперь — подробнее по каждому блоку с объяснениями и примерами.

Принципы управления рисками ИИ

Ключевые принципы включают (а) создание и защита ценности, (б) интеграция с бизнес-действиями, (в) участие заинтересованных сторон, (г) прозрачность, (д) адаптивность и устойчивость

Специфика для ИИ:

• Риски ИИ могут иметь быстропрогрессирующий характер, быть непрозрачными (black box), связанными с данными (смещение, качество)
• Требуется особое внимание к вопросам справедливости (fairness), ответственности (accountability), объяснимости (explainability)
• Управление должно учитывать весь жизненный цикл ИИ-системы

Пример: компания внедряет чат-бот с ИИ-моделью для поддержки клиентов. В рамках принципов управление рисками предусматривается, что чат-бот должен быть справедливым (не дискриминировать пользователей), иметь возможность объяснять рекомендации, быть под контролем человека, и организация заранее определяет, какие ценности защищаются (например, защита приватности, недопущение вреда клиенту).

Управляющий фреймворк (Framework)

Раздел 5 описывает, как организация должна строить систему управления рисками ИИ:

• Лидерство и обязательство (leadership & commitment) — руководство должно поддерживать управление рисками ИИ.
• Определение контекста и объёма — организация должна понимать, в каком контексте используется ИИ-система, какие её границы.
• Назначение ролей, полномочий, ответственности — кто ведёт управление рисками, кто отвечает за мониторинг.
• Выделение ресурсов — люди, технологии, бюджет.
• Коммуникация и консультирование — вовлечение внутренних и внешних заинтересованных сторон.
• Интеграция с существующими управленческими системами — например, с управлением качеством, безопасностью, управлением данными.

Пример: финансовый институт вводит систему кредитного скоринга на базе ИИ. В рамках фреймворка: совет директоров подтверждает политику управления рисками ИИ; создаётся рабочая группа (data scientists, risk managers, compliance); определены роли: кто отвечает за разработку модели, кто за проверку справедливости, кто — за мониторинг модели в эксплуатации; ресурсы выделены (специалист по этике ИИ, инструменты аудита).

Процессы управления рисками ИИ

Раздел 6 охватывает жизненно важные процессы. Рассмотрим их шаг за шагом и приведём примеры.

6.1 Установление контекста

• Определить внутренний и внешний контекст: цели организации, заинтересованные стороны, правовые и этические рамки.
• Определить критерии рисков (например, допустимый уровень вероятности и последствий).
• Определить границы применения ИИ-системы.

Пример: Производственная компания разрабатывает систему предиктивного обслуживания с ИИ. При установлении контекста: она описывает, что целью является снижение простоев и повышение безопасности оборудования; внешними контекстами являются регуляции по промышленной безопасности, внутренними — политика IT-рисков; критерии: аварию с простоем > 4 ч считать высоким риском.

6.2 Идентификация рисков

• Определяются источники риска (например, качество данных, уязвимость модели, неправильная эксплуатация)
• Определяются события/сценарии (например, модель даёт неверный прогноз, система подвержена атаке)
• Определяются последствия (например, финансовый ущерб, вред пользователю, нарушение законодательства)

Пример: В системе кредитного скоринга: риск — модель может быть предвзятой по отношению к определённой группе клиентов; событие — модель систематически отклоняет заявки от группы X; последствие — нарушение законодательства о дискриминации + репутационный ущерб.

6.3 Анализ и оценка рисков

• Анализ: оценка вероятности возникновения и величины последствий.
• Оценка: сопоставление рисков с критериями, принятие решения, какие риски требуют обработки.

Пример: В промышленной системе предиктивного обслуживания: риск маловероятного, но критического отказа оборудования. Анализ показывает вероятность 2 % в год, последствия — простой завода на 8 ч => финансовые убытки. Оценка показала, что риск выше установленного порога (например, 1 % + простой > 5 ч), значит — требует обработки.

6.4 Обработка рисков (Risk treatment)

• Выбор опций обработки (избежать, уменьшить, передать, принять)
• Разработка планов обработки: меры, сроки, ответственные.
• В контексте ИИ — меры могут включать: улучшение данных, тестирование модели, внедрение человеческого контроля, мониторинг модели, механизм отката, аудиты справедливости и объяснимости.

Пример: В кредитной системе: чтобы уменьшить риск предвзятости, приняли меры: провести аудит модели на справедливость, скорректировать тренировочные данные, ввести процедуру «человек-в-петле» для заявок из группы X, установить мониторинг модели ежедневно и порог отклонения.

6.5 Мониторинг и обзор

• Непрерывный мониторинг функционирования системы и рисков
• Регулярный пересмотр: меняется ли контекст, появились ли новые риски, эффективны ли меры.

Пример: В системе предиктивного обслуживания: ежемесячно проверяется метрика точности модели, число ложных предупреждений, воздействие на простой; раз в квартал пересматривается контекст (например, новые виды оборудования, изменение условий эксплуатации) и корректируются меры обработки.

6.6 Запись и отчётность

• Все процессы, решения, результаты должны документироваться.
• Особенно важно для ИИ-систем: журнал изменений модели, аудит логов, отчёты заинтересованных сторон.

Пример: В финансовой компании: введён реестр рисков ИИ, где фиксируются: описание риска, дата появления, ответственные, мероприятия, статус; ежеквартальный отчёт совета директоров включает отдель раздел по ИИ-рискам.

Примеры внедрения

Вот два «примерных» сценария внедрения стандарта, иллюстрирующие, как организация может работать с ISO/IEC 23894:2023.

Пример 1: Стартап, предоставляющий сервис обработки изображений на базе ИИ

Компания разработала сервис распознавания дефектов на производственных линиях с использованием нейросетей. Что можно сделать:

• Определить контекст: производители, линии, типы дефектов, регуляции безопасности.
• Идентифицировать риски: модель может неправильно распознать дефект → пропуск дефекта → ущерб; данные обучения ближе к одному типу оборудования (риск невоз­можности обобщения).
• Оценить: вероятность ошибки, последствия (ошибка → простой линии).
• Обработать: доработать данные, ввести ручную проверку критичных решений, защищать модель от атак (adversarial).
• Мониторинг: отслеживать реальные случаи ошибок и сравнивать с ожиданиями, пересматривать модель при изменении условий.
• Документировать: политика ИИ-рисков, журналы модели, отчёты пользователям.

Пример 2: Банк внедряет ИИ-модель кредитного скоринга

• Контекст: банк, сегменты клиентов, регуляции по защите данных и недискриминации.
• Идентификация рисков: дискриминация клиентов, ошибка модели, утечка данных, изменение поведения клиентов.
• Анализ/оценка: вероятность – средняя; последствия – штраф, репутация, судебные иски.
• Обработка: провести предварительный аудит модели на справедливость, обеспечить «человека в петле» для спорных случаев, ввести мониторинг отклонённых заявок.
• Мониторинг/обзор: отслеживать распределение отклонённых заявок по группам, пересматривать модель раз в квартал.
• Запись/отчётность: политика, отчёт в управление, журнал изменений модели и данных.

Преимущества и вызовы внедрения

Преимущества:

• Более структурированный и полно­системный подход к рискам ИИ → снижение вероятности негативных последствий.
• Укрепление доверия клиентов, регуляторов, пользователей.
• Улучшение качества решений и уменьшение неожиданностей.
• Лучшая интеграция ИИ-управления с общей системой управления рисками.

Вызовы:

• Требует ресурсов (люди, технологии) — не всякая организация сразу готова.
• Не всегда легко оценить риски ИИ: непрозрачность моделей, быстрое изменение условий.
• Нужно установить и поддерживать мониторинг — жизненный цикл модели часто отличается от классической разработки ПО.
• Документирование и отчётность могут быть значительными по объёму.
• Стандарт даёт руководство, но не жёсткие требования — организациям придётся самостоятельно адаптировать.

Практические шаги для организации

Если ваша организация рассматривает внедрение ISO/IEC 23894:2023, можно рекомендовать следующий путь:

1. Провести gap-анализ: сравнить текущие процессы управления рисками ИИ с рекомендациями стандарта.
2. Определить область применения: какие ИИ-системы, какие бизнес-функции, какие риски покрываем.
3. Создать или обновить политику управления рисками ИИ: включая лидершип-поддержку, ресурсы, роли.
4. Внедрить процессы: идентификация рисков, анализ, обработка, мониторинг, документирование.
5. Обеспечить обучение заинтересованных сторон: дата-сайентисты, менеджмент, риск-офицеры.
6. Внедрить мониторинг и пересмотр: определить метрики, установить циклы пересмотра, адаптироваться к изменениям.
7. Документировать результаты, отчёты, журналы, аудит-сессии.
8. Включить ИИ-управление рисками в общую систему управления рисками и/или систему управления качеством.

Заключение

ISO/IEC 23894:2023 — важный международный ориентир по управлению рисками, связанными с ИИ-системами. Его применение помогает организациям действовать проактивно и ответственно, минимизируя вред и повышая доверие. Внедрение требует отдельного внимания, ресурсов и интеграции с существующими системами управления, но потенциальная выгода значительна.