Искусственный интеллект открывает множество возможностей, но всегда существует риск его сбоя или компрометации. Новое исследование ISACA показало: большинство опрошенных организаций не могут объяснить, за какое время они остановят ИИ-систему в случае чрезвычайной ситуации, или указать причины проблемы.
Согласно отчету ISACA, 59% специалистов по цифровому доверию не знают, сколько времени займет прерывание и остановка ИИ-системы во время инцидента безопасности. Лишь 21% отметили, что смогут вмешаться за полчаса. Это создает ситуацию, когда поврежденные ИИ-системы продолжают работать без контроля, что грозит необратимыми последствиями.
Ali Sarrafi, CEO и основатель Kovant — платформы для автономных корпоративных решений, — заявил: «Выводы ISACA указывают на серьезную системную проблему в подходе организаций к внедрению ИИ. Системы интегрируют в ключевые процессы без необходимого уровня управления для надзора и проверки действий. Если компания не способна оперативно остановить ИИ, разобраться в его поведении или определить ответственных, она теряет контроль над этой системой».
Сбои ИИ и связанные риски
Всего 42% респондентов уверены, что их организация сможет разобрать и объяснить серьезные инциденты с ИИ, что чревато сбоями в работе и угрозами безопасности. Кроме того, без четких разъяснений для регуляторов и руководства компании рискуют штрафами и негативной реакцией общественности.
Чтобы извлекать уроки из ошибок, требуется тщательный анализ. Без понимания причин вероятность повторения растет. Ответственное управление ИИ с надежным контролем крайне важно, однако данные ISACA свидетельствуют о его отсутствии.
Вопрос ответственности тоже остается неясным: 20% не знают, кто понесет ее за ущерб от ИИ-системы, а 38% считают конечными ответственными совет директоров или топ-менеджмент.
Sarrafi подчеркнул: тормозить внедрение ИИ не выход, нужно переосмыслить управление. «ИИ-системы должны работать в структурированной среде управления, где их воспринимают как цифровых сотрудников — с четким владельцем, путями эскалации и возможностью мгновенной паузы или перехвата при превышении рисков. Тогда агенты перестают быть загадочными ботами и превращаются в проверяемые и надежные системы. По мере углубления ИИ в бизнес-процессы управление не может быть дополнительной опцией. Оно закладывается в архитектуру с самого начала, с видимостью и контролем на всех уровнях. Организации, которые это освоят, не просто снизят риски — они смогут уверенно масштабировать ИИ».
Есть и позитив: 40% респондентов сообщили, что люди одобряют почти все действия ИИ перед запуском, еще 26% проверяют результаты. Однако без улучшенной инфраструктуры контроля человеческий надзор вряд ли предотвратит эскалацию проблем.
Данные ISACA выявляют системную проблему в развертывании ИИ по разным отраслям. Более трети организаций не обязывают сотрудников раскрывать использование ИИ в рабочих материалах, что усиливает слепые зоны.
Несмотря на ужесточение правил, повышающее ответственность руководителей, компании не обеспечивают безопасное и эффективное применение ИИ. Похоже, многие воспринимают риски ИИ как чисто техническую задачу, а не вопрос управления на уровне всей организации.
Необходимы изменения в подходах к интеграции и контролю действий ИИ. Без должного управления и ответственности бизнес теряет власть над своими ИИ-системами. А без контроля даже мелкие ошибки способны нанести ущерб репутации и финансам, от которого трудно оправиться.