Свежий отчет Deloitte сигнализирует: компании запускают ИИ-агентов быстрее, чем успевают настроить меры защиты и протоколы безопасности. Из-за этого растут опасения по поводу безопасности, конфиденциальности данных и ответственности.
Опрос показывает, что агентные системы ИИ переходят из тестов в боевой режим так стремительно, что привычные механизмы контроля рисков, рассчитанные на операции с участием людей, не справляются с новыми требованиями к защите.
Всего 21% организаций ввели строгие правила управления или надзора за ИИ-агентами, хотя темпы их внедрения растут. Сейчас 23% компаний применяют ИИ-агентов, но через два года этот показатель дойдет до 74%. Доля тех, кто еще не начал использовать эту технологию, сократится с 25% до 5% за тот же срок.
Плохое управление – главная угроза
Deloitte не считает ИИ-агентов по себе опасными, но подчеркивает риски, связанные с недостаточным контекстом и слабым контролем. Когда агенты действуют самостоятельно, их решения и поступки легко становятся непрозрачными. Без надежного управления ими трудно распоряжаться, а ошибки почти невозможно застраховать.
По словам Али Саррафи, CEO и основателя Kovant, решение – в контролируемой автономии. "Хорошо спроектированные агенты с четкими границами, правилами и описаниями, которыми управляют так же, как предприятием управляют сотрудниками, могут быстро справляться с низкорисковыми задачами в строгих рамках, но передавать дела людям, если действия выходят за пороги риска".
"С подробными логами действий, возможностью наблюдения и человеческим контролем для важных решений агенты перестают быть загадочными ботами и превращаются в системы, которые можно проверять, аудитировать и на них полагаться".
Как указывает отчет Deloitte, внедрение ИИ-агентов ускорится в ближайшие годы, и преимущество получат те компании, которые смогут обеспечить видимость и контроль, а не просто первыми их запустят.
Почему ИИ-агентам нужны надежные барьеры
ИИ-агенты отлично показывают себя на контролируемых демонстрациях, но в реальных бизнес-средах с разрозненными системами и нестабильными данными возникают проблемы.
Саррафи отметил непредсказуемость агентов в таких условиях: "Если агенту дать сразу слишком много контекста или объема задач, он начинает галлюцинировать и вести себя непредсказуемо".
"Напротив, системы боевого уровня ограничивают объем решений и контекста для моделей. Они разбивают операции на узкие, целенаправленные задачи для отдельных агентов, что делает поведение более предсказуемым и управляемым. Такая схема также упрощает отслеживание и вмешательство, позволяя выявлять сбои на ранней стадии и передавать их дальше, вместо цепной реакции ошибок".
Ответственность для застрахуемого ИИ
Когда агенты совершают реальные действия в бизнес-системах, включая ведение детальных логов, подход к рискам и соблюдению меняется. С записью каждого шага деятельность агентов становится прозрачной и поддающейся оценке, что позволяет организациям тщательно проверять действия.
Такая открытость важна для страховщиков, которые избегают покрытия непрозрачных ИИ-систем. Детали помогают понять, что сделали агенты и какие контролы применялись, облегчая оценку рисков. С человеческим надзором за критичными действиями и воспроизводимыми рабочими процессами организации создают системы, удобные для анализа рисков.
Стандарты AAIF – хороший старт
Общие стандарты, разрабатываемые Agentic AI Foundation (AAIF), упрощают интеграцию разных систем агентов, но пока акцент на простых конструкциях, а не на нуждах крупных организаций для безопасной работы.
Саррафи считает, что предприятиям нужны стандарты с контролем операций, включая "права доступа, рабочие процессы одобрения для значимых действий, аудитируемые логи и наблюдение, чтобы команды могли отслеживать поведение, разбираться в инцидентах и подтверждать соблюдение".
Идентификация и права – первая линия обороны
Ограничение доступа ИИ-агентов и их возможных действий критично для безопасности в реальных бизнес-средах. Саррафи сказал: "Когда агентам дают широкие привилегии или избыток контекста, они становятся непредсказуемыми и создают угрозы безопасности или несоблюдения".
Видимость и мониторинг помогают агентам оставаться в пределах. Только так заинтересованные стороны обретут уверенность во внедрении. Если все действия логируются и управляются, команды видят, что произошло, находят проблемы и разбираются в причинах.
Саррафи добавил: "Эта видимость вместе с человеческим надзором там, где нужно, превращает ИИ-агентов из непонятных элементов в системы для проверки, воспроизведения и аудита. Это ускоряет расследования и исправления при проблемах, повышая доверие среди операторов, команд по рискам и страховщиков".
План Deloitte
Стратегия Deloitte по безопасному управлению ИИ-агентами определяет четкие границы для решений агентных систем. Например, они работают с уровнями автономии: сначала агенты только просматривают данные или дают рекомендации. Затем им разрешают ограниченные действия с одобрения человека. После доказанной надежности в низкорисковых зонах они получают право на самостоятельные действия.
"Cyber AI Blueprints" от Deloitte предлагают слои управления, внедрение политик и дорожных карт compliance в организационные контролы. В итоге структуры, отслеживающие использование ИИ и риски, с интеграцией надзора в повседневные операции необходимы для безопасного применения агентного ИИ.
Подготовка сотрудников через обучение – еще один элемент безопасного управления. Deloitte советует учить персонал, что нельзя делиться с ИИ-системами, как реагировать на отклонения агентов и как замечать подозрительное поведение. Без понимания работы ИИ и связанных рисков сотрудники могут случайно подорвать меры защиты.
Надежное управление и контроль плюс общая грамотность – основа безопасного запуска и работы ИИ-агентов, обеспечивающая защищенную, соответствующую нормам и ответственную производительность в реальных условиях.