Предупреждение финансовым компаниям от австралийского регулятора
Австралийский финансовый надзор предупредил банки и управляющих пенсионными активами о слабом уровне управления и обеспечения надежности ИИ-агентов. Такие замечания появились на фоне активного распространения ИИ в внутренних процессах и работе с клиентами.
Австралийский орган пруденциального регулирования (APRA) организовал специальную проверку ряда крупных поднадзорных организаций в конце 2025 года. Цель — оценить масштабы внедрения ИИ и сопутствующие пруденциальные угрозы. ИИ применяется повсеместно среди проверенных субъектов, однако зрелость подходов к рискам и операционной устойчивости сильно разнится. В APRA отметили живой интерес правлений к ИИ как инструменту роста эффективности и качества обслуживания. При этом многие компании лишь начинают выстраивать систему контроля рисков ИИ.
Особую тревогу вызывает зависимость от материалов, предоставляемых поставщиками, — презентаций и кратких обзоров. Правления зачастую недостаточно глубоко анализируют опасности вроде непредсказуемого поведения моделей или влияния отказов ИИ на жизненно важные операции.
APRA настаивает: правлениям нужно лучше ориентироваться в ИИ, чтобы последовательно определять стратегию и обеспечивать надзор. Стратегия применения ИИ обязана вписываться в общий аппетит к риску компании, предусматривать постоянный мониторинг и прописанные действия при сбоях.
Поднадзорные структуры экспериментируют с ИИ или уже используют его в разработке программного обеспечения, первичной обработке страховых требований, рассмотрении кредитных заявок. Среди прочих сценариев — пресечение мошенничества и афер, общение с пользователями.
Часть организаций приравнивает угрозы от ИИ к стандартным технологическим рискам, но такой взгляд игнорирует специфику поведения моделей и их предвзятости.
Обнаружены недостатки в слежении за поведением моделей, процедурах изменений и вывода из строя, отсутствует каталог ИИ-инструментов и назначение конкретных ответственных. Требуется обязательное участие специалистов в решениях с высоким риском.
Кибербезопасность тоже под вопросом. Распространение ИИ усложняет ландшафт угроз, вводя новые уязвимости вроде инъекций промтов и ненадежных подключений.
В отдельных случаях практики идентификации и контроля доступа не приспособлены к нечеловеческим участникам вроде ИИ-агентов. Масштабы разработки с помощью ИИ нагружают механизмы проверки изменений и релизов.
APRA подчеркивает необходимость мер защиты для агентных и автономных процессов: это управление повышенными правами доступа, настройка конфигураций и обновления. Плюс обязательное тестирование кода, созданного ИИ, на безопасность.
Некоторые фирмы чрезмерно зависят от одного поставщика ИИ, и лишь единицы продемонстрировали стратегии выхода или замены вендоров.
APRA указывает: ИИ может скрываться в зависимостях выше по цепочке, о которых организации даже не подозревают.
Идентификация и доступ
Тема контроля идентификации и прав отражается в свежих инициативах FIDO Alliance. Организация запустила техническую рабочую группу по агентной аутентификации и готовит стандарты для коммерции, инициированной агентами.
FIDO подчеркивает: многие текущие схемы аутентификации и авторизации заточены под действия людей, а не под делегированные операции софта. Поставщикам услуг нужны инструменты для проверки инициатора действия — кто или что его санкционировало и при каких условиях.
Разработчики решений представили их на рассмотрение FIDO, в том числе Google’s Agent Payments Protocol и фреймворк Mastercard’s Verifiable Intent. Некоммерческий Centre for Internet Security, получающий основное финансирование от Министерства внутренней безопасности США, выпустил вспомогательные руководства по безопасности ИИ. Они соотносят CIS Controls v8.1 с большими языковыми моделями, ИИ-агентами и средами Model Context Protocol.
Руководство по LLM затрагивает проблемы промтов и работы с чувствительными данными, а гайд по MCP — безопасный доступ инструментов ПО, нечеловеческие идентификаторы и сетевые взаимодействия.