Рост доверия к автономным ИИ-агентам
Доверие к агентным ИИ постепенно укрепляется. Согласно отчёту OutSystems, 73% участников опроса уверены в высокой или средней степени в том, чтобы позволить агентам работать самостоятельно. Это на 10% больше, чем год назад по аналогичному исследованию компании.
Уровень доверия к коду или рабочим процессам, созданным сторонними инструментами ИИ, немного ниже — 67%. Это всё равно серьёзный рост по сравнению с прошлым годом, когда лишь 40% в основном полагались на генеративный ИИ для написания кода без участия человека.
Сложности с централизованным управлением ИИ
Всего 36% респондентов отметили наличие централизованного подхода к управлению ИИ, в то время как 64% такой системы не имеют. При этом 41% опираются на правила, применяемые отдельно для каждого проекта.
Две трети участников считают технически сложным создание контрольных точек с участием человека, поскольку это требует оркестрации, способной приостанавливать агентов — по сути, внедрять ручное торможение в полностью автономные операции.
Ослабление надзора и риски
Многие компании переходят к более мягким моделям контроля, хотя неясно, вызвано ли это повышенным доверием к моделям или давлением бизнес-подразделений внедрять ИИ несмотря на вопросы безопасности и надёжности.
Авторы отчёта предупреждают: если ослабление контроля продолжится, внедрение агентных ИИ может обогнать развитие механизмов ответственности, которые многие считают необходимыми.
Рекомендации для масштабирования
Организации, стремящиеся расширять использование агентов в регулируемых или критически важных средах, должны интегрировать оркестрацию и возможность аудита прямо в продукт, подчёркивают результаты опроса. При проверках соответствия требованиям бизнеса ключевыми элементами становятся логи в виде цепочек записей и чётко определённые зоны ответственности при запуске агентных ИИ.
Проблема неконтролируемого распространения ИИ
Отчёт указывает, что 94% руководителей обеспокоены "AI sprawl" — явлением, которое подразумевает отсутствие единой платформы для управления всеми ИИ-развёртываниями в компании. 39% испытывают сильную или крайнюю тревогу по этому поводу, а лишь 12% уже применяют централизованную платформу для контроля такого распространения.