Компании предпочитают контроль, а не «ИИ-сотрудников»
В то время как исследователи стремятся к созданию полностью автономных ИИ-агентов, компании выбирают иной путь. Новое исследование под названием «Measuring Agents in Production», проведенное специалистами из Калифорнийского университета в Беркли, Intesa Sanpaolo, Иллинойсского университета в Урбана-Шампейн, Стэнфордского университета и IBM Research, показало, что успешные команды не создают автономных суперагентов. Вместо этого они полагаются на простые процессы, ручное управление промтами и строгий человеческий контроль.
В исследовании приняли участие 306 практикующих специалистов и были проведены 20 углубленных интервью с командами, работающими с развернутыми агентами, включая системы в полной эксплуатации и на финальных этапах пилотирования.
Компании хотят контроля, а не «ИИ-сотрудников»
Научные статьи часто демонстрируют агентов, выполняющих десятки сложных шагов. Однако производственные системы гораздо более ограничены. Вместо полностью автономных «ИИ-сотрудников» компании развертывают ограниченные системы на основе передовых языковых моделей, обширных промтов и строгих человеческих ограничений. Около 68 процентов продуктивных агентов в исследовании выполняют менее десяти шагов перед тем, как потребуется вмешательство человека, и почти половина (47 процентов) обрабатывают менее пяти шагов.
Специалисты явно предпочитают простые и управляемые подходы. Примерно 70 процентов команд используют готовые модели без тонкой настройки. Обучение с подкреплением практически отсутствует. Вместо этого команды сосредотачиваются на ручной инженерии промтов.
Тем не менее есть первые признаки увеличения автономии. Некоторые команды используют «маршрутизаторные» агенты, которые анализируют запросы и перенаправляют их специализированным суб-агентам. Другие делят работу между генераторными агентами и верификационными агентами — последние систематически проверяют ответы на точность.
Экономия времени важнее скорости
Среди команд с развернутыми системами 72.7 процента выбрали «повышение производительности» как ключевое преимущество — это наиболее часто упоминаемая причина. Сокращение человеко-часов (63.6 процента) и автоматизация рутинных задач (50 процентов) следуют близко за этим. Снижение рисков занимает последнее место — всего 12.1 процента — в основном потому что экономию времени легче измерить чем улучшения стабильности.
Требования к скорости удивительно мягкие. Для 41.5 процента агентов время отклика в диапазоне нескольких минут работает хорошо. Только 7.5 процента команд требует ответы быстрее секунды; у 17 процентов нет фиксированного бюджета задержки вообще.
Поскольку эти агенты часто обрабатывают задачи которые раньше занимали у людей часы или дни ожидание пяти минут для сложного поиска кажется достаточно быстрым Асинхронные процессы такие как ночные отчеты усиливают эту гибкость Задержка становится проблемой только для голосовых или чат-агентов с непосредственным взаимодействием пользователя