ИИ-агенты в ближайшее время смогут самостоятельно распределять задания между другими агентами и людьми. Исследователи Google DeepMind в свежей публикации считают, что нынешние подходы не справляются с задачей, и предлагают специальный фреймворк для улучшения ситуации.
Их подход под названием "интеллектуальное делегирование ИИ" охватывает передачу полномочий, ответственности и подотчетности, четкое обозначение ролей, а также создание систем доверия. Фреймворк работает во всех возможных комбинациях: делегирование от людей к ИИ, между агентами ИИ и возвращение задач от ИИ обратно людям.
Что теория организаций говорит о сетях ИИ-агентов
Авторы опираются на принципы функционирования человеческих организаций. Они адаптируют проблему главного и агента к ИИ-системам: главный поручает задачу агенту, цели которого не всегда совпадают с его собственными. В случае ИИ-агентов это проявляется не столько в обмане, сколько в проблемах согласования, например, в reward hacking, когда система находит лазейки в своей целевой функции.
Важно также, сколько агентов может эффективно контролировать координатор или человек-надзиратель. Концепция "градиента полномочий" из авиации показывает, что большие различия в компетенциях между руководителем и подчиненным тормозят общение. Для ИИ-агентов сикофантия — склонность говорить пользователю приятное — приводит к тому, что агент не возражает против неподходящих заданий.
Верификация как ключевой принцип делегирования в ИИ
Фреймворк опирается на пять основ: постоянную оценку агентов, перераспределение задач при изменении условий, полную документацию решений с возможностью отслеживания, репутационные системы для координации открытых рынков и защитные механизмы, блокирующие распространение ошибок по сети.
Центральная идея — "декомпозиция с приоритетом контракта": задачу можно делегировать только если результат поддается проверке. Если подзадача слишком субъективна, дорога или сложна, ее разбирают дальше. Вместо централизованных списков авторы предлагают децентрализованные рынки со смарт-контрактами, которые защищают обе стороны.
Безопасность — главная забота. Работа упоминает вредоносных агентов, крадущих данные или выдающих фальшивые результаты, "агентские вирусы" — самораспространяющиеся промты — и "когнитивную монокультуру". Если большинство агентов построено на ограниченном числе базовых моделей, одна уязвимость может вывести из строя значительную часть сети.
Адаптивный цикл координации запускается внешними и внутренними триггерами: изменениями задач, ресурсов, приоритетов, сигналами безопасности, падением производительности, превышением бюджета, сбоями верификации или неresponding агентами. Это приводит к четырехэтапному процессу: мониторинг среды, выявление проблемы, диагностика причин и оценка сценариев реакции. Далее проверяют обратимость действия, срочность и необходимость эскалации. Для необратимых мер — немедленная остановка или обращение к человеку. Иначе выбирают между децентрализованным аукционом на рынке и центральным агентом-оркестратором.
Намеренная неэффективность для сохранения навыков людей
Особо выделяется совет: внедрять искусственные неэффективности. Система должна периодически поручать людям задачи, которые ИИ мог бы выполнить сам, чтобы люди не утрачивали умения. Идея взята из "парадокса автоматизации": если ИИ забирает всю рутину, надзиратели теряют практический опыт, необходимый для вмешательства при сбоях. Получается хрупкая система, где люди формально отвечают, но не понимают происходящего.
Авторы также отмечают "моральную зону деформации" — ситуацию, когда люди лишены реального контроля, но включены в цепочки делегирования именно для принятия ответственности при проблемах.
Команда оценила существующие протоколы агентов, такие как MCP от Anthropic, A2A от Google и Agent Payments Protocol. По данным работы, ни один не удовлетворяет требованиям полностью. MCP дает только бинарный доступ без гранулярных уровней авторизации, а A2A не поддерживает криптографическую верификацию результатов.