Почему Google DeepMind тревожит массовое взаимодействие агентов
Google DeepMind, сделавшая агентные инструменты центральной темой конференции Google I/O в прошлом месяце, объединилась с рядом организаций, чтобы выделить $10 млн на исследования поведения систем с множеством ИИ-агентов и поиск способов предотвращения небезопасных сценариев. К DeepMind присоединились Schmidt Sciences — филантропический фонд Эрика и Венди Шмидт, ARIA — британское агентство «лунных» проектов, некоммерческая исследовательская организация Cooperative AI Foundation и благотворительное подразделение Google — Google.org.
В беседе журналистов с Шахом (Shah) и Джеймсом Фоксом (James Fox), руководителем программы «Наука о надёжном ИИ» в Schmidt Sciences, выяснилось, что главная цель — запустить исследования вне технологических компаний. «Сила академической среды в том, что она может заглядывать далеко в будущее и заниматься работой, которая не в приоритете у промышленных лабораторий», — объясняет Шах.
«Основная проблема в том, что отдельной области исследований безопасности мультиагентных систем пока просто не существует, — добавляет он. — А мы хотим, чтобы она появилась».
По мере того, как всё больше ИИ-агентов будут развёртываться и начинать взаимодействовать, может наступить переломный момент, когда гипотетические угрозы станут реальностью. «То же происходит и с человечеством, — говорит Шах. — Наши институты способны на то, что не под силу ни одному отдельному человеку».
Шах полагает, что до массового внедрения агентов в экономику, которое сделает потенциальные риски по-настоящему серьёзными, осталось ещё несколько месяцев. И он хочет опередить этот момент.
Какие риски рассматриваются
О каких именно рисках идёт речь? По мнению Шаха и Фокса, в основном это усиленные версии уже существующих в интернете проблем: мошенничество, инъекции промтов (когда ИИ-агенту передаются вредоносные инструкции, превращающие его в самоуправляемое вредоносное ПО) и другие формы кибератак. «Мы смотрим на то, что делают люди сейчас, и спрашиваем, как будет выглядеть агентная версия этих действий», — поясняет Шах.
«У нас есть цифровое общее пространство, которое критически важно для функционирования общества, и нужно обязательно гарантировать, что оно не скатится в абсолютную анархию», — предупреждает Фокс.
Когда журналист поинтересовался, рассматриваются ли наихудшие сценарии вроде масштабного экономического коллапса, Шах ответил: «Уж точно не к концу этого года». Напомним, до конца года осталось лишь полгода. После смеха он добавил: «Ну, через некоторое время после этого».
Шах и Фокс сходятся во мнении, что единственный способ понять, что произойдёт при взаимодействии большого числа мультиагентных систем, — это проводить реалистичные симуляции. Они хотят, чтобы исследователи помещали ИИ-агентов в «песочницы» и наблюдали за их поведением.
Нельзя предсказать последствия, изучая отдельных агентов или даже небольшие группы изолированно. Нельзя предполагать, что агенты на основе больших языковых моделей всегда будут вести себя рационально, отмечает Фокс. А сложность возникает из-за огромного количества одновременных взаимодействий.
Некоторые исследователи, включая команду из Google DeepMind, утверждают, что искусственный общий интеллект (AGI) — если он вообще возможен — может возникнуть не из одной сверхразумной модели, а из своего рода коллективного разума агентов, где совокупные возможности целого превышают сумму его частей.
Недоверие как фактор риска
Google DeepMind — не единственная ведущая ИИ-компания, предупреждающая о рисках создаваемых технологий. Пару недель назад Anthropic опубликовала рекомендации по развёртыванию ИИ-агентов, основанные на подходе к кибербезопасности, известном как «нулевое доверие» (zero trust). Он исходит из предположения, что любая система уязвима, агент — это потенциальный злоумышленник, и взлом обязательно произойдёт.
Рефаэль Ангел (Refael Angel), сооснователь и технический директор базирующейся в Тель-Авиве компании Akeyless, специализирующейся на кибербезопасности, согласен, что понимание новых рисков агентных систем критически важно.
«Все прошлые подходы к безопасности исходили из того, что программа была написана человеком и выполняет фиксированные действия по заданным путям, — говорит Ангел. — Агент ломает все эти допущения. Он рассуждает, импровизирует и может быть захвачен одной-единственной фразой, спрятанной в документе, который ему поручили прочитать».
Ангел приветствует новое финансирование. «Ни одна лаборатория не должна единолично писать стандарты безопасности, которым все остальные будут вынуждены доверять», — считает он. Однако он предостерегает, что исследователи безопасности могут упускать из виду уже существующие скучные проблемы в пользу более экзотических гипотетических.
Тем не менее, Фокс замечает, что риски, которые несколько лет назад были чисто гипотетическими, сегодня стали вполне реальными: «Будущее наступило быстрее, чем мы, возможно, ожидали».