Для бизнеса агентный ИИ — это не просто улучшенный чат-бот. Это программные агенты, которые выполняют задачи целиком: от взаимодействия с людьми до работы с данными, процессами и системами. Платформа, лучше всего подходящая для запуска агентов, должна иметь достаточные вычислительные мощности ЦП, надежный доступ к данным, инструменты с учетом политик, наблюдаемость, управление памятью и возможность предсказуемого планирования и масштабирования агентов.
Чтобы глубже разобраться в этих зависимостях, Intel провела тысячи экспериментов с нагрузками агентного ИИ. Первоначальные выводы позволили сформулировать пять практических уроков для руководителей предприятий:
- Агентный ИИ — это в первую очередь системная задача, а не просто задача инференса.
- Большинство существующих инструментов для агентного ИИ имеют ограничения и не измеряют общую производительность системы.
- Планирование мощностей следует вести на основе плотности агентов на виртуальный ЦП (vCPU), а не их общего числа.
- Отслеживайте задержку выполнения задач агентов, а не только среднюю загрузку ЦП.
- По умолчанию используйте горизонтальное масштабирование для систем с агентами. Вертикальное масштабирование применяйте только для нагрузок с высокими вычислительными затратами на агента или архитектурными ограничениями.
Не только инференс: агенты как автоматизация процессов
Агентный ИИ — это не только инференс большой языковой модели. Его ценность для бизнеса определяется всей системой: оркестрацией задач, доступом к данным, вызовом инструментов, управлением задержками, управлением политиками и масштабируемой инфраструктурой. Агент — это целенаправленный автоматизированный рабочий процесс: он планирует многоэтапную задачу, вызывает инструменты, анализирует результаты и повторяет попытки при сбоях. Поэтому корпоративные агенты — это не просто проблема инференса, а системная задача.
Определяем критерии успеха
Большинство метрик агентного ИИ сосредоточены на оценке используемой модели. Командам платформы также необходимо знать, сколько времени занимают задачи, сколько агентов может поддерживать система, что ощущает пользователь по завершении процесса и как меняются затраты при одновременной работе большего числа агентов.
Полезный корпоративный взгляд учитывает шесть метрик:
- Доля успешных задач
- Стоимость задачи
- Время выполнения задачи
- Пропускная способность задач
- Плотность агентов (агентов на vCPU)
- Задержка
Вместе эти метрики дают ответы на вопросы, которые волнуют операторов ИИ в бизнесе: соответствует ли производительность системы ожиданиям? Сколько агентов может выдержать система? Как её масштабировать для поддержки большего числа агентов?
Надёжная основа
Чтобы глубже изучить производительность нагрузок агентного ИИ, Intel расширила Terminal-Bench, инструмент для бенчмаркинга агентов ИИ с открытым исходным кодом, добавив возможности профилирования, телеметрии и воспроизведения. Это позволило понять, на что агенты тратят время помимо инференса модели.
Расширение бенчмарка использовало детерминированную запись и воспроизведение ответов модели, чтобы отделить производительность агентов от вариативности LLM. Ответы записывались один раз и идентично воспроизводились при каждом запуске, что снижало разброс от запуска к запуску и создавало более надежную основу для сравнения.
Набор задач в Terminal-Bench был намеренно широким: компиляция, тестирование, операции с базами данных, булева логика, интерпретация, трассировка лучей, сжатие, линейная алгебра, транскодирование видео и обучение машинному обучению. Такое разнообразие делает выводы более применимыми к реальным корпоративным средам.
Агентный ИИ в трёх измерениях
Развёртывание агентного ИИ следует рассматривать в трёх аспектах:
Планируйте по плотности агентов, а не по их количеству: Первое правило — нормировать количество агентов на доступные вычислительные ресурсы. Плотность агентов (агентов на vCPU) — главный сигнал насыщения. Например, 10 агентов на системе с 8 vCPU и 20 агентов на системе с 16 vCPU ведут себя одинаково при равной плотности. Это даёт архитекторам универсальный способ сравнения ёмкости на разных размерах инстансов и поколениях процессоров.
Правильная плотность также зависит от бизнес-цели. Интерактивные помощники и ассистенты, работающие с пользователями, требуют более низкой плотности, поскольку важно время отклика. Пакетные задачи, например IT-процессы, часто могут выполняться с более высокой плотностью. Это даёт командам практический способ настройки систем в соответствии с целевыми показателями уровня обслуживания и общей стоимостью владения.
Агентный ИИ требует нового подхода к наблюдаемости: средняя загрузка ЦП — слабый основной сигнал для мониторинга агентных нагрузок. Агенты часто чередуют ожидание ответов модели с короткими всплесками интенсивных вычислений. Из-за такого «рваного» характера средняя загрузка может выглядеть приемлемой, даже когда всплески создают очереди и замедляют работу пользователей. Задержка задач (P95) — более качественный опережающий показатель. Он показывает, когда процессы начинают ждать, ещё до того, как средняя длительность задач заметно ухудшится. Практическая модель эксплуатации: сначала оповещать о задержке P95, затем подтверждать проблему, анализируя устойчивый рост времени выполнения задач.
По умолчанию — горизонтальное масштабирование: Горизонтальное масштабирование добавляет новые системы, увеличивая общую ёмкость для агентов, в то время как вертикальное добавляет ядра или память в одну систему для агентов с более тяжёлыми вычислительными всплесками.
Данные тестирования показали, что горизонтальное масштабирование обычно является лучшим выбором по умолчанию. Это согласуется с тем, что агенты, как правило, полунезависимы и имеют умеренные всплески нагрузки на каждого, что повышает общую производительность, поддерживает высокую доступность, часто снижает затраты и облегчает сохранение целевого соотношения агентов на vCPU по мере роста платформы.
Вертикальное масштабирование используйте, когда агентам требуются более интенсивные параллельные вычисления, разделяемое состояние ограничивает секционирование, важна локальность памяти или действуют лицензионные ограничения.
Учитывайте бизнес-эффекты: Где агентный ИИ в первую очередь создаст ценность для бизнеса? Организации, получающие результаты уровня продакшена, надстраивают слой автоматизации над процессами, где уже есть формализованные правила и измеримые показатели качества: создание кода, фермы регрессионного тестирования, сортировка заявок, анализ рынка и проверка безопасности.
Таким образом, идеальный пользователь агентного ИИ в компании — не экспериментатор, гоняющийся за новинками, а ответственный руководитель, которому нужно сокращать время циклов и повышать производительность, сохранять качество услуг, обеспечивать соблюдение политик и масштабировать внедрение с учётом затрат.
Ценность агентного ИИ — в помощи бизнесу выполнять реальную работу через команды, системы, данные и процессы. Для предприятий приоритет не просто в улучшении показателей моделей, а в создании надёжной среды, где ИИ-агенты поддерживают бизнес-процессы, повышают производительность, работают в рамках требований управления и масштабируются по мере роста внедрения.
На практике успех агентного ИИ зависит от правильной основы, позволяющей получать стабильные результаты, управлять затратами, сохранять контроль и уверенно переходить от пилотных проектов к продакшену.