Построение агентов ИИ с DataRobot и NVIDIA

Создание рабочей силы на основе агентов отличается от простого запуска нескольких отдельных агентов. Это фундаментальное изменение подхода, которое определяет, как компании обеспечивают ценность на масштабном уровне.

Проблема заключается не только в разработке работающих агентов. Важно гарантировать их соответствие целям бизнеса, функционирование на контролируемой инфраструктуре и соблюдение строгих стандартов безопасности и соответствия нормам.

Для большинства организаций такая сложность может оказаться чрезмерной. Команды сталкиваются с трудностями при объединении разрозненных инструментов, управлении нестабильными интеграциями и преодолении пробелов в управлении в разветвленных системах.

Каждый новый сценарий использования увеличивает нагрузку на интеграцию, а масштабирование инфраструктуры GPU и удовлетворение требований суверенитета данных добавляют дополнительное давление.

Чтобы справиться с этим, компаниям требуется нечто большее, чем набор отдельных компонентов. Необходим интегрированный подход, который объединяет разработку, развертывание и управление в единой платформе, ориентированной на контроль и гибкость с самого начала.

В этой статье рассматривается, как DataRobot и NVIDIA помогают создавать и масштабировать управляемую рабочую силу агентов, готовую к производственному использованию.

Что требуется от стека агентного ИИ

Запуск агентов в производственной среде подразумевает не просто создание рабочего процесса. Нужно обеспечить его масштабируемость, надежность и соответствие нормам по мере роста использования. Для этого недостаточно собрать инструменты из разных источников. Требуется комплексный стек, интегрирующий разработку, развертывание и управление в единую систему.

Создание рабочей силы агентов с DataRobot на базе NVIDIA

DataRobot и NVIDIA предлагают совместное решение, которое сочетает высокопроизводительную инфраструктуру с унифицированной платформой для полного жизненного цикла агентов. В итоге достигается ускорение создания, упрощение развертывания и минимизация ручных операций по управлению.

С помощью DataRobot можно:

• Начать разработку с использованием настраиваемых шаблонов приложений агентного ИИ, которые включают готовые рабочие процессы, адаптированные под распространенные и значимые бизнес-задачи.
• Упростить развертывание на управляемой инфраструктуре благодаря встроенным защитным механизмам и нативным интеграциям с корпоративными системами.
• Обеспечить управление и наблюдаемость на уровне предприятия с централизованным отслеживанием активов, встроенным мониторингом и автоматизированным формированием отчетов о соответствии нормам в любой среде.

Интеграция NVIDIA AI Enterprise в DataRobot позволяет:

• Использовать оптимизированные контейнеры моделей ИИ и корпоративное ПО для разработки.
• Упростить настройку развертывания с помощью NVIDIA NIM и микросервисов NeMo, готовых к немедленному использованию.
• Импортировать развернутые модели NIM в игровую среду DataRobot и приступать к созданию без проблем с конфигурацией.
• Ускорить совместную работу команд ИИ и DevOps для быстрого развертывания агентов.
• Мониторить и автоматически улучшать все развернутые приложения агентного ИИ в различных средах.

10 шагов для перехода агентов от прототипа к производству

Следуйте этому пошаговому процессу, чтобы с использованием DataRobot и NVIDIA AI Enterprise быстро и эффективно создавать, развертывать и масштабировать агентов.

Шаг 1: Просмотр галереи NVIDIA NIM и регистрация в DataRobot

Получите доступ к полной библиотеке NVIDIA NIM прямо в реестре DataRobot. Эти предварительно настроенные и сконфигурированные компоненты оптимизированы для GPU NVIDIA, предоставляя высокопроизводительную основу без ручной установки.

При импорте DataRobot автоматически применяет версионирование и тегирование, позволяя пропустить этапы настройки и сразу перейти к разработке.

Чтобы начать:

1. Откройте галерею NVIDIA NIM в реестре DataRobot.
2. Выберите и импортируйте модель в свой реестр.
3. Позвольте DataRobot заняться настройкой. Система порекомендует оптимальную конфигурацию оборудования, чтобы вы могли сосредоточиться на тестировании и оптимизации, а не на устранении неисправностей инфраструктуры.

Шаг 2: Выбор шаблона приложения DataRobot

Начните сборку и настройку приложения агентного ИИ с помощью готовых, настраиваемых шаблонов, которые избавляют от начальной работы по установке и позволяют сразу приступить к прототипированию, тестированию и валидации.

Библиотека приложений DataRobot предлагает фреймворки, предназначенные для реального развертывания, помогая быстро запуститься.

1. Выберите шаблон, который лучше всего соответствует вашему сценарию использования.
2. Откройте codespace, который поставляется с предустановленными инструкциями по настройке.
3. Настройте приложение для работы с NVIDIA NIM и уточните его под свои потребности.

Шаг 3: Открытие NVIDIA NIM в DataRobot Workbench для создания и оптимизации VDB

С шаблоном приложения на месте и выбранным оборудованием пора интегрировать компонент генеративного ИИ и начать построение векторной базы данных (VDB) в DataRobot Workbench.

1. Откройте NVIDIA NIM в DataRobot Workbench. Сценарий использования создастся автоматически.
2. Подключите данные и перейдите на вкладку Vector Databases.
3. Выберите источники данных и модель эмбеддинга из нескольких вариантов. DataRobot автоматически порекомендует одну и предложит альтернативы для тестирования.

   Также можно импортировать модели эмбеддинга и ранжирования из NVIDIA в реестр DataRobot, сделав их доступными в интерфейсе создания VDB.

4. Постройте одну или несколько VDB для сравнения производительности перед интеграцией в рабочий процесс RAG на следующем шаге.

Шаг 4: Тестирование и оценка конфигураций LLM NVIDIA NIM в LLM Playground

В LLM Playground DataRobot вы можете оперативно создавать, сравнивать и оптимизировать различные рабочие процессы RAG и конфигурации LLM без утомительного ручного переключения.

Вот как тестировать и уточнять настройку:

1. Создайте Playground в рамках существующего сценария использования.
2. Выберите LLM, стратегии промптинга и VDB для включения в тест.
3. Настройте до трех рабочих процессов одновременно и запустите запросы для сравнения производительности.
4. Проанализируйте результаты и уточните конфигурацию для оптимизации точности и эффективности ответов.

Шаг 5: Добавление предиктивных элементов к агентам

(Если приложение использует только генеративный ИИ, можно перейти к упаковке с защитными механизмами и финальному тестированию.)

Для агентов, включающих прогнозирование или предиктивные задачи, DataRobot упрощает процесс благодаря встроенным возможностям предиктивного ИИ.

DataRobot автоматически:

• Анализирует данные, определяет типы признаков и проводит предобработку.
• Обучает и оценивает несколько моделей, ранжируя их с наилучшей наверху.

Затем вы можете:

• Проанализировать ключевые факторы, влияющие на предсказание.
• Сравнить разные модели для уточнения точности.
• Интегрировать выбранную модель прямо в агента.

Шаг 6: Добавление подходящих инструментов к приложению

Расширьте возможности приложения, интегрируя дополнительные инструменты и агенты, такие как NVIDIA AI Blueprint для поиска и суммирования видео (VSS), чтобы обрабатывать видеопотоки и преобразовывать их в структурированные наборы данных.

Вот как улучшить приложение:

• Создайте дополнительные инструменты или агенты с использованием фреймворков вроде LangChain, NVIDIA AgentIQ, микросервисов NeMo, NVIDIA Blueprints или вариантов из библиотеки DataRobot.
• Расширьте источники данных, интегрируя инструменты уровня гиперскейлера, работающие в облаке, на самоуправляемых и bare-metal средах.
• Разверните и протестируйте приложение, чтобы обеспечить бесперебойную интеграцию с компонентами генеративного и предиктивного ИИ.

Шаг 7: Добавление мониторинга и защитных механизмов

Защитные механизмы служат первой линией обороны против некорректных выходов, рисков безопасности и проблем соответствия нормам. Они гарантируют, что генерируемые ИИ ответы точны, безопасны и соответствуют намерениям пользователя.

Вот как добавить защитные механизмы к приложению:

1. Откройте модель в Model Workshop.
2. Нажмите «Configure» и перейдите в раздел Guardrails.
3. Выберите и примените встроенные защиты, такие как NVIDIA NeMo Guardrails, включая:

   Stay on Topic
   Content Safety
   Jailbreak

4. Настройте пороги или добавьте дополнительные защитные механизмы в соответствии с требованиями приложения.

Шаг 8: Проектирование и тестирование UX приложения

Хорошо спроектированный пользовательский интерфейс делает приложение ИИ интуитивным, ценным и простым в использовании. С DataRobot вы можете подготовить полную версию приложения и протестировать ее с конечными пользователями перед развертыванием.

Вот как тестировать и уточнять UX:

• Подготовьте приложение в DataRobot для тестирования.
• Поделитесь им по ссылке или внедрите в реальную среду для сбора отзывов пользователей.
• Получите полную видимость работы приложения, включая цепочку рассуждений для прозрачности.
• Внедрите отзывы пользователей на ранних этапах, чтобы уточнить опыт и избежать затратных переделок.

Шаг 9: Развертывание агентов одним кликом

С помощью развертывания одним кликом вы можете мгновенно запустить NVIDIA NIM из реестра моделей без ручной настройки, тюнинга или управления инфраструктурой.

Приложение, защитные механизмы и мониторинг развертываются вместе, обеспечивая полную прослеживаемость и управление.

Вот как развернуть:

1. Выберите модель NVIDIA NIM, которую хотите использовать.
2. Выберите конфигурацию GPU и установите необходимые опции времени выполнения, все с одного экрана.
3. Разверните одним кликом. DataRobot автоматически упакует и зарегистрирует модель со всеми необходимыми компонентами.

Шаг 10: Мониторинг и управление развертыванием в DataRobot

После развертывания агент нуждается в постоянном мониторинге для обеспечения долгосрочной стабильности, точности и производительности. Развертывания NIM используют фреймворк наблюдаемости DataRobot для отображения ключевых метрик здоровья и использования.

Консоль DataRobot предоставляет централизованный обзор для:

• Отслеживания всех приложений ИИ в единой панели.
• Выявления потенциальных проблем на ранних стадиях, до влияния на производительность.
• Глубокого анализа отдельных промптов и развертываний для детальных insights.

Преодоление цикла итераций

Сложные проекты ИИ застопориваются, когда команды тратят чрезмерно много времени на замену компонентов, настройку комбинаций и повторные тесты для соответствия изменяющимся требованиям. Без четкой видимости или структурированных процессов команды легко теряют контроль над работающими элементами и тратят время на повторение шагов.

Лучшие практики для снижения трения и поддержания импульса:

• Тестируйте и сравнивайте по ходу дела. Экспериментируйте с разными конфигурациями на ранних этапах, чтобы избежать ненужных переделок. LLM Playground DataRobot делает это быстрым и простым.
• Используйте структурированные процессы. Поддерживайте порядок при тестировании вариаций компонентов и настроек.
• Применяйте журналы аудита и инструменты управления. Обеспечьте полную видимость изменений, упростите сотрудничество и минимизируйте дублирование. DataRobot также может генерировать документацию соответствия нормам в процессе.
• Меняйте компоненты без помех. Используйте модульную платформу, позволяющую подключать и отключать элементы без нарушения работы приложения.

Применяя эти практики, ваша команда сможет двигаться быстрее, оставаться согласованной и доставлять агентов, готовых к производству, без зацикливания в бесконечных итерациях.

Подготовка агентов к корпоративному использованию

Агентный ИИ приносит пользу только при надежной работе в производстве и масштабировании без потери доверия.

DataRobot и NVIDIA AI Enterprise объединяют скорость, управление и гибкость, чтобы вы могли создавать, развертывать и управлять агентами с уверенностью.

Независимо от того, запускаете ли вы первого агента ИИ или масштабируете портфель корпоративных решений, эта платформа предоставляет структуру и надежность для превращения инноваций в реальные бизнес-результаты.