DataRobot и Nebius: фабрика ИИ для предприятий под агентов

DataRobot и Nebius заключили партнерство, чтобы запустить AI Factory for Enterprises — совместную платформу, которая ускоряет разработку, эксплуатацию и управление ИИ-агентами. С ее помощью агенты переходят в продакшен за дни вместо месяцев.

AI Factory for Enterprises обеспечивает масштабируемую, недорогую, контролируемую и управляемую инфраструктуру корпоративного уровня для агентов. Для этого сочетаются Agent Workforce Platform от DataRobot — наиболее полная, гибкая, защищенная и готовая к использованию в крупных компаниях система управления жизненным циклом агентов — с облачной инфраструктурой Nebius, созданной специально под задачи ИИ.

Партнерство

Nebius: облако, заточенное под ИИ

Общие облачные сервисы сейчас часто страдают от нестабильной производительности, задержек и "налога на виртуализацию", который мешает стабильной работе ИИ в продакшене на большом масштабе.

DataRobot задействует Nebius AI Cloud — GPU-облако, разработанное с нуля на уровне оборудования для обеспечения производительности на уровне bare-metal, минимальных задержек и стабильного пропускного потенциала, необходимых для длительного обучения и инференса ИИ. Это решает проблему "шумного соседа" и позволяет ресурсоемким задачам агентов работать стабильно с гарантированными результатами и понятными расходами.

Token Factory от Nebius расширяет возможности за счет модели оплаты по токенам для популярных open-source моделей. Пользователи применяют их при создании и тестировании агентов, а затем разворачивают те же модели через DataRobot уже в рабочей среде.

DataRobot: простая сборка, работа и контроль агентов в масштабе

Agent Workforce Platform от DataRobot — это наиболее полная платформа управления жизненным циклом агентов, которая позволяет создавать, запускать и контролировать их без лишних сложностей.

Платформа состоит из двух ключевых частей:

1. Корпоративная, масштабируемая, надежная и экономичная среда выполнения для моделей и агентов с готовыми механизмами контроля и мониторинга.
2. Простая в использовании среда для сборки агентов, где готовые к продакшену агенты создаются за часы, а не дни или месяцы.

Полноценные возможности среды выполнения корпоративного уровня

• Масштабируемая и недорогая среда выполнения: Однокликовое развертывание более 50 NIM и моделей Hugging Face с автоскейлингом или любого контейнеризированного артефакта через Workload API (с встроенным мониторингом и контролем). Оптимизированное использование за счет мультитенантности на уровне эндпоинтов (квоты по токенам) и высокодоступного инференса. Контейнеризированные агенты, приложения или комплексные системы на базе LLM, специализированных библиотек вроде PhysicsNemo, cuOpt или собственных моделей разворачиваются одной командой через Workload API.
• Контроль и мониторинг: Самые полные готовые метрики (поведенческие и эксплуатационные), трассировка путей выполнения агентов, полная история версий с аудитом, передовой контроль рисков безопасности, эксплуатации и compliance с моментальным вмешательством и автоматическими отчетами.
• Безопасность и идентификация: Единое управление идентификацией и доступом с OAuth 2.0, детализированный RBAC для минимальных прав на ресурсы, безопасное хранение секретов в зашифрованном хранилище.

Полноценные возможности сборки агентов корпоративного уровня

• Инструменты сборки: Поддержка фреймворков вроде Langchain, Crew AI, Llamaindex, Nvidia NeMo Agent Toolkit, готовые MCP, аутентификация, управляемый RAG и коннекторы к данным. Интеграция с Token Factory Nebius позволяет использовать модели по требованию во время сборки.
• Оценка и трассировка: Передовая оценка с LLM as a Judge, Human-in-the-Loop, Playground/API и трассировкой агентов. Полные поведенческие (соответствие задачам) и эксплуатационные (задержки, затраты) метрики плюс поддержка кастомных.
• Готовность к продакшену из коробки: Корпоративные хуки скрывают сложности инфраструктуры, безопасности, аутентификации и данных. Агенты разворачиваются одной командой; DataRobot управляет развертыванием компонентов с мониторингом и контролем на уровне всего агента и отдельных инструментов.

Сборка и развертывание с AI Factory for Enterprises

Хотите взять готовых агентов из других источников или open-source модели для отраслей и запустить их масштабируемо, безопасно и под контролем через AI Factory? Или собрать агентов без забот о подготовке к продакшену? Здесь показано, как это сделать.

1. DataRobot STS на Nebius

DataRobot Single-Tenant SaaS (STS) развертывается на Managed Kubernetes от Nebius с поддержкой GPU-групп узлов, высокопроизводительной сети и хранилищ для ИИ-задач. Для развертываний DataRobot Nebius обеспечивает высокопроизводительную и дешевую среду для агентов. Выделенные кластеры NVIDIA (H100, H200, B200, B300, GB200 NVL72, GB300 NVL72) подходят для тензорного параллелизма и KV-cache-инференса, а InfiniBand RDMA обеспечивает масштабирование между узлами. Партнерство DataRobot и Nebius дает надежную ИИ-инфраструктуру:

• Управляемый Kubernetes с планировщиком для GPU упрощает установку и обновления STS, преднастроен с операторами NVIDIA.
• Выделенные пулы GPU-работников (H100, B200 и т.д.) изолируют требовательные сервисы STS (инференс LLM, векторные БД) от CPU-задач.
• Высокопроизводительная сеть и хранилища справляются с большими моделями, эмбеддингами и телеметрией для оценки и логов.
• Безопасность и изоляция: STS использует выделенные границы тенантов, IAM и сетевые политики Nebius соответствуют корпоративным требованиям.
• Мониторинг здоровья узлов заранее выявляет проблемы с GPU/сетью для стабильных кластеров и умного обслуживания.

2. Развертывание инференса моделей под контролем и мониторингом

Проблема GenAI не в запуске модели, а в запуске с нужным мониторингом, контролем и безопасностью. Интеграция DataRobot с NVIDIA NIM разворачивает контейнеры NIM из NGC на GPU Nebius в четыре клика:

1. В Registry > Models кликните Import from NVIDIA NGC и просмотрите галерею NIM.
2. Выберите модель, изучите карточку из NGC и профиль производительности.
3. Проверьте рекомендуемый пул GPU-ресурсов по требованиям NIM.
4. Кликните Deploy, выберите Serverless и запустите модель.

Готовый мониторинг и контроль для развернутых моделей

• Автоматический мониторинг и оценка рисков: Интеграция с NeMo Evaluator для скоринга верности, обоснованности и релевантности моделей. Автоскан на предвзятость, PII и инъекции промтов.
• Модерация в реальном времени и глубокая видимость: Платформа DataRobot для модерации и мониторинга NIM. Готовые гварды против PII, инъекций промтов, токсичности и безопасности контента. Мониторинг по стандарту OTel дает обзор здоровья, качества, безопасности и ресурсов NIM.
• Корпоративный контроль и compliance: DataRobot обеспечивает административный слой для безопасного масштабирования. Автоматически собирает данные мониторинга и оценки в документацию compliance, сопоставляя производительность с регуляторными стандартами для аудитов.

3. Развертывание агентов через Workload API

MCP tool server, агент на LangGraph, бэкенд FastAPI, комплексные системы на LLM и библиотеках вроде cuOpt, PhysicsNemo — это контейнеры, а не модели, им нужен свой путь в продакшен. Workload API дает контролируемый эндпоинт с автоскейлингом, мониторингом и RBAC одной командой.

curl -X POST "${DATAROBOT_API_ENDPOINT}/workloads/" \ -H "Authorization: Bearer ${DATAROBOT_API_TOKEN}" \ -H "Content-Type: application/json" \ -d '{ "name": "agent-service", "importance": "HIGH", "artifact": { "name": "agent-service-v1", "status": "locked", "spec": { "containerGroups": [{ "containers": [{ "imageUri": "your-registry/agent-service:latest", "port": 8080, "primary": true, "entrypoint": ["python", "server.py"], "resourceRequest": {"cpu": 1, "memory": 536870912}, "environmentVars": [ ], "readinessProbe": {"path": "/readyz", "port": 8080} }] }] } }, "runtime": { "replicaCount": 2, "autoscaling": { "enabled": true, "policies": [{ "scalingMetric": "inferenceQueueDepth", "target": 70, "minCount": 1, "maxCount": 5 }] } } }'

Агент сразу доступен по /endpoints/workloads/{id}/ с мониторингом, RBAC, аудитом и автоскейлингом.

Готовый мониторинг и контроль для агентских нагрузок

DataRobot обеспечивает фабрику ИИ надежным контролем и видимостью для агентских задач:

• Видимость по стандарту OTel: DataRobot использует OpenTelemetry (OTel) для логов, метрик и трасс — единая высокоточная телеметрия для всех развернутых объектов. Она интегрируется с корпоративными стеками, отслеживая ключевые аспекты, включая:
• Метрики агентов: Соответствие задачам и точность выполнения.
• Эксплуатационное здоровье и ресурсы.
• Трассировка и логи: Трассировка OTel сочетает логи контейнеров с execution spans для анализа причин в сложных циклах.
• Контроль доступа: DataRobot применяет корпоративную аутентификацию и авторизацию для агентов через OAuth и RBAC.

4. Возможности сборки агентов, готовые к предприятию

Полный набор инструментов для разработчиков в Agent Workforce Platform от DataRobot на Nebius

Agent Workforce Platform от DataRobot ускоряет создание агентов, расширяя существующие процессы. Киты поддерживают сложные многоагентные workflows и узкоспециализированные боты с разными инструментами и окружениями.

В комплекте нативная поддержка:

• Open-source фреймворки: Интеграция с LangChain, CrewAI и LlamaIndex.
• NAT (Node Architecture Tooling): Фреймворк DataRobot для модульного дизайна агентов на узлах.
• Продвинутые стандарты: Skills, MCP (Model Context Protocol) для взаимодействия с данными/инструментами, продвинутое управление промтами для версионирования/оптимизации.

Преимущество Nebius: Agent Workforce Platform интегрируется с Token Factory, позволяя использовать модели вроде Nemotron 3 (и любые open-source) по токенам на этапе экспериментов. Это дает быстрые и дешевые итерации без настройки инфраструктуры. Готовые агенты переходят в выделенное развертывание (например, NVIDIA NIM) для масштаба и низких задержек.

Начало работы: сборка проста с Node Architecture Tooling (NAT). Узлы агента определяются как структурированные YAML-шаги для тестирования.

Сначала подключите развернутую LLM из Token Factory Nebius к DataRobot.

Добавьте развертывание DataRobot в стартер агента через CLI DataRobot.

functions:
  planner:
    _type: chat_completion
    llm_name: datarobot_llm
    system_prompt: |
      You are a content planner. You create brief, structured outlines for blog articles. You identify the most important points and cite relevant sources. Keep it simple and to the point - this is just an outline for the writer.
      Create a simple outline with:
      1. 10-15 key points or facts (bullet points only, no paragraphs)
      2. 2-3 relevant sources or references
      3. A brief suggested structure (intro, 2-3 sections, conclusion)
      Do NOT write paragraphs or detailed explanations. Just provide a focused list.
  writer:
    _type: chat_completion
    llm_name: datarobot_llm
    system_prompt: |
      You are a content writer working with a planner colleague. You write opinion pieces based on the planner's outline and context. You provide objective and impartial insights backed by the planner's information. You acknowledge when your statements are opinions versus objective facts.
      1. Use the content plan to craft a compelling blog post.
      2. Structure with an engaging introduction, insightful body, and summarizing conclusion.
      3. Sections/Subtitles are properly named in an engaging manner.
      4. CRITICAL: Keep the total output under 500 words. Each section should have 1-2 brief paragraphs. Write in markdown format, ready for publication.
  content_writer_pipeline:
    _type: sequential_executor
    tool_list: [planner, writer]
    description: A tool that plans and writes content on the requested topic.
  function_groups:
    mcp_tools:
      _type: datarobot_mcp_client
  authentication:
    datarobot_mcp_auth:
      _type: datarobot_mcp_auth
  llms:
    datarobot_llm:
      _type: datarobot-llm-component
  workflow:
    _type: tool_calling_agent
    llm_name: datarobot_llm
    tool_names:
      - content_writer_pipeline
      - mcp_tools
    return_direct:
      - content_writer_pipeline
    system_prompt: Choose and call a tool to answer the query.

Возможности оценки: как это работает

Сборка — это полдела, вторая половина — проверка работоспособности. Фреймворк оценки выходит за рамки простых "да/нет" и фокусируется на корпоративных хуках: готовность к развертыванию с первого дня.

• Видимость: Автоматическая трассировка по OTel фиксирует каждый шаг без лишнего кода.
• Идентификация и аутентификация: Встроенные OAuth 2.0 и Service Accounts дают агентам реальные права пользователя при вызовах внутренних API (CRM, ERP) с жесткой безопасностью.
• Передача в продакшен: Пакет развертывания включает окружение, компоненты и хуки в безопасный контейнер под контролем, обеспечивая единообразие от разработки до продакшена. Сложные агенты автоматически разбираются на оркестрированные контейнеры для детального мониторинга при запуске как единой сущности.

Контролируемый масштабируемый инференс

Партнерство DataRobot и Nebius предлагает проверенный стек развертывания для агентского ИИ на базе ускоренных вычислений NVIDIA, готовый к предприятию. Для команд, выходящих за эксперименты, это контролируемый путь к стабильному продакшен-инференсу в масштабе.