Docker AI для создателей агентов: модели, инструменты, облако

Ценность Docker

Создание автономных систем ИИ выходит далеко за пределы простых запросов к большим языковым моделям. Современные агенты координируют работу нескольких моделей, взаимодействуют с внешними инструментами, управляют памятью и масштабируются в разных вычислительных средах. Успех зависит не только от качества моделей, но и от продуманной инфраструктуры.

Docker в агентных системах меняет подход к инфраструктуре. Контейнеры превращаются из вспомогательного элемента в ключевую основу. Модели ИИ, серверы инструментов, ресурсы GPU и логика приложений описываются декларативно, версионируются и разворачиваются как единый комплекс. Получаются мобильные, стабильные ИИ-системы, которые работают одинаково от локальной разработки до облачного продакшена.

Здесь разбираются пять инфраструктурных паттернов, делающих Docker надежной базой для автономных ИИ-приложений.

1. Docker Model Runner: локальный доступ к моделям

Docker Model Runner (DMR) отлично подходит для экспериментов. Вместо настройки отдельных серверов инференса для каждой модели DMR предлагает единый API, совместимый с OpenAI, чтобы запускать модели прямо из Docker Hub. Прототип агента собирается на мощной модели с 20 миллиардами параметров локально, а для продакшена достаточно заменить на легковесную и быструю версию — меняется только имя модели в коде. Большие языковые модели (LLM) становятся стандартными, переносимыми компонентами.

Простое использование:

# Pull a model from Docker Hub
docker model pull ai/smollm2
# Run a one-shot query
docker model run ai/smollm2 "Explain agentic workflows to me."
# Use it via the OpenAI Python SDK
from openai import OpenAI
client = OpenAI(
  base_url="http://model-runner.docker.internal/engines/llama.cpp/v1",
  api_key="not-needed"
)

2. Описание моделей ИИ в Docker Compose

Современные агенты задействуют несколько моделей — например, одну для рассуждений, другую для эмбеддингов. Docker Compose позволяет определять их как сервисы верхнего уровня в файле compose.yml. Весь стек агента — бизнес-логика, API и модели ИИ — объединяется в единый блок для развертывания.

Так инфраструктура как код приходит в мир ИИ. Архитектуру агента можно хранить в версиях и запускать в любом месте одной командой docker compose up.

3. Docker Offload: мощь облака с локальным стилем работы

Обучение или инференс больших моделей может вывести из строя локальное оборудование. Docker Offload решает задачу, перенося выбранные контейнеры на облачные GPU прямо из локальной Docker-среды без лишних усилий.

Разработка и тестирование агентов с тяжелыми моделями идут через облачный контейнер, без освоения новых облачных API или администрирования удаленных серверов. Процесс остается полностью локальным, а вычисления — мощными и расширяемыми.

4. Серверы Model Context Protocol: инструменты агента

Качество агента определяется доступными инструментами. Model Context Protocol (MCP) — новый стандарт для передачи LLM инструментов вроде поиска, баз данных или внутренних API. В экосистеме Docker есть каталог готовых MCP-серверов в контейнерах.

Нет нужды писать интеграции с нуля — берите готовые для PostgreSQL, Slack или Google Search. Внимание уходит на логику рассуждений агента, а не на технические связки.

5. Базовые образы, оптимизированные для GPU, для собственной разработки

Для дообучения модели или кастомного инференса важен качественный базовый образ. Официальные образы PyTorch и TensorFlow уже включают CUDA, cuDNN и другие компоненты для ускорения на GPU. Они обеспечивают стабильную, быструю и воспроизводимую основу. Добавьте свой код и зависимости — собственный пайплайн обучения или инференса заработает одинаково на всех этапах.

Объединяем компоненты

Настоящая сила — в их сочетании. Ниже простой файл docker-compose.yml для приложения-агента с локальной LLM, сервером инструментов и возможностью разгрузки тяжелых задач.

services:
  # our custom agent application
  agent-app:
    build: ./app
    depends_on:
      - model-server
      - tools-server
    environment:
      LLM_ENDPOINT: http://model-server:8080
      TOOLS_ENDPOINT: http://tools-server:8081
  # A local LLM service powered by Docker Model Runner
  model-server:
    image: ai/smollm2:latest # Uses a DMR-compatible image
    platform: linux/amd64
    # Deploy configuration could instruct Docker to offload this service
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
  # An MCP server providing tools (e.g. web search, calculator)
  tools-server:
    image: mcp/server-search:latest
    environment:
      SEARCH_API_KEY: ${SEARCH_API_KEY}
  # Define the LLM model as a top-level resource (requires Docker Compose v2.38+)
  models:
    smollm2:
      model: ai/smollm2
      context_size: 4096

Пример демонстрирует, как сервисы связываются между собой.

Примечание: Синтаксис разгрузки и описания моделей продолжает развиваться. Всегда сверяйтесь с последней документацией Docker AI для деталей реализации.

Агентные системы нуждаются не только в хитрых промптах. Им требуются стабильные среды, модульная интеграция инструментов, масштабируемые ресурсы и четкое разделение частей. Docker позволяет видеть каждый компонент агента — от языковой модели до сервера инструментов — как самостоятельный, комбинируемый модуль.

Локальные эксперименты с Docker Model Runner, сборка полных стеков в Docker Compose, перенос нагрузки на облачные GPU и подключение инструментов через унифицированные серверы создают проверенный шаблон инфраструктуры для автономного ИИ.

С LangChain или CrewAI контейнерная стратегия остается неизменной. Декларативная и мобильная инфраструктура освобождает от хлопот с окружением, позволяя сосредоточиться на формировании умного поведения.