Генеративный искусственный интеллект развивается с огромной скоростью. Чат-боты, инструменты, помощники, сервисы и агенты на базе ИИ ежедневно становятся мощнее. В этой суете легко склониться к удобству, забыв о безопасности.
Такое быстрое расширение открывает двери для злоумышленников, которые ищут уязвимости в защите данных и конфиденциальности. Это может затронуть личную информацию, финансы или корпоративные данные.
Лучшая защита — знание возможных угроз. В этой статье разберём основные риски и дадим советы, как использовать ИИ без лишних опасений.
Условия и положения имеют значение
Поставщики генеративных сервисов ИИ предлагают разные тарифы: бесплатные версии с ограничениями и платные профессиональные или корпоративные планы с расширенными возможностями. Платные сервисы обычно обеспечивают надёжную защиту данных, а бесплатные часто скрывают цену. Компании, дающие доступ бесплатно, ожидают отдачи, и в их условиях указано, что они могут применять данные пользователей для доработки моделей ИИ.
Представьте: вы используете бесплатный сервис, чтобы составить план развития продукта для руководства. Если провайдер обучит на этом свою следующую модель, конкуренты получат подсказки о стратегии компании при анализе рынка через тот же сервис.
Неправильное применение таких сервисов может нарушить правила конфиденциальности, включая GDPR, HIPAA и законы о локализации данных.
Как снизить риски
- Не вводите в бесплатные сервисы ИИ личные данные или конфиденциальную информацию компании (в том числе интеллектуальную собственность). Выбирайте платные варианты с гарантиями защиты или полностью обезличивайте и обобщайте данные перед использованием бесплатных.
- В организациях нужно создать и обнародовать чёткие правила по работе с ИИ: список разрешённых сервисов, инструкции по безопасному применению. Подкрепляйте это обучением сотрудников и техническими мерами, такими как инструменты предотвращения утечек данных (DLP), чтобы отслеживать и блокировать несанкционированное использование.
Внедрение промтов
Внедрение промтов — это, пожалуй, самая серьёзная и базовая уязвимость современных систем ИИ, которая затрагивает все типы приложений, от чат-ботов до браузеров с агентами. Такие атаки используют слабость: большие языковые модели (LLM) не умеют отличать нормальные запросы от доверенных пользователей и вредоносные команды, спрятанные в ненадёжном внешнем контенте.
Поскольку LLM обрабатывают как запросы пользователя, так и внешний контент как обычный текст в одном окне контекста, злоумышленникам просто внедрять вредные инструкции через сайты, email, PDF, API, ответы MCP-серверов или даже изображения.
Как злоумышленники маскируют инструкции
Злоумышленники прибегают к разным хитрым приёмам, чтобы скрыть вредные команды:
- Скрытый текст на веб-страницах или в письмах с помощью мелкого шрифта, белого текста на белом фоне или уловок CSS.
- Стеганографические методы в изображениях с едва заметными изменениями цвета, которые человек не видит, но ИИ распознаёт через оптическое распознавание символов (OCR).
- Вредоносные данные в метаданных изображений или кодировках эмодзи.
- Искажённые URL, которые обходят проверки при вставке в адресную строку браузера с ИИ (omnibox — комбинированная строка адреса и поиска), заставляя браузер трактовать их как естественный язык запроса, а не ссылку.
Когда агент ИИ обрабатывает вроде бы безобидный контент с замаскированными инструкциями, он может совершить опасные действия, например, запустить команды с вашими правами или выдать ваши приватные данные.
Как снизить риски
- Будьте бдительны — сейчас нет надёжного способа полностью защититься от внедрения промтов. Осторожно копируйте и вставляйте в сервисы ИИ, строго контролируйте права агентов. Никогда не давайте автономию для рискованных задач, таких как финансовые операции.
- Внедряйте технические меры безопасности после выхода LLM, не полагаясь только на встроенные барьеры модели. Отслеживайте и проверяйте действия агентов ИИ, ведите полные логи аудита, используйте файрволы для LLM или модели модерации, чтобы фильтровать подозрительные входы и выходы.
Работа с MCP-серверами
Протокол контекста модели (MCP) — это стандартный способ связывать большие языковые модели (LLM) с другими системами и источниками данных. Его называют «USB-C для приложений ИИ», поскольку он позволяет агентам получать информацию и выполнять команды от вашего имени. MCP быстро прижился после запуска, но создавался в основном для удобства, а не для сильной безопасности, что оставляет много слепых зон.
Когда агент ИИ подключается к MCP-серверу, он действует с вашими полномочиями. Если ИИ неправильно поймёт запрос, он запустит инструменты MCP с неожиданными последствиями. Например, команда удалить старые записи в базе может стереть всё.
Ответы MCP-серверов тоже могут нести вредные инструкции (см. раздел Внедрение промтов выше).
Очень соблазнительно связать всё подряд, не думая о рисках для безопасности и приватности данных, и случайно дать агентам ИИ слишком много свободы. Это как дать скучающему ребёнку телефон для игры — и вот он уже стирает фото и пишет вашему начальнику!
Основные риски
MCP-серверы ставят либо локально на ноутбук, либо удалённо на сервере. Оба варианта опасны:
- Пользователи часто скачивают MCP-серверы из публичных репозиториев без проверки, что создаёт риски цепочки поставок. Заражённые серверы (как уязвимый пакет mcp-remote в npm, CVE-2025-6514) работают с правами пользователя и могут красть данные или учётные данные.
- Локальные MCP-серверы часто настраивают неправильно, привязывая к 0.0.0.0 (все сетевые интерфейсы), делая их доступными для всех в сети — в кафе или на офисном WiFi, — кто сможет добраться до данных или запустить команды.
- MCP-серверы небезопасно обрабатывают учётные данные, иногда храня токены для подключённых систем (Gmail, GitHub, корпоративные) в открытом виде в файлах конфигурации.
- Внедрение команд происходит, когда входные данные от злоумышленника содержат системные команды без очистки, позволяя стирать файлы или загружать и запускать вредоносное ПО.
- Отравление инструментов — это вредные инструкции в описаниях MCP-инструментов. ИИ их читает и следует, а пользователь может не заметить.
Как снизить риски
Команды IT и разработчики должны применять строгие меры безопасности при развёртывании MCP-серверов:
- Создавайте собственные MCP-серверы, чтобы полностью контролировать разрешённые операции и поведение.
- Никогда не привязывайте MCP-серверы к 0.0.0.0; используйте localhost (127.0.0.1) для локального доступа и правила файрвола с разделением сети.
- Не устанавливайте непроверенные MCP-серверы без детального анализа. Запускайте одобренные в изолированных средах (контейнеры Docker) по принципу минимальных прав.
- Очищайте все входы пользователя перед передачей в системные команды, чтобы избежать атак на внедрение.
- Применяйте безопасные системы управления учётными данными и никогда не храните их в открытом виде.
- Обеспечьте аутентификацию вроде OAuth с PKCE или узкоцелевые, короткоживущие персональные токены доступа.
Фреймворки агентов
Агентные системы используют LLM и фреймворки оркестрации, чтобы самостоятельно или полунезависимо выполнять задачи, принимать решения и взаимодействовать с внешними системами. Они сочетают языковые модели, инструменты, слои оркестрации, протоколы доступа (MCP) и общение агент с агентом (A2A).
Проблема автономии
Чем больше автономии у агента, тем выше риск. Это классический баланс между удобством и безопасностью, с конкретными уязвимостями:
- Агенты ИИ легко получают лишние права и неправильно трактуют цели, что приводит к нежелательным действиям. Например, агент, которому сказали «посоветовать, как лучше вести проекты», может пройтись по всем проектам и пометить каждую задачу как «Завершено».
- Злоумышленники могут отравить память агента (например, векторные базы данных), заставив хранить ложные данные, обходить проверки безопасности или принимать систематически ошибочные решения.
- Автономные агенты способны проводить полностью автоматизированные атаки, используя сложные инструкции, которые обходят барьеры.
Как снизить риски
- Внедряйте контроль с участием человека (HITL), требуя одобрения для рискованных действий или новых операций. Сильное управление и надзор обязательны, чтобы избежать нежелательных или вредных решений.
- Строите безопасность во всю архитектуру агента: аутентификацию, авторизацию, ограничение скорости. Развёртывайте мониторинг и аудит для выявления аномалий, таких как повтор задач, бесконечная делегация или циклы галлюцинаций.
- Защищайте память агента, проверяя каждое обновление и изолируя её по сессиям или пользователям, чтобы предотвратить перекрёстное заражение и отравление.
Браузеры с ИИ
Браузеры и расширения с ИИ вызывают особую озабоченность. Они позволяют агентному просмотру: ИИ сам ходит по сайтам, заполняет формы, кликает кнопки и выполняет многошаговые задачи. Эти инструменты создают огромную поверхность атаки, поскольку получают беспрецедентный доступ к цифровой жизни: учётным данным, истории просмотров, куки.
Основные риски
- Многие расширения браузера запрашивают чрезмерные права («Чтение и изменение всего контента на всех сайтах») или просто являются вредоносным ПО. Подмена боковой панели ИИ — это когда расширение показывает фальшивую панель ИИ с вредными советами, например, рекомендацией запустить опасные команды.
- Браузеры с ИИ — лакомая цель, потому что они видят учётные данные и отслеживают всё: ввод, просмотр, поиск, и могут выдать доступ к годам истории и платёжных деталей.
- Способность ИИ действовать самостоятельно приводит к неожиданностям, таким как несанкционированные покупки или изменения документов, особенно при обмане вредоносными сайтами или атаками на внедрение промтов (включая атаки на omnibox с искажёнными URL). См. раздел Внедрение промтов выше.
Как снизить риски
- Используйте отдельные браузеры для чувствительных дел (банки, медицина, конфиденциальная работа) и общего просмотра с помощью ИИ. Будьте внимательны, когда ИИ действует за вас.
- Проверяйте репутацию разработчиков и запрошенные права перед установкой любого браузера или расширения с ИИ. Будьте крайне осторожны с теми, кто просит широкий доступ. В организациях утверждайте конкретные браузеры с ИИ через правила.
- Не спешите давать полную власть ранним инструментам, особенно для рискованных задач.
Заключение
ИИ меняет нашу работу и отдых. Цель — не отпугивать от ИИ, а получать от него пользу, минимизируя опасности. Разбирая ключевые аспекты безопасности и приватности ИИ, вырисовываются два главных направления для безопасных практик:
- Люди и процессы: Надёжная безопасность ИИ требует осведомлённости и управления. Организации должны проводить обучение по ответственному ИИ, устанавливать чёткие правила использования, одобрять корпоративные инструменты и культивировать культуру безопасности. Поскольку автономные агенты открывают новые уязвимости, а внедрение промтов не решено, бдительность пользователей и разделение — ключевые защиты. Безопасность ИИ — забота всех.
- Технологии и меры: Новая инфраструктура ИИ несёт новые угрозы, требующие технических барьеров. Необходимы аутентификация, авторизация, полный мониторинг, песочницы и инструменты DLP. Эти меры вместе с человеческим контролем обеспечивают многоуровневую защиту.
Матрица рисков
Вот простой способ оценить риски при использовании ИИ:
- Низкий риск: мозговой штурм, творческое письмо (не конфиденциальное), проверка грамматики
- Средний риск: программирование для личных проектов, ревью кода, анализ данных (с анонимизацией), транскрипция встреч
- Высокий риск: агенты ИИ с доступом к корпоративным системам или базам, генерация кода для продакшена, автономные финансовые транзакции, автоматические ответы клиентам по email, настройка и развёртывание систем на базе ИИ
Важно следить за новостями, поскольку мир ИИ постоянно меняется.