Prompt injection

7 публикаций по теме

Prompt injection

5 лучших практик защиты ИИ-систем

Статья описывает пять ключевых практик защиты ИИ-систем: от контроля доступа и шифрования до мониторинга и планов реагирования. OWASP выделяет инъекцию промптов как главную уязвимость LLM, а NIST настаивает на полной видимости. Рекомендуются провайдеры Darktrace, Vectra AI и CrowdStrike для реализации.

8 мин

2 апреля 2026 г.

Новости

Anthropic усилила Claude Code режимом auto mode с контролем

Anthropic добавила в Claude Code режим auto mode, где ИИ самостоятельно оценивает безопасность действий и запускает безопасные без подтверждения. Функция защищает от рисков и инъекции промпта, работает с моделями Sonnet 4.6 и Opus 4.6 в песочницах. Это развитие после Claude Code Review и Dispatch for Cowork.

3 мин

25 марта 2026 г.

Новости

Новый датасет OpenAI учит ИИ-модели доверять проверенным инструкциям

OpenAI разработала датасет IH-Challenge, обучающий ИИ-модели строгой иерархии инструкций: системные выше разработческих, пользовательских и от инструментов. Это повышает безопасность и защиту от внедрения промтов, особенно через инструменты. Датасет доступен на Hugging Face для дальнейших экспериментов.

3 мин

11 марта 2026 г.

Новости

Кнопки «Суммаризировать ИИ» тайно вписывают рекламу в память ассистентов

Специалисты Microsoft обнаружили метод «отравления рекомендаций ИИ»: кнопки «Суммаризировать с ИИ» на сайтах внедряют скрытые промпты в память ассистентов вроде Copilot и ChatGPT. За 60 дней нашли 50+ случаев от 31 компании из 14 отраслей, использующих готовые инструменты вроде CiteMET. Это создает риски для бизнеса и личной безопасности, но есть способы защиты.

8 мин

21 февраля 2026 г.

Новости

DeepMind выявила шесть ловушек для ИИ-агентов

Google DeepMind описала шесть типов ловушек, уязвляющих автономных ИИ-агентов на этапах восприятия, мышления, памяти, действий и взаимодействия. Ловушки комбинируются, требуя комплексных мер защиты от фильтров до новых стандартов. Кибербезопасность остается барьером для широкого внедрения агентов.

9 мин

1 апреля 2026 г.

Новости

ИИ-агент взломал платформу McKinsey Lilli за два часа

ИИ-агент от Codewall за два часа взломал платформу Lilli McKinsey через SQL-инъекцию в JSON-полях, получив доступ к 46,5 млн чат-сообщений, промтам и RAG-данным. Уязвимость позволяла незаметно менять поведение ИИ без следов. McKinsey оперативно устранила дыру, но случай подчеркивает новые угрозы для промтов как ключевых активов.

3 мин

11 марта 2026 г.

Новости

OpenAI планирует купить Promptfoo и встроить тесты безопасности в Frontier

OpenAI планирует поглотить Promptfoo, чтобы интегрировать ее инструменты безопасности в платформу Frontier для корпоративных ИИ. Это позволит автоматически тестировать на промт-инъекции, джейлбрейки и утечки данных, плюс улучшить аудит и compliance. Open-source проект Promptfoo сохранится, сделка на $23 млн при valuation $86 млн не закрыта.

1 мин

9 марта 2026 г.

Показаны все статьи (7)

Prompt injection

5 лучших практик защиты ИИ-систем

Anthropic усилила Claude Code режимом auto mode с контролем

Новый датасет OpenAI учит ИИ-модели доверять проверенным инструкциям

Кнопки «Суммаризировать ИИ» тайно вписывают рекламу в память ассистентов

DeepMind выявила шесть ловушек для ИИ-агентов

ИИ-агент взломал платформу McKinsey Lilli за два часа

OpenAI планирует купить Promptfoo и встроить тесты безопасности в Frontier

Сейчас в тренде

Популярные темы