Злоумышленники активно применяют генеративный ИИ для кибератак: создают дипфейки для обмана жертв, разрабатывают вредоносное ПО с помощью инструментов ИИ для кодинга, запускают фишинговые кампании через чат-боты и взламывают популярные открытые репозитории кода с использованием ИИ-агентов. Такие угрозы, подпитанные ИИ, набирают обороты.
В начале апреля команда Frontier Red Team из Anthropic, которая проверяет риски безопасности моделей ИИ компании, сообщила: модель Claude Mythos Preview выявила тысячи уязвимостей высокой и критической степени. Среди них есть проблемы в каждой крупной операционной системе и каждом ведущем веб-браузере, хотя модель не проходила специального обучения на такие задачи.
Эти открытия подтолкнули Anthropic к запуску Project Glasswing — инициативы по противодействию кибератакам с участием ИИ. Среди стартовых партнеров — гиганты вроде Amazon Web Services (AWS), Apple, Google, Microsoft и Nvidia. Они применят Mythos Preview для проверки и укрепления программного обеспечения.
Способности генеративного ИИ к написанию кода, логическому мышлению и автономным действиям позволяют эффективно выявлять слабые места в безопасности кода. Однако те же навыки дают возможность эксплуатировать эти изъяны. Специалисты по кибербезопасности уверены: правильный баланс между использованием ИИ для поиска уязвимостей и минимизацией рисков достижим, если внедрить многоуровневую проверку и сохранить ключевую роль человеческого опыта.
ИИ находит критические уязвимости в коде
Среди открытий Mythos Preview — уязвимость возрастом 27 лет в OpenBSD, Unix-подобной открытой ОС, которая позволяет удаленному злоумышленнику вывести из строя любую машину на этой системе; эксплойт для веб-браузера, дающий киберпреступнику с собственным доменом доступ к данным другого домена, например банковского аккаунта пользователя; а также ряд проблем в криптографических библиотеках, способных помочь хакерам расшифровывать защищенные сообщения или создавать поддельные сертификаты.
Обнаружение ошибок — привычная задача для исследователей в области кибербезопасности, и ИИ просто добавляет новый инструмент в арсенал, отмечает Jeremy Katz, вице-президент по безопасности кода в компании Sonar, разработчике решений для верификации кода. Большие языковые модели отлично справляются с целенаправленными запросами на поиск конкретных угроз. «Направьте ИИ-агента на огромный кодовый массив — и он мастерски отыщет иголку в стоге сена», — добавляет он.
Nayan Goel, ведущий инженер по безопасности приложений в финансовой компании Upgrade, выделяет скорость и понимание смысла кода как ключевые преимущества ИИ. Модели быстрее людей фиксируют проблемы и превосходят традиционные статические анализаторы, полагающиеся на шаблоны, благодаря способности отслеживать потоки данных через разные уровни абстракции.
«Такое мышление через компоненты выходит за рамки возможностей инструментов на основе правил, — говорит Goel. — Новое поколение ближе к тому, как рассуждает настоящий исследователь безопасности».
Andrew Wesie, сооснователь и технический директор компании Theori по кибербезопасности, разделяет оптимизм. «У нас появился метод, который может выявить все баги — мечта, считавшаяся несбыточной. И теперь это реальность».
Несмотря на перспективы, большие языковые модели часто выдают ложные срабатывания: например, путают обычную ошибку с угрозой безопасности или преувеличивают ее масштаб. Это усложняет задачу для волонтеров, поддерживающих ключевые открытые ресурсы, — им приходится быстро реагировать на отчеты.
Katz, сотрудничающий с maintainer'ами открытых проектов по координации раскрытия уязвимостей, замечает всплеск отчетов. «Много реальных ошибок, которые стоит исправить, но не угроз безопасности — грань стирается. А время на разбор растет».
Другой минус — уязвимость самих ИИ-инструментов к атакам вроде инъекций промтов, плюс их способность к агрессии. Mythos Preview, к примеру, может связать отдельные уязвимости в последовательный эксплойт, дающий root-доступ к ядру Linux — сердцевине ОС.
Баланс между инструментами ИИ для безопасности и человеческим контролем
Эксперты по кибербезопасности считают возможным извлечь пользу от ИИ, избегая его слабостей. Такие решения, как Claude Code Security и CodeMender от Google, проходят adversarial self-review: сами проверяют и критикуют свои выводы перед выдачей. Дополнительный уровень — передача результатов другой модели или агенту для подтверждения — снижает ложные тревоги и создает систему сдержек.
Goel настаивает: флагированные ИИ проблемы требуют обязательной проверки людьми. «Инструменты выдают вероятностные оценки, а не окончательные выводы, — подчеркивает он. — Они не заменят обзоры безопасного дизайна или пентесты. Нужен специалист, разбирающийся в бизнес-логике кода. Каждый сигнал от ИИ проходит верификацию с человеком в цикле — так формируются границы доверия».
Goel упоминает динамическое моделирование угроз и red teaming как пути к безопасному использованию ИИ для поиска уязвимостей. Первое оценивает риски для ИИ-систем и способы защиты по мере их развития, второе проверяет безопасность ИИ и потенциальные опасности.
Для нахождения баланса нужны изменения в процессах. Перенос проверок безопасности на ранние этапы разработки, когда программисты пишут код, сильно поможет.
«Компании должны внедрять постоянное обучение и повышение квалификации, чтобы разработчики умели предотвращать изъяны с нуля, — считает Matias Madou, сооснователь и техдиректор фирмы Secure Code Warrior по безопасности ПО. — Так мы закладываем основу против катастроф».
По мере улучшения ИИ в точном определении уязвимостей и их классификации следующим шагом станет масштабирование исправлений.
«Завершающий этап — устранение, — говорит Jeffrey Martin, вице-президент по продуктам в Theori. — Мы знаем шаблоны исправлений уязвимостей и можем масштабировать решение с помощью ИИ. Это следующая область для прорыва».