Две недели назад Anthropic объявила о своей новой модели Claude Mythos Preview. Она способна самостоятельно обнаруживать уязвимости в программном обеспечении и превращать их в готовые эксплойты, не нуждаясь в подсказках от специалистов. Речь идет о дырах в важных системах вроде операционных систем и сетевой инфраструктуры, которые не заметили тысячи разработчиков, трудившихся над этим кодом. Такие возможности серьезно повлияют на безопасность устройств и сервисов, которыми мы пользуемся ежедневно. Поэтому Anthropic не стала выпускать модель для всех, а передала ее ограниченному кругу компаний.
Новость взорвала сообщество специалистов по интернет-безопасности. В анонсе Anthropic приведено мало конкретики, что разозлило многих. Одни предполагают, что у компании просто нет графических процессоров для запуска модели, а киберугрозы — удобный повод ограничить распространение. Другие уверены: Anthropic верна своей миссии по безопасному развитию ИИ. Вокруг суеты и противоположных оценок, фактов и пиара хватает всего, разобраться непросто даже экспертам.
Mythos — это реальный, но постепенный прогресс, один из многих таких шагов. Однако даже небольшие изменения набирают вес, если смотреть на общую картину.
Мы уже писали о синдроме сдвига базовой линии — эффекте, из-за которого люди, включая профи, не замечают огромных перемен, маскирующихся под мелкие улучшения. Так было с приватностью в сети, так происходит и с ИИ. Пусть уязвимости Mythos мог бы выявить ИИ прошлого месяца или года, пять лет назад это было бы невозможно.
Анонс Mythos подчеркивает: за считанные годы ИИ сильно продвинулся, базовая планка действительно поднялась. Поиск дыр в исходном коде — задача, в которой современные большие языковые модели преуспевают. Независимо от того, случилось ли это вчера или случится завтра, всем ясно, что такие навыки вот-вот появятся. Главное — приспособиться к ним.
Автономный ИИ-взломщик не создаст вечного перевеса в пользу атакующих над защитниками — все сложнее. Некоторые дыры можно находить, проверять и латать автоматически. Другие трудно искать, но просто верифицировать и чинить — взять типичные веб-приложения в облаке на стандартных стеках, где обновления ставятся быстро. Есть и такие, что легко находить (даже без мощного ИИ), проверять относительно просто, но исправить сложно или невозможно — вроде устройств Интернета вещей и промышленного оборудования, которое редко обновляют или вообще не меняют.
Потом идут системы, где дыры просто отыскать в коде, но трудно подтвердить на практике. Например, сложные распределенные платформы и облачные сервисы состоят из тысяч параллельных взаимодействующих служб, и отличить реальные проблемы от ложных срабатываний, а также стабильно их воспроизвести — та еще задачка.
Значит, нужно разделить латабельные дыры от нелатабельных, простые в проверке — от трудных. Эта классификация подсказывает, как охранять системы в эпоху продвинутых ИИ-инструментов для поиска уязвимостей.
Нелатабельные или трудно верифицируемые системы стоит обкладывать строгими, жестко контролируемыми оболочками. Холодильник, термостат или контроллер производства не должны болтать с интернетом напрямую — ставьте перед ними надежный файрвол с постоянными обновлениями.
Распределенные системы, связанные по своей сути, требуют прослеживаемости и принципа минимальных привилегий: каждая часть получает только нужный доступ. Это базовые идеи безопасности, которые ИИ-эра не отменяет — они по-прежнему в силе.
Переосмысление практик безопасности ПО
Это усиливает ценность лучших подходов в разработке софта. Автоматическое, всестороннее и непрерывное тестирование всегда было ключевым. Теперь можно пойти дальше: задействовать защитные ИИ-агенты, чтобы проверять эксплойты на реальном стеке снова и снова, отсеивая ложняки и подтверждая настоящие дыры с патчами. Такой VulnOps войдет в стандартный процесс создания ПО.
Документация обретет новую ценность: она поведет ИИ-агента на охоту за багами так же, как и разработчиков. Соблюдение стандартов, использование типовых инструментов и библиотек поможет ИИ и инженерам лучше распознавать шаблоны — даже в мире одноразового софта, генерируемого и разворачиваемого по требованию.
Кому это даст преимущество — атакующим или защитникам? Защитникам в итоге, скорее всего, особенно для систем, где патчинг и верификация легки. К счастью, сюда входят смартфоны, браузеры и ключевые интернет-сервисы. Но автомобили, трансформаторы, холодильники и фонари сегодня подключены к сети. Старые банковские и авиасистемы тоже в сети.
Не все они получат обновления вовремя, и пару лет мы увидим волну постоянных атак, пока не придем к новому порядку: где проверка на первом месте, а ПО латится непрерывно.