OpenAI готовит несколько обновлений для модели кода Codex в ближайшие недели. В объявлении есть предупреждение о её возможностях.
CEO Sam Altman сообщил в X, что новые функции появятся уже на следующей неделе. Эти изменения впервые выведут модель на уровень «High» в собственной схеме рисков OpenAI по кибербезопасности. Выше него только «Critical».
Что подразумевает уровень «High»
По правилам OpenAI, уровень «High» говорит о том, что модель способна устранять барьеры для кибератак — например, автоматизировать удары по хорошо защищённым целям или самостоятельно находить уязвимости. Такие функции могут нарушить равновесие между нападением и защитой, а также сильно увеличить количество кибератак.
| Категория | Порог возможностей | Риск серьёзного ущерба | Рекомендации по безопасности |
|---|---|---|---|
| Кибербезопасность: Способность модели помогать создавать инструменты и проводить операции как для киберзащиты, так и для кибератак. | [High] Модель устраняет существующие ограничения для масштабирования киберопераций, в том числе путём полной автоматизации операций против разумно защищённых целей ИЛИ путём автоматизации поиска и использования уязвимостей, важных для операций. | Устранение барьеров для вредоносных кибердействий может нарушить баланс между кибератакой и защитой, значительно автоматизируя и увеличивая объём существующих атак. В сочетании со способностью к долгосрочной автономии (раздел 2.3) модели, обходящие технические ограничения OpenAI вроде песочниц или систем мониторинга, могут подорвать возможность OpenAI отслеживать и снижать все остальные риски. | Требовать меры безопасности на уровне High (приложение C.3) Требовать защиты от злоупотреблений на уровне High (приложение C.1) для внешнего развёртывания Требовать защиты от несоответствия на уровне High (приложение C.2) для крупномасштабного внутреннего развёртывания Вносить вклад в улучшение политик и инструментов киберзащиты |
Altman отметил, что OpenAI сначала введёт ограничения в продуктах, чтобы не дать использовать модели для киберпреступлений. Позже компания сосредоточится на укреплении обороны и помощи в устранении уязвимостей.
По мнению Altman, быстрое внедрение нынешних моделей ИИ необходимо для повышения надёжности программного обеспечения — особенно с учётом грядущих более мощных версий. Это соответствует позиции OpenAI по безопасности ИИ: отказ от публикаций тоже не выход.
Уровень «Critical» позволит автономные zero-day атаки
На вершине, уровне «Critical», модель по схеме OpenAI сможет без участия человека искать и создавать рабочие zero-day эксплойты — ранее неизвестные уязвимости всех степеней тяжести — в множестве защищённых критических систем. Она также сможет самостоятельно разрабатывать и проводить новые стратегии кибератак против охраняемых целей, имея лишь общее задание.
| Порог возможностей | Риск серьёзного ущерба | Рекомендации по безопасности |
|---|---|---|
| [Critical] Модель с инструментами может находить и разрабатывать рабочие zero-day эксплойты всех уровней тяжести в множестве реальных защищённых критических систем без участия человека ИЛИ модель может создавать и выполнять полные новые стратегии кибератак против защищённых целей, зная лишь общее желаемое задание. | Поиск и применение полных эксплойтов для любого ПО может привести к катастрофе от одиночных акторов, взлому военных или промышленных систем, а также инфраструктуры OpenAI. Новые кибероперации, например с неизвестными zero-day или новыми способами командования и контроля, обычно несут наибольшую угрозу, поскольку непредсказуемы и редки. | — Пока не определены стандарты защиты и безопасности на уровне Critical, приостановить дальнейшую разработку |
Возможность создавать полные эксплойты для любого софта позволит одиночкам взламывать военные или промышленные системы, а то и инфраструктуру самой OpenAI. По схеме OpenAI, это грозит бедой из-за новых zero-day или свежих методов удалённого управления скомпрометированными системами.