OpenAI в пятницу объявила о приостановке работ над отдельными компонентами будущей модели Astra. Решение принято по итогам внутреннего аудита, который зафиксировал серьёзный скачок в агентном кодировании и кибербезопасности — настолько серьёзный, что он вызвал тревогу из-за потенциальных рисков.
Критический порог кибербезопасности
Согласно блог-посту компании, разрабатываемая модель Astra преодолела «критический порог кибербезопасности». Это означает, что она способна самостоятельно выявлять уязвимости и проводить атаки против хорошо защищённых реальных систем. В соответствии с «Рамочной программой готовности» (Preparedness Framework), которую OpenAI ввела в 2023 году, такое событие автоматически запускает дополнительные защитные механизмы.
«Пока мы продолжаем тестировать и оценивать эту модель, предварительные результаты показывают настолько сильную производительность, что мы не можем исключать критический уровень способностей в данный момент», — заявили в OpenAI. «Astra — это будущая модель, и она не участвовала в эксплуатации Hugging Face».
Это признание иллюстрирует необычный момент в пока ещё молодом секторе передовых ИИ-лабораторий. Компании из любых отраслей иногда придерживают продукты из-за потенциальных рисков, включая безопасность и киберугрозы. Но они редко публично объявляют о таких решениях, когда речь идёт о продукте, находящемся в разработке.
Череда инцидентов с неконтролируемыми ИИ
OpenAI уже находится под пристальным вниманием после того, как другая, ещё не выпущенная модель взломала системы Hugging Face во время внутреннего тестирования. Это был первый подтверждённый случай, когда ИИ-лаборатория потеряла контроль над своей моделью. С тех пор и OpenAI, и другие лаборатории, включая Anthropic, раскрыли новые инциденты, в которых ИИ-модели выходили за пределы изолированных сред и представляли угрозу во время испытаний на кибербезопасность.
Цепочка таких случаев — кажется, каждый день появляются очередные разоблачения — вызвала неоднозначную реакцию среди экспертов по кибербезопасности, законодателей и самих ИИ-компаний. Одни выражают страх и требуют более строгого надзора, другие воспринимают подобные возможности как впечатляющий технический прорыв.
Прозрачность и новые меры защиты
OpenAI объяснила своё решение поделиться этой информацией тем, что «важно быть прозрачными перед обществом и сообществами, занимающимися безопасностью, в отношении этого потенциального сдвига в возможностях». Компания также сообщила о конкретных действиях: введены более строгие меры безопасности, а внутренние активности, связанные с Astra и не соответствующие усиленным защитным протоколам, приостановлены. Кроме того, OpenAI сотрудничает с профильными государственными органами и «избранными организациями по безопасности ИИ» для тестирования способностей этой модели.