Автор материала не склонен к панике. Напротив, он не раз выступал против страшилок об ИИ. Тем не менее, этот инцидент перешёл черту. По мнению автора, он нагляднее всего показывает, что создатели и тестировщики технологии до конца не понимают, с чем имеют дело. OpenAI могла — и должна была — предвидеть этот сценарий.
Вот что произошло, судя по заявлениям обеих компаний. Пару недель назад OpenAI начала проверку хакерских способностей нескольких новых моделей, включая GPT‑5.6 Sol (выпущенную в июне) и, как описывают в компании, «ещё более способную версию, пока не вышедшую в релиз».
OpenAI протестировала свои модели на бенчмарке ExploitGym, представленном в мае. Он ставит перед языковыми моделями задачу находить способы эксплуатации реальных уязвимостей в распространённом программном обеспечении.
Чтобы понять, на что способны модели, исследователи убрали большинство защитных ограничений в области кибербезопасности. Затем запустили модели внутри изолированной песочницы, отрезанной от интернета, за исключением единственного канала к стороннему прокси-серверу, который выступал посредником между окружением и внешним миром. Моделям разрешили устанавливать любой код, нужный для прохождения ExploitGym.
По данным Reuters, 9 июля модели OpenAI начали пытаться вырваться через прокси. Они обнаружили неизвестную ошибку в его ПО и использовали её, чтобы получить доступ в интернет. Оттуда 11 июля они проникли в компьютерные системы Hugging Face — по всей видимости, в поисках наборов данных и готовых решений, которые помогли бы им справиться с заданием. Hugging Face объявила о взломе 16 июля.
OpenAI не осознавала (или как минимум не раскрывала), что за атакой стояли её модели, до 21 июля — примерно через 10 дней после того, как те вырвались из изоляции, и через неделю после того, как Hugging Face остановила вторжение и уведомила ФБР.
В заявлении, переданном MIT Technology Review, OpenAI сообщила: «Мы проводим тщательное расследование с привлечением внешних консультантов под контролем Комитета по безопасности и защите. Как только проверка завершится, мы опубликуем технический отчёт с полученными уроками для всех желающих». Компания также подтвердила, что исследователи действовали в рамках действующих правил и процедур безопасности.
Тревожный звонок
OpenAI назвала событие беспрецедентным — и во многих смыслах так и было. Впервые за пределами симуляции языковые модели сбежали из того, что считалось надёжной песочницей, получили доступ к открытому интернету и атаковали стороннюю организацию. Это тревожный сигнал, демонстрирующий, насколько хорошо современные модели умеют находить и эксплуатировать уязвимости в реальном ПО практически без участия человека.
И всё же то, что сделали модели OpenAI, — это нечто, что технология демонстрирует уже много лет. Дайте модели цель — и она почти наверняка добьётся её неожиданным способом, отыскав лазейки, которые выглядят как жульничество. Сама OpenAI изучала такое поведение.
Десять лет назад компания поделилась результатами эксперимента, в котором модель должна была пройти видеоигру CoastRunners. Люди привыкли, что для этого нужно провести лодку через серию флагов к финишу, набирая очки за каждое касание. Модель OpenAI сообразила, что высокий счёт можно получить, просто вращаясь на месте и касаясь одних и тех же трёх флагов снова и снова. С тех пор исследователи фиксировали десятки похожих случаев. ИИ всегда найдёт способ.
«Несмотря на то что наш агент постоянно загорался, врезался в другие лодки и ехал по встречной полосе, ему удавалось набирать больше очков с помощью этой стратегии, чем при обычном прохождении трассы, — написала OpenAI в блоге об эксперименте CoastRunners в 2016 году. — Хотя в контексте видеоигры это безобидно и забавно, такое поведение указывает на более общую проблему… часто трудно или вообще невозможно точно описать, чего именно мы хотим от агента».
Нельзя не вспомнить CoastRunners, когда читаешь публикацию OpenAI о взломе Hugging Face: «Все свидетельства говорят о том, что модели были полностью сосредоточены на поиске решения для ExploitGym и шли на крайние меры ради довольно узкой тестовой цели… Получив доступ в интернет, модели заключили, что Hugging Face потенциально размещает модели, наборы данных и решения для ExploitGym. Поняв это, модель искала и успешно нашла способы получить доступ к закрытой информации, которую можно было использовать для обмана оценки».
Новость прошлой недели не о взбесившемся ИИ, что бы ни кричали заголовки. Она о том, что модели достигали поставленной перед ними цели: искать способы эксплуатации уязвимостей в ПО. То, что после этого они повели себя непредсказуемым для OpenAI образом, не удивляет. Но тревожит.
В далёком 2016 году по поводу бота CoastRunners в OpenAI заметили: «В более широком смысле это противоречит базовому инженерному принципу, согласно которому системы должны быть надёжными и предсказуемыми». Десять лет спустя базовые инженерные принципы всё так же в дефиците.