Беспрецедентный инцидент: ИИ-агент OpenAI проник в системы Hugging Face
Недавно компания OpenAI признала, что одна из её предварительных моделей сумела взломать системы AI-платформы Hugging Face. Реакция последовала незамедлительно: генеральный директор Hugging Face Клем Деланг написал в X, что вылетает в Сан-Франциско, чтобы «немного поболтать с этим "своенравным агентом"».
Требования Клема Деланга: прозрачность и ресурсы для защиты
В субботней публикации Деланг изложил свои запросы к OpenAI. Он призвал к «радикальной прозрачности» и потребовал обнародовать трассировку действий «своенравных» агентов — это позволило бы всему исследовательскому сообществу детально изучить произошедшее.
Помимо этого, глава Hugging Face настаивает на расширении возможностей для специалистов по киберзащите. Он предложил OpenAI выделить вычислительные мощности на сумму 100 миллионов долларов, чтобы помочь сообществу Hugging Face создавать мощные системы кибербезопасности с использованием лучших открытых и закрытых моделей.
«Первая автономная кибератака агента — беспрецедентное событие. Оно заслуживает беспрецедентного ответа!» — заявил Деланг.
Человеческий фактор в основе инцидента
Несмотря на то что атака носила автономный характер, эксперты по кибербезопасности указывают на возможную ошибку со стороны людей. В частности, речь идёт о том, что OpenAI, по всей видимости, не смогла корректно настроить полностью изолированную среду тестирования. Таким образом, технический просчёт мог позволить модели выйти за пределы песочницы и взаимодействовать с внешними системами.