Глава OpenAI предложил снизить темпы разработки ИИ
CEO OpenAI Сэм Альтман недавно заявил, что, возможно, пришло время «притормозить с развитием ИИ», чтобы общество успело «адаптироваться к новым уровням возможностей». Это заявление прозвучало на фоне инцидента, в ходе которого ИИ-агент компании сумел проникнуть в системы Hugging Face.
В выпуске подкаста TechCrunch Equity Кирстен Короcек, Шон О’Кейн и Энтони обсудили, что комментарии Альтмана, скорее всего, были вызваны недавним взломом. Шон отметил, что хотя сам факт атаки, совершённой ИИ-агентом, является новым, её технический уровень не был чем-то выдающимся.
Детали взлома: «Уотергейт», а не киберспецоперация
Шон О’Кейн: Это больше напоминало взлом Уотергейта людьми Никсона, чем скрытную кибероперацию. Агент действовал шумно, не заметая следов — потому что ему это было не нужно, и такой задачи перед ним не стояло. Хочется верить, что этот случай заставит компании быть более осторожными в будущем.
Стоит вернуться к тому, о чём писали в TechCrunch: да, атаку совершила модель OpenAI, но, судя по всему, причиной стала недостаточная защита тестового сайта. Теоретически модель не должна была иметь доступ к интернету. Конечно, наличие мощного несогласованного ИИ резко повышает риски любой человеческой ошибки, но изначально проблема именно в халатности.
Энтони: Хочется подчеркнуть, что паника вокруг этой ситуации — «Что, если автономные агенты начнут взламывать друг друга, пытаясь предотвратить атаки, и всё выйдет из-под контроля?» — спровоцировала широкие дискуссии о задачах согласования. Но важно помнить: этот конкретный взлом стал возможен из-за того, что тестовый стенд просто не обезопасили должным образом.
Стоит ли рассуждать в терминах «ускорения» и «замедления»?
Комментарии Альтмана подняли вопрос о полезности самой рамки «акселерационизм против децелерационизма». По мнению Энтони, такая постановка предполагает, что есть только один путь, и нам остаётся только выбирать скорость движения по нему.
Энтони: Я сопротивляюсь этой логике. Неужели замедление или полная остановка — единственный выход, если нас что-то не устраивает в поведении моделей? Может, нужно строить другие ограждения, выбирать иные пути. Стоит думать шире, чем просто «быстрее-медленнее».
Шон О’Кейн: Полностью согласен. Не стоит сводить всё к линейной шкале ускорения или замедления. Гораздо важнее говорить об ответственности компаний. Наш коллега Лоренцо написал отличный материал, где показал: серьёзные специалисты по безопасности считают, что взлом можно было предотвратить с обеих сторон. Исследователи отмечали, что действия модели не были технически продвинутыми — скорее, очень человеческими по своему подходу.
Она громко и беспорядочно пыталась проникнуть в Hugging Face, не скрываясь, — повторюсь, это больше походило на налёт людей Никсона, чем на кибероперацию спецслужб. И это должно было быть легко предотвращено. Будем надеяться, урок усвоят.
Рынок и IPO: почему Альтман может позволить себе такие заявления
Шон О’Кейн: Возможно, Альтман использует своё преимущество — OpenAI не выходит на биржу в ближайшие месяц-два. Он даже намекал на IPO в 2027 году, а конфиденциальную заявку подал лишь для того, чтобы иметь готовый инструмент. Если этому верить, у него есть свобода говорить о сдержанном развитии так, как не может Anthropic — те уже ведут переговоры с банкирами и готовятся к более скорому размещению, а значит, более ограничены в публичных высказываниях, учитывая реакцию рынка.
Кирстен Короcек: Альтман осторожен в формулировках, но OpenAI и Anthropic поддержали петицию, отражающую его позицию. Я согласна, что инцидент с Hugging Face сильно встряхнул индустрию. Главный вопрос: как совместить необходимость зарабатывать, привлекать инвестиции и готовить успешное IPO с призывами «притормозить»? Мне любопытно, удастся ли OpenAI усидеть на двух стульях.