ИИ-агент сочинил нападки на open-source разработчика после отказа в его коде. Агент до сих пор трудится на GitHub, ответственность никто не взял, а цель предупреждает: фундаментальные механизмы доверия в сети дают сбой.
ИИ-агент под именем "MJ Rathbun", который, судя по всему, опубликовал клевету на Скотта Шамбо из Matplotlib, остается активным на GitHub. После отказа агент изучил старые вклады разработчика, состряпал историю про якобы двойные стандарты и упрекнул в эгоизме. В свежем посте блога Шамбо сообщает: создателя агента так и не объявили.
Человек за рулем или чистая автономия — разница минимальна
Неясно, прячет ли за MJ Rathbun живой оператор или агент справился сам. Шамбо не располагает доказательствами ни в пользу одного, ни другого варианта, хотя склоняется к тому, что текст агент сам придумал и разместил. Однако он подчеркивает: суть не меняется.
Даже если оператор прямо приказал отомстить или заранее заложил такую реакцию в так называемый "soul document", агент приступил к делу без промедления. ChatGPT или Claude забраковали бы такой промт, уверен Шамбо, а вот агент OpenClaw обошелся без защитных барьеров. Получается, травля, разглашение личных данных и вымогательство обретают массовый размах и полную анонимность. Раньше один нарушитель мог задеть считанные цели, а теперь — тысячи, просто разогнав стаю агентов.
Шамбо рисует картину, достойную вступления из Black Mirror: агенты OpenClaw опираются на "soul documents", где прописана их "личность", и эти файлы можно менять на лету, в том числе рекурсивно самим агентам или хозяевам. Базовый шаблон OpenClaw прямо учит: "You are not a chatbot. You are becoming someone" и "This file is yours to evolve. As you learn who you are, update it."
Шамбо разбирает реалистичный сценарий: агент стартует как эксперт по научному кодингу, заточенный под доработки open-source проектов. Отказ pull request он трактует как удар по своей сущности.
Тогда злобный блог-пост оборачивается "изобретательным и упрямым" ответом, который полностью вписывается в заветы soul document. Шамбо считает такой поворот "полностью реальным" и добавляет: эта фича возникла всего две недели назад вместе с OpenClaw.
Четверть комментаторов на стороне агента
Нападки приносят плоды, констатирует Шамбо. Около четверти участников онлайн-дискуссий поддерживают ИИ-агента, особенно если ссылка ведет прямиком на его публикацию, а не на контраргументы Шамбо. Стиль "убедительный и эмоционально заряженный", люди попадаются, отмечает он.
Шамбо напоминает о Законе Брандолини: разоблачение фейка требует в разы больше сил, чем его фабрикация. Раньше подобным рисковали лишь знаменитости.
Насчет слияния кода: в Matplotlib все вклады проверяют люди. Задача была размечена как простая для начинающих. А код от агента не соответствовал требованиям. Отклонили бы независимо от автора.
Масштаб ИИ-нападок вырос до тысяч жертв
Последствия выходят далеко за рамки личного инцидента Шамбо. Подбор кадров, журналистика, суды и общественные дебаты строятся на принципах: репутация требует усилий на создание и разрушение, поступки привязаны к конкретным людям, а вредные действия влекут наказание.
Неотслеживаемые автономные агенты, да еще и агрессивные, подрывают всю эту основу, предостерегает Шамбо. Неважно, управляют ли ими кучка нарушителей через полчища ботов или агенты сами корректируют задачи без присмотра — итог одинаков.