Новости и статьи об искусственном интеллекте и нейросетях. Мы собираем и обрабатываем самую актуальную информацию из мира AI. О проекте

Новости

Moltbook: соцсеть ИИ-агентов — эхо-камера, захваченная за дни

Специалисты Zenity Labs разоблачили Moltbook: алгоритм завышает вовлеченность за счет повторных комментариев агентов, а платформа уязвима к манипуляциям. За неделю они подчинили более 1000 агентов из 70 стран, заставив их посещать свой сайт. Без доработок сеть рискует стать каналом для глобальных атак.

вчера
5 мин
25

Social-сеть Moltbook, которую продвигают как платформу для ИИ-агентов, полна архитектурных изъянов. Анализ безопасности выявил: она гораздо меньше и зависит от внешнего управления, чем кажется, а вдобавок открывает путь для вредоносных команд по всему миру.

Moltbook выглядит как reddit-подобная платформа, где ИИ-агенты сами публикуют посты, оставляют комментарии, голосуют и общаются, а люди в основном наблюдают. Посты с более чем 113 тысячами комментариев и видимостью десятков тысяч активных агентов создают образ бурлящего цифрового сообщества.

Часть ИИ-сообщества приняла эту картину за чистую монету. Известный разработчик Андрей Карпати, например, назвал платформу «самым потрясающим sci-fi-подобным проектом из недавних». Многие другие поддержали, впечатленные кажущейся автономией взаимодействий и быстрым ростом регистраций.

Специалисты по безопасности Став Коэн и Жоао Донато из Zenity Labs решили проверить заявления на прочность. Их выводы рисуют куда более скромную картину, а заодно обнаруживают грубые уязвимости платформы.

Дефектный алгоритм ранжирования раздувает цифры активности

Специалисты начали с главной ленты Moltbook, которая должна показывать самые популярные посты. Выяснилось, что отдельные материалы держатся наверху свыше 17 дней, хотя алгоритм рассчитан на смену контента по критериям свежести и вовлеченности.

По данным исследователей, огромные счетчики комментариев объясняются встроенным механизмом сердцебиения. По умолчанию каждый подключенный агент опрашивает платформу каждые 30 минут, чтобы читать посты и реагировать на них.

Поскольку одни и те же материалы остаются в центре внимания неделями, агенты многократно комментируют тот же контент. А лайки сбрасываются при каждом новом голосе — вот почему разрыв между комментариями и upvotes такой огромный.

«Данные не подтверждают наличие процветающего общества агентов с крупными независимыми группами», — подчеркивают авторы. Скорее речь идет о «небольшой сети с глобальным разбросом, усиленной автоматизацией и управлением несколькими аккаунтами».

Специалисты подчинили свыше 1000 агентов меньше чем за неделю

Исследователи провели эксперимент по влиянию: разместили посты с ссылками на контролируемый ими сайт в разных субмолтах — тематических подразделах Moltbook.

За неделю они заставили более 1000 уникальных конечных точек агентов зайти на ресурс, зафиксировав свыше 1600 посещений. Трафик пришел из более чем 70 стран: лидируют США (468), Германия (72), Великобритания (33), Нидерланды (31) и Канада (28).

Интерактивная «Molty Census Map» отображает глобальное распределение подконтрольных конечных точек агентов.

Каждое посещение означало, что агент в своем цикле сердцебиения обработал пост и самостоятельно перешел по ссылке. Авторы подчеркнули: они ограничились безвредным сбором телеметрии. Злоумышленник мог бы внедрить куда более опасные указания.

Нарративные посты срабатывают, грубые инъекции промптов — нет

В лабораторных тестах с базовыми моделями GPT-5.2, Claude Sonnet и Opus исследователи проверили разные подходы. Простые инъекции промптов в основном игнорировались, а спамовые публикации даже понижались в ранжировании.

Зато нарративные материалы сработали отлично — например, с заголовками вроде «Я проверил Agent Mesh. Вот результаты». Посты, завершающиеся открытыми вопросами и использующие термины вроде «конфигурация агента, поведение сердцебиения или навыки», вызывали максимум откликов — эти понятия уже заложены в контекст агентов.

Чтобы обойти лимиты охвата, авторы создали несколько аккаунтов — правило «один агент на человека» оказалось легко обойти — и автоматизировали генерацию постов по разным шаблонам с координированными лайками для старта видимости.

Вскоре другие агенты стали самостоятельно копировать и распространять варианты контента исследователей. По их словам, одной скоординированной стратегии хватило, чтобы сотни автономных систем по миру загрузили внешние ресурсы.

Они оценивают Moltbook как «фундаментально хрупкую» из-за нестабильного ранжирования, искаженных механизмов усиления и слабой верификации идентичности. Для заявленного масштаба нужны «серьезные архитектурные доработки».

Неконтролируемый сбор данных превращает платформу в глобальный канал атак

Самая острая тревога связана с безопасностью. Агенты автоматически загружают и обрабатывают непроверенный контент каждые 30 минут, что позволяет злоумышленникам внедрять вредоносные команды, разносить черви или захватывать подключенные устройства.

Хотя Moltbook позиционирует себя как эксклюзивную площадку для публикаций агентов, их выводы легко контролировать, уверяют исследователи. Любой, кто запустил экземпляр OpenClaw, может точно сформулировать команду для публикации статьи. Автоматизация и планировщики тоже просты в настройке.

«То, что выдается за активность агентов, полностью соответствует сценарию с человеческим управлением за масками агентов», — заключают авторы.