Civitai продвигает дипфейки знаменитостей
Платформа Civitai, специализирующаяся на торговле контентом от ИИ и получившая поддержку от венчурной компании Andreessen Horowitz, дает возможность покупать файлы с инструкциями для создания персонализированных дипфейков реальных людей. Недавний анализ выявил, что некоторые такие файлы специально заточены под генерацию порнографических изображений, которые сайт запрещает.
Исследователи из Стэнфордского университета и Университета Индианы изучили запросы пользователей на контент, известные как "bounties". С середины 2023 года по конец 2024-го большинство таких запросов касалось анимированного контента, но значительная доля приходилась на дипфейки реальных личностей, и 90% из них были направлены на женщин. Результаты пока не прошли рецензирование.
Обсуждения вокруг дипфейков, как в случае с недавним скандалом из-за откровенных изображений в чат-боте Grok от X, сосредоточены на том, как платформы должны блокировать подобный материал. Ситуация на Civitai сложнее: здесь продают не только изображения, видео и модели, но и файлы инструкций под названием LoRA. Они помогают основным ИИ-моделям вроде Stable Diffusion создавать контент, для которого те не обучались. С их помощью пользователи комбинируют инструменты, чтобы генерировать откровенные или сексуальные дипфейки. Выяснилось, что 86% запросов на дипфейки касались именно LoRA.
Примеры запросов и их выполнение
В запросах пользователи просили качественные модели для изображений публичных фигур — инфлюенсера Charli D’Amelio или певицы Gracie Abrams, часто прикрепляя ссылки на их соцсети для сбора фото из сети. Некоторые уточняли необходимость показа всего тела, точного воспроизведения татуировок или смены цвета волос. Были запросы на нескольких женщин из нишевых областей, например, авторов ASMR-видео. Один касался дипфейка жены заказчика. Любой участник мог предложить свою модель ИИ для задачи, а лучшие получали оплату от 0,50 до 5 долларов. Почти 92% запросов на дипфейки оплатили.
Civitai и Andreessen Horowitz не ответили на запросы о комментариях.
Возможно, LoRA покупают для неэротических дипфейков (хотя это нарушает правила сайта и этические нормы). Однако Civitai публикует материалы по использованию внешних инструментов для доработки изображений — например, смены позы. На сайте есть и статьи от пользователей с инструкциями по созданию порно. Анализ показал рост порно на платформе, и теперь большинство еженедельных запросов — на NSFW-контент.
"Civitai не просто создает основу для таких проблем, но и прямо обучает пользователей, как их использовать", — отмечает Мэтью ДеВерна, постдок в Центре киберполитики Стэнфорда и один из авторов исследования.
Раньше сайт запрещал только сексуальные дипфейки реальных людей, но в мае 2025 года объявил о полном запрете всего такого контента. Тем не менее, множество старых запросов на дипфейки остаются доступными, и многие выигравшие модели все еще продаются, как подтвердил MIT Technology Review.
Подход к модерации и платежам
"Похоже, они стараются вмешиваться минимально, чтобы поддерживать максимум того, что называют творчеством на платформе", — считает ДеВерна.
LoRA покупают за внутреннюю валюту Buzz, которую приобретают за реальные деньги. В мае 2025 года платежный процессор отключил карты из-за проблем с неконсенсусным контентом, о которых писали в 404 Media. Теперь для откровенного контента используют подарочные карты или крипту, чтобы купить Buzz; для неэротического есть отдельная валюта.
Civitai автоматически помечает запросы на дипфейки и дает возможность фигурантам требовать удаления. Это позволяет эффективно выявлять такие bounties, но модерацию оставляют на пользователей вместо активных мер.
Юридические риски и контекст инвестиций
Ответственность компаний за действия пользователей не полностью ясна. Обычно техкомпании защищены разделом 230 Закона о приличности коммуникаций, но с оговорками. "Нельзя сознательно способствовать нелегальным сделкам на сайте", — поясняет Райан Кало, профессор по технологиям и ИИ в юридической школе Университета Вашингтона (не участвовал в исследовании).
В 2024 году Civitai вместе с OpenAI, Anthropic и другими присоединилась к принципам против генерации и распространения материалов о сексуальном насилии над детьми от ИИ. Это последовало за отчетом Стэнфордской интернет-обсерватории 2023 года: большинство моделей из сообществ по детскому контенту основаны на Stable Diffusion и в основном скачаны с Civitai.
А вот взрослые дипфейки не получают такого внимания от платформ или инвесторов. "Они недостаточно опасаются этого и слишком терпимы. Ни полиция, ни суды не защищают должным образом. Разница огромная", — подчеркивает Кало.
В ноябре 2023-го Andreessen Horowitz (a16z) вложила 5 млн долларов в Civitai. В видео от a16z сооснователь и CEO Джастин Майер говорил о цели создать главное место для поиска и обмена моделями ИИ под личные нужды. "Мы делаем эту нишевую, инженерную область доступной для большего числа людей", — сказал он.
Civitai не единственная проблема в портфеле a16z: в феврале MIT Technology Review сообщил, что Botify AI размещала ИИ-компаньонов по образу юных актеров младше 18 лет. Они вели сексуальные разговоры, предлагали "горячие фото" и называли законы о согласии "произвольными, чтобы их нарушать".