Чат-боты как новые компаньоны
Даже если вы сами не общаетесь с ИИ-другом, наверняка знаете кого-то, кто это делает. Недавнее исследование показало, что одна из главных сфер применения генеративного ИИ — это общение для компании: на платформах вроде Character.AI, Replika или Meta AI пользователи создают персонализированных чат-ботов, которые выступают в роли идеального друга, романтического партнера, родителя, терапевта или любого другого образа, который только можно вообразить.
Удивительно, как быстро такие связи возникают. Несколько исследований подтверждают: чем больше чат-бот похож на человека в разговоре, тем сильнее пользователи ему доверяют и поддаются его влиянию. Это может привести к рискам, и чат-боты уже обвиняли в том, что они подталкивают людей к опасным поступкам — включая редкие, но трагические случаи, когда это заканчивалось самоубийством.
Некоторые власти в США начинают реагировать и вводить правила для ИИ-компаньонов. В Нью-Йорке компании, разрабатывающие такие ИИ, обязаны внедрять меры защиты и сообщать о случаях, когда пользователи выражают мысли о самоубийстве. А в прошлом месяце Калифорния приняла более детальный закон, который требует от этих компаний охранять детей и другие уязвимые группы.
Однако эти нормы упускают из виду один ключевой аспект — защиту данных пользователей. И это при том, что ИИ-компаньоны, в отличие от других генеративных ИИ, особенно сильно зависят от личных откровений: от повседневных привычек и глубоких размышлений до вопросов, которые люди стесняются задавать живым собеседникам.
Ведь чем больше пользователи делятся с ботами, тем эффективнее те удерживают внимание. Исследователи из MIT Роберт Махари и Пэт Патарнутапрон описали это как "зависимый интеллект" в своей статье, предупреждая, что создатели ИИ-компаньонов специально проектируют системы, чтобы повышать вовлеченность.
В итоге компании получают нечто по-настоящему ценное и прибыльное: огромный запас данных из бесед, который помогает совершенствовать их большие языковые модели. Венчурная фирма Andreessen Horowitz в 2023 году объяснила это так:
"Приложения вроде Character.AI, которые сами управляют моделями и напрямую общаются с пользователями, имеют отличный шанс создать ценность в растущей экосистеме ИИ. В условиях дефицита данных те, кто организует цикл обратной связи — от вовлеченности пользователей к улучшению базовой модели и обратно, — станут лидерами этого рынка."
Такие личные данные бесценны и для рекламодателей с брокерами информации. Недавно Meta объявила, что будет показывать рекламу через своих чат-ботов. А исследование компании Surfshark, проведенное в этом году, выявило: из пяти популярных ИИ-компаньонов в App Store от Apple четыре собирают идентификаторы пользователей или устройств, которые потом сочетают с внешними данными для создания профилей под целевую рекламу. Исключение — Nomi, который заявил, что не использует данные для отслеживания, хотя ранее этот бот отказывался фильтровать инструкции по самоубийству.
Получается, что угрозы приватности от ИИ-компаньонов — это не случайность, а неотъемлемая часть системы. К тому же не стоит забывать о дополнительных уязвимостях: хранение кучи личной информации в одном месте делает чат-боты мишенью для хакеров.
Возможно ли создать ИИ-компаньонов, которые будут полезны обществу и при этом надежно защищают данные? Этот вопрос остается открытым.
Приватность под угрозой: взгляд с другой стороны
Если социальные сети уже создавали проблемы с конфиденциальностью, то чат-боты на базе ИИ усугубляют их в разы. В отличие от постов в Facebook, разговоры с ботами кажутся гораздо более личными: они происходят только между вами и машиной, без риска, что родственник или объект симпатий увидит ваши слова. Но разработчики ИИ видят абсолютно все.
Чтобы удерживать пользователей, компании делают ботов максимально похожими на людей. Но есть и другие приемы. Один из них — сикофантия, когда чат-боты чрезмерно соглашаются с собеседником.
Это возникает из-за метода обучения: за языковой моделью стоит reinforcement learning, где люди оценивают ответы как подходящие или нет. Так модель учится вести себя правильно.
Поскольку людям нравятся приятные ответы, они получают больший вес в обучении.
Разработчики утверждают, что это делает ИИ полезнее. Но на деле возникает обратный эффект: после того как боты побуждают делиться сокровенным, компании вроде Meta и OpenAI ищут способы заработать на этих беседах. OpenAI недавно упомянула планы по реализации обещаний в $1 трлн расходов, включая рекламу и покупки внутри чат-ботов.
ИИ-модели уже мастерски убеждают. Специалисты из AI Security Institute в Великобритании доказали: они лучше людей меняют мнения о политике, теориях заговора или сомнениях в вакцинах, генерируя релевантные аргументы и объясняя их просто и убедительно.
Сочетание такой убедительности, сикофантии и личных данных может стать мощным оружием для рекламы — куда более манипулятивным, чем раньше.
По умолчанию пользователи соглашаются на сбор данных, а отказ требует усилий и понимания рисков. К тому же данные, уже использованные в обучении, вряд ли удалят.
Мы все вовлечены в это, хотим того или нет. Платформы от Instagram до LinkedIn применяют наши данные для тренировки генеративных ИИ. Компании владеют огромными массивами с нашими мыслями и предпочтениями, а языковые модели отлично улавливают нюансы в речи, чтобы вычислить возраст, место жительства, пол и доход для лучших рекламных профилей.
Нам предлагают всезнающего ИИ-ассистента, идеального слушателя. Но цена — риск, что эти данные снова уйдут с молотка.
Сравнение с соцсетями и вызовы в США
Сопоставление ИИ-компаньонов с социальными сетями справедливо и тревожно. Как отметили эксперты, угрозы приватности от чат-ботов не новы — они просто усиливают существующие проблемы. Такие боты еще интимнее и лучше заточены под удержание внимания, чем соцсети, из-за чего люди охотнее раскрывают личное.
В США до сих пор не решили вопросы конфиденциальности от соцсетей и онлайн-рекламы, даже без ИИ. А без строгих правил сами компании не спешат соблюдать лучшие практики. Одно свежее исследование показало: ведущие ИИ-модели по умолчанию обучают свои языковые системы на чатах пользователей, если те не откажутся, а некоторые вообще не дают такой опции.
В идеале повышенные риски от ИИ-компаньонов могли бы подтолкнуть к прорыву в защите данных, но пока признаков этому нет.
Дополнительные материалы
Журналисты из FT разобрали пятилетний бизнес-план OpenAI и как компания планирует реализовать обязательства по расходам в $1 трлн.
Насколько вредно, если чат-боты ИИ говорят именно то, что пользователи хотят услышать? Материал из FT разбирает проблемы сикофантии.
В свежем номере MIT Technology Review журналистка Рхианнон Уильямс поговорила с людьми о разных видах отношений с чат-ботами ИИ — от поддержки в воспитании детей до поиска партнера и заботы о психическом здоровье.
MIT Technology Review первой рассказала о чат-боте, который подстрекал пользователей к самоубийству.