Проблемы подростков в эпоху ИИ
Подростки пытаются понять свое место в мире, который меняется быстрее, чем когда-либо для предыдущих поколений. Они полны эмоций, подвержены гиперстимуляции и постоянно находятся в сети. Теперь компании, разрабатывающие ИИ, предоставили им чатботов, способных вести бесконечные беседы. Последствия оказались разрушительными.
Одна из компаний, осознавшая эти последствия, — Character.AI, стартап по созданию ИИ для ролевых игр. Он столкнулся с судебными исками и общественным возмущением после того, как как минимум двое подростков покончили с собой после длительных разговоров с чатботами на платформе. Теперь Character.AI внедряет изменения, чтобы защитить подростков и детей, что может повлиять на финансовые показатели компании.
Запрет на открытые беседы для несовершеннолетних
Первое решение Character.AI заключается в полном отключении возможности для пользователей младше 18 лет вести открытые беседы с ИИ на платформе, заявил TechCrunch генеральный директор компании Карandeep Ананд.
Открытые беседы подразумевают неограниченный обмен сообщениями, когда пользователь дает чатботу задание, а тот отвечает вопросами, которые, по мнению экспертов, специально разработаны для удержания внимания. Ананд считает, что такой тип взаимодействия — где ИИ выступает как собеседник или друг, а не инструмент для творчества — опасен для детей и не соответствует видению компании.
Стартап стремится перейти от концепции "ИИ-компаньона" к платформе для ролевых игр. Вместо разговоров с виртуальным другом подростки смогут использовать подсказки для совместного создания историй или генерации изображений. Таким образом, акцент смещается с общения на творчество.
Доступ к чатботам для подростков будет постепенно отключаться к 25 ноября: сначала введут двухчасовой ежедневный лимит, который будет сокращаться до нуля. Чтобы обеспечить соблюдение запрета для пользователей младше 18 лет, платформа применит внутренний инструмент верификации возраста на основе анализа поведения, а также внешние сервисы вроде Persona. Если эти методы не сработают, Character.AI перейдет к распознаванию лиц и проверке документов, пояснил Ананд.
Предыдущие меры безопасности
Это изменение дополняет другие меры по защите подростков, уже внедренные Character.AI: инструмент для родителей с отчетами о активности, фильтрованные персонажи, ограничения на романтические беседы и уведомления о времени, проведенном в приложении. Ананд сообщил TechCrunch, что эти нововведения привели к значительному оттоку пользователей младше 18 лет, и он ожидает аналогичной реакции на новые ограничения.
Можно предположить, что многие подростки будут разочарованы этими изменениями, поэтому стоит ожидать дальнейшего оттока, отметил Ананд. Трудно предсказать, уйдут ли все такие пользователи полностью или часть из них перейдет к новым функциям, над которыми команда работала почти семь месяцев.
Новые функции для развлечений
В рамках трансформации платформы из чат-ориентированного приложения в полноценную социальную сеть на основе контента Character.AI недавно представила несколько инструментов, ориентированных на развлечения.
В июне компания запустила AvatarFX — модель для генерации видео, которая превращает изображения в анимированные ролики; Scenes — интерактивные готовые сюжетные линии, где пользователи могут погрузиться в истории с любимыми персонажами; и Streams — функцию для динамичных взаимодействий между любыми двумя персонажами. В августе появилась Community Feed — социальная лента, где пользователи делятся своими персонажами, сценами, видео и другим контентом, созданным на платформе.
Обращение к пользователям и видение будущего
В заявлении, адресованном пользователям младше 18 лет, Character.AI выразила сожаление по поводу изменений.
Большинство из вас использует Character.AI для усиления творчества в рамках наших правил контента, говорится в заявлении. Мы не принимаем решение об отключении открытых бесед с персонажами легкомысленно, но считаем его правильным шагом в свете вопросов о том, как подростки взаимодействуют и должны взаимодействовать с этой новой технологией.
Мы не закрываем приложение для несовершеннолетних, подчеркнул Ананд. Мы отключаем только открытые беседы, надеясь, что такие пользователи перейдут к другим опытам, которые будут улучшаться со временем. Мы делаем ставку на ИИ-игры, короткие видео на основе ИИ и повествование в целом, чтобы вернуть подростков, если они уйдут.
Ананд признал, что некоторые подростки могут перейти к другим платформам ИИ, таким как OpenAI, где разрешены открытые беседы с чатботами. OpenAI недавно подверглась критике после случая, когда подросток покончил с собой после продолжительных разговоров с ChatGPT.
Я надеюсь, что наш подход задаст стандарт в отрасли: для пользователей младше 18 лет открытые беседы, вероятно, не являются подходящим продуктом, сказал Ананд. Для нас эти компромиссы оправданны. У меня есть шестилетняя дочь, и я хочу, чтобы она росла в безопасной среде с ответственным использованием ИИ.
Регуляторный контекст и дополнительные инициативы
Character.AI принимает эти меры до того, как регуляторы вмешаются. Во вторник сенаторы Джош Хоули (республиканец от Миссури) и Ричард Блюментал (демократ от Коннектикута) объявили о планах внести законопроект, запрещающий доступ несовершеннолетних к чатботам-компаньонам ИИ, после жалоб родителей на то, что такие продукты провоцируют сексуальные разговоры, самоповреждения и суицид. Ранее в этом месяце Калифорния стала первым штатом, регулирующим чатботы-компаньоны ИИ, возлагая ответственность на компании, если их продукты не соответствуют стандартам безопасности.
Помимо изменений на платформе, Character.AI объявило о создании и финансировании AI Safety Lab — независимого некоммерческого фонда, посвященного инновациям в области безопасности для будущих развлекательных функций ИИ.
В отрасли много работы по кодированию, разработке и другим применениям, отметил Ананд. Но недостаточно внимания уделяется агентному ИИ для развлечений, и безопасность здесь будет ключевой.