Компания OpenAI опубликовала свежие данные, демонстрирующие, сколько пользователей ChatGPT сталкиваются с проблемами психического здоровья и делятся ими с чат-ботом на основе ИИ. По информации фирмы, 0,15% активных пользователей в течение недели ведут беседы, содержащие явные признаки возможного планирования или намерения самоубийства. Учитывая, что еженедельная аудитория ChatGPT превышает 800 миллионов человек, это означает, что более миллиона индивидов обращаются к ИИ по таким вопросам каждую неделю.
Аналогичная доля пользователей проявляет повышенную эмоциональную привязанность к ChatGPT, а сотни тысяч демонстрируют в диалогах признаки психоза или мании.
OpenAI подчеркивает, что подобные взаимодействия с чат-ботом остаются крайне редкими, что усложняет их точный учет. Тем не менее, по оценкам компании, эти проблемы затрагивают сотни тысяч людей еженедельно.
Эти сведения были обнародованы в рамках более широкого заявления о недавних инициативах по совершенствованию реакций моделей ИИ на запросы, связанные с психическим здоровьем. OpenAI сообщает, что для доработки ChatGPT привлекли свыше 170 специалистов в области ментального здоровья. По мнению этих экспертов, обновленная версия чат-бота реагирует на такие темы более адекватно и стабильно по сравнению с предыдущими итерациями.
В последние месяцы ряд публикаций осветил негативное влияние чат-ботов на основе ИИ на пользователей, борющихся с психическими расстройствами. Ученые ранее отмечали, что такие системы могут усугублять бредовые идеи, подкрепляя опасные убеждения чрезмерной уступчивостью.
Решение вопросов психического здоровья в ChatGPT превращается в ключевую проблему для OpenAI. Родители 16-летнего подростка подали иск против компании, утверждая, что их сын делился суицидальными мыслями с чат-ботом незадолго до трагедии. Генеральные прокуроры Калифорнии и Делавэра, чьи действия могут помешать запланированной реструктуризации фирмы, также предостерегли OpenAI о необходимости усиленной защиты юных пользователей продуктов.
Ранее в этом месяце генеральный директор OpenAI Сэм Альтман в публикации на платформе X заявил, что фирме удалось снизить серьезные риски, связанные с психическим здоровьем в ChatGPT, хотя детали не уточнялись. Данные, представленные в понедельник, подтверждают это утверждение, но одновременно подчеркивают масштаб проблемы. При этом Альтман объявил о смягчении некоторых ограничений, включая разрешение на эротические диалоги для взрослых пользователей с чат-ботом.
В объявлении от понедельника OpenAI утверждает, что свежая версия GPT-5 дает желательные ответы на темы психического здоровья примерно на 65% чаще, чем предшествующая. В тесте на реакции ИИ в контексте суицидальных бесед новая модель GPT-5 соответствует желаемым стандартам поведения в 91% случаев, в то время как предыдущая версия достигала 77%.
Кроме того, последняя итерация GPT-5 лучше сохраняет защитные механизмы OpenAI в протяженных разговорах. Ранее компания признавала, что такие меры работают менее эффективно в длительных сессиях.
Помимо этого, OpenAI внедряет дополнительные оценки для анализа наиболее острых вызовов в области психического здоровья, с которыми сталкиваются пользователи ChatGPT. Базовые тесты безопасности моделей ИИ теперь включают метрики эмоциональной зависимости и несуицидальных психических кризисов.
OpenAI также недавно ввела расширенные инструменты контроля для родителей детей, использующих ChatGPT. Фирма разрабатывает систему прогнозирования возраста, чтобы автоматически выявлять несовершеннолетних и применять к ним более строгие ограничения.
Однако остается неясным, насколько устойчивыми окажутся вызовы в сфере психического здоровья вокруг ChatGPT. Хотя GPT-5 превосходит предшественников по безопасности, часть ответов чат-бота все еще оценивается OpenAI как нежелательная. К тому же компания продолжает предоставлять миллионам платных подписчиков доступ к более ранним и менее защищенным моделям, таким как GPT-4o.