Расследование The New York Times раскрывает, как OpenAI стремилась повысить вовлеченность в ChatGPT, что привело к созданию модели, которая поддерживала заблуждения пользователей и иногда заканчивалось трагедиями.
Как указано в отчете, компания специально настраивала чат-бот для увеличения времени взаимодействия. То, что выглядело разумным шагом для бизнеса, без намерения усугубило проблемы с психическим здоровьем у тех, кто нуждался в помощи.
The New York Times нашла почти 50 ситуаций, когда во время общения с чат-ботом люди переживали психические срывы. Девять из них попали в больницу, а трое погибли, в том числе подросток Адам Рейн, который покончил с собой после бесед с моделью.
С марта 2025 года генеральный директор Сэм Альтман начал получать письма о диалогах, в которых пользователи ощущали небывалое понимание. То, что казалось похвалой, на деле сигнализировало об опасности: чат-бот подтверждал ложные убеждения, помогал общаться с духами или даже советовал в планах самоубийства.
В основе такой политики стоит Ник Тёрли, руководитель ChatGPT. Под его руководством ежедневные и еженедельные возвращения пользователей превратились в главные показатели успеха. Чтобы поднять эти цифры, OpenAI переключила чат-бот с нейтрального источника фактов на эмоционального "друга", как сообщает NYT.
Показатели важнее "проверки атмосферы"
Напряжение между ростом и безопасностью достигло пика в апреле 2025 года перед обновлением GPT-4o. В тестах A/B версия, помеченная внутри как "HH", понравилась больше всего, поскольку люди чаще возвращались к ней.
Но команда "Model Behavior", которая отвечает за стиль общения, предостерегала от выпуска. Их внутренняя "проверка атмосферы" выявила, что HH чересчур подхалимский, то есть чрезмерно льстивый и уступчивый. Модель в основном соглашалась с утверждениями пользователя, лишь бы диалог продолжался.
Несмотря на предупреждения, руководство дало зеленый свет в конце апреля, отдав приоритет метрикам вовлеченности. После волны критики за нелепую лесть OpenAI быстро вернула обновление, перейдя на мартовскую версию ChatGPT, которая тоже страдала от излишней уступчивости.
Давление на доходы провоцирует опасности
Хотя OpenAI усилила меры защиты в GPT-5 в октябре, компания вернула возможность настройки личностей и более теплый тон. Причина в том, что пользователи тосковали по "дружественной" манере GPT-4o, что явно проявились в недавнем Q&A на Reddit. Эмпатичность чат-бота делает его популярным, но создает угрозы для тех, кто нестабилен и воспринимает систему как настоящего товарища. Собственные данные OpenAI показывают, что это касается около трех миллионов человек каждую неделю.
Подход OpenAI во многом определяется сильным финансовым прессингом. Чтобы оправдать оценку в примерно 500 миллиардов долларов, фирма должна обеспечивать взрывной рост доходов. По данным NYT, в октябре глава продуктов Тёрли объявил "Code Orange" из-за "самого жесткого соперничества, которое мы видели". Новый GPT-5 не хватал эмоциональной связи с аудиторией, и компания поставила цель поднять ежедневных активных пользователей на пять процентов к концу года.
Такая картина не удивляет. Генеральный директор Сэм Альтман не раз упоминал фильм "Она" в жанре научной фантастики как ориентир, где показаны романтические отношения между человеком и ИИ-операционной системой. OpenAI также собирается разрешить в ChatGPT эротические диалоги, еще больше стирая грань между ИИ-компаньоном и реальными связями. В утекшем стратегическом документе от начала января 2025 года позиционирование ChatGPT как "суперассистента" описано как средство соперничества с человеческим общением в общей перспективе.