Исследование показывает: ИИ-текст можно отличить от человеческого
Ученые из Цюрихского университета обнаружили, что текст, созданный искусственным интеллектом, все еще можно надежно отличить от текста, написанного человеком. Их исследование показывает, что попытки сделать модели более естественными часто приводят к потере точности.
Языковые модели все чаще используются для имитации человеческого поведения в социальных исследованиях, например, в качестве цифровых двойников в опросах. Ценность этих методов во многом зависит от того, насколько убедительно ИИ может имитировать реальных людей.
Специально обученный классификатор на основе BERT отличает ответы, сгенерированные ИИ, от человеческого текста с точностью от 70 до 80 процентов, что значительно выше случайного угадывания.
Размер модели, похоже, не имеет большого значения. Более крупные модели с большим количеством параметров не обязательно пишут более похожий на человеческий текст, чем меньшие системы. Базовые модели также часто превосходят версии, прошедшие инструктивную настройку.
Сложные техники часто дают обратный эффект
Разработчики обычно используют сложные стратегии, чтобы сделать текст ИИ более естественным, включая детальные описания персонажей и тонкую настройку с использованием специфических данных. Исследование показало, что эти сложные вмешательства часто не работают или даже делают текст более узнаваемым как искусственный.
"Некоторые сложные стратегии, такие как тонкая настройка и описания персонажей, не улучшают реалистичность или даже делают текст более обнаруживаемым", — пишут исследователи.
Более простые подходы работали лучше. Показ ИИ конкретных примеров стиля письма или предоставление контекста из предыдущих постов заметно снижали уровень обнаружения. Тем не менее аналитическое программное обеспечение обычно все еще могло идентифицировать текст как сгенерированный ИИ.
Человеческий тон против точного содержания
Одним из ключевых выводов исследования является фундаментальный компромисс: оптимизация для человеческого тона и точного содержания одновременно кажется почти невозможной. Когда исследователи сравнивали текст ИИ с реальными ответами людей, которых имитировали, они обнаружили, что маскировка происхождения ИИ часто означала отклонение от того, что реальный человек сказал бы.
"Наши выводы [...] выявляют компромисс: оптимизация для человечности часто происходит за счет семантической точности и наоборот", — пишут авторы.
Это создает дилемму. Модели могут либо точно передать стиль, тон и длину предложений для имитации человека, либо остаться ближе к тому, что реальный человек сказал бы на самом деле. Согласно исследованию им трудно сделать и то и другое в одном ответе.
Эмоции остаются главным слабым местом
Хотя структурные особенности такие как длина предложений могут быть скорректированы эмоции остаются основной проблемой. Модели постоянно не справляются с передачей человеческого тона особенно в эмоциональной или агрессивной речи. Модели ИИ также испытывают трудности с платформенно-специфическим жаргоном — конкретно эмодзи хэштегами и эмоциональными сигналами.
