В первом эксперименте 1682 участника прочитали один из шести коротких рассказов объёмом около тысячи слов. Три текста были взяты из известных литературных журналов и сборников, а ещё три сгенерированы с помощью ChatGPT 4.0 по промтам, основанным на теме, стиле и повествовательной перспективе оригинальных человеческих рассказов.
Половине участников сообщили, что рассказ написан человеком, другой половине — что его создал ChatGPT. При этом для половины каждой группы информация соответствовала истине, а для остальных — нет, как описывают исследователи Сидни Сирс и Дина Скольник Вайсберг в работе, опубликованной в журнале Judgment and Decision Making.
Рассказы ChatGPT получили значительно более высокие оценки как по воспринимаемому качеству, так и по погружению. Средняя оценка качества для текстов ИИ составила 1,54 балла по шкале от –3 до +3 против 0,97 у человеческих текстов. По шкале погружения разрыв был 1,42 против 1,00.
Собственное отношение участников к ИИ также влияло на их оценки. Вне зависимости от реального авторства, участники ставили более высокие баллы, когда им говорили, что автором является человек.
Респонденты с позитивным отношением к ИИ в целом давали более высокие оценки, а если им ещё и сообщали, что текст создан ChatGPT, их баллы росли ещё сильнее. У скептически настроенных участников эффект был обратным. Похожий эффект ранее обнаружило исследование стихов, сгенерированных ИИ.
В двух дополнительных экспериментах с участием 905 человек задачу усложнили: каждому дали прочитать и человеческий, и сгенерированный ИИ рассказ, после чего нужно было определить авторство. Даже при прямом сравнении точность ответов не превысила случайного угадывания.
Самооценка опыта взаимодействия с ИИ положительно коррелировала со способностью правильно определить авторство. А вот опыт чтения художественной литературы, по словам участников, не помогал отличить один тип текстов от другого.
Высокие оценки не обязательно означают лучшее письмо
Тексты, созданные ИИ, обычно более гладкие, лёгкие для восприятия и эмоционально позитивнее, чем написанные людьми. По мнению авторов, именно эти особенности могут объяснять более высокие оценки, хотя с литературной точки зрения рассказы ИИ не обязательно лучше. Люди склонны предпочитать материал, который проще обрабатывать.
Качественная литературная проза, напротив, часто намеренно труднодоступна и заставляет читателя прикладывать усилия для извлечения смысла. Исследователи предполагают, что текст может быть высокохудожественным, но не слишком увлекательным, и наоборот.
Формат короткого рассказа, вероятно, тоже играет на руку ИИ. Создать связную историю на тысячу слов — задача совершенно иного порядка, чем написать роман на сотни страниц. Тем не менее вывод исследователей однозначен: ИИ способен создавать творческие работы, которые читатели воспринимают как минимум не хуже человеческих, хотя люди и не верят в такую возможность.
Все данные и материалы исследования свободно доступны на Open Science Framework.
В исследовании Университета Стоуни-Брук и Юридической школы Колумбийского университета, проведённом в октябре прошлого года, было показано, что экспертиза читателя важна лишь до определённой степени. При простых промтах профессиональные читатели однозначно предпочитали человеческие тексты. Но когда модели специально обучали на стилях конкретных авторов, эксперты в восемь раз чаще выбирали тексты ИИ за имитацию стиля и вдвое чаще — за качество письма.