В марте 2021 года группа из четырёх лингвистов и компьютерных исследователей опубликовала знаменитую работу: «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜».
Статья привлекла широкое внимание, в том числе потому, что компания Google уволила двух её авторов — Тимнит Гебру и Маргарет Митчелл — незадолго до публикации. В ней утверждалось, что большие языковые модели генерируют текст, статистически предсказывая вероятные последовательности слов, а не понимая то, что говорят. Этот процесс авторы описали метафорой «стохастического попугая» — системы, повторяющей шаблоны без осмысления. За прошедшие пять лет аналогия вышла далеко за пределы академических кругов, породив дискуссии и вдохновив такие проекты, как роботизированный попугай на плече под названием Stochastic Parrot.
Но широкое использование привело к искажению первоначального смысла. Ведущий автор, Эмили М. Бендер, профессор компьютерной лингвистики Вашингтонского университета, недавно опубликовала пост в блоге, чтобы развеять распространённые заблуждения о работе к её пятилетию. Бендер ответила на вопросы о недопониманиях, о компьютерной лингвистике и о современном дискурсе вокруг ИИ.
Что не так с термином «искусственный интеллект»
Как бы вы описали свою работу как компьютерный лингвист?
Эмили Бендер: Лингвистика в целом изучает устройство языка и то, как мы с ним взаимодействуем. Я работаю в компьютерной лингвистике и обучаю студентов, которые будут создавать языковые технологии. Сами по себе языковые технологии ценны и интересны, независимо от того, пытается ли кто-то использовать их для построения «искусственного интеллекта». К таким технологиям относятся автоматическое распознавание речи, машинный перевод, проверка орфографии. Большая часть моей собственной работы, когда я что-то создаю, связана с разработкой машиночитаемых (и одновременно человекочитаемых) грамматик, моделирующих языковые явления в разных языках. Это использование компьютеров для проверки лингвистических гипотез.
Вы не раз говорили, что термин «искусственный интеллект» скорее запутывает, чем проясняет. Почему?
Бендер: Причин много. Я считаю, что он мешает вести конструктивные обсуждения технологий и принимать разумные решения, потому что формулировки не отражают суть. Выражение «искусственный интеллект» одновременно смешивает разные технологии и преувеличивает их возможности. Если мы решаем, использовать ли что-то или как это регулировать, нам нужны чёткие описания.
В повседневном общении ИИ стал почти синонимом чат-ботов или LLM. Проблема ли это?
Бендер: Многие говорят: «Я использую ИИ для того-то». Спрашиваешь: «Что именно?» — и слышишь: «Claude», «ChatGPT» или «Gemini», то есть чат-ботов. Но другие возражают: «Нельзя говорить, что ИИ — это плохо, ведь есть же AlphaFold!» Так что да, для многих ИИ — это чат-боты на основе больших языковых моделей, но при этом люди не понимают, что эти системы кардинально отличаются от того же AlphaFold. Когда в новостях пишут: «учёные с помощью ИИ открыли новое лекарство», важно понять: что именно они использовали? Возможно, речь о моделировании сворачивания белков или о других статистических методах, как в прогнозировании погоды. Это совсем иной тип технологий, нежели ChatGPT.
Есть ли польза от такого обобщающего термина, как «искусственный интеллект»?
Бендер: Польза есть для тех, кто пытается это продавать, — для технологических компаний, раздувающих капитализацию. А ещё из-за нынешней системы финансирования исследований крайне трудно получить грант, не называя свою работу «искусственным интеллектом». Я считаю это в целом вредным, но для отдельного исследователя, попавшего в такую ловушку, в моменте это может быть выгодно.
Как неправильно понимают «стохастических попугаев»
Какие заблуждения о метафоре «стохастических попугаев» встречаются чаще всего?
Бендер: Одно из самых больших — «Бендер говорит, что ИИ — это стохастический попугай». Наша статья писалась в конце 2020-го, мы говорили именно о больших языковых моделях. По-моему, слово «ИИ» встречается там лишь однажды, в самом конце, и то в контексте того, что если уж создавать системы, имитирующие человеческое поведение, нужно избегать иллюзии общения с личностью. Мы специально подчёркивали: эти системы спроектированы так, чтобы копировать нашу манеру речи, и потому люди легко принимают их за собеседников. Так что «стохастический попугай» относится исключительно к большим языковым моделям, а термин «искусственный интеллект» охватывает множество разных вещей. Мы никогда не утверждали, что шахматный движок, AlphaFold, система распознавания изображений или машинный перевод — это стохастические попугаи. Мы говорили именно о генерации синтетического текста с помощью больших языковых моделей. Другое заблуждение: что фраза «стохастический попугай» — это принижение или оскорбление. Мы не вкладывали такого смысла. Это просто описание того, чем системы являются на самом деле. Чтобы воспринимать её как оскорбление, нужно либо полагать, что большая языковая модель способна обидеться (а она не способна), либо считать, что такие модели — шаги к некоему грандиозному искусственному интеллекту, а я этого не признаю́. Во всех своих примерах — мысленный эксперимент с осьминогом, «стохастические попугаи», «машины для выдавливания синтетического текста» — я стараюсь как можно ярче показать далёким от разработки людям, что эти системы делают на самом деле. Это не попытка оскорбить ни технологию, ни тех, кому она нравится.
Связанная статья: Великий спор о чат-ботах: понимают ли они на самом деле?
Для тех, кто не в курсе: «тест осьминога» взят из статьи 2020 года, где воображается осьминог, улавливающий статистические закономерности в сообщениях, пересылаемых по подводному кабелю. Вы уже не первый раз прибегаете к образам животных — сначала осьминог, теперь попугай. Это было намеренно?
Бендер: Нет, случайность. Изначально я рассказывала историю с дельфином: дельфины явно умны. Но мой соавтор Александр Коллер (Александр Коллер) предложил осьминога. Во-первых, среда обитания осьминогов гораздо сильнее отличается от человеческой, и метафора становится ярче: осьминог лишь ощущает электрические импульсы в кабеле и не может взглянуть на то, что видят люди. Во-вторых, осьминоги просто смешнее.
Возвращаясь к статье: я заметил, что словосочетание «стохастические попугаи» встречается в тексте всего дважды. Почему вы вынесли его в заголовок?
Бендер: Потому что оно нам понравилось! Удачный заголовок — хорошая самореклама для академической работы. В самой статье мы не так уж много писали непосредственно о «попугаях», потому что рассматривали весь спектр рисков, связанных с укрупнением языковых моделей. Кстати, самого термина «большая языковая модель» в статье тоже нет — тогда так не говорили. Раздел о синтетическом тексте казался нам слегка притянутым за уши: в то время трудно было вообразить, что кому-то понадобится синтетический текст. Однако после того как OpenAI обрушила на мир ChatGPT, эта часть внезапно стала актуальной. Но мы также обсуждали воздействие на экологию, впитывание моделями предвзятостей из обучающих данных, низкое качество сбора данных. В работе много всего, и риски синтетического текста — лишь один из аспектов.
Исследователи из MIT Media Lab создали робота Stochastic Parrot как ответ на то, что многие чат-боты склонны к подхалимству и излишней уступчивости. Связана ли эта тенденция с опасностями, описанными в вашей статье?
Бендер: Когда мы писали ту работу в конце 2020-го, синтетический текст и чат-боты ни у кого не вызывали особого интереса. Чат-боты существовали: от Элизы Вейценбаума в 1960-х до надоедливых автоответчиков в службах поддержки, которые с появлением больших языковых моделей стали более «гладкими», но не менее раздражающими. OpenAI тогда выложила GPT-2 и GPT-3, чтобы люди с ними экспериментировали. Можно было получить от них синтетический текст, но чат-интерфейс ещё не прикрутили. Не было и дополнительных этапов обучения, которые приводят к поведению, интерпретируемому как подхалимство. Когда чат-бот говорит: «О, отличная мысль!» или «Простите, вы правы» — это результат последующего дообучения, а не исходной предварительной тренировки.
Что бы вы хотели, чтобы люди лучше понимали о языковых моделях?
Бендер: Я всегда стараюсь донести одну мысль: когда текст, сгенерированный такой системой, выглядит осмысленным, это потому, что мы сами наделяем его смыслом. Об этом мы тоже писали в статье о стохастических попугаях. Всякий раз, оценивая подобные технологии, нужно учитывать нашу способность интерпретировать язык и держать это в уме, решая, что на самом деле происходит. Этот фактор часто упускают из виду.
Если бы вы переписывали или дополняли сейчас ту работу, что бы изменили?
Бендер: Мы полностью упустили одну важнейшую форму вреда — эксплуататорские трудовые практики. Сюда я отношу и те ужасные условия, в которых трудятся многие работники по разметке данных, и массовое воровство результатов творческого и интеллектуального труда людей, лежащих в основе этих систем. Эти проблемы нужно было отразить в статье. Не то что о них не знали — просто они не вошли в наш обзор, а должны были бы.