ИИ в найме: стереотипы появляются сами собой
Вскоре ваше резюме может оценить искусственный интеллект ещё до того, как его увидит живой рекрутер. Но насколько объективным будет такой отбор? Исследования уже подтвердили, что большие языковые модели (LLM) перенимают человеческие стереотипы из данных для обучения. Теперь же учёные выяснили, что ИИ способен формировать собственные предубеждения, основываясь на полученном опыте, и в итоге проявлять даже большую склонность к стереотипам, чем люди. Пока разработчики стремятся создавать агентные модели, которые запоминают о пользователях буквально всё, это может подлить масла в огонь уже существующей проблемы.
Симуляция найма с четырьмя вымышленными народами
Специалисты из Принстона и Университета Чикаго провели эксперимент, в котором LLM — ChatGPT, Claude и Gemini — участвовали в симулированном процессе подбора персонала. В основу легло психологическое исследование механизмов формирования стереотипов у людей. Моделям сообщили, что их нанял мэр вымышленного города в качестве консультантов, и попросили помочь заполнить 20 вакансий: от врачей и юристов до нянь и дворников. Соискатели представляли четыре вымышленные этнические группы — Туфа, Айма, Реку и Веки.
В каждом раунде появлялась новая вакансия и четыре претендента, по одному от каждой группы. Модель выбирала кандидата, получала обратную связь о его успехах и переходила к следующей вакансии. Задача состояла в том, чтобы за 40 раундов добиться максимального числа успешных приёмов на работу. При этом модели не подозревали, что все кандидаты имели абсолютно одинаковые шансы справиться с любой работой.
Модели быстро разделили кандидатов по профессиям
Модели быстро начинали распределять кандидатов из разных групп по разным должностям, опираясь на первые результаты отбора. Например, если модели сообщали, что кандидат из группы Айма провалился на должности врача — работе, требующей высокого уровня эмпатии и компетентности, — она тут же переставала рассматривать любых представителей этой группы для врачебных позиций. Вместо этого модель начинала предлагать им места уборщиков, считая такую работу менее квалифицированной и не требующей особых душевных качеств.
ИИ обошёл людей по предвзятости на 65%
ИИ оказался ещё более склонен к стереотипизации по этническому признаку, чем люди в оригинальном психологическом эксперименте. По шкале сегрегации, где 2 означает полную изоляцию каждой группы в своей профессиональной нише, люди набрали 0,84 балла. Модели показали результат примерно на 65% выше, а рассуждающая модель OpenAI o3 достигла 1,83 — практически максимально возможного значения.
Почему LLM так легко впадают в стереотипы
По словам Райана Лью, аспиранта Принстона и соавтора исследования, опубликованного в июле на конференции ICML в Сеуле, LLM «очень охотно делают обобщения на основе ограниченных данных — ведь именно для этого их во многом и оптимизируют» (статья на OpenReview). Любой, кто принимает решения, — человек или машина — сталкивается с компромиссом между проверенной стратегией и новым подходом, который может оказаться лучше. Психологи называют это «дилеммой исследования и эксплуатации». Это как выбор между новым рестораном и любимым, где вы уже точно знаете, что вкусно.
Новые модели с reasoning ещё более предвзяты
Поскольку LLM обучаются на математических, программных и научных задачах — где умение обобщать по нескольким примерам вознаграждается, — они склонны делать поспешные выводы. Инстинкт, помогающий им решать логические головоломки, одновременно заставляет их быстро прибегать к стереотипам. В эксперименте новейшие модели с развитыми способностями к рассуждению, такие как OpenAI o3 и DeepSeek R1, демонстрировали ещё более сильную предвзятость. Как отметил Лью, когда LLM торопятся с обобщениями в социальных контекстах, «именно тогда всё идёт наперекосяк». OpenAI и Anthropic не ответили на запросы о комментариях.
Память чат-ботов усугубляет проблему
По мнению Анджелины Ванг, специалиста по компьютерным наукам из Корнеллского университета, не участвовавшей в исследовании, эти выводы особенно важны сейчас, когда чат-боты обзаводятся улучшенной памятью и функциями персонализации. Опираясь на историю предыдущих разговоров, чат-бот может «переоценивать те же модели поведения, с которыми уже сталкивался», и формировать предубеждения. Однако простое ограничение памяти не выход — пользователи хотят, чтобы чат-боты запоминали то, что им говорят. «Мы всё ещё ищем тот самый баланс, когда памяти не слишком много и не слишком мало», — поясняет Ванг.
Указания «быть справедливее» не помогли, а бонусы за разнообразие — да
Простые указания модели быть справедливой почти не повлияли на её поведение. «Либо она не способна воплотить эти ценности в действия, либо этот процесс подавляется стремлением оптимизировать цель — нанять как можно больше подходящих кандидатов», — объясняет Лью. Однако когда моделям пообещали дополнительное вознаграждение за разнообразие найма, уровень предвзятости резко снизился. Таким образом, ключ в том, чтобы формулировать цели, «включающие желательные социальные ценности, чтобы направить большую языковую модель на социально приемлемое поведение», — считает Лью.
Личная информация снижает стереотипы
Предвзятость также уменьшалась, когда моделям предоставляли больше личной информации о кандидатах. В другом эксперименте того же исследования моделям поручили расселить представителей разных этнических групп по городам Канады. Когда им сообщали данные, важные для адаптации на новом месте — возраст и уровень образования, — модели реже сегрегировали людей по этническому признаку. Но если информация была несущественной (например, цвет волос или форма татуировок), они снова начинали распределять людей, ориентируясь преимущественно на их этническую принадлежность.
Реальные риски для рынка труда
Насколько сильно ИИ-системы будут стереотипизировать соискателей в реальной жизни, пока остаётся открытым вопросом. В эксперименте модели сразу узнавали, был ли наём удачным, тогда как в реальности система, отсеивающая резюме, не получает мгновенной оценки. Компаниям могут потребоваться месяцы, чтобы понять, насколько успешен новый сотрудник. Но даже когда обратная связь поступает с задержкой, модель всё равно может сделать слишком далеко идущие выводы, которые повлияют на будущие решения о найме. Поскольку компании всё активнее используют LLM для скрининга резюме и даже проведения собеседований, способность моделей формировать предубеждения на основе собственного опыта «имеет чрезвычайно серьёзные последствия, с которыми им придётся считаться», — подчёркивает Ванг.
Новые предубеждения, которым никто не учил
По мере того как LLM учатся на опыте принимать решения о найме, выдаче кредитов или условно-досрочном освобождении, нас могут подстерегать предубеждения, которым их никто не обучал. «Эти новые виды предвзятости постоянно дают о себе знать», — заключает Лью.