В 2022 году, когда генеративный ИИ резко набрал популярность, Руди Миллер и её однокурсники по юридическому факультету начали беспокоиться о будущем. Перед выпуском они обсуждали, как изменится рынок труда, если ИИ широко внедрят. Поэтому, выбирая специализацию, Миллер — сейчас младший ассистент в фирме Orrick — остановилась на роли литigators, то есть адвоката, представляющего клиентов в суде. Она рассчитывала, что зал суда останется сферой для людей. Пока судьи не разрешают роботам на базе ChatGPT спорить в процессах, отмечает она.
Повод для тревоги был. Казалось, что волна искусственного интеллекта вот-вот накроет юристов. В марте 2023 года исследователи объявили: GPT-4 блестяще прошёл Uniform Bar Exam. В тот же месяц отраслевой отчёт предсказал автоматизацию 44% юридической работы. Сектор правовых технологий пережил подъём — фирмы стали использовать генеративный ИИ для анализа огромных объёмов документов и составления контрактов, задач, которые обычно ложатся на младших ассистентов. Недавно фирма Clifford Chance сократила 10% лондонского штата, объяснив это ростом применения ИИ.
Однако за всей шумихой скрывается правда: большие языковые модели далеки от мышления как юристы, не говоря уже о замене. Они продолжают выдумывать ссылки на дела, путаются в неоднозначных зонах права, не справляются с рассуждениями по новым вопросам и сбиваются, пытаясь объединить данные из законов, регламентов и судебных решений. Кроме того, есть глубокие институциональные барьеры, мешающие моделям вытеснить юридические вакансии. Хотя ИИ меняет рутинные задачи профессии, конец эры юристов не близок.
Большой эксперимент
Юридическая сфера всегда славилась долгими часами и тяжёлыми нагрузками, поэтому идея сверхэффективности пришлась кстати. Фирмы тестируют универсальные инструменты вроде ChatGPT и Microsoft Copilot, а также специализированные — Harvey и CoCounsel от Thomson Reuters. Некоторые создают собственные решения на базе передовых моделей. Они проводят AI-лагеря для ассистентов и разрешают списывать на эксперименты с ИИ сотни часов. По данным American Bar Association на 2024 год, 47,8% юристов в фирмах с 500 и более адвокатами уже применяют ИИ.
Но адвокаты уверены: языковые модели ещё не умеют рассуждать на уровне, чтобы их заменить. Лукас Хейл, младший ассистент в McDermott Will & Schulte, активно использует ИИ для повседневных дел. Relativity помогает просеивать длинные документы, Microsoft Copilot — готовить ссылки на нормы. Однако с ChatGPT на сложные вопросы он получает галлюцинации, уход от темы или пустоту.
Если вопрос узкий или впервые возникает в суде — такого рода мышление инструмент не тянет, говорит он о новых правовых коллизиях.
Большая часть работы Хейла — творческое применение норм к свежим обстоятельствам. Пока ни одну задачу литigators вроде его нельзя передать ИИ-инструменту, подчёркивает он.
Эллисон Дуглис, старший ассистент в Jenner & Block, начинает исследования с языковой модели. Но дальше инструменты не ведут. Для полноценного построения аргумента в суде они не годятся, считает она. Она видела, как модели придумывают ссылки на прецеденты и лажают в неоднозначных ситуациях.
Сейчас она предпочитает работать с младшим ассистентом, а не с ИИ. Если модели не прыгнут резко вперёд, ситуация не изменится в ближайшее время.
За пределами экзамена
Юристы казались лёгкой мишенью для ИИ после успеха ChatGPT на bar exam. Но сдать тест — не значит практиковать право. Экзамен проверяет запоминание правил и применение к гипотезам, а не стратегическое мышление в реальных запутках или аргументацию в неизведанных зонах. Модели могут натаскаться на тесты, не улучшая рассуждения по-настоящему.
Новые тесты пытаются точнее оценивать реальную юридическую работу. Professional Reasoning Benchmark от ScaleAI, вышедший в ноябре, проверил топ-модели на задачах от профессионалов права и финансов. Результат: серьёзные пробелы в надёжности. Лучшая модель набрала 37% на самых сложных юридических примерах — чуть больше трети возможных баллов. Модели часто ошибались в оценках, а верные выводы строили на неполных или тёмных рассуждениях.
Инструменты пока не заменяют адвоката, утверждает Афра Фейза Акиурек, ведущий автор исследования. Хотя многие верят в хватку моделей по праву, они отстают.
Исследование опирается на другие тесты ценных задач. AI Productivity Index от Mercor, опубликованный в сентябре и обновлённый в декабре, выявил серьёзные ограничения в юридической работе. Лучшая модель набрала 77,9% — удовлетворила около четырёх из пяти критериев. Такой уровень может приносить ценность в одних отраслях, но в праве, где ошибки дороги, бесполезен, отмечали авторы ранней версии.
Профессиональные бенчмарки — шаг вперёд, но не полностью отражают будни юристов. Эти вопросы сложнее прошлых, но не дотягивают до субъективных вызовов реальной жизни, говорит Джон Чой, профессор права в Университете Вашингтона, соавтор исследования 2023 года по бенчмаркам.
В отличие от математики или кодинга, где модели шагнули далеко, юридическое мышление трудно даётся. Право — это хаос реальности с неоднозначностью и субъективностью, без единого верного ответа, объясняет Чой. К тому же многое не записано для обучения, а документы растягиваются на сотни страниц в иерархии законов, правил и решений.
Но главная проблема — языковые модели не учат мыслить как юристы. Они не рассуждают по-человечески, отмечает Джулиан Ньярко, профессор права в Stanford Law School. Возможно, им не хватает модели мира — способности моделировать сценарий и прогнозировать исход, что лежит в основе сложных юридических выводов. Текущий подход с предсказанием следующего слова заводит в тупик.
Работы никуда не деваются
Несмотря на первые сигналы влияния ИИ на новичков, статистика занятости не показывает вытеснения юристов. 93,4% выпускников 2024 года устроились на работу за 10 месяцев — рекорд, по данным National Association for Law Placement. Число работающих в фирмах выросло на 13% с 2023-го.
Фирмы не спешат сокращать штат. Мы пока не уменьшаем численность, говорит Эми Росс, глава по подбору адвокатов в Ropes & Gray.
Впереди изменения будут постепенными. Ожидаю влияние на рынок труда юристов, но не радикальное, прогнозирует экономист MIT Мерт Демирер. ИИ поможет в поиске и суммировании информации, но для сложных задач низкая толерантность права к рискам и текущие возможности ИИ оставляют их за людьми.
Модели не готовы вытеснять младших ассистентов, а институциональные барьеры тоже играют роль. Рост производительности сокращает оплачиваемые часы, подрывая модель бизнеса фирм. Ответственность велика, клиенты хотят человека в деле, а правила могут ограничить использование технологий.
Всё же, когда ИИ заберёт часть задач ассистентов, фирмам придётся менять обучение. Если рутины не хватит, нужен формальный подход вместо ученичества, считает Итан Моллик, профессор менеджмента в Wharton School Университета Пенсильвании.
Зак Коугер, младший ассистент в McDermott Will & Schulte, теперь использует ChatGPT для разбора стопок контрактов вместо ручного чтения. Вернуться к старому он не хочет, но беспокоится о пробелах. Я боюсь, что не набираю те же навыки, что старшие адвокаты в своё время — повторяющуюся практику начала карьеры. С другой стороны, приятно иметь под рукой полузнающего эксперта для вопросов, не отвлекая занятого партнёра.
Хотя апокалипсис вакансий кажется далёким, неопределённость гложет. В последнее время Коугер засиживается допоздна, размышляя, не последний ли он класс ассистентов в больших фирмах: может, это финальный рейс.