Делегирование ведёт к повреждению данных
Мы вступаем в новую эру ИИ, где взаимодействие превращается в делегирование рабочих задач. Пользователи уже не просто общаются с чат-ботами, которые отвечают на вопросы: они всё чаще поручают им длительные, многоэтапные задания — от правки исходного кода до форматирования профессиональных текстов и даже ведения бухгалтерских книг. Соответственно, они доверяют ИИ-системам сохранность целостности файлов в ходе множества последовательных взаимодействий.
Однако недавнее исследование вскрыло проблему. Когда пользователи делегируют задачи большой языковой модели (LLM), та может незаметно повреждать переданные ей документы. Чтобы разобраться в причинах, авторы этой научной работы, результаты которой мы кратко излагаем, создали строгую систему оценки под названием «DELEGATE-52». Этот бенчмарк охватывает 52 профессиональные области: от юридических документов до программирования на Python, нотной записи и кристаллографии.
Исследователи протестировали 19 различных LLM с помощью умного метода симуляции по принципу «туда-обратно»: модель просили внести конкретную правку, а затем давали ровно обратную инструкцию — отменить все изменения. В идеальном сценарии модель вернула бы исходный документ в полной сохранности. Суровая реальность: даже самые продвинутые модели, такие как Gemini Pro, Claude Opus и GPT-5, способны повредить до 25% содержимого оригинального документа после 20 раундов взаимодействия; модели послабее портят почти 50%.
Давайте разберём несколько причин, по которым возникает описанное явление структурного разрушения контента. Исследователи выделили следующие факторы.
1. Накопление ошибок
Как в классической игре «испорченный телефон», мелкие ошибки, допускаемые LLM, незаметно накапливаются и постепенно становятся критическими. Одна-единственная правка может добавить несколько разрозненных локальных ошибок, но цепочка сложных изменений способна превратить проблему в снежный ком, вызывая со временем резкую деградацию документа.
2. Слабые модели удаляют, умные — галлюцинируют
В исследовании подчёркивается разительное различие в характере сбоев у разных типов моделей. Слабые модели склонны к удалению: они случайно теряют фрагменты контента, и проблема становится заметной спустя несколько итераций из-за очевидного сокращения общего объёма текста. У передовых же LLM корень проблемы не в удалении, а в искажении: они сохраняют общий «вид и ощущение» документа, даже поддерживая почти неизменным количество слов, но при этом незаметно допускают опечатки, модифицируют или подменяют фактические данные выдумками, которые звучат правдоподобно. Ирония в том, что чем умнее модель, тем сложнее обнаружить её разрушительное поведение, ведь итоговый результат на первый взгляд выглядит легитимным.
3. Перегрузка контекста и отвлекающие вложения
В условиях информационного шума — при большом объёме контекста или избыточном количестве прикреплённых документов — моделям трудно сохранять структурную целостность информации. По мере роста размера документа или включения в промт дополнительных «отвлекающих файлов» тяжесть и масштаб деградации резко возрастают: модель утрачивает контроль над точными деталями и заполняет пробелы, опираясь на предсказательную логику. Она перестаёт следовать исходному тексту, поскольку ей проще просто угадывать.
4. Значимость знакомства с предметной областью
Ещё одна причина, по которой модели склонны портить документы в сложных сценариях делегирования, связана с природой конкретной задачи и тем, насколько хорошо модель с ней знакома. Далеко не все файлы деградируют в одинаковой степени при делегировании. Согласно исследованию, LLM отлично справляются с высокоструктурированными, программными областями — такими как исходный код на Python. Но как только их просят решать чисто текстовые задачи или работать с нишевым пространственным форматированием, они быстро теряют строгое ощущение внутренней логики, необходимое для сохранения полной целостности файлов.
Помогают ли агентные расширения?
Даже когда LLM усиливают, оснащая их агентными инструментами — например, возможностью выполнять код или напрямую читать и записывать файлы, — проблема повреждения документов при делегировании никуда не исчезает. По сути, агентные надстройки не делают практически ничего для предотвращения явления, коренящегося в самой трансформерной архитектуре, лежащей в основе LLM. Необходимо переосмыслить подходы к верификации длительных ИИ-задач. До тех пор использование LLM в роли полностью автономных редакторов документов остаётся игрой с высокими ставками.