Файлы контекста должны ускорять работу кодинговых агентов. Но новые данные показывают: польза появляется только в особых ситуациях.
Ученые из ETH Zurich провели анализ и пришли к жестким выводам о популярном подходе — добавлении файлов вроде AGENTS.md. Автоматически сгенерированные такие файлы снижают шансы агентов на успех и поднимают затраты на вывод на 20% и больше.
Для эксперимента создали специальный бенчмарк из 138 заданий из 12 открытых репозиториев, где уже были файлы от разработчиков. Плюс протестировали на известном SWE-bench Lite. Проверили четыре агента — Claude Code, Codex и Qwen Code — в трех вариантах: без файла контекста, с версией от LLM и с ручной от человека.
Файлы от LLM ухудшили результаты в пяти из восьми сценариев. Ручные версии дали прирост успеха всего на 4 процентных пункта по сравнению с полным отсутствием файла.
Такие файлы не ускоряли поиск нужных файлов. А для слабой модели GPT-5.1 Mini файлы от LLM заметно увеличивали шаги до первого взаимодействия с релевантным файлом.
Больше указаний — больше нагрузки, хуже итог
Анализ поведения агентов особенно показателен. Они выполняли инструкции из файлов: чаще запускали тесты, рылись в большем числе файлов, активнее использовали инструменты репозитория. Проблема не в игнорировании — лишние требования усложняли задачу, что видно по расходу большего числа токенов на рассуждения.
Файлы контекста добавляли лишнюю нагрузку на мышление, не улучшая решение проблем. К тому же версии от LLM дублировали документацию, уже имевшуюся в репозиториях. Положительный эффект они давали только после удаления всей существующей документации.
Файлы контекста полезны, когда агенты не знают деталей
Vercel недавно проверили узкий случай: внедрение знаний о фреймворке Next.js — тип данных, которых нет в обучающих наборах. Там постоянный контекст дал явный прирост. Ученые ETH Zurich же изучали общую картину — правки багов и добавление фич в разные репозитории — и нашли почти нулевую пользу. Исследование не опровергает Vercel, а дополняет важным контекстом.
Разработчикам стоит осторожно относиться к автоматическим файлам контекста. Авторы советуют добавлять минимум ручных указаний — ссылки на инструменты или системы сборки. AGENTS.md полезен вручную, чтобы закрыть реальные пробелы в знаниях. Правда, тест охватил ограниченный набор агентов и репозиториев, так что выводы не на все случаи жизни. Но считать файлы контекста универсальным решением для улучшения агентов пока рано.