Разработчики, осваивающие новые библиотеки программирования с помощью ИИ, хуже понимают базовые принципы. Свежий эксперимент Anthropic выявил риски поспешного внедрения ИИ-помощников в повседневную работу.
Ученые из Anthropic провели исследование, где задействовали 52 разработчика преимущественно младшего уровня. У всех был опыт работы с Python не менее года, они пользовались ИИ-ассистентами, но не сталкивались с библиотекой Trio. Участников разделили на две группы случайно: первая имела доступ к ассистенту на базе GPT-4o, вторая обходилась документацией и поиском в сети. Обе группы решали две задачи на Trio максимально быстро.
После этого все прошли тест на понимание концепций. Те, кто использовал ИИ, показали результат на 17% хуже контрольной группы. При этом значительной экономии времени не вышло.
"Агрессивное внедрение ИИ в рабочие процессы, особенно в разработку софта, сопряжено с компромиссами", — отмечают исследователи Джули Шэнь и Алекс Тамкин в отчете.
Способ взаимодействия с ИИ решает, чему вы научитесь
Результаты обучения сильно зависят от того, как именно разработчики общаются с ИИ. Качественный разбор записей экранов с 51 участника показал шесть разных подходов. Три из них дали плохие итоги в тесте — от 24% до 39% правильных ответов.
Кто полностью отдавал задачи ИИ, завершал их быстрее всех, но набрал лишь 39%. Те, кто начинал самостоятельно, а потом все больше полагался на готовые решения от ИИ, показали схожий провал. Самые слабые результаты у тех, кто постоянно просил ИИ чинить ошибки, не разбираясь в них сам.
Другие три подхода сохранили хорошее усвоение материала — от 65% до 86%. Лучше всего сработало: сначала генерировать код ИИ, потом задавать точечные уточняющие вопросы. Просьбы о коде вместе с объяснениями тоже давали результат, как и использование ИИ только для вопросов по концепциям.
Много разговоров с ИИ снижает скорость работы
В отличие от прошлых работ по ИИ в программировании, здесь не нашли прироста продуктивности. Пользователи ИИ статистически не обгоняли остальных. Объяснение в качественном анализе: некоторые тратили до 11 минут чисто на общение с ассистентом, например, на составление запросов.
Лишь около 20% участников с ИИ применяли его исключительно для генерации кода. Эта подгруппа опередила контрольную по времени, но получила худшие баллы в тесте. Остальные добавляли вопросы, требовали разборов или разбирались в сгенерированном коде самостоятельно. Авторы предполагают, что ИИ даст заметный выигрыш времени на рутинных или знакомых задачах.
Данные расходятся с раньшими исследованиями, где ИИ ускорял работу. Разница в том, что те измеряли на задачах, где навыки уже были, а здесь изучали новый материал.
Ошибки ускоряют обучение — ИИ их убирает
Группа без ИИ допускала больше промахов и разбиралась с ними втрое чаще, чем с ИИ. Эти сбои заставляли глубоко анализировать код. По словам авторов, такие "болезненные застои" на проблемах помогают нарабатывать мастерство.
Самые заметные разрывы в тесте были на вопросах по отладке. Без ИИ участники чаще натыкались на специфические для Trio ошибки, вроде предупреждений о времени выполнения для неожиданных корутин. Эти случаи явно помогли освоить основы.
Квалифицированные разработчики все равно нужны
Авторы предостерегают о рисках в областях, где важна безопасность. Чтобы проверять и править код от ИИ, людям требуются крепкие навыки. Но если ИИ мешает их развивать, они могут ослабеть.
"Повышение продуктивности через ИИ не равно росту компетенций. Помощники стоит интегрировать в процессы аккуратно, чтобы не потерять возможность учиться", — подводят итог исследователи. Главное — вкладывать умственные усилия: обращаться к ИИ за концепциями или разъяснениями.
Эксперимент ограничили часовым заданием в чат-формате. Системы-агенты вроде Claude Code, где человек меньше участвует, могут усилить вред для навыков. Похожие эффекты в других сферах вроде текстов или дизайна пока не проверяли, но Anthropic уже автоматизирует их через Claude Cowork.
Интересно, что Anthropic обнародовала данные, способные подорвать спрос на свои продукты вроде Claude для работы. Такая открытость в техотрасли, особенно сейчас, встречается нечасто.