Опыт создания глубокого исследовательского агента
В процессе полной реализации глубокого исследовательского агента наиболее неожиданным оказалось, насколько легко такая система допускает ошибки. Цикл "генерация запроса → поиск → размышление → повтор" кажется идеальным в теории, но на практике быстро выходит из-под контроля. Шуай Го выделяет две ключевые проблемы. Во-первых, периодически агент путает полученную информацию с знаниями, полученными во время предобучения. Это нежелательно, поскольку цель заключается в том, чтобы большие языковые модели синтезировали данные и выявляли пробелы в знаниях, полностью опираясь на веб-поиск для обоснования ответов.
Вторая проблема, которая постоянно вызывает трудности, связана с загрязнением информации, когда поиск возвращает похожий контент, а модель воспринимает его как точный ответ на запрос. Например, при тестировании на конкретном отчете об ошибке (скажем, issue #4521 в кодовой базе) поиск мог выдать материалы по issue #4522 и смешать их симптомы, словно это одна и та же проблема.
Помимо этих основных трудностей, возникали сложности с обработкой противоречивой информации и определением достаточности для завершения исследования. Ни одна из этих проблем не решается простым увеличением количества результатов поиска или итераций.
Главный вывод состоит в том, что защитные механизмы не менее важны, чем архитектура агента, если цель — перейти от демонстрации к производственной системе. Подход "разработка на основе тестирования" здесь идеален: сначала определить, что значит "хорошо", а затем строить систему. В следующий раз Шуай Го начал бы с установления четких правил, а потом адаптировал бы архитектуру агента под эти ограничения.
Распределение задач между аналитическим ИИ и агентами
Аналитический ИИ, включающий SQL, бизнес-аналитику и классическое машинное обучение, обеспечивает воспроизводимость и числовую точность. Агенты на базе больших языковых моделей excels в обработке неструктурированного контекста, интерпретации результатов и общении с людьми. При распределении задач Шуай Го предпочитает аналитический ИИ для количественно ориентированных процессов, а для качественных — таких как синтез, повествование или суждения — выбирает большие языковые модели и агентов.
Рассмотрим пример системы прогнозирования оттока клиентов, которая обычно состоит из двух этапов: выявления клиентов под риском и действий по их удержанию. На первом этапе для маркировки рискованных клиентов аналитический ИИ используется для создания информативных признаков, обучения моделей градиентного бустинга на исторических данных поведения и расчета вероятностей оттока с помощью обученных моделей. Кроме того, проводится анализ SHAP для получения оценок важности признаков и объяснения предсказаний. Каждый шаг точен, воспроизводим, и существует множество проверенных практик для достижения надежных результатов.
Затем наступает интересная часть: как использовать эти предсказания на практике? Здесь агенты на базе больших языковых моделей берут верх. Они могут составлять персонализированные emails по удержанию, опираясь на историю клиента, предлагать релевантные функции продукта, которые клиент еще не пробовал, и корректировать тон в зависимости от предыдущих тикетов поддержки. Здесь нет математики — только контекстуально умное общение.
Ключевой навык для успеха в эру развитых ИИ-инструментов
Системное мышление.
Для Шуая Го системное мышление подразумевает разбор систем на компоненты, анализ взаимодействия между ними, определение точек передачи, выявление петель обратной связи и оценку последствий изменений в одном элементе на другие.
Этот навык был освоен в университете, где он специализировался на аэрокосмической инженерии с акцентом на проектирование авиационных двигателей. Реактивные двигатели характеризуются тем, что все элементы влияют друг на друга, и изучение этого предмета развило три привычки: декомпозицию системы, определение четких интерфейсов и учет эффектов связанности.
Хотя ИИ-инструменты становятся мощнее — например, улучшаются ассистенты для кодирования, эффективнее становятся конвейеры RAG или большие языковые модели с расширенным контекстом — прогресс часто ограничивается узкими областями. Вместо погони за новейшими инструментами и их принудительной интеграции в текущую работу, системное мышление позволяет сосредоточиться на общей картине. Для приложений на базе больших языковых моделей Шуай Го всегда начинает с наброска компонентов, определения взаимодействий и входов/выходов, добавления проверок и защитных механизмов, а затем замены компонентов по мере улучшения инструментов.
В сущности, создание приложений на базе больших языковых моделей напоминает проектирование реактивных двигателей: новые технологии приходят и уходят, но прочная системная архитектура накапливает ценность.
Что меняется слишком быстро и слишком медленно в data science и ИИ
Многоагентные системы ИИ — одно из самых динамичных направлений, развивающееся с огромной скоростью. Регулярно появляются впечатляющие демонстрации, будь то ассистенты для кодирования или исследования, а также новые открытые фреймворки, упрощающие создание собственных многоагентных приложений. Все это вдохновляет. Однако возникает вопрос: не продвигаем ли мы эти сложные системы быстрее, чем понимаем их поведение в реальных условиях?
Здесь виден разрыв: слой обеспечения надежности для многоагентных систем развивается недостаточно быстро. Чтобы преодолеть эту проблему, многоагентные системы следует рассматривать как любые другие промышленные системы. В производственной отрасли распространена практика применения формальных методов верификации и валидации для гарантии безопасности и надежности.