Введение
Чтобы извлечь пользу из Data Science и ИИ, необязательно становиться специалистом по работе с данными. Однако важно понимать, на что эти технологии способны, где они могут дать сбой и как правильно оценивать их результаты.
Наблюдения показывают, что люди часто начинают с технологий, а не с задачи. Они хотят обучить модель, внедрить чат-бота или создать ИИ-приложение до того, как определят, какое решение пытаются улучшить.
Большинству профессионалов не нужно в совершенстве владеть алгоритмами. Гораздо важнее развить грамотность в области данных и ИИ, чтобы задавать правильные вопросы, подвергать сомнению ненадёжные результаты, понимать ограничения систем и принимать обоснованные решения.
В статье собраны идеи из интервью с Иавором И. Боджиновым, доцентом кафедры делового администрирования Гарвардской школы бизнеса, а также практические наблюдения. Боджинов совместно ведёт онлайн-курсы HBS «ИИ для лидеров» и «Data Science и ИИ для принятия решений».
Начинайте с бизнес-решения
Прежде чем обращаться к ИИ, определите, какое именно решение вы хотите улучшить.
Формулировка «Мы хотим использовать ИИ для клиентской аналитики» слишком размыта. Гораздо конкретнее звучит так: «Мы хотим выявлять клиентов, которые могут уйти, чтобы служба удержания могла с ними связаться».
Это связывает модель с измеримым результатом и реальным бизнес-действием. Даже самая продвинутая система бесполезна, если она не улучшает то решение, ради которого создавалась.
Боджинов придерживается схожей позиции: к ИИ следует относиться как к источнику информации для принятия решений, а не как к замене экспертного суждения. Специалистам необходимо знать его возможности и ограничения, проверять его рекомендации и стремиться к улучшению бизнес-результатов, а не внедрять ИИ ради самого ИИ.
В интервью для HBS Online «Внедрение ИИ, доверие и принятие решений» Боджинов также поясняет, что успех внедрения ИИ зависит от уровня доверия и от того, насколько продуманно организации вводят и масштабируют такие системы.
Перед запуском любого ИИ-проекта стоит ответить на четыре вопроса: какую проблему он решит, кто будет использовать результаты, какие действия последуют и как измерять успех.
Сначала поймите данные
Когда начинается проект в области Data Science, не стоит сразу обучать модель. Сначала необходимо изучить данные.
Разведочный анализ данных (EDA) позволяет понять структуру, качество, распределения и взаимосвязи в наборе данных. Он помогает обнаружить пропущенные значения, дубликаты, несогласованные категории, аномалии и возможные предвзятости.
Эти проверки необходимы, потому что метрика точности сама по себе может вводить в заблуждение.
Предположим, уходят лишь 5% клиентов. Модель, которая всегда предсказывает, что клиент останется, будет точна в 95% случаев, но не выявит ни одного клиента из группы риска.
Поэтому профессионалам следует спрашивать, отражает ли метрика реальную бизнес-цель, а не полагаться на один эффектный показатель.
В недавней статье HBS Online «Подготовка данных для вашей ИИ-модели: важность и лучшие практики» также подчёркивается, что качество модели напрямую зависит от качества данных. В материале рассматриваются очистка, дополнение, трансформация и организация данных перед разработкой модели.
Тщательная подготовка данных
Реальные данные редко бывают готовы для машинного обучения.
Подготовка данных включает обработку пропусков, исправление форматов, удаление дубликатов, преобразование категорий, отбор полезных признаков и разделение данных на обучающую и тестовую выборки.
Также важно понимать источник данных, способ их сбора, каких данных не хватает и не привнесли ли прошлые решения скрытую предвзятость.
Практика показывает, что улучшение качества данных зачастую приносит больше пользы, чем замена простого алгоритма на более сложную модель.
Модель учится на предоставленной информации. Если данные неполны, устарели, противоречивы или содержат перекосы, результаты также окажутся ненадёжными.
Даже лучшие технологии не способны полностью компенсировать плохие данные.
Выбирайте самую простую работающую модель
Лучшая модель — не всегда самая новая, масштабная или дорогая.
Для структурированных бизнес-данных — например, записей о клиентах, транзакций, истории продаж или операционных данных — регрессионная модель или дерево решений могут быть уместнее, чем универсальная большая языковая модель (LLM).
При этом они будут быстрее, дешевле, проще в объяснении и мониторинге.
Языковые модели хороши для задач, связанных с текстом: резюмирование, извлечение информации, создание черновиков или анализ отзывов. Для прогнозирования, классификации и табличных данных традиционное машинное обучение часто предпочтительнее.
Перед выбором модели сравнивают прогнозную точность, затраты на обучение и инференс, скорость, масштабируемость, объяснимость, требования к поддержке и цену ошибок.
Немного более точная модель не всегда лучше, если она значительно дороже, сложнее для объяснения или трудна в обслуживании.
Цель не в том, чтобы применить самый продвинутый ИИ, а в том, чтобы найти наиболее надёжное и экономически оправданное решение под конкретную задачу.
Проверяйте, прежде чем доверять
Успешная работа модели на этапе разработки не гарантирует столь же хороших результатов в реальных условиях.
Модель нужно оценивать на данных, не участвовавших в обучении или отборе. Оценочные данные также должны отражать реальных клиентов, рыночные условия и среду, в которой модель будет применяться.
Проверка качества должна продолжаться и после внедрения. Поведение клиентов меняется, рынки трансформируются, пайплайны обработки данных ломаются, а зависимости, которые раньше работали, могут терять актуальность.
Боджинов называет слабую валидацию и тестирование типичной ошибкой. Когда организации внедряют модели без должной проверки, возникает риск излишней самоуверенности в получаемых результатах.
Специалистам стоит задавать вопросы: как тестировалась модель, какие ошибки она допускает, репрезентативны ли данные для проверки и как будет отслеживаться её работа в будущем.
Доверие должно опираться на доказательства, а не на внешнюю продвинутость или самоуверенность системы.
Превращайте клиентскую аналитику в действия
Клиентская аналитика должна быть чем-то большим, чем просто дашборд.
Дашборд показывает, что произошло. Предиктивная модель может предсказать, что случится дальше. Эксперимент же помогает определить, какие действия следует предпринять.
Прогноз оттока ценен лишь тогда, когда у компании есть реалистичная стратегия удержания. И необходимо измерить, сработало ли вмешательство.
Также важно не путать корреляцию с причинно-следственной связью. Признак, который коррелирует с оттоком, не обязательно является его причиной.
Здесь на первый план выходит экспериментальное мышление. Вместо предположений организации должны проводить тесты, измерять результат и делать выводы на основе данных.
Цель — не генерировать больше прогнозов, а принимать более качественные решения.
Относитесь к языковым моделям как к ассистентам
Большие языковые модели сделали ИИ значительно доступнее. Их регулярно применяют для написания кода, исследований, улучшения грамматики, резюмирования информации, генерации идей и обучения новому.
Они помогают работать быстрее и осваивать незнакомые темы. Однако уверенный и грамотный язык не равнозначен фактической точности.
LLM могут неверно интерпретировать контекст, опираться на устаревшие данные, выдумывать источники, генерировать ошибочный код или упускать из виду уязвимости. Руководство HBS Online «Что такое большие языковые модели и как они работают?» даёт общее представление, которое пригодится деловым специалистам перед началом работы.
Не стоит слепо доверять результатам. Важно перепроверять сгенерированный контент, верифицировать ключевые утверждения, анализировать написанный код, тестировать его корректность и искать уязвимости.
К LLM следует относиться как к ассистенту, а не как к непререкаемому авторитету. Чем выше ставки, тем тщательнее нужно проверять созданные им материалы.
Сохраняйте участие человека в принятии решений
По мнению Боджинова, грамотность в области данных, экспериментальное мышление и способность критически оценивать результаты ИИ будут приобретать всё большую ценность по мере распространения этих инструментов.
Профессионалам не нужно становиться экспертами по ИИ, но необходимо развить достаточное понимание, чтобы задавать правильные вопросы, интерпретировать доказательства, распознавать слабые или ненадёжные результаты и понимать, когда ответу можно доверять.
Выпуски подкаста Parlor Room от HBS Online — «Как профессионалам в середине карьеры лидировать и расти вместе с ИИ» и «Советы для начинающих: как развивать экспертизу и навыки работы с ИИ» — рассматривают, как соединять ИИ-грамотность с предметными знаниями и почему важно строить глубокую экспертизу, одновременно учась продуктивно сотрудничать с ИИ.
В итоге выделятся те специалисты, которые смогут сочетать техническое понимание с отраслевыми знаниями и здравым деловым чутьём.
Заключительные мысли
Многие компании спешат внедрять ИИ повсюду, боясь отстать. В результате они несут значительные расходы на API, инфраструктуру, обучение и поддержку, не задавшись сначала вопросом, действительно ли ИИ — оптимальное решение.
Ажиотаж, скорее всего, со временем утихнет.
Компании поймут, где ИИ действительно приносит пользу, где незаменимы люди, а где достаточно более простого и дешёвого подхода.
Успешные проекты в области Data Science и ИИ стартуют не с новейшей модели. Они начинаются с чёткой проблемы, качественных данных, адекватной оценки, реальных затрат и плана по превращению результатов в действия.
Цель — не в том, чтобы использовать ИИ везде. А в том, чтобы делать это осмысленно, тщательно проверять результаты и применять там, где он действительно улучшает решения.