Искусственный интеллект переживает бум. Ежедневно появляются новые сценарии его применения. Чтобы реализовать потенциал технологии, компаниям нужны данные в больших объёмах. Однако часто нужная информация оказывается заблокированной или неструктурированной, что ограничивает её использование ИИ-моделями. Чтобы понять эту проблему, вспомните, как устроена сама Сеть. Интернет изначально не проектировался для автоматического поиска и извлечения данных, которые требуются современным ИИ-приложениям. Преодоление этого фундаментального ограничения требует создания специальной инфраструктуры.
Следующий этап развития ИИ может зависеть от появления нового инфраструктурного слоя веб-данных, который позволит моделям обнаруживать и картографировать постоянно расширяющуюся цифровую вселенную. Такой слой должен уметь работать с сотнями миллионов существующих доменов и миллиардами новых URL, появляющихся каждую неделю, предоставляя информацию в реальном времени и преодолевая технические барьеры.
«Данные показывают, что информации гораздо больше, чем мы думаем, — говорит Ор Ленчнер, генеральный директор платформы для сбора веб-данных Bright Data. — Вселенная: она существует, но вы не знаете того, чего не знаете».
Как получить доступ к актуальным, релевантным и проверенным данным
Если первые прорывы ИИ были связаны с масштабированием объёмов обучающих данных и размеров моделей, то сегодня организации сталкиваются с принципиальным узким местом: им необходимо успевать за динамичной, неструктурированной и постоянно меняющейся природой веб-данных, чтобы подкреплять свои выводы актуальной и проверяемой информацией. Эффективность ИИ всё больше зависит не только от архитектуры модели, но и от возможностей системы в плане вычислений, сетевого взаимодействия, поиска информации и инжиниринга данных — то есть от способности быстро и надёжно находить свежие, релевантные и заслуживающие доверия данные.
Традиционное обучение моделей опирается на «снимки» информации, собранной в определённый момент. Обучать ИИ на статичных данных уже недостаточно. Чтобы отслеживать колебания — например, цены конкурентов, настроения потребителей и рыночные тренды, — компаниям нужен постоянный поток свежей информации, извлекаемой в реальном времени с учётом контекста. Следовательно, их инфраструктура должна справляться с миллионами одновременных взаимодействий с сайтами, различающимися по географии, языку, формату и правилам доступа.
«Если система не может получать данные в режиме реального времени, ей не хватает контекста, — объясняет Ленчнер. — В бизнес-среде это уже неприемлемо. Устаревшие ответы ведут к плохим решениям и разочарованным клиентам».
Скорость — это не просто удобство, а насущная необходимость. Сегодня организации работают в условиях, где цены, запасы, рыночная ситуация, угрозы безопасности и поведение клиентов меняются непрерывно. Задержка в получении данных способна снизить полезность даже самой продвинутой модели.
Использование живых, качественных веб-данных также снижает риск галлюцинаций ИИ, поскольку модель опирается на более актуальную базу знаний. Это укрепляет доверие пользователей. Согласно одному опросу, 56% специалистов по ИИ заявили, что бизнесу необходим доступ к веб-данным в реальном времени для повышения доверия к результатам работы ИИ. Чтобы модель работала эффективно и результативно, информацию также нужно очищать, оставляя только нужное.
Несмотря на появление retrieval-augmented generation (RAG) — метода, при котором модели обращаются к внешним данным во время запроса, — многие ИИ-системы по-прежнему с трудом выдают актуальные, контекстуально уместные и достоверные результаты в реальных условиях. По прогнозам Gartner, 60% ИИ-проектов, не имеющих в основе «готовых к ИИ» данных — точных, структурированных, организованных и контекстуализированных, — будут закрыты к концу года.
Причина в том, что одно лишь масштабное извлечение данных не решает проблему. Как говорит Ленчнер: «Нужно извлекать данные в большом объёме и одновременно в реальном времени. Задержка становится критичной, ведь конечный пользователь ждёт результата».
Получение свежих и готовых к использованию в ИИ данных в больших масштабах сопряжено с техническими и структурными трудностями. На практике многие корпоративные системы комбинируют сбор открытых веб-данных с API, лицензированными наборами данных и внутренней проприетарной информацией. Интеграция этих разрозненных источников в своевременный и пригодный для использования слой знаний требует специализированных решений. Согласно исследованию, 97% организаций, работающих с ИИ, зависят от инфраструктуры веб-данных в реальном времени, но 90% чувствуют себя скованными различными ограничениями. Всё больше организаций разрабатывают технические методы для преодоления этих барьеров.
Ленчнер предлагает метафору: «Представьте обученную модель как интеллект, а релевантные данные — как знания. Мощный интеллектуальный слой, опирающийся на пустой слой знаний, подобен гению, который ничего не знает, — на практике он бесполезен. Интеллект и знания должны идти рука об руку».
Перспективы новой инфраструктуры
Новый инфраструктурный слой веб-данных способен удовлетворить растущую потребность в более качественных входных данных для ИИ за счёт обеспечения обнаружения информации, доступа в реальном времени и адаптации под конкретный контекст. Как объясняет Ленчнер: «Главное — собирать данные в масштабе, с минимальной задержкой и без блокировок».
Вместо того чтобы полагаться на рост вычислительных мощностей, платформа такого типа имитирует поведение обычного пользователя в браузере, чтобы получать доступ к общедоступному контенту и преобразовывать исходный код в структурированные потоки данных. Она способна работать с сайтами, которые могут быть недоступны для традиционных инструментов сбора данных, — например, с ресурсами, активно использующими JavaScript, или с агрессивной защитой от ботов.
Как поясняет Ленчнер: «По сути, это инфраструктура, которая может имитировать веб-пользователя со всеми идентифицирующими параметрами — IP-адрес, местоположение и ещё тысяча других. И всё это в масштабе. Представьте: 80 миллиардов раз в день для миллионов сайтов. И каждый раз вы выглядите именно так, как сайт ожидает увидеть».
Разумеется, непрерывный сбор данных порождает новые задачи в области управления данными. Для их решения платформы могут обеспечивать строгое соблюдение требований глобальных норм конфиденциальности, таких как Общий регламент ЕС о защите данных (GDPR) и Калифорнийский закон о защите прав потребителей (CCPA). Их использование также может ограничиваться только открыто доступной публичной информацией, без проникновения за пейволлы или закрытые логины. Любые используемые сети проходят проверку и основаны на согласии, а владельцы IP-адресов могут получать вознаграждение. Таким образом, системы можно спроектировать так, чтобы они соответствовали ужесточающемуся регулированию.
Такие сложные возможности не даются легко. «Когда это становится критически важной инфраструктурой для компании, — говорит Ленчнер, — самостоятельная разработка превращается в полноценную инженерную задачу, которая конкурирует с основной работой над ИИ». Решение этой проблемы требует выделения значительных ресурсов, поэтому многие организации обращаются к специализированным платформам, разработанным специально для сбора, оркестрации и мониторинга данных.
Инфраструктура для реального мира
Извлечение данных в реальном времени меняет то, на что способны ИИ-системы внутри организаций. Например, розничная компания может использовать публичную информацию для запуска механизма динамического ценообразования, а глобальные бренды — отслеживать нарушения прав на товарные знаки.
По мере зрелости экосистемы организации, инвестирующие в этот формирующийся инфраструктурный слой данных, будут лучше подготовлены к созданию ИИ-систем, которые более отзывчивы, надёжны и соответствуют реальной обстановке — ИИ-систем, способных непрерывно адаптироваться, используя актуальные веб-данные. Со временем различие между ИИ-моделями и инфраструктурой, которая их питает, может начать стираться.
Как говорит Ленчнер: «Мир меняется. И всё, что происходит в мире, выкладывается в открытую Сеть. Объём новых генерируемых данных растёт и ускоряется».