Сейчас внимание к безопасности ИИ в основном направлено на модели — их обучение и контроль. Но с ростом автономности систем фокус смещается на данные, от которых они зависят. Если поток данных разрозненный, устаревший или без должного надзора, поведение ИИ становится трудно предсказуемым.
Управление данными превращается в основу контроля таких систем. Компания Denodo работает в этой сфере, помогая организациям получать доступ и управлять информацией из разнообразных источников.
Автономные ИИ-системы выполняют задания с минимальным вмешательством человека: собирают сведения, принимают решения на их основе и запускают действия в бизнес-процессах. Проблема в том, что им требуется постоянный приток данных. В отраслях с жестким регулированием это чревато нарушениями норм. В системах, работающих с клиентами, возможны неверные выводы или ответы.
Как данные влияют на поведение ИИ
Информация часто хранится в разных системах. Крупные компании держат ее в облаках, внутренних базах данных и сервисах третьих сторон. Из-за этого возникают силосы — разные подразделения используют разные версии одних и тех же данных.
Denodo решает эту задачу, позволяя обращаться к данным без их перемещения в единое хранилище. Платформа формирует обобщенное представление информации из различных источников для приложений, в том числе ИИ-систем.
Она помогает внедрять единые правила ко всем источникам данных. Права доступа, требования к соблюдению норм и ограничения использования задаются централизованно. Платформа также поддерживает запросы к корпоративным данным со строгими структурами и политиками.
Система фиксирует все запросы данных и возвращаемые результаты, формируя полный журнал событий. Это позволяет понять, как ИИ пришел к решению, и подтвердить соответствие нормам. Команды могут отслеживать использование данных в реальном времени и замечать подозрительную активность.
Когда несколько ИИ-систем опираются на один слой управляемых данных, их выводы согласованнее, что снижает вероятность противоречий в разных частях бизнеса.
Управление в архитектуре
С распространением автономных ИИ управление применяется на разных уровнях. Управление данными лежит в основе моделей и приложений, гарантируя надежность входных сведений. Даже качественная модель даст плохие результаты на искаженных данных. Хорошее управление ими улучшает итоги работы систем даже при частичной самостоятельности.
Обсуждения ИИ все чаще касаются надзора и поведения систем. Denodo участвует в них, особенно по вопросам работы с данными и корпоративным ИИ. Ранние внедрения акцентировали возможности ИИ. Теперь важнее, как управлять ими после запуска.
От возможностей к контролю
Следующий этап развития ИИ будет зависеть не столько от новых функций моделей, сколько от умения организаций управлять окружающими системами. Управление — это не дополнение, а обязательное условие для систем, действующих самостоятельно.