Безопасность ИИ-систем сегодня и завтра
Данные из электронной книги "AI Quantum Resilience", выпущенной компанией Utimaco, свидетельствуют: организации называют риски безопасности главным препятствием для полноценного внедрения ИИ на своих данных.
Ценность ИИ напрямую связана с данными, накопленными компанией. Но создание моделей и их обучение на этих данных несет угрозы безопасности. Эти опасности дополняют известные риски для интеллектуальной собственности на этапе вывода результатов, например, при работе с промтами.
Авторы книги подчеркивают: нужно контролировать угрозы на всех этапах разработки и внедрения ИИ. При этом компании обязаны обновить протоколы защиты, особенно с учетом будущей доступности инструментов дешифровки на базе квантовых компьютеров для злоумышленников.
Utimaco выделяет три ключевые зоны риска:
- данные для обучения могут подвергнуться манипуляциям со стороны атакующих, что ухудшит качество моделей незаметным образом;
- модели можно скопировать или извлечь, что подорвет права на интеллектуальную собственность;
- чувствительная информация, задействованная при обучении или выводе, рискует утратой конфиденциальности.
По мнению авторов отчета, существующая криптография с открытым ключом устареет в ближайшие десять лет — как раз тогда, когда появятся мощные квантовые системы. Независимо от сроков, организованные группы уже собирают зашифрованные данные для хранения и последующей дешифровки при наличии квантовых мощностей. Поэтому любые наборы данных с долгосрочной чувствительностью — от материалов для обучения моделей до финансовых записей или интеллектуальной собственности — требуют защиты от будущих взломов, считает Utimaco.
Переход на криптографию, устойчивую к квантовым атакам, затронет протоколы, управление ключами, совместимость систем и производительность, поэтому процесс займет несколько лет. Эксперты советуют внедрять крипто-гибкость — возможность менять алгоритмы шифрования без перестройки базовых систем. Это достигается за счет гибридной криптографии, сочетающей проверенные методы с постквантовыми, рекомендованными NIST.
Авторы книги согласны: криптография сама по себе не решает все проблемы. Они рекомендуют аппаратные устройства доверия, которые изолируют криптоключи и чувствительные операции от обычной среды.
Если компания разрабатывает собственные ИИ-инструменты и процессы, защита должна охватывать весь жизненный цикл ИИ — от загрузки данных до обучения, развертывания модели и вывода в продакшене. Аппаратные ключи для шифрования данных и подписи моделей генерируются и хранятся в защищенной зоне. Целостность модели проверяется перед запуском, а чувствительные данные на этапе вывода остаются под охраной.
Аппаратные анклавы изолируют задачи так, что даже администраторы с высокими правами не смогут добраться до обрабатываемых данных. Модули подтверждают доверенное состояние анклава перед выдачей ключей — это внешняя аттестация, которая формирует цепочку доверия от аппаратной части до приложения.
Аппаратное управление ключами создает защищенные от подделок логи доступа и операций, что помогает соответствовать требованиям вроде EU AI Act.
Большинство рисков для ИИ-систем уже известны и даже эксплуатируются. Угроза от квантовых компьютеров, способных взломать сегодняшние шифры, менее срочна, но уже влияет на выбор данных и инфраструктуры, отмечает Utimaco. Компания предлагает:
- усилить контроль на всех этапах разработки и развертывания ИИ;
- внедрить крипто-гибкость для плавного перехода к постквантовой защите;
- использовать аппаратные механизмы доверия для активов высокой ценности.