Искусственный интеллект обходит биозащитные системы
Команда Microsoft заявила, что использовала искусственный интеллект для обнаружения уязвимости нулевого дня в системах биобезопасности, предназначенных для предотвращения неправомерного использования ДНК.
Эти системы скрининга созданы для остановки покупки генетических последовательностей, которые могут быть использованы для создания смертельных токсинов или патогенов. Однако исследователи под руководством главного научного сотрудника Microsoft Эрика Хорвица утверждают, что им удалось обойти защиту способом, ранее неизвестным защитникам.
Научная публикация и методы исследования
Работа команды была опубликована в журнале Science.
Хорвиц и его команда сосредоточились на генеративных алгоритмах ИИ, которые предлагают новые формы белков. Такие программы уже используются в поиске новых лекарств в хорошо финансируемых стартапах, таких как Generate Biomedicines и Isomorphic Labs, дочерней компании Google.
Проблема заключается в том, что такие системы потенциально являются «двойного назначения». Они могут использовать свои обучающие наборы для генерации как полезных молекул, так и вредных.
Microsoft начала тестирование «красной команды» двойного потенциала ИИ в 2023 году, чтобы определить, может ли «враждебный дизайн белков с помощью ИИ» помочь биотерористам производить вредные белки.
Как работают системы биобезопасности
Защита, которую атаковала Microsoft, известна как программное обеспечение для биобезопасного скрининга. Для производства белка исследователям обычно необходимо заказать соответствующую последовательность ДНК у коммерческого поставщика, которую затем можно установить в клетку. Эти поставщики используют программное обеспечение для скрининга, чтобы сравнивать входящие заказы с известными токсинами или патогенами. Близкое совпадение вызовет предупреждение.
Методы атаки с использованием ИИ
Для разработки своей атаки Microsoft использовала несколько генеративных моделей белков (включая собственную под названием EvoDiff) для перепроектирования токсинов — изменения их структуры таким образом, чтобы они могли проскользнуть мимо программного обеспечения для скрининга, но при этом сохраняли свою смертельную функцию.
Исследователи утверждают, что упражнение было полностью цифровым, и они никогда не производили никаких токсичных белков. Это было сделано для избежания восприятия, что компания разрабатывает биологическое оружие.
Перед публикацией результатов Microsoft сообщила правительству США и производителям программного обеспечения, которые уже исправили свои системы, хотя некоторые молекулы, разработанные ИИ, все еще могут избежать обнаружения.
Неполные исправления и гонка вооружений
«Исправление неполное, и состояние искусства меняется. Но это не разовое мероприятие. Это начало еще большего тестирования», — говорит Адам Клор, директор по технологическим исследованиям и разработкам в Integrated DNA Technologies, крупном производителе ДНК, который является соавтором отчета Microsoft. «Мы находимся в своего рода гонке вооружений».
Чтобы убедиться, что никто не злоупотребляет исследованием, исследователи заявляют, что они не раскрывают часть своего кода и не раскрыли, какие токсичные белки они попросили ИИ перепроектировать. Однако некоторые опасные белки хорошо известны, такие как рицин — яд, содержащийся в касторовых бобах, — и инфекционные прионы, которые являются причиной коровьего бешенства.
Необходимость усиления мер безопасности
«Это открытие в сочетании с быстрыми advances в биологическом моделировании с помощью ИИ демонстрирует явную и срочную необходимость усиления процедур скрининга синтеза нуклеиновых кислот в сочетании с надежным механизмом enforcement и verification», — говорит Дин Болл, сотрудник Foundation for American Innovation, аналитического центра в Сан-Франциско.
Болл отмечает, что правительство США уже считает скрининг заказов ДНК ключевой линией безопасности. В мае прошлого года в исполнительном порядке по безопасности биологических исследований президент Трамп призвал к общей переработке этой системы, хотя до сих пор Белый дом не выпустил новых рекомендаций.
Альтернативные взгляды на биобезопасность
Другие сомневаются, что коммерческий синтез ДНК является лучшей точкой защиты от злоумышленников. Майкл Коэн, исследователь безопасности ИИ в Калифорнийском университете в Беркли, считает, что всегда будут способы замаскировать последовательности, и что Microsoft могла бы сделать свой тест более сложным.
«Вызов кажется слабым, и их исправленные инструменты часто терпят неудачу», — говорит Коэн. «Кажется, есть нежелание признать, что скоро нам придется отступить от этой предполагаемой точки choke, поэтому мы должны начать искать ground, которую мы действительно можем удержать».
Коэн говорит, что биобезопасность, вероятно, должна быть встроена в сами системы ИИ — либо напрямую, либо через controls над информацией, которую они предоставляют.
Практический подход к обнаружению угроз
Но Клор говорит, что мониторинг синтеза генов по-прежнему является практическим подходом к обнаружению биологических угроз, поскольку производство ДНК в США доминируют несколько компаний, которые тесно сотрудничают с правительством. Напротив, технология, используемая для создания и обучения моделей ИИ, более распространена. «Вы не можете вернуть этого джинна в бутылку», — говорит Клор. «Если у вас есть ресурсы, чтобы попытаться обмануть нас, чтобы сделать последовательность ДНК, вы, вероятно, можете обучить большую языковую модель».
Таким образом, исследование Microsoft подчеркивает необходимость постоянного совершенствования мер биобезопасности в эпоху быстро развивающегося искусственного интеллекта, где технологии создания угроз и защиты от них находятся в постоянном противоборстве.