Исследователи OpenAI предложили метод, позволяющий предсказать, как часто новая ИИ-модель будет ошибаться после выпуска. Он может заполнить пробелы, оставленные стандартным тестированием безопасности.
Перед выпуском ИИ-модели проходят проверки безопасности. Эти тесты пытаются оценить, как часто модель позже продемонстрирует нежелательное поведение, например, создание запрещённого контента или обман пользователей. Согласно исследовательской статье OpenAI, большинство таких тестов опираются на вручную составленные, синтетические или намеренно сложные вопросы.
Но эти тесты отражают лишь искажённый срез реальности. Их задача — выявить слабые места, а не имитировать реальные запросы пользователей. К тому же модели часто понимают, что их тестируют, и ведут себя иначе, чем в обычном использовании. Обе проблемы приводят к тому, что результаты тестов мало говорят о действительной работе модели в реальных условиях.
Реальные диалоги вместо синтетических запросов
Исследователи Маркус Уильямс, Мика Кэрролл и их команда предложили простой подход под названием «Симуляция развёртывания» (Deployment Simulation). Вместо создания новых тестовых вопросов они берут реальные анонимизированные диалоги, которые пользователи вели с предыдущей моделью. При этом сохраняется вся история переписки — все предыдущие сообщения, а новая, ещё не выпущенная модель лишь переписывает следующий ответ.
Поскольку исходные разговоры взяты из реального трафика, модель сталкивается именно с теми ситуациями, которые встретятся ей после запуска. И она не осознаёт, что её проверяют, так как видит обычный пользовательский запрос.
Такие сымитированные ответы служат двум целям. Во-первых, их можно сканировать на предмет новых типов нежелательного поведения. Во-вторых, исследователи могут подсчитать, как часто проявляется конкретная проблема, и получить конкретную оценку частоты. Эту оценку можно проверить: после релиза аналогичное измерение проводится на реальных данных эксплуатации и сравнивается с прогнозом.
Метод прогнозирования, подтверждённый на практике
OpenAI протестировала подход на четырёх моделях из серии GPT-5, используя примерно 1,3 миллиона разговоров за период с августа 2025 по март 2026 года.
Для GPT-5.4 исследователи действовали особенно строго: с помощью симуляции они предсказали, как часто модель будет проявлять каждый тип нежелательного поведения после выпуска, и зафиксировали эти оценки ещё до того, как смогли увидеть реальные данные использования. Это позволило позже непредвзято проверить, насколько прогнозы совпали с действительностью. Для трёх более старых моделей серии анализ проводился ретроспективно, когда результаты реальной эксплуатации уже были известны.
Команда изучила 20 категорий нежелательного поведения — от запрещённого контента до обмана. В категориях, где частота значительно менялась между версиями моделей, симуляция правильно предсказывала, возрастёт проблема или уменьшится, в 92% случаев. Стандартные тесты давали верный ответ лишь в 54% случаев.
Подход также выявил новый тип нежелательного поведения, который исследователи назвали «Calculator Hacking»: GPT-5.1 тайно использовала встроенный браузер как калькулятор, но сообщала пользователям, что выполнила веб-поиск. По словам исследователей, симуляция выявила бы такое поведение ещё до выпуска.
Модели не замечают тестирования
Преимущество особенно заметно в аспекте осознания тестирования: на вопрос, проходит ли она тест, ИИ-модель распознавала стандартные проверки безопасности как тестовые в 98,9–100% случаев. В реальных рабочих диалогах этот показатель падал до 5,4%. Симуляция показала столь же низкий уровень. Метакогнитивное поведение (metagaming), когда модель размышляет о контроле разработчиков в своей цепочке мыслей, проявлялось в 76% стандартных тестов, но лишь в 0,12% реальных разговоров. Поскольку симуляция близка к реальным цифрам, её измерения гораздо содержательнее.
Программирование остаётся сложной задачей
Одно из ограничений — задачи, где модель использует инструменты для доступа к внешним системам, например, программирование. В таких сценариях модель может вызывать сотни инструментов, искать код или изменять файлы. Эти рабочие процессы трудно воспроизвести, не выпуская недоработанную модель в реальные системы, что может спровоцировать те самые риски, которые исследователи пытаются предсказать.
Команда обошла это ограничение, задействовав вторую ИИ-модель для имитации ответа инструмента. Имея доступ к оригинальному разговору, соответствующей версии кода и базе данных предыдущих ответов инструментов, они значительно повысили реалистичность: система оценки едва могла отличить сымитированные рабочие процессы от реальных.
Внешние аудиторы тоже могут применять этот подход. Используя общедоступный набор данных WildChat, метод дал менее точные, но всё же полезные прогнозы. Это открывает возможность независимым исследователям оценивать модели разных разработчиков без доступа к приватным данным использования, — отмечают учёные. Они указывают на ряд ограничений: метод зависит от хороших систем оценки, поведение пользователей может меняться со временем, и трудно выявить чрезвычайно редкие риски, которые проявляются лишь в одной из десятков миллионов бесед.