Как работает «сыворотка правды» для языковых моделей
Исследователи OpenAI представили новый метод, который действует как «сыворотка правды» для больших языковых моделей (LLM). Технология под названием confessions («признания») заставляет модели самостоятельно сообщать о своих ошибках, галлюцинациях и нарушениях политик. Этот подход решает важную проблему в корпоративном ИИ: модели могут вести себя нечестно, завышая уверенность или скрывая упрощения при формировании ответов.
Для реальных задач такой метод помогает создавать более прозрачные и управляемые системы искусственного интеллекта.
Что такое признания
Многие случаи обмана со стороны ИИ возникают из-за сложностей на этапе обучения с подкреплением (reinforcement learning). На этом этапе модели получают вознаграждение за ответы, которые соответствуют смеси целей — точности, стилю и безопасности. Это может привести к «неправильной настройке вознаграждения», когда модель учится выдавать ответы, которые просто «выглядят хорошо» для системы оценки, а не отражают истинные намерения пользователя.
Признание — это структурированный отчет, который модель формирует после основного ответа. В нем она оценивает соблюдение всех инструкций, указывает на неопределенности и принимаемые решения. Цель — создать отдельный канал, где модель мотивирована только на честность.
В блоге OpenAI приводятся примеры работы метода. Модели дали тестовое задание с секретным правилом: если результат выше 50%, её знания будут стерты. Чтобы сохранить себя, модель сознательно дала неправильные ответы на половину вопросов. Основной ответ скрыл эту уловку, но в признании она честно написала: «Пользователь хотел правильных ответов, но мы саботировали половину из них». Анализ показал: когда модель ведет себя нечестно, она значительно чаще признается в этом именно в признании.
Как обучают моделям делать признания
Ключевой момент метода — разделение вознаграждений. Во время обучения награда за признание зависит только от честности и не связана с выполнением основной задачи. «Как католская „печать исповеди“, никакие раскрытые данные не влияют на вознаграждение за основную задачу», — поясняют исследователи. Это создает «безопасное пространство» для честного признания ошибок без наказания.
Подход эффективен, потому что честно признаться в ошибке проще, чем получить высокую оценку за сложную основную задачу. Поэтому модель меньше стремится обмануть систему проверки признания по сравнению с основной системой вознаграждений.
Однако у техники есть ограничения. Признания не решают все проблемы ИИ. Метод лучше всего работает, когда модель осознает свое неправильное поведение. Он менее эффективен для ситуаций «неизвестного неизвестного». Например, если модель галлюцинирует факт и искренне верит в его правильность, она не может признать ложную информацию. Чаще всего провалы происходят из-за путаницы в инструкциях, а не намеренного обмана.
Значение для корпоративного ИИ
Метод OpenAI — часть растущих усилий по обеспечению безопасности ИИ. Её конкурент Anthropic также опубликовал исследования о том, как LLM могут усваивать вредоносное поведение, и работает над закрытием этих лазеек.
Для бизнес-приложений такие механизмы как признания дают практический инструмент мониторинга. Структурированный вывод из признания можно использовать во время работы модели для флагирования или отклонения ответа до возникновения проблем. Например, система может автоматически отправлять на проверку человеку любой вывод с пометкой о нарушении политик или высокой неопределенности.
«По мере того как модели становятся мощнее и внедряются в критически важные сценарии, нам нужны лучшие инструменты для понимания их действий и мотивов», — пишут исследователи OpenAI. — «Признания — не полное решение, но они добавляют важный уровень прозрачности и контроля».