Ограниченное декодирование: как гарантировать правильный вывод от LLM

Введение

Практическое ограниченное декодирование, также известное как структурированная генерация или управляемое декодирование, — это инженерный подход, который заставляет большую языковую модель (LLM) выдавать текст, строго соответствующий заданной схеме данных, грамматике или регулярному выражению на этапе выбора токенов.

После прочтения этого руководства вам больше не придётся умолять модель «вывести валидный JSON без лишних пометок». Ограниченное декодирование делает математически невозможным выход за рамки определённых правил.

Как работает практическое ограниченное декодирование?

Обычная генерация LLM — это «акт веры»: вы передаёте промт, и модель, возможно, выдаст то, что вам нужно (а возможно, и нет). Ограниченное декодирование действует иначе. Оно рассматривает промт и генерацию текста как единую чередующуюся программу. Это позволяет зафиксировать определённые символы, критичные для соблюдения синтаксиса, а модели — «заполнить пробелы» между ними.

Чуть подробнее: когда LLM генерирует следующий токен, она сначала вычисляет вектор «сырых» оценок — логитов — для каждого возможного токена в словаре (обычно тысячи вариантов). Но при ограниченном декодировании до начала инференса строится конечный автомат (finite state machine) по целевому ограничению — например, через модель Pydantic на Python. На каждом шаге генерации автомат оценивает текущее состояние и выдаёт список допустимых следующих токенов. Этот белый список накладывается как маска на вектор логитов модели: для токенов вне списка значение логита принудительно устанавливается в «минус бесконечность» (-inf в Python).

После маскирования модель продолжает обычную нормализацию softmax и сэмплирование (с учётом параметров temperature, top-p или top-k) на «уцелевших» токенах, чтобы выбрать наиболее вероятный из допустимых.

Так как словарь LLM статичен, современные библиотеки предкомпилируют его до того, как пользователь начнёт вводить промт. Конечный автомат не перебирает весь словарь заново, и задержка сводится к минимуму.

Золотым стандартом для реализации ограниченного декодирования считается библиотека outlines. Она позволяет передавать Pydantic-модели, JSON-схемы или регулярные выражения прямо обёрнутой версии предобученной модели, ограничивая свободу её вывода.

Пример

Рассмотрим пример. Сначала установите outlines:

pip install outlines[transformers]

Теперь код:

from pydantic import BaseModel
import outlines
from transformers import AutoTokenizer, AutoModelForCausalLM

class UserProfile(BaseModel):
    name: str
    age: int
    is_active: bool

model_name = "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
llm = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = outlines.from_transformers(llm, tokenizer)

result = model("Extract the user: John is a 34 year old pilot.", UserProfile)
print(result)

Вывод:

{"name": "John", "age": 34, "is_active": true}

Пример показывает, как обернуть предобученную модель вместе с токенизатором с помощью outlines и заставить её выдавать JSON-объекты, соответствующие пользовательскому классу UserProfile, унаследованному от BaseModel Pydantic.

Заключение

У практического ограниченного декодирования есть ряд компромиссов. Рассмотрим их.

Преимущества:

• При корректном использовании гарантирует 100% правильный синтаксис, избавляя от необходимости писать парсеры.
• Экономит токены в промтах: не нужны few-shot примеры, показывающие модели, как выглядит правильный JSON.
• Демократизирует маленькие модели: даже модель на 1 млрд параметров, которая обычно с трудом генерирует JSON, становится безотказным конструктором данных.

Ограничения:

• Если модель хотела бы сообщить, что не может ответить, но схема требует, например, целое число, она выдаст число — это снижает честность в пограничных случаях.
• При первом запуске новой схемы сборка конечного автомата может занять несколько секунд, делая первый вывод заметно медленнее; последующие выполняются быстрее.

Статья знакомит с практическим ограниченным декодированием: почему оно необходимо в определённых сценариях работы с LLM, как оно работает и какой инструмент сегодня наиболее распространён — библиотеку outlines. Также приведён пример её использования.