Что такое токены в контексте ИИ
Токен обычно соответствует примерно трём четвертям слова. Если передать большой языковой модели текст объёмом 10 000 слов для анализа, это потребует 12 000–13 000 токенов. Для разработчиков пример проще: представьте фрагмент кода с 10 000 «слов» — выражениями, операторами, именами переменных, функциями и подобным. Один такой запрос к Copilot для рефакторинга или поиска ошибок израсходует те же 12 000–13 000 токенов из месячного лимита.
Сами запросы к модели, то есть промпты, тоже учитываются, как и генерируемые ответы.
Изменения в ценообразовании
С предстоящего месяца тарифы GitHub Copilot сохранят текущие цены, но вместо фиксированного числа запросов пользователи получат кредиты ИИ на ту же сумму. Подписчики базового плана Copilot Pro за 10 долларов в месяц будут иметь 1000 кредитов, где каждый эквивалентен одному американскому центу.
Сколько токенов даст один кредит, зависит от выбранной модели, соотношения входных и выходных данных, объёма кэша в памяти модели для контекста и запрашиваемой функции. Простые запросы позволят уложиться в лимит без доплат. А вот анализ сложного большого кодового проекта несколькими агентами или работа с самыми передовыми моделями быстро исчерпает баланс кредитов.
Что остаётся бесплатным
Чтобы смягчить переход, GitHub сохраняет бесплатно автодополнение кода — как функция автозаполнения на смартфоне — и подсказки Next Edit.