Первый процессор OpenAI — Jalapeño
В среду OpenAI объявила о выпуске своего первого специализированного процессора для инференса, созданного в сотрудничестве с Broadcom. Чип получил название Jalapeño и был разработан с учетом уникальных потребностей систем вывода OpenAI. При создании процессора использовались собственные ИИ-модели компании.
Хотя чип еще проходит тестирование, предварительные результаты демонстрируют значительно лучшую производительность на ватт по сравнению с лучшими современными аналогами.
О партнерстве с Broadcom официально объявили в октябре, однако слухи о планах OpenAI по созданию собственных чипов ходили давно — компания стремилась снизить зависимость от графических процессоров Nvidia. Подобные «ИИ-ускорители» — микросхемы, созданные специально для ускорения задач машинного обучения, — уже разрабатывают Google и Amazon.
Президент OpenAI Грег Брокман рассказал о подходе компании к разработке чипов в корпоративном подкасте вскоре после объявления о партнерстве.
«Мы глубоко понимаем рабочую нагрузку, — отметил Брокман. — Мы действительно искали конкретные задачи, которые недостаточно обслуживаются, и думали, как создать решение, способное ускорить возможное».
Ставка на инференс и полный контроль над стеком
Jalapeño предназначен именно для инференса — процесса выполнения готовых ИИ-моделей в ответ на запросы пользователей. В анонсе OpenAI подчеркнула низкую стоимость эксплуатации чипа при работе с моделями кодирования в реальном времени. Более ресурсоемкие задачи, такие как предварительное обучение, вероятно, по-прежнему будут выполняться на оборудовании Nvidia, но даже небольшое снижение затрат на инференс способно заметно улучшить экономику компании.
Оптимизация систем вывода может стать решающим фактором в экономике ИИ в будущем, и происходить она будет на всех уровнях стека. OpenAI уже создает агентные продукты, такие как Codex, и модели, которые их питают, а также центры обработки данных для запуска этих моделей. Переход на собственные чипы позволяет компании продвинуться в этом процессе еще дальше.
«OpenAI не просто разрабатывает передовые модели или строит на их основе продукты — она проектирует инфраструктуру под ними: архитектуру чипов, ядра, системы памяти, сети, планирование, системы развертывания и пользовательский опыт, — говорится в заявлении компании. — Поскольку OpenAI работает на всех уровнях стека, каждый из них можно оптимизировать для единой цели: сделать модели быстрее, надежнее и доступнее для пользователей».