Разработчики ChatGPT разочарованы скоростью отдельных чипов Nvidia и обсуждают варианты со стартапами-альтернативами.
OpenAI уже год ищет замену некоторым свежим ИИ-чипам Nvidia, по данным восьми источников Reuters.
Жалобы касаются не чипов для обучения моделей, где Nvidia без конкурентов. Речь о чипах для инференса — они позволяют обученным моделям отвечать на запросы пользователей. Семь источников отметили: аппаратная часть Nvidia слишком медленно выдает ответы. Особенно страдают задачи вроде разработки кода с Codex, где задержки критичны. OpenAI хочет новые чипы примерно для 10% своего будущего объема инференса.
Почему инференс требует особой архитектуры чипов
Сотрудники OpenAI связывают проблемы отчасти с конструкцией Nvidia. Инференс работает с памятью интенсивнее, чем обучение. GPU Nvidia берут память извне, и это тормозит процесс. Поэтому компания присматривается к чипам со встроенной SRAM прямо на кристалле — такой подход ускоряет работу.
Reuters сообщает: несколько месяцев OpenAI ведет переговоры со стартапами вроде Cerebras и Groq. Cerebras отвергла предложение Nvidia о покупке и вместо этого заключила соглашение с OpenAI. Гендиректор Sam Altman в конце января подтвердил: партнерство с Cerebras решает задачу скорости для моделей программирования.
С Groq вышло по-другому. В декабре Nvidia подписала лицензионное соглашение на $20 млрд со стартапом, что прервало диалог с OpenAI. Nvidia также переманила дизайнеров чипов Groq. Параллельно Nvidia анонсировала Rubin CPX — специализированный ускоритель именно для этапа префилла в инференсе ИИ.
Инвестиции на $100 млрд подвиснут
В сентябре Nvidia заявила о планах вложить до $100 млрд в OpenAI. Сделка должна была завершиться за пару недель, но вместо этого переговоры затянулись на месяцы. Один источник винит в задержке изменчивый продуктовый план OpenAI.
Глава Nvidia Jensen Huang в субботу отверг слухи о конфликте как ерунду. Компания все равно намерена вложить десятки миллиардов долларов. Представитель OpenAI уточнил: Nvidia остается основой для большинства их мощностей по инференсу.