ZML/LLMD: бесплатный сервер для инференса, работающий на множестве чипов
Эпоха безраздельного лидерства Nvidia ещё не подошла к концу, но альтернативы и новые конкуренты возникают со всех сторон. Французский ИИ-стартап ZML, получивший одобрение лауреата премии Тьюринга Яна Лекуна, представил программное обеспечение ZML/LLMD — сервер инференса, который позволяет запускать открытые большие языковые модели на разнообразных чипах: от Nvidia и AMD до Google TPU, Apple Metal и Intel Arc.
Основатель ZML Стив Морин рассказал, что цель компании — разрушить сложившиеся «силосы» и дать возможность использовать разные ускорители для ИИ-задач на максимальной, а иногда и на более высокой скорости.
Почему инференс требует переосмысления
По мере того как искусственный интеллект входит в рабочие процессы и повседневную жизнь, оптимизация инференса — обработки промтов — становится важнее обучения моделей. Однако за кулисами эта сфера часто выглядит разрозненной: программные и архитектурные барьеры ведут к привязке к одному вендору.
«Мы хотим вернуть людям возможность создавать собственные системы и добиться реального повышения эффективности, чтобы ИИ мог распространяться», — заявил Морин.
Обещание пиковой производительности на разных чипах — не только технологический подвиг, но и потенциальный рыночный перелом, особенно на фоне растущих опасений по поводу расходов, связанных с ИИ.
Поддержка множества архитектур и европейских чипмейкеров
ZML рассчитывает предоставить предприятиям и облачным провайдерам возможность комбинировать чипы, среди которых могут быть менее дорогие или более энергоэффективные варианты. Морин отметил, что такое программное решение способно помочь новым производителям ИИ-чипов, многие из которых базируются в Европе: Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud, VSORA. Однако для него важнее не регион, а возможность работать над тем, «чего раньше никто в мире не делал».
При этом Морин не является «медведем» по отношению к Nvidia. ZML поддерживает хорошие отношения с гигантом, который активно готовится к росту инференса.
Конкуренция на рынке «золотой лихорадки» инференса
Инференс привлекает огромные инвестиции, и эту тенденцию уже окрестили «золотой лихорадкой инференса». У ZML есть соперники: Baseten (оценённая в $13 млрд), Inferact (создатели открытого проекта vLLM) и RadixArk — коммерческая компания, стоящая за SGLang. И vLLM, и SGLang частично конкурируют с LLMD, но амбиции ZML простираются шире. «Мы уже перешли к совместному проектированию кремния», — сказал Морин, добавив, что небольшая команда из 20 человек позволила парижскому стартапу двигаться быстро.
Бесплатный запуск и будущие планы
В отличие от первого публичного проекта ZML — открытого фреймворка для инференса, выпущенного в 2024 году и обновлённого в марте, — LLMD не является открытым исходным кодом. Однако продукт стартует как бесплатный, чтобы изучить паттерны использования. «Я предпочитаю сначала измерить, а затем монетизировать там, где это будет наиболее эффективно, не тормозя рост из-за жадности на старте», — пояснил Морин.
Поддержка инвесторов и звёздных имён
Благодаря опыту Морина на посту вице-президента по разработке в Zenly (купленной Snapchat за девятизначную сумму в 2017 году), стартапу удалось привлечь $20 млн от таких фондов, как 20VC, >commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe и Puzzle Ventures. В таблице капитализации также значатся основатели Dagger и Docker Соломон Хайкс, Клеман Деланг и Жюльен Шомон из Hugging Face, а также сам Ян ЛеКун, ныне работающий в AMI Labs. Это подтверждает, что европейские ИИ-стартапы могут расти, не покидая родной город. «Я не смог бы создать ZML нигде, кроме Парижа», — подчеркнул Морин.