Команда SGLang перешла в стартап RadixArk
Разработчики, отвечающие за поддержку популярного open-source инструмента SGLang, который помогает компаниям вроде xAI и Cursor ускорять работу с ИИ-моделями, теперь трудятся в коммерческом стартапе. Этот проект под названием RadixArk анонсировали в августе.
RadixArk появился на базе SGLang, созданного в 2023 году в лаборатории Университета Калифорнии в Беркли под руководством сооснователя Databricks Иона Стоика. Два информированных источника сообщили, что недавно компания получила оценку примерно в $400 миллионов в раунде с участием Accel в качестве лидера. Сумма инвестиций не подтверждена.
До этого RadixArk привлекла ангельские вложения от инвесторов, среди которых CEO Intel Лип-Бу Тан, добавили источники.
Ying Sheng, важный автор вклада в SGLang и экс-инженер xAI, ушла из компании Илона Маска, чтобы возглавить RadixArk как сооснователь и CEO. Она поделилась этим в анонсе на LinkedIn месяц назад. Ранее Sheng занималась исследованиями в Databricks.
RadixArk, Accel и Лип-Бу Тан не прокомментировали запросы.
Оптимизация инференса для ускорения моделей
SGLang и RadixArk сосредоточены на улучшении инференса — то есть на том, чтобы ИИ-модели запускались быстрее и экономичнее на существующем железе. Такой процесс вместе с обучением занимает большую долю расходов на серверы для ИИ-сервисов. Инструменты по его оптимизации быстро окупаются за счет сокращения затрат.
Параллель с проектом vLLM
Более развитый инструмент vLLM для оптимизации инференса тоже выходит из open-source в коммерческую компанию. Forbes писал месяц назад, что новая фирма обсуждает раунд свыше $160 миллионов при оценке около $1 миллиарда.
Три источника подтвердили, что Andreessen Horowitz ведет этот раунд для vLLM, хотя точные цифры пока не финализированы. Фонд отказался комментировать. Сооснователь vLLM Simon Mo заявил, что данные о раунде "фактически неверны", но не указал, что именно.
vLLM, подобно SGLang, стартовал в лаборатории Иона Стоика в UC Berkeley. Стоика — профессор этого университета, сооснователь Databricks и нескольких других компаний.
Крупные техкомпании уже применяют vLLM для инференса, а SGLang за последние шесть месяцев тоже сильно вырос в популярности, сообщила TechCrunch партнер CRV Brittany Walker. Ее компания не вкладывала в эти проекты.
Что развивает RadixArk
RadixArk продолжает работу над SGLang как над open-source движком для ИИ-моделей. Параллельно создается Miles — фреймворк специально для обучения с подкреплением, который позволяет компаниям постепенно улучшать свои модели.
Большинство инструментов остаются бесплатными, но за услуги хостинга RadixArk уже берет плату, рассказал знакомый с компанией источник.
Взлет инвестиций в инфраструктуру инференса
Стартапы с инфраструктурой инференса для разработчиков в последние месяцы собирают рекордные суммы — это показывает, насколько важен этот сегмент для ИИ. Baseten только что привлекла $300 миллионов при оценке в $5 миллиардов, отметила The Wall Street Journal во вторник. Ранее Fireworks AI собрала $250 миллионов при $4 миллиардах.