Фокус на запуске ИИ прямо на гаджетах
Большинство обсуждений вокруг искусственного интеллекта сейчас крутится вокруг облачных мощностей и огромных дата-центров для работы моделей. Компании вроде Apple и Qualcomm только начинают делать ИИ на устройствах по-настоящему удобным. А 14-человековая техническая команда лондонского стартапа Mirai уже трудится над тем, чтобы модели лучше запускались на смартфонах и ноутбуках.
Стартап Mirai, привлекший 10 миллионов долларов в посевном раунде под руководством Uncork Capital, создали в прошлом году Дима Швец и Алексей Моисеенков. Оба имеют опыт создания популярных приложений для потребителей. Швец стал сооснователем приложения для замены лиц Reface, которое поддержал a16z. Позже он работал скаутом в этой венчурной фирме. Моисеенков возглавлял и соосновал Prisma — вирусное приложение с ИИ-фильтрами, которое взорвало чарты десять лет назад.
Как разработчики для обычных пользователей, они давно думали об ИИ и машинном обучении на устройствах — еще до бума генеративных моделей, отметил Швец.
Встретившись в Лондоне, они обсудили технологии и поняли: в разгар хайпа вокруг генеративного ИИ все говорят только о облаках, серверах и скором приходе AGI. А вот ИИ на потребительских устройствах остается забытой нишей, рассказал Швец.
Простая интеграция сложных задач
Швец и Моисеенков решили создать конвейер на базе ИИ, чтобы выполнять сложные операции прямо на смартфоне, — так родился Mirai. Опросив других разработчиков потребительских приложений, они узнали, что всем нужна лучшая оптимизация затрат и маржи на токен.
Сейчас Mirai строит фреймворк, который помогает моделям работать эффективнее на устройствах. Команда разработала движок вывода для Apple Silicon, который повышает пропускную способность на гаджетах. Скоро выйдет SDK: разработчики смогут добавить рантайм в свои приложения всего несколькими строками кода, обещают в компании.
Одна из главных идей — дать разработчикам опыт интеграции вроде Stripe: всего восемь строк кода. Заходишь на платформу Mirai, подключаешь ключ и запускаешь суммаризацию, классификацию или любой другой сценарий, объяснил Швец.
Движок написан на Rust и может ускорить генерацию модели до 37%, утверждают основатели. При адаптации под платформу они не меняют веса модели, чтобы качество вывода не пострадало.
Расширение возможностей и смешанный режим
Сейчас стек Mirai оптимизирует текстовые и голосовые модальности, но в планах добавить поддержку зрения. Команда уже сотрудничает с провайдерами передовых моделей, чтобы адаптировать их под edge-использование, и ведет переговоры с производителями чипов. Вскоре движок придет и на Android.
Кроме того, Mirai выпустит бенчмарки для тестирования производительности моделей на устройствах. Швец признает: не все задачи ИИ можно выполнять локально. Поэтому команда создает оркестрационный слой, который отправит неподъемные запросы в облако для смешанного режима работы.
Хотя прямой работы с приложениями пока нет, движок Mirai подойдет для локальных ассистентов, транскриберов, переводчиков и чат-ботов.
Почему инвесторы верят в проект
Энди Маклафлин, управляющий партнер Uncork Capital, ранее вкладывался в компанию по edge-машинному обучению — она потом продалась Spotify. Сейчас ситуация иная, считает он.
Из-за дорогого облачного вывода что-то должно измениться. Пока венчурные фонды охотно финансируют ракетоносные стартапы с огромными расходами на облако, но это не вечно. Рано или поздно акцент сместится на экономику бизнеса, и все поймут: нужны перемены, сказал Маклафлин. Каждая компания с моделями захочет часть нагрузки на edge, а Mirai идеально для этого позиционирована.
В посевном раунде участвовали частные инвесторы: CEO Dreamer Дэвид Синглтон, партнер YC Франсуа Шубар, сооснователь Snowflake Марцин Жуковски, сооснователь Mati и ElevenLabs Пйотр Станишевски, экс-продакт-менеджер Google AdSense и член совета Coinbase Гокул Раджарам, инвестор Groq Скутер Браун, CTO Turing.com Виджай Кришнан, Бен Парр и Мэтт Шлихт из Theory Forge Ventures, а также экс-техлид Netflix Адистья Джами.