Новости и статьи об искусственном интеллекте и нейросетях. Мы собираем и обрабатываем самую актуальную информацию из мира AI. О проекте

Новости

Subquadratic утверждает, что решила ключевую проблему больших языковых моделей

Стартап Subquadratic разработал новую архитектуру LLM под названием SubQ с разреженным вниманием вместо плотного. Модель показала впечатляющие результаты в независимых тестах Appen: скорость до 56 раз выше аналогов и околопредельная производительность в программировании при значительно меньших затратах энергии.

18 часов назад
7 мин
50

Майамский ИИ-стартап Subquadratic вышел из тени в прошлом месяце с громким заявлением. Компания объявила, что решила математическую проблему, которая почти десятилетие сдерживала развитие больших языковых моделей.

Деталей было мало, и многие отнеслись к этому скептически. Однако Subquadratic начала предоставлять доказательства, опубликовав результаты независимой оценки своей новой технологии. Эти результаты намекают: заявления компании, возможно, заслуживают внимания.

Что такое SubQ и почему это вызывает споры

По словам Subquadratic, она разработала новый тип LLM под названием SubQ — более быстрый, дешёвый и потребляющий значительно меньше энергии, чем любая другая модель на рынке. Компания также утверждает, что SubQ способна обрабатывать до 12 раз больше текста за раз, чем большинство других моделей, что позволяет выполнять целый ряд задач, недоступных конкурентам.

Реакция в индустрии была неоднозначной. Один из комментаторов в X довольно точно резюмировал общее настроение: «SubQ — либо крупнейший прорыв со времён Transformer ... либо ИИ-Theranos».

Спустя месяц компания опубликовала больше информации о своей модели, включая результаты дополнительных независимых тестов, проведённых сторонней фирмой Appen.

«Мы ожидали здорового скепсиса», — говорит сооснователь и технический директор Subquadratic Алекс Уидон. «Оглядываясь назад, публикация сторонних бенчмарков вместе с первоначальным анонсом предотвратила бы большую часть скепсиса. Именно поэтому мы не торопимся и следим, чтобы все будущие результаты были полностью проверены перед публикацией».

Subquadratic попросила Appen, которая оценивает модели других компаний, провести свои тесты на SubQ. Результаты, похоже, подтверждают многие заявления стартапа. «Это было действительно захватывающе для меня — они подтвердили их архитектуру», — говорит Жанин Синанан-Сингх, директор по исследованиям генеративного ИИ в Appen.

«Я подумала: