Soofi S — одна из первых больших языковых моделей, полностью обученных на Индустриальном ИИ-облаке Deutsche Telekom в Мюнхене. Открытая 30-миллиардная модель использует облегчённую гибридную архитектуру и тренировочную смесь, намеренно смещённую в сторону немецкого языка.
Немецкий исследовательский консорциум, координируемый KI Bundesverband (Немецкой ассоциацией ИИ), выпустил Soofi S 30B-A3B — открытую языковую модель, которая, согласно отчёту о предобучении, набирает высшие баллы в английских и немецких бенчмарках среди полностью открытых моделей, превосходя предыдущих лидеров, таких как OLMo 3 32B и Apertus 70B.
Облегчённая архитектура для длинных контекстов
Soofi S — это модель со смесью экспертов (MoE). Она содержит 31,6 млрд параметров, но активирует лишь около 3,2 млрд на каждый сгенерированный токен. Это делает её вычислительные затраты ближе к 3B-модели, чем к обычной 30B. Консорциум взял архитектуру Nemotron 3 Nano от Nvidia без изменений — гибридную конструкцию, сочетающую слои Mamba-2 со стандартными слоями внимания.
Ключевое отличие от типичных трансформеров — поведение памяти. В обычных моделях KV-кэш, хранящий предыдущие токены для вычисления внимания, растёт линейно с длиной контекста. При длинных входных данных и множестве параллельных запросов перезагрузка этого кэша становится узким местом. Только 6 из 52 слоёв Soofi S вообще поддерживают такой кэш.
Практическая выгода проявляется в пропускной способности генерации. При длине контекста 40 000 токенов и 32 параллельных запросах Soofi S выдаёт примерно в восемь раз больше токенов в секунду на один GPU, чем плотные модели с параметрами от 14 до 24 миллиардов. Если у обычных моделей пропускная способность значительно падает с ростом контекста, то Soofi S остаётся почти неизменной от 4 000 до 256 000 токенов. Единственная модель, показывающая схожее поведение в измерениях, — это Qwen3.5 35B-A3B от Alibaba, также использующая гибридную архитектуру.
Тренировочная смесь, построенная вокруг немецкого языка
Консорциум обработал в общей сложности около 27 триллионов токенов, разделённых на три этапа. На первом этапе модель осваивает основы языка на примерно 20 триллионах токенов из широкого набора веб-данных, кода, математики и специализированных текстов. Затем следует второй этап с примерно 6 триллионами токенов из более качественных источников, призванный отточить усвоенные ранее закономерности. Короткий третий этап расширяет контекстное окно за счёт обучения на очень длинных документах — до миллиона токенов.
Осознанный акцент на немецком языке является ключевым. На первом этапе доля немецкого составляет 7,2% тренировочной смеси; на втором этапе она возрастает до 15,3%. В эталонном рецепте Nvidia Nemotron все неанглийские языки вместе взятые составляют лишь около 5%.
Для источников данных консорциум объединяет немецкие веб-тексты из HPLT, открытый корпус German Commons, немецкие части FinePDFs и FineWiki, а также коммерчески лицензированный корпус Genios, содержащий 193 миллиона газетных статей из 916 немецких изданий. Машинный перевод и синтетически сгенерированные немецкие тексты дополняют смесь.
Лучшие результаты среди открытых моделей на немецком и английском
В сравнении с 16 другими открытыми моделями Soofi S лидирует среди всех полностью открытых моделей по совокупным баллам как для немецкого, так и для английского языка, говорится в отчёте. Сюда входят OLMo 3 32B от Allen Institute for AI и Apertus 70B от ETH Zurich и EPFL. По сравнению с любым европейским суверенным базовым уровнем, модель опережает всех по всем немецким бенчмаркам в наборе, иногда с двузначным отрывом.
На бенчмарках кода Soofi S набирает 73,8% на HumanEval, 70,2 на MBPP и 84,2 на немецком варианте MBPP — лучшие результаты среди открытых аналогов. На INCLUDE-DE, тесте на знание региональных особенностей Германии, Soofi S делит первое место с 61,2 балла с более крупной Qwen3.5 35B-A3B. По сравнению с базовым Nemotron, немецкий рецепт данных улучшает владение языком на 15,1 балла, а научный тест GPQA-Diamond — на 9,6 балла, без ущерба для английского.
Soofi S уступает в немецкой соревновательной математике: на Minerva MATH-DE она набирает 56 баллов, значительно отставая от Qwen3.5 35B-A3B (76,5) и Gemma 3 27B (65,6). Она также отстаёт в открытом извлечении фактов в NaturalQuestions. Последнее, вероятно, связано с тем, что активных параметров всего 3 миллиарда, что может хранить меньше мировых знаний, чем плотная модель на 27B.
Тест RULER на длинном контексте также выявляет специфическую слабость: когда модели нужно извлечь часто встречающиеся слова из длинного текста, доля успешных ответов Soofi S падает примерно до 3% после 32 000 токенов контекста, тогда как сопоставимая модель Nemotron всё ещё достигает 60–64%. Авторы связывают это с тем, что их данные для обучения длинному контексту содержат много длинных документов, но не имеют синтетических данных, предназначенных для задач извлечения. В остальных двенадцати задачах RULER обе модели показывают примерно одинаковые результаты.
Суверенная инфраструктура и задокументированная открытость
Обучение проходило с марта по май на 512 ускорителях Nvidia B200 в Индустриальном ИИ-облаке Deutsche Telekom в Мюнхене, что в сумме составило около 253 000 GPU-часов. Согласно отчёту, объект полностью работает на возобновляемой энергии, охлаждается водой из канала Айсбах, а отходящее тепло поступает в близлежащий квартал Тучерпарк. Soofi S стал одним из первых крупных тренировочных запусков на этой инфраструктуре.
За Soofi стоит консорциум немецких исследовательских институтов и компаний, координируемый Немецкой ассоциацией ИИ и финансируемый Федеральным министерством экономики и энергетики Германии в рамках европейской программы IPCEI-CIS.
Среди участников — Институты Фраунгофера IAIS и IIS, Немецкий исследовательский центр искусственного интеллекта (DFKI), ТУ Дармштадт, Университет Вюрцбурга, Исследовательский центр L3S, Берлинский университет прикладных наук, а также ИИ-компании Ellamind и Merantix Momentum. Цель проекта — создать открытое семейство европейских ИИ-моделей, способных работать на суверенной инфраструктуре и проходить испытания в промышленных приложениях.
Исследователи публикуют веса модели вместе с избранными промежуточными контрольными точками, полным кодом обучения и оценки, а также подробной описью данных с указанием исходного количества токенов, числа эпох и эффективного вклада каждого источника. Источники, которые были рассмотрены, но исключены, также задокументированы. По мнению команды, это означает, что Soofi S соответствует определению Open Source AI Definition 1.0 от Open Source Initiative.
Более строгое предложение по европейскому определению открытых данных, которое требовало бы свободного распространения каждого тренировочного токена, не выполняется из-за 1,3% доли данных Genios, имеющих коммерческую лицензию. В отчёте говорится, что около 99% тренировочной смеси можно воссоздать независимо. Точная лицензия на выпуск модели ещё не утверждена.
Как пишет ведущий автор Михаэль Фромм, Soofi S находится между широко многоязычными европейскими суверенными проектами, такими как EuroLLM или Teuken, охватывающими множество языков, и наиболее производительными международными моделями с открытыми весами. Согласно сайту проекта, консорциум ищет отраслевых партнёров для следующего этапа, чтобы протестировать модель в задачах, связанных с технической документацией, генерацией кода и агентными системами.