Soofi推出30B混合Mamba‑Transformer MoE基座模型，德语与英语表现领跑开源领域

模型概述

Soofi S 30B‑A3B 是由德国联邦经济事务与能源部资助、KI Bundesverband 协调的开源基座模型。模型总参数约 31.6 B，采用 Mixture‑of‑Experts（MoE）机制，每个 token 仅激活约 3.2 B 参数，兼顾算力效率与生成质量。模型面向德语和英语两大语言，未进行指令微调或安全对齐，提供原始文本补全能力。

架构亮点

层级组成：52 层网络，其中 23 层为 Mamba‑2 序列混合层，23 层为细粒度 MoE 层，剩余 6 层为 Grouped‑Query Attention（GQA）层，后者保留 KV 缓存以支撑长上下文。
MoE 设计：每个 MoE 层包含 128 位路由专家，单 token 激活 6 位专家并额外共享 2 位专家，实现稀疏计算。
模型规格：维度 2688，使用 squared ReLU、RMSNorm，无位置嵌入，保持 Nemotron 3 Nano 参考实现的轻量化特性。

训练规模与数据

训练在德意志电信工业 AI 云平台上完成，使用最多 512 块 NVIDIA B200 GPU，历时约两个月（2026‑03‑24 至 2026‑05‑13），累计消耗约 253 000 GPU‑hour。总计消耗 26.68 T token，分三阶段进行：

Phase 1（≈20 T token）——多源高质量混合数据，学习率 plateau 1e‑3；
Phase 2（≈6.58 T token）——高质量微调数据，学习率从 1e‑3 衰减至 1e‑5；
Phase 3（≈0.10 T token）——序列长度扩展至 1 M token，提升上下文窗口。在 Phase 2 中，德语占比从 7.2% 提升至 15.32%，显著高于基准模型的约 5% 多语言配比。主要语料来源包括 HPLT、German Commons、FinePDFs、FineWiki 以及商业授权的 Genios 新闻档案。

评测成绩

在统一的 lm‑evaluation‑harness 基准下，Soofi S 30B‑A3B 与 16 种公开基座模型进行比较，取得以下关键指标（%）：

English aggregate：70.1（领先同规模模型 1.8 分）
German aggregate：79.1（领先 4.2 分）
Held‑out EN/DE：41.4/41.8（分别高出 6.7/6.5 分）
HumanEval (pass@1)：73.86
MBPP‑DE (pass@1)：84.27
GSM8K：86.18 这些结果表明，数据配比的调优对德语表现提升尤为显著，同时保持了与英语言料的竞争力。

应用场景与部署

文档处理：在 GLP‑DE（88.8）和 INCLUDE‑DE（61.2）得分上，模型适用于保险、法律等德语文档的批量抽取与摘要。
双语代码助手：MBPP‑DE（84.2）显示模型在德语提示下的 Python 任务完成度，可用于跨语言开发团队的代码补全。
长上下文检索：凭借 6 层 KV 缓存和 1 M token 上下文窗口，适合高并发的 RAG 系统，如客服工单或知识库检索。模型已在 Hugging Face 提供预览权重，并支持 vLLM 一键部署。

结论

Soofi S 30B‑A3B 通过稀疏激活的 MoE 与 Mamba‑Transformer 结合，实现了在有限算力下的高效推理和长上下文支持。其在德语和英语双语基座模型中的领先表现，为开源社区提供了一个具备生产级别性能的可部署基线，预示着未来语言模型在多语言、长文本场景的进一步突破。