Thinking Machine发布Inkling模型，仅激活41 B参数实现千亿规模稀疏推理

背景

近日，AI 研究机构 Thinking Machine 在其付费 newsletter《The Sequence》上披露了新模型 Inkling。该模型参数量高达 9750 亿，接近万亿规模，但在实际推理时仅有约 410 亿参数被激活，形成极具创新性的稀疏计算框架。

技术细节

• 整体规模：9750 亿参数，约合 1 万亿参数的计算容量。
• 稀疏激活：每个 token 只触发约 41 B（约占 4.2%）的活跃子网络。
• 路由机制：模型内部设有 256 个专门化部门（相当于专业团队），调度器根据 token 的语义特征挑选 6 个专业部门加 2 个通用部门进行协同计算。
• 实现优势：在保持大模型知识储备的前提下，大幅降低算力和显存需求，推理成本相较传统全激活模型下降 60% 以上。

业界意义

Inkling 的设计思路为美国开源大模型生态提供了全新路径。传统大模型往往需要数十万美元的算力投入，而稀疏激活让中小企业和研究团队在相对有限的硬件资源下也能使用接近万亿规模的模型。此举有望加速开源模型的迭代速度，推动社区协作与创新。

前景展望

• 生态扩展：Thinking Machine 已计划开放模型权重和路由代码，鼓励社区在此基础上进行二次开发。
• 行业落地：稀疏推理的高效性使其在搜索、对话、代码生成等对实时性要求高的场景具备竞争优势。
• 研究方向：后续可能进一步细化调度策略，引入自监督学习提升路由准确性，或结合硬件加速（如 NVIDIA 新一代 GPU）实现更低延迟。

Inkling 的出现标志着大模型从“全激活”向“选择性激活”转型的关键一步，若能顺利开源，预计将在生成式 AI、知识检索以及跨模态任务中产生深远影响。