AntAngelMed发布103B医学大模型，1/32 MoE激活实现高效医疗AI

模型概览

AntAngelMed 是由 MedAIBase 与浙江安镇尔医疗 AI、安科医疗等共同研发的 1030 亿参数医学专用大模型。其核心创新在于 1/32 激活比例的 Mixture-of-Experts（MoE）架构，推理时仅激活约 61 亿参数，计算成本仅相当于 40B 稠密模型，却保持同等甚至更优的医学知识与推理能力。

架构创新

MoE 设计：采用专家路由，仅挑选少数专家子网络处理每个输入，实现大模型容量与高效推理的平衡。
Ling‑flash‑2.0 继承：基于 inclusionAI 开源的 Ling‑flash‑2.0 基座，加入细粒度专家划分、共享专家比例调优、注意力平衡等多项优化。
关键技术：Sigmoid 路由（无辅助损失）、MTP（Multi‑Token Prediction）层、QK‑Norm、Partial‑RoPE、YaRN 长上下文扩展等，整体提升约 7 倍效率，输出长度增长时加速效果更佳。

训练管线

AntAngelMed 采用 三阶段训练：

持续预训练 – 在大规模医学语料（百科、网页、学术文献）上继续训练，构建深层医学知识底座。
监督微调（SFT） – 使用融合通用推理与医学指令的数据集，涵盖数学、编程、逻辑推理以及医生‑患者问答、诊断推理、伦理安全等场景，保持链式思考能力。
GRPO 强化学习 – 基于 Group Relative Policy Optimization 的奖励模型，引导模型产生同理心、结构化临床回答和安全边界，显著降低医学幻觉。

推理性能与基准表现

硬件：在 H20 服务器上实现 >200 token/秒，约为同等规模 36B 稠密模型的 3 倍。
上下文：通过 YaRN 扩展支持 128K 长上下文，能够一次性处理完整的临床记录或多轮对话。
量化：提供 FP8 量化版本，结合 EAGLE3 推测解码后在 HumanEval、GSM8K、Math‑500 上分别提升 71%、45% 与 94% 的吞吐量（并发 32）。
基准：
- HealthBench（OpenAI）：首位开源模型，尤其在 Hard 子集上领先。
- MedAIBench（国家医学AI试点）：整体排名最高，医学知识问答与伦理安全得分突出。
- MedBench（中文医疗 LLM 基准）：覆盖 36 项数据集、约 70 万样本，五大维度全线第一。

行业意义

AntAngelMed 的发布展示了 大规模 MoE 在垂直医学领域的可行性——在保持模型能力的同时，大幅降低推理成本，为医院、诊所等资源受限的场景提供了可部署的高性能医学助手。其开源许可证（Apache 2.0）和代码（MIT）进一步降低了行业创新门槛，预计将在国内外医学 AI 生态中迅速复制与迭代。

“通过 MoE 与三阶段训练的组合，我们实现了医学大模型的算力与安全双赢。”——AntAngelMed 项目负责人

资源入口：

Hugging Face 主页
ModelScope 模型库
GitHub 代码仓库（MIT）
FP8 量化版下载

未来，AntAngelMed 将持续迭代，加入更细粒度的临床指南与多语言支持，推动开源医学 AI 向更广泛的实际应用落地。