密歇根大学推出NeuroVFM 实现无标签全尺度脑部影像模型突破

背景与动机

传统的大模型大多基于公开的网络图像，缺乏医学影像的真实分布。MRI、CT等脑部扫描常包含可辨认的面部特征，难以公开共享，导致通用模型在神经影像任务上表现不佳。密歇根大学医学中心通过“健康系统学习”，直接利用日常临床产生的未标注影像，试图填补这一空白。

模型概述

模型名称：NeuroVFM（Neuro Imaging Foundation Model）
训练数据：5.24 百万体积（566,915例）MRI 与 CT，覆盖二十多年常规护理记录。
核心架构：Vol‑JEPA——对 I‑JEPA、V‑JEPA 的体积化扩展，采用自监督的潜在表示预测方式。

Vol‑JEPA 工作原理

将每个3D体积切分为 4×16×16 体素的非重叠块。
按比例保留可见上下文（MRI 25%，CT 20%），其余区域作为掩码目标。
学生编码器处理可见块，预测器结合位置编码预测掩码块的潜在向量。
教师编码器为学生的指数移动平均（EMA），提供目标潜在向量。
采用平滑 L1 损失，梯度不回传至教师，且掩码聚焦于脑部前景（预先计算的头部掩码）。

“Vol‑JEPA 通过潜在空间预测，摆脱了像素重建与报告标签的依赖，实现了更高效的医学影像自监督学习。”

性能评估

宏观 AUROC：CT 92.68，MRI 92.49，显著领先所有基线（HLIP、PRIMA、NeuroMAE 等）。
训练效率：完整训练耗时 <1,000 GPU 小时，约为 3D‑INO 基线的 1/7，且批次规模提升 16 倍。
模型规模：基础编码器 85.8 M 参数，小型变体 21.7 M 参数。

下游任务与应用

报告生成：将冻结的 NeuroVFM 与 Qwen‑3‑14B 结合，实现结构化关键发现的自动撰写，成本比 GPT‑5 低 24 倍以上。
急诊分流：基于生成的发现，推理模型将病例划分为“无异常”“常规”“紧急”三类，三层分流准确率提升 11%。
定位预测：使用注意力‑MIL 池化器在无区域标注的情况下实现影像‑报告对齐。
跨模态迁移：CT 上训练的探针在 MRI 上仅有 <5 点 AUROC 下降，显示潜在空间的通用性。

开源实现与使用指南

git clone https://github.com/MLNeurosurg/neurovfm.git && cd neurovfm && pip install -e .

from neurovfm.pipelines import load_encoder, load_diagnostic_head, load_vlm
encoder = load_encoder("mlinslab/neurovfm-encoder")
# 读取 CT 影像并生成诊断
embeddings = encoder.embed(batch)
pred = dx_head.predict(embeddings, batch)

代码基于 MIT 许可证，模型权重采用 CC‑BY‑NC‑SA‑4.0，需机构邮箱审批方可下载。

优势与局限

优势

无需放射报告或人工标注，直接利用真实临床流数据。
同时支持 CT 与 MRI，跨设备、跨厂商表现一致。
生成式报告成本低、碳排放少，适合作为决策支持工具。

局限

三层分流的敏感度仅为 86.5%，仍会漏检关键病灶。
权重非商业化，且未获 FDA 认证，当前仅限研究与内部使用。
训练数据来源单一学术健康系统，可能存在数据偏倚。

业界意义

NeuroVFM 展示了在大规模未标注医学影像上进行自监督学习的可行路径，为未来的全科影像 AI 奠定了基础。随着更多医院加入“健康系统学习”，类似模型有望在多中心、多模态环境中进一步提升，推动医学影像 AI 从辅助诊断向全流程智能化转型。