NVIDIA NeMo Automodel 携手 Hugging Face Diffusers 实现大规模扩散模型微调

概述

NVIDIA 与 Hugging Face 今日联合发布了基于 NeMo Automodel 的全新扩散模型微调解决方案。该方案直接兼容 Diffusers 格式模型，无需模型转换，即可在单机或上百卡的 GPU 集群上实现全参数或 LoRA‑style 的高效微调，覆盖文本到图像（Text‑to‑Image）与文本到视频（Text‑to‑Video）两大场景。

NeMo Automodel 核心特性

原生 Diffusers 支持：只需在 pretrained_model_name_or_path 中填入任意 Diffusers 模型 ID，即可启动训练。
多种并行方式：通过声明式配置即可在 FSDP2、Tensor Parallel、Expert Parallel、Context Parallel、Pipeline Parallel 等多种并行模式间切换，无需改写代码。
流式数据与多分辨率 bucket：预编码 VAE 潜空间并使用 bucket‑ed dataloader，显著提升 I/O 与显存利用率。
全参数 vs 参数高效微调：提供完整微调与 LoRA 两套路径，满足质量‑效率的不同需求。

支持的扩散模型

模型	Hugging Face ID	任务	参数规模
Wan 2.1	Wan‑AI/Wan2.1‑T2V‑1.3B‑Diffusers	文生视频	1.3 B（单卡可跑）
Wan 2.2	Wan‑AI/Wan2.2‑T2V‑A14B‑Diffusers	文生视频	14 B（MoE）
FLUX.1‑dev	black‑forest‑labs/FLUX.1‑dev	文生图	12 B
FLUX.2‑dev	black‑forest‑labs/FLUX.2‑dev	文生图	32 B
HunyuanVideo	hunyuanvideo‑community/HunyuanVideo‑1.5‑Diffusers‑720p_t2v	文生视频	13 B
Qwen‑Image	Qwen/Qwen‑Image	文生图	20 B

合作带来的价值

免转换：微调后 checkpoint 可直接装入 Diffusers 的 DiffusionPipeline，亦可回推至 Hugging Face Hub 共享。
快速新模型接入：新模型只需实现数据预处理和模型适配器，即可复用完整训练栈。
可扩展性：凭借 NeMo 的 DTensor 与多并行实现，单节点 8× H100 已可完成 12 B 模型的全参数训练，跨节点扩展更是线性提升。

微调工作流示例（FLUX.1‑dev）

数据预编码：使用 uv run 将 78 张塔罗牌图像预编码为 VAE 潜向量并存入 /cache/flux_tarot。
启动训练：基于官方 flux_t2i_flow.yaml，在 8× H100 上开启 FSDP2 并指定 bucket 大小，运行约 200 步即可得到完整 checkpoint。
生成检验：加载微调后 checkpoint，使用带有特殊触发词 trtcrd 的提示进行图像生成，能够在保持原始内容的同时呈现特定的塔罗风格。

性能表现

在单节点 8× H100（80 GB）上，FLUX.1‑dev 全参数微调的每步耗时约 0.90 秒，吞吐率 35.5 GB‑s，显存占用 63.9 GiB；相同配置下的 LoRA 微调则将显存需求降至 67 GiB，吞吐率提升至 53.7 GB‑s。文本‑视频模型 Wan 2.1（14 B）在 LoRA 方案下的每帧生成速率达到 2.11 帧/s，显存仅 24 GiB，展现出优秀的规模‑效率平衡。

展望

NeMo Automodel 已在 Docker 镜像 nvcr.io/nvidia/nemo-automodel:26.06 中提供完整依赖，未来计划推出 Pythonic API，让用户能够以函数调用方式组装训练、微调、生成全链路，进一步降低研发门槛。随着更多大型扩散模型（如 Stable Diffusion XL、Midjourney‑v6）陆续加入 Diffusers，NeMo Automodel 有望成为业界统一的“大模型微调引擎”，推动生成式 AI 从实验室走向生产化。