Unsloth单卡提速领跑，Axolotl多卡并行最全，四大微调框架全方位对比揭示选型指南

背景概述

四个开源项目——Unsloth、Axolotl、TRL 与 LLaMA‑Factory——目前主导了大语言模型（LLM）微调生态。它们均基于 PyTorch 与 Hugging Face，但在工程投入点上各有区别：Unsloth 重写底层 kernel，Axolotl 聚焦并行策略组合，TRL 提供完整 Trainer API，LLaMA‑Factory 则追求模型覆盖广度与零代码体验。

单卡训练速度对比

Unsloth：利用手写 Triton kernel 与 Flex Attention，实现 Llama 3.1 8B 约 2×、Llama 3.3 70B 7.3×（8K 上下文）加速；在 NVIDIA B200 上，步长从 5,226 ms 降至 712 ms。
Axolotl：在自研 LoRA Triton kernel 基础上提供最高 1.45× 加速，针对 Qwen3.5 35B 8‑bit LoRA 在单 H100 上实现约 30% 显存下降。
TRL：作为基准层，更多依赖内存与速度优化手段（Packing、Padding‑Free Batching、Liger Kernel），单卡加速幅度相对有限，但保持与 Unsloth 集成的兼容性。
LLaMA‑Factory：不自行编写 kernel，而是通过配置 flags 调用外部优化；开启 use_unsloth: true 可获得约 170% 的相对提速。

“在单卡环境下，若首要追求训练吞吐，Unsloth 仍是最佳选择。” — 官方 benchmark 报告

显存占用（VRAM）

Unsloth：8B 模型 4‑bit QLoRA 最低 6 GB，70B BF16 约 164 GB；长序列下通过梯度检查点与 Cut‑Cross‑Entropy 将显存需求进一步压缩至 55 GB（16K 上下文）。
Axolotl：通过专家量化 (quantize_moe_experts: true) 将 GLM‑4.7‑Flash QLoRA 显存从 127 GB 降至 23 GB，在 70B 规模上亦能维持 30% 左右的节省。
TRL：提供多种显存削减手段（Packing、Liger Kernel、vLLM Sleep），但具体数值依赖用户自行调参。
LLaMA‑Factory：官方表格显示 8B‑4bit 约 6 GB，30B‑4bit 24 GB，70B‑4bit 48 GB，全 BF16 70B 则需要约 600 GB，实际使用时受 batch、序列长度影响显著。

多GPU 并行能力

Unsloth：支持 Accelerate 与 DeepSpeed，提供 FSDP 与 DDP 接口，但多卡配置仍需手动调参，官方称“仍在完善”。
Axolotl：并行矩阵最为完整，支持 DeepSpeed ZeRO（1‑3 阶段）、FSDP、TP、CP、EP，且可通过 DeviceMesh 组合多种并行方式。公开基准显示在 8× H100 上，Token/sec 达 7.41×（相较单卡），但吞吐随 GPU 数增长呈递减趋势。
TRL：提供两种序列切分后端——Ring Attention（适用于 1M+ token）和 ALST/Ulysses（适用于 NVLink/InfiniBand 环境），在 8× H100 上可训练超过 300k token 的序列。
LLaMA‑Factory：采用 Megatron‑core 与 DeepSpeed AutoTP，实现 DDP、DeepSpeed、FSDP 等后端的即插即用；但在超过单节点后，需转向 CLI 配置，零代码 UI 的便利性随之下降。

选型建议

单卡、追求极致速度与长上下文：首选 Unsloth，其 kernel 级优化在 8B‑70B 区间均表现出显著加速与显存优势。
2‑8 卡、需要灵活并行策略：Axolotl 提供最全面的并行组合，适合需要自定义 Tensor、Context、Expert 并行的研发团队。
自定义训练循环或结合最新 RLHF/奖励模型：基于 TRL 的 Trainer API 能快速接入新算法，且兼容 Unsloth 的加速插件。
覆盖模型种类广、面向非工程师或快速原型：LLaMA‑Factory 的 100+ 模型支持与零代码 UI 是最省时的入口，后期可通过 CLI 迁移至更大规模训练。

整体来看，四大框架并非相互排斥，而是形成了层级化生态：Unsloth 提供底层加速，Axolotl 与 TRL 构建并行与训练抽象，LLaMA‑Factory 则负责模型覆盖与易用性。根据项目规模与技术团队成熟度，选择合适的组合可最大化研发效率。