Photoroom公开PRX数据管线细节：从多源混合到高效去重

背景与目标

PRX 是 Photoroom 开源的 7B 文本‑图扩散模型。该系列前三篇分别阐述了模型架构、训练设计和 24 小时极速跑。本篇聚焦最为隐蔽却决定模型上限的数据层——数据管线。目标是构建一个大规模、多样且可流式读取的预训练语料库，为模型提供广阔的视觉概念覆盖。

数据来源与多样性

• 公有+内部数据混合：直接复用已去重、过滤的公开数据集（如 LAION）以及 Photoroom 自有图像库，优先使用已有质量保障的资源。
• 覆盖广度：强调“覆盖而非单张完美”，接受普通快照、压缩图像，以保证视觉概念的全景分布。
• 数据格式统一：所有原始图片统一转为 JPEG 质量 92，实测在 1‑10 次重复压缩后 PSNR 与 LPIPS 变化微乎其微，且存储体积比 PNG 小 3‑10 倍。

重新标注与 VLM

Photoroom 采用 Qwen3‑VL‑8B 作为图像‑文本生成模型（VLM）对全量图像进行长篇、细粒度的重新标注。

• 标注准则：单段 100‑200 字的自然语言描述，覆盖对象、材质、颜色、空间关系、光照、构图等要素，避免主观解释。
• 质量对比：在同一数据集上分别使用 Qwen2.5‑VL‑7B‑Relaxed、LLaVA‑1.5‑LLaMA3‑8B 与 Qwen3‑VL‑8B 生成的标注训练小型扩散模型，后者在 FID、CMMD、DINO‑MMD 三项指标上均显著领先。
• 吞吐：Qwen3‑VL‑8B 在 H200 GPU 上可达 20 张/秒，兼顾速度与生成质量。

数据格式与存储

• Lance + MDS 双轨：
  • Lance 用作列式存储与交互式探索，支持向量搜索与全文检索，便于在数十亿行数据上快速筛选与统计。
  • Mosaic Data Shards (MDS) 负责训练时的流式读取，提供确定性洗牌、弹性检查点恢复以及多流加权混合。
• 分辨率与宽高比分桶：依据像素上限（512、1024、2048、4096）与宽高比（0.5‑2.0）划分 13 个形状桶，保证每批次张量尺寸一致且计算负载均衡。

过滤与去重

1. 基于 Caption 的轻过滤：使用 Qwen3‑8B 文本模型对每条长 caption 进行三类分类（视觉、文本、NSFW），仅在显著不相关或违规时标记跳过。
2. 感知哈希去重：对每张 JPEG 计算 DCT‑based 感知哈希，哈希完全相同即视为重复，保留分辨率最高的版本。去重率约为几个百分点。
3. Skip‑list 机制：过滤与去重的样本不直接删库，而是生成 per‑shard 跳过列表，训练加载时动态剔除，保持原始数据完整性。

未来展望

当前管线侧重规模与覆盖，适用于预训练阶段。针对后续的监督微调与偏好对齐，Photoroom 正在研发更细粒度的标签体系，将 VLM 预测的结构化属性用于快速抽取高信号子集。后续文章将聚焦这些细分工具以及如何在数十亿样本中实现高效的任务‑导向筛选。

“数据是模型的根基，只有在广度与质量之间找到平衡，才能真正释放大模型的潜能。”——Photoroom 团队

参考链接：

• PRX 代码仓库：github.com/Photoroom/PRX
• Hugging Face Space 演示：PRX Pixel
• 相关模型：Qwen3‑VL‑8B、Qwen2.5‑VL‑7B‑Relaxed、LLaVA‑1.5‑LLaMA3‑8B