PixelRAG实现像素级检索让文档搜索突破文本局限

背景与动机

传统的检索增强生成（RAG）依赖 HTML 解析或 OCR 提取的纯文本，往往会丢失页面布局、表格、公式等关键信息。PixelRAG 通过 像素级渲染 把文档完整保存为图片，再以重叠切片方式构建检索单元，最大限度保留视觉结构，实现对视觉文档的高质量检索。

"像素即是信息的最小单位，保留像素才能让模型感知原始排版。"——项目作者在 GitHub README 中的阐述

核心技术栈

渲染层：使用 Playwright 抓取网页全页截图，或通过 PyMuPDF 将 PDF 转为高分辨率图片；对文本不足的页面提供纯文本渲染备选。
切片策略：1024×1024 大小、128 像素垂直重叠的切片，确保句子或表格行不会被跨片割裂。
多模态编码：默认 SigLIP（google/siglip-base-patch16-224），可切换至 CLIP 或 Qwen3‑VL‑Embedding‑2B，后者在 OCR 文本上表现更佳。
混合检索：
- 密集向量：FAISS（Flat 或 IVF）基于余弦相似度快速检索。
- 稀疏 BM25：对每块 OCR 结果进行分词，构建倒排索引。
- RRF 融合：采用 Reciprocal Rank Fusion 将两类得分统一，加权比例 dense_weight 与 sparse_weight 可调。
适配器微调：基于弱监督的伪查询‑切片对，训练两层残差 MLP，提升检索对齐度。
API 服务：FastAPI + Uvicorn，提供 /health 与 /search 两个端点，支持批量查询。

实践步骤概览

配置：在 Config 中声明目标 URL、模型后端、FAISS 参数等。
渲染 & 切片：render_urls → slice_image_to_tiles，生成 Tile 元数据并保存 PNG。
OCR（可选）：使用 Tesseract 为每块图像提取文字，填充 ocr_text 字段。
向量化：embed_tiles 调用选定后端批量生成 L2‑归一化向量。
索引构建：PixelIndex.build 自动选择 Flat 或 IVF，实现 可扩展的向量检索。
搜索：search 将查询文本编码为向量，分别在密集与稀疏索引上检索，返回文档级聚合结果并附带最高得分的截图片段。
可视化 & 生成（可选）：通过 show_results 绘制检索片段，或调用 answer_with_vlm 使用 Qwen2.5‑VL‑3B 直接基于截图生成答案。

性能评估

在作者提供的七条标准查询上，基线模型（仅密集向量）Recall@1 为 0.57，加入 OCR‑BM25 后提升至 0.71；经过适配器微调后 MRR 再提升约 0.08，显示视觉‑文本混合检索的协同增益。评测代码已内置于 evaluate 函数，支持自定义查询集。

前景与行业应用

PixelRAG 的 像素原生检索 解决了法律文档、科研报告、技术手册等高排版文档的搜索难题，尤其适用于：

企业内部知识库：保留图表、代码块的完整语义。
教育与科研：快速定位教材中的公式或实验图示。
金融合规：在合同或报告的版面中捕获关键条款。
多模态问答：结合 VLM 实现“看图说话”，为客服、辅助诊断提供新思路。

随着大模型的视觉理解能力提升，PixelRAG 未来可接入更强的跨模态检索模型（如 Gemini‑Vision），并通过 LoRA、Adapter 等轻量微调手段实现垂直行业定制。

关键代码（摘自教程）

backend = build_backend(cfg)          # 自动选择 SigLIP / Qwen3‑VL
vectors = embed_tiles(tiles, backend, cfg)
index = PixelIndex(dim=vectors.shape[1], cfg=cfg).build(vectors, tiles)
results = search("photosynthesis", index, backend, cfg)