Atomic Agents打造Typed Schema RAG流水线，动态上下文注入实现智能问答

背景与目标

随着大模型在企业内部知识库、技术文档等场景的落地，检索增强生成（RAG） 成为提升答案可信度的关键手段。本文基于开源项目 Atomic Agents，展示一套完整的 RAG 流水线：从任务规划、检索查询、上下文注入到答案生成，全部使用 Typed Schema 进行强类型约束，确保输出结构化且可审计。

核心组件概览

• AtomicAgent：提供强类型输入/输出的 LLM 包装器，支持自定义系统提示与历史管理。
• BaseIOSchema：利用 Pydantic 定义 Typed Schema，实现接口的严格校验。
• MiniCorpusRetriever：基于 TF‑IDF 与余弦相似度的轻量检索器，负责对文档块进行向量化并返回分数最高的片段。
• RetrievedContextProvider：动态上下文提供者，将检索到的片段以统一格式注入给回答 Agent，保证答案引用可追溯。

实现步骤

1. 环境准备

   pip install atomic-agents instructor openai pydantic requests beautifulsoup4 scikit-learn
   

   通过 getpass 安全读取 OPENAI_API_KEY，避免硬编码。

2. 文档抓取与分块

   • 使用 requests 下载 GitHub README、官方文档等源码页面。
   • BeautifulSoup 清理噪声（script、style 等），得到纯文本。
   • chunk_text 将长文本切分为 1400 字块，重叠 200 字以保留上下文。

3. 构建检索索引

   • 将所有块喂入 TfidfVectorizer(max_features=50000)，生成稀疏矩阵。
   • search(query, k) 返回前 k 条相似片段，封装为 Snippet（包含 doc_id、url、chunk_id、score）。

4. 规划检索查询

   • Planner Agent 采用 Typed Schema PlanInput/PlanOutput，仅输出检索 query、必覆盖要点与安全检查。
   • 示例系统提示强调：“只负责规划，不直接回答”。

5. 动态上下文注入

   • 将 Planner 产生的多条 query 交给 MiniCorpusRetriever，聚合去重后取分数最高的 k 条。
   • RetrievedContextProvider 将这些片段拼装成统一的上下文块，供 Answer Agent 使用。

6. 生成带引用的答案

   • Answer Agent 同样使用 Typed Schema，系统提示要求必须在答案中使用 [doc#chunk] 形式的内联引用。
   • 若检索不到支撑信息，Agent 会简短说明并建议下一步检索。

7. 交互循环

   • run_atomic_rag(question) 包装上述全部流程，支持在 Colab 或本地 REPL 中持续提问。
   • 示例问题："Teach me Atomic Agents at an advanced level..." 已演示完整输出。

关键要点：

• 强类型约束 防止 Prompt 漏洞；
• 动态上下文 保证答案始终基于最新检索；
• 可审计引用 让生成内容可追溯，提升企业落地可信度。

展望与扩展

• 替换 TF‑IDF 为更强的 Dense Retriever（如 Mistral‑embed）提升语义匹配。
• 引入 Reranker 或 Tool‑use Agent 实现多轮检索与工具调用。
• 将流水线容器化（Docker）并部署为微服务，供内部业务系统调用。

通过上述步骤，开发者可以在几行代码内完成从文档抓取到可引用答案的完整 RAG 流程，为企业内部知识问答、技术支持等场景提供可靠的 AI 助手。