Karpathy‘autoresearch’引领循环工程新范式，双层自研实现5倍效能提升

背景概述

在传统的 AI 使用方式中，用户往往像使用 2015 年的搜索框：输入‑>阅读‑>再次输入，循环手动进行。随着大模型能力的提升，研究者开始探索 循环工程（Loop Engineering），即让模型自行设定目标、执行、评估并迭代，直至达成预设指标。本文围绕两项已公开的成果——Karpathy 的 autoresearch 与近期的 Bilevel Autoresearch——阐释该范式的实现细节与实际收益。

循环的三大核心要素

Verifier（验证器）：对每一次实验结果进行客观打分，如 val_bpb（每字节比特数）等可度量指标。
State（状态）：记录已尝试的改动、失败案例以及剩余搜索空间，保证循环可恢复、可追溯。
Stop Condition（停止条件）：防止成本失控，可基于达成目标或最大迭代次数触发。

缺少任一环节，循环便沦为无意义的自嗨对话。

Karpathy Loop：autoresearch 实践

发布时间：2026‑03‑07，MIT 许可证开源。
代码规模：约 630 行，三大核心文件 train.py、prepare.py、program.md。
运行机制：
- 代理仅能编辑 train.py（模型、优化器、训练循环），无法修改评估脚本 prepare.py，防止“偷懒”。
- 人类编写 program.md 作为任务说明。
- 每轮实验：读取代码 → 提出改动 → 训练 5 分钟 → 根据 val_bpb 决定保留或回滚。
实验结果：在 Karpathy 自己的 nano‑chat GPT‑2 基准上，两天内执行约 700 次实验，成功保留 20 项改进，整体训练时长从 2.02 小时缩短至 1.80 小时（提升 11%）。
业界验证：Shopify CEO Tobi Lütke 将其在内部模型上跑一夜，实验 37 次后实现 19% 性能提升。

双层循环：Bilevel Autoresearch

论文 Bilevel Autoresearch: Meta‑Autoresearching Itself 进一步提出在 内层循环（Karpathy Loop）之上叠加 外层循环。外层循环监控内层的搜索轨迹，自动生成新的 Python 机制并注入运行时，从而打破内层循环的局部最优。

层级划分：
- Level 1：基础循环，执行 propose‑train‑evaluate‑keep/rollback。
- Level 1.5：每五次实验调节搜索超参数。
- Level 2（外层）：四轮对话生成机制代码，重新启动内层循环。
硬件与预算：RTX 5090 32 GB，单轮预算 300 秒。
性能提升：在同一 GPT‑pretraining 基准上，外层循环将 val_bpb 降幅提升至 5 倍（-0.045 vs -0.009），证明收益来源于循环结构而非模型本身。

五大构建块的通用化

Automation：触发循环的调度器或事件监听。
Skill：存放项目知识的 Markdown 文件（如 program.md）。
Sub‑Agents：分别承担写代码与评审的角色，避免单模型自评过宽。
Connector：将循环嵌入实际工具链（GitHub Issue、Slack 等）。
Verifier：始终是质量关卡，必须可量化并具备回滚能力。

Claude Code、Codex 等最新模型已内置上述五块，实现端到端的自动化研发。

实际落地与展望

循环工程已从科研原型向企业落地迈进。它可用于：

模型调参：自动搜索超参数直至指标下降。
代码重构：在 CI 环境中循环修改代码，直至所有单元测试通过。
内容生成：依据 rubric 自动迭代文本，直至评分达标。
数据管道：持续校验 schema，自动修复不符合规范的批次。

尽管循环可以大幅降低人工重复劳动，但仍需人为设计目标、编写 verifier 与 stop condition，真正的“全自动”仍是未来的研究方向。

关键要点

循环必须具备 验证器、状态记录、停止条件 三要素。
Karpathy Loop 在真实训练基准上实现 11% 效率提升，验证了概念可行性。
Bilevel Autoresearch 通过外层元搜索将同一基准的 性能提升 5 倍。
五大构建块已被主流模型集成，为企业 AI 工程提供即插即用的自动化框架。

“循环不是要取代思考，而是把思考的设计与审查工作交给机器。”——Karpathy