AI 自我改进的关键，从模型转向 Harness了！

文章主旨：

递归自我改进（RSI）的进展不只取决于模型本身变聪明，包裹在模型外的 harness（编排执行、工具调用、上下文管理、产物存储与结果评估的系统层）同样是决定 AI 跑得多快、多稳的关键，其工程化方式正在成为自我改进的主要着力点。

关键要点：

• Harness 的分量不亚于模型原始智能：作者将 harness 定义为包裹基础模型的外层系统，负责编排执行过程，决定模型如何思考规划、调用工具、感知与管理上下文、存储产出物以及评估结果；Claude Code、Codex 等编码 Agent 产品的成功印证了这一层的重要性。
• 三种核心设计模式：工作流自动化（规划—执行—观察—改进的目标导向循环）、文件系统作为持久记忆（把实验日志、代码 diff、报错记录等存入文件而非塞进上下文）、子 Agent 与后端任务（父 agent 充当进程管理器，让并行过程显式且可检查）。设计应刻意保持简单通用，可类比操作系统。
• 优化对象沿抽象层级上移：指令 prompt → 结构化上下文 → 工作流 → harness 代码 → optimizer 代码，模型越强，可驾驭的优化目标越复杂、越通用。
• “让 harness 改 harness”已被验证但受限于基座能力：STOP、Self-Harness、Meta-Harness、AlphaEvolve、Darwin Gödel Machine 等方法显示自动化搜索与自我改进可行（如 DGM 使 SWE-bench Verified 从 20% 提升至 50%），但 STOP 在较弱模型上反而变差，说明递归结构需足够强的基座模型支撑。
• 完整 RSI 仍面临七个瓶颈：弱且模糊的评估器、上下文与记忆的生命周期、负面结果的稀缺、多样性坍缩、reward hacking、长期成功难以衡量、以及人在循环中的角色定位。

内容结构：

引言

介绍翁荔（前 OpenAI 安全研究副总裁，现联合创立 Thinking Machines Lab）及其技术博客 Lil'Log，说明本文围绕 Harness Engineering 展开：有哪些设计模式、学术界如何优化、还有哪些未解问题。

一、翁荔眼中的 Harness

• RSI 概念可追溯至 I. J. Good（1965），Yudkowsky 将其表述为“AI 用当下的智能去改进产生这份智能的认知机制本身”的反馈回路。
• 当代表现形式既可能是直接重写权重，也可能更宽泛：改进训练管道与部署系统，使下一代模型在有经济价值的任务上表现更好。
• 作者强调“部署系统”这一层的重要性，并给出 harness 的定义（见上文关键要点）。本文聚焦 harness engineering 本身及其对 RSI 的贡献；模型自我博弈、合成数据、测试时训练、持续学习等方向仅点名未展开。

二、Harness 的三种设计模式

• 相比早期“agent = LLM + 记忆 + 工具 + 规划 + 行动”的框架，harness engineering 增加了工作流设计（如 loop engineering）、评估、权限控制、持久状态管理，更接近运行时与软件系统设计。
• 模式一：工作流自动化。以 Karpathy 的 autoresearch 仓库为干净示例，强调在 agent runtime 中分析执行轨迹与失败案例并持续迭代，而非套用静态 prompt 模板。
• 模式二：文件系统作为持久记忆。长周期任务的产物长度远超上下文窗口，用文件管理状态可随核心模型能力提升而自然受益。
• 模式三：子 Agent 与后端任务。适用于并行搜索假设、并发跑实验或委派独立子任务；关键是让并行过程显式、可检查，使模型能在中断后恢复并推理自身执行历史。
• 案例：编码 Agent 的 Harness。Claude Code、Codex、OpenCode、Cursor 等核心接口已趋稳定，普遍采用“给定代码仓库 + 一组工具 + 循环开发调试”的模式，类似人类开发者用 IDE。
• Harness 层会被模型内化吗。作者预测两步：harness engineering 向“元方法论”演进（优化“获得更好答案的机制”本身，减少硬编码启发式）；成熟 harness 反过来使 auto-research 自我改进循环成为可能。最终许多 harness 层改进会被内化进模型，但与外部上下文和工具的接口应会保留——类似 prompt engineering 的历史轨迹。

三、Harness 怎么被优化

• 上下文工程（ACE、MCE、Meta-Harness）：ACE 把上下文当作不断演化的活页手册，由生成器、反思器、策展人三组件运作，策展人只输出结构化条目再用确定性逻辑合并，以防上下文塌陷与“越写越短”；MCE 将“管理上下文的机制”与“上下文内容”拆开，在元层级做技能演化、基础层级做上下文优化；Meta-Harness 把优化对象变成“决定存储、检索、呈现哪些信息的那段代码”，由作为编码 agent 的元层产出帕累托最优候选，其结论是：harness 设计一旦成为可执行搜索空间，强编码 agent 就能利用与人类工程师相同的设计空间。
• 工作流设计（AI Scientist → AFlow）：AI Scientist 搭建从想法、写码、跑实验、分析到写论文与同行评审的流水线；ScientistOne 以“可验证性”为核心约束，要求论断可追溯并接受证据链审计；Autodata 构造“挑战者—弱解题者—强解题者—验证者”的数据合成循环，但作者指出其合成任务未用于提升强模型，RSI 意味偏淡；ADAS 把 agent 设计本身变成优化问题；AFlow 将工作流表示为图并用 MCTS 优化，在问答、代码、数学任务上优于人工设计与 ADAS。
• 让 Harness 自己改自己（STOP、Self-Harness）：STOP 优化的是“改进器”本身，发现遗传算法、模拟退火、beam/树搜索等多种策略，但在 GPT-3.5、Mixtral 等较弱模型上表现反而变差，说明智能本身仍是核心；Self-Harness 采用“弱点挖掘—harness 提案—提案验证”三阶段循环，强调记录因果层面的失败根因、在 held-in 与 held-out 数据上做回归测试后再采纳，实验中能学到模型专属的 harness 指令并提升 held-out 通过率。作者提醒：可编辑范围需谨慎设计，权限控制与安全层必须位于自我改进循环之外。
• 演化搜索：适合搜索空间巨大、难以梯度优化但易于评估的场景。Promptbreeder 连“变异指令”本身也演化；GEPA 结合反思式 prompting 与演化搜索；AlphaEvolve 维护候选程序池、由冻结 LLM 生成改进 diff，用显式 EVOLVE-BLOCK 标记可改进区域，并通过消融实验验证各设计价值；ThetaEvolve 融合强化学习与上下文学习，ShinkaEvolve 引入采样效率优化组件；Darwin Gödel Machine 直接演化“可编辑的 harness 代码仓库”且允许 agent 修改自身，用 Claude 3.5 Sonnet 时在 SWE-bench Verified 上从 20% 升至 50%、Polyglot 从 14.2% 升至 30.7%；Hyperagents 进一步引入元 agent。此类方法在适应度易量化的领域效果最好，在评估慢或模糊的领域明显受限。
• 与模型权重联合优化：SIA 由元 agent、任务 agent、反馈 agent 组成，反馈 agent 决定下一轮更新 harness 还是更新权重；作者对其实验设计保留意见（任务 agent 所用模型明显弱于元 agent，基线偏弱），认为方向值得关注但证据尚属初步，训练稳定性与 Goodhart 效应仍是挑战。

四、还没解决的七个问题

• 前提观察：写出一篇论文不等于做出真正的科学发现。相关实验仅用最基础工具从想法走到论文，人类专家从三个领域各 45–50 篇种子论文中选出四个想法，最终只有一个被完整执行。
• 反复出现的六种失败模式：偏向训练数据里的默认选择、执行压力下的实现漂移、记忆与上下文退化、过度乐观、领域智慧不足、科学判断力弱。
• 七个瓶颈：① 弱且模糊的评估器；② 上下文和记忆的生命周期（上下文工程应逐渐成为智能的核心部分）；③ 负面结果（harness 应让失败尝试易于保留）；④ 多样性坍缩；⑤ reward hacking（评估器与权限控制应位于演化循环之外，靠 held-out 测试、轨迹审计与人工审查把关）；⑥ 长期成功（如编码 agent 难以顾及大型仓库的长期健康）；⑦ 人的角色（人应上移到抽象栈更高层提供监督，而非被移出循环）。

关于翁荔

• 北京大学本科，印第安纳大学伯明顿分校博士；先后任职 Dropbox、Affirm，2018 年初加入 OpenAI，早期在机器人团队，后组建并带领 Applied AI Research，做出 fine-tuning API、embedding API、内容审核接口等产品化工具；GPT-4 发布后统一安全工作为 Safety Systems 团队，2023 年升任 VP of Research and Safety。
• 其 2023 年《LLM Powered Autonomous Agents》提出的“Agent = 大模型 + 记忆 + 工具使用 + 规划”成为行业常用定义，本篇亦以此作为对照起点；2024 年 11 月离开 OpenAI，后加入 Thinking Machines Lab；博客 Lil'Log 自 2017 年持续更新，Google Scholar 引用量已超 5 万次。

文章总结：

Harness engineering 是当下放大模型能力的现实抓手，但它更像智能的放大器而非替代品——完整的递归自我改进仍要跨过评估、记忆、多样性与安全监督等根本性关卡，人的判断需要被安置在更高的抽象层级上。