CN 中国量子位10-19 11:11

谷歌开源RSI新成果！华人浓度爆表

名叫Harness²，让大模型在运行中自己给自己魔改外挂代码、系统提示词、工具链和技能库。

装配上这件RSI专精的GLM-5，在办公基准WorkBuddy-Bench上，直接飙升了11.5分——

总之就是一个非常离谱的外挂，任何模型套上来，跑分都直接起飞了。

目前，该项目已全面开源，已支持OpenCode与Codex。

过去业内为了让Agent变聪明，搞过不少递归自我改进（Recursive Self-Improvement，简称RSI）。

思路听起来很美：让AI自己写代码、自己改提示词、自己优化系统。但只要一放进真实的开放世界，几乎全军覆没。

实验室里刷题有单元测试，有Ground Truth告诉你对不对。但到了真实打工场景，写一份商业企划案、审一份法律合同，线上根本没人给你打分。

AI自己改了一版Prompt，它怎么知道改完是变聪明了还是在瞎编？

好不容易为了修某个任务把脚手架魔改了一通，结果下一个任务换成了写爬虫，之前改的规则全成了累赘。

直接把改完的脚手架硬套给下一个任务，系统很快就陷入噪声螺旋，越改越傻。

谷歌团队这次提出来的Harness²，就是专门冲着这两个死穴开刀的。

Harness² 名字里的这个“平方”，指的就是两层互相嵌套的递归循环：任务级递归（Task-level）和改进级递归（Harnessing-level）。

面对眼前这个新任务，系统先用初始脚手架跑一版参考轨迹出来。这版结果对不对先不管，核心是看模型在执行过程中暴露出什么缺陷。

紧接着，它启动了一套叫做Propose–Probe–Compose（提议-探测-合成）的机制：

一套是“通用缺陷修补”（Invariant），专门抓跨领域通用的毛病，比如规划混乱、工具调用死循环、上下文爆炸；

另一套是“领域专属修补”（Domain），专门针对当前业务的特定知识和约束。

没有裁判没关系，系统抓取它们的执行轨迹和参考轨迹做行为对比（Behavioral Contrast）。看改动到底有没有解决刚才卡住的步骤，有没有引发新的逻辑退化。

合成器把所有执行证据摆在一起，挑出那些真正被行为证据证明有效的改动，把它们合并进最终的执行脚手架里。

这还不算完。它还支持并行扩展（Parallel Recursion），一次性铺开 $k$ 个候选方案并发探测，在更宽的探索空间里择优合成。

当前任务做完了，交付物交出去了，很多系统的生命周期就到此为止了。

把整个调试记录（参考轨迹、候选修改、对比证据、合成决策）交给反思模块（Experience Reflector）。

反思模块复盘之后，会写一份EXPERIENCE.md，把这次为什么这么改、在什么条件下起效、带来了什么后果，清清楚楚存进持续改进经验库（Harness Improvement Library）。

但是负责改脚手架的那个“改进大脑”，手里已经攥着厚厚的历史经验手册。在提议和合成阶段，它能直接检索过往相似场景下的有效组件和避坑指南。

WorkBuddy-Bench：涵盖代码（Code）、网页（Web）、办公套件（Office）三大高难度办公工作流；

底座模型选了Gemini 3.5 Flash和GLM-5，执行脚手架挑了开源主流的OpenCode和Codex。

在WorkBuddy-Bench测试里，仅仅进行单步Harness² 改进（$k=1$）：

GLM-5在OpenCode下综合得分从64.2狂飙到75.7，暴涨11.5分；在Codex下也从64.4飙到了75.3。

Gemini 3.5 Flash在OpenCode下从72.4提升到77.5，在Codex下从74.5提升到77.5。

被优化过脚手架的GLM-5（75.7分 / 75.3分），直接把原版没改脚手架的Gemini 3.5 Flash（72.4分 / 74.5分）给干翻了。

在端到端岗位任务的JobBench上，单步改进同样带来全面提升，Gemini 3.5 Flash涨了4.5分，GLM-5涨了3.6分；在法律基准LAB上，GLM-5的部分通过率直接拔高了11.8个百分点。

如果把并行预算拉到 $k=5$（并发5路候选），性能还会进一步上扬：WorkBuddy-Bench最高再涨3.9分，JobBench再涨4.2分，LAB通过率再涨6.7个百分点。

团队把在JobBench上跑任务积累下来的经验库，直接拔下来插到WorkBuddy-Bench上去用，在完全不做额外探测的情况下，直接带来了代码 +0.6、网页 +0.5、办公 +2.9的无痛涨分。

在过去两年里，大家对AI的期待几乎全部押注在“底座模型Scaling”上，总觉得只要等下一代GPT、下一代Gemini出来，手头的应用问题就迎刃而生了。

但现实给所有从业者泼了一盆冷水：基座模型越来越贵，边际效益在放缓，而落地场景里的长尾bug依然无穷无尽。

你给模型再大的上下文窗口，它在处理跨文件对账时依然会偷懒；你给它再高的跑分，它写完报告依然不会主动打开文件去校验格式。

它需要的是一套能在运行中自我感知、自我修补、持续进化的Runtime认知工程。

以前我们搭脚手架，是工程师坐在电脑前一条一条手写Prompt、配工具、修管道，累得半死还到处漏风。

美国西北大学统计与数据科学系博士生，导师为Kaize Ding。

主要研究方向包括大语言模型、图机器学习、异常检测及AI Agent系统。

Yanfei Chen，Google Cloud AI Research资深研究工程师。

本科毕业于北京大学，主修电气工程与经济学，2018年获得美国匹兹堡大学工业工程博士学位。

此后曾在机器学习公司Qeexo担任研究工程师，2020年加入Google，参与过Vertex AI Search、Gemini Enterprise Deep Research等项目，主要研究大语言模型智能体、检索增强生成及工具学习。

Zhongying CuiZhu，也叫Zoey CuiZhu，Google Cloud AI Research研究工程师。

2019年获得斯坦福大学电气工程博士学位，主要研究通用智能体、可验证智能体及智能体质量评估。

参考链接： [1] https://arxiv.org/html/2610.14224v1