我们本来想做一个 Agent 进化算法,最后却给这个领域做了一次全面体检
论文:The Resolution Hypothesis: Agent Evolution’s Key Is Identifying Improvements arXiv:2611.23068 · PDF:arXiv PDF · 项目主页(含 30s 互动小游戏):Resolution Hypothesis Project Page 三篇连载长文:(一)原地踏步与方差账 · (二)高通滤波器与捷径审计 · (三)好 Skill 与失明的选择器
半年前刚立项的时候,我们压根没想过要写一篇给整个领域“泼冷水”的论文。我们最初的目标特别单纯:做出一个真正管用的 Agent 进化算法。
当时社区里关于 Self-Evolving Agents(现在更时髦的叫法是 RSI,递归自我改进)的工作正扎堆涌现。我们顺着最火的 SkillOpt 一路调研下来,心里其实一直犯嘀咕:在模型权重冻结的前提下,靠自然语言反思去改写几段 Prompt 或 Skill 文档,这种所谓的“文本空间优化”,跟直接让大模型把思维链和自我反思写扎实一点到底有什么本质区别?看多了总有一种强烈的既视感——很像把 2024 年 TextGrad 那批工作换了个壳,端上来重炒了一遍冷饭。
因为骨子里不太喜欢这种纯讲故事的路数,我们起初想走得更有“机器学习原则”一点:比如借类似 EM(期望最大化)的思路来组织多轮迭代,或者干脆把文本修改做某种合理的参数化来训练。结果试了一圈全撞了南墙——多轮环境交互的归因信号太稀薄,离散文本参数化极其别扭,训练数据也捉襟见肘。
几条硬桥硬马的路走死之后,我们退了一步:既然试来试去只有类 AutoResearch 的路子效果看着最像样,不如在这上面打磨一套“元进化(Meta-Evolving)”算法。前期的曲线相当诱人——随着迭代轮次推进,只要对每轮生成的候选得分取个 max,你总能画出一条一路向右上方爬升的漂亮折线图。靠着这个苗头,阶段汇报很顺利,我们也拿到了继续扩量的支持。
直到真正的麻烦找上门来。
当我们开始扩量,并且把这套策略搬到成熟起来的实战基准和 Terminal-Bench 这种硬核容器工程任务上时,所有招数——不管是我们自己攒的,还是社区论文里吹得神乎其神的框架——全都失灵了。表面上循环里的最高分还在爬坡,可把进化出来的 Skill 拿去实测,分数永远在初始基线上下晃荡两三个点,实际用起来毫无可见影响。眼看节点临近,交不出真正在硬任务上站得住脚的策略,所有人都坐不住了。
一、从“先 Overfit”到那场盲抽实验
走投无路的时候,我们想起了 Karpathy 多年前写过的一条老派调试规矩:怀疑机器学习系统有问题时,先别谈泛化,先去 Overfit;如果连单题过拟合都做不到,说明管线本身就是坏的。
受早期做快速验证时的启发,我们干脆放下身段,对着具体错题手写极度直白的提示(Hint)硬喂给模型。结果发现了一件怪事:加上特定 Hint 后某几道题确实稳稳过了;可回头翻其他自动进化出来的普通 Skill 日志时,Hint 促成的关键正确动作,其实在普通 Skill 的某几次运行里也出现过!
为什么同一个正确动作,手写 Hint 能拿到稳稳的高分,普通进化产物却拿不到?
想通的那一刻真有点懊恼:手写 Hint 做到的是“稳定扭转模型行为”,而普通 Skill 只是“偶尔撞上那个行为”,方差大得惊人。 当时无论是文本派还是外面炒得很热的改脚手架代码(Harness)的 RSI,核心共识都是“拿实机跑一次验证集的分数做门控(Gate)”。但在这层高方差底下,能跨过 Gate 的无非两种情况:要么真改对了行为,要么纯粹是采样撞了大运;没跨过去的,可能是手气背,也可能是改对了三个必要动作里的两个、偏偏倒在了最后一步。你在循环里画出一条单调不减的曲线,什么都证明不了。
恰好那周离组会还有几天空档,手头一时没新方向可试,池子里又闲着一批没人用的 API 额度。我们干脆做了一个带点“行为艺术”色彩的实验:把选择器彻底扔掉,就在 Terminal-Bench 上让模型纯瞎提议(Propose)100 个候选 Skill,然后砸算力对每个候选重测十几遍,用经验贝叶斯模型把真实底牌洗出来。
做之前心里完全没底——既然选择器这么瞎,提议器会不会也一样菜?(当然,如果你拿千禧年数学难题让模型瞎提议,抽一万次也是零;好在常规软件工程任务还在当前基座模型的能力射程之内。)结果跑出来的那一刻,全组都震住了:哪怕用最朴素的提议器,候选池里明明就躺着能跨 11 个编程任务平均稳涨 +11.4 个百分点的真东西!(比如排头名的 seed-027,精准摁住了模型在自动化测试下擅自把导出类名 Server 美化成 Servicer、手搓空格破坏 BPE 换行分词计数等违约毛病。)
金子早就被写出来了,但回过头考考市面上的选择器:单次执行门控挑准更优候选的概率是 49.7%(抛硬币是 50.0%),放行接受的修改里 62.1% 其实是负优化;哪怕请 LLM 当裁判把几万字轨迹从头读到尾,三种主流裁判模板的准确率也只有 45.4%–49.0%——裁判自己的眼花叠加上环境随机波动,反而更瞎了。
那一刻我们意识到,这大概是一篇必须写出来给社区看的论文。
二、画不出的“Evolving Law”与推倒重跑的决定
真正按论文标准铺开 7 种主流方法、6 款模型去跑十几个公开基准时,一个差点掀翻我们立论的现象出现了:在硬核编程基准上大家确实集体卡壳,可在 SpreadsheetBench、LiveMathematicianBench、AIME 这一批公开基准上,进化方法真的能哗哗暴涨 20 到 40 分!
起初我们猜“是不是 SWE 任务方差大、那些暴涨基准方差小”?组里同学跑完统计回来直摇头——那些基准的单次方差一点也不小。当时为了赶 ICLR 截稿,我们甚至花了一周时间,想用基础正确率和方差拟合一条类似 Scaling Law 的 “Evolving Law” 去预测进化收益,结果画出来的散点图永远是一团乱麻。
机器学习最朴素的常识又救了我们一次:你不可能在一个没搞懂底层分布的混合脏数据上拟合出定律。
那位同学停下画图,直接扎进那 12 个基准的评测器源码和进化产物里逐行对账,结果抓出了一连串让人哭笑不得的现场:
- SpreadsheetBench 暴涨三四十分,是因为伴随开源的评测脚本读
.xlsx时漏了公式重算,写正规公式全判 0 分,进化只是学会了一句“Python 算好填纯数字,别写公式”。最绝的是接入 LibreOffice 修好重算之后:因极少数新函数不支持求值,这句话其实还剩 +6.7 分的真收益;但在 39 道验证题上,6 分刚巧跌回两三道题的采样噪声带——原评测器下(值 30 分)8 次进化 8/8 全学会,修好后重跑 12 次进化,最终保住这一习惯的只剩 2/12! - LiveMathematicianBench 里有 85 道题包含“其余某项正确,但可证明更强结果”且 100% 是标准答案。直接用一句话命令基座模型盲选它时,模型端着“数学自尊心”最低只有 4% 肯听话;多轮进化却自动磨出一套学术劝降话术(先骗模型具体选项都被出题人故意弱化了,再倒置证明责任),硬把盲选服从率哄到了 92%。
- SearchQA 把检索资料 100% 删空逼模型闭卷裸考,DeepSeek-V4-Flash 和 GPT-5.6 Luna 分数不降反升;ALFWorld 代码进化单步暴涨 29 分,仅因解除了初始代码硬编码的“只保留 2 步历史”。
在全部 27 组高涨幅配置里,往空基线后只加一句话就能复现中位 90% 的收益;修好评测漏洞后,12 个基准中位涨幅直接从 17.6 分跌到 0.8 分。
这时候两块拼图彻底咬合死了:评估系统的分辨率决定了进化能留住什么。 在单次对比标准差动辄 2~4 分(文献 171 列打榜结果的中位 SOTA 优势恰好只有 3.4 分,且 0 列给误差棒,Terminal-Bench 单次挑对第一名概率仅 33%)的粗糙尺子下,细水长流的真改进全被滤掉了,只有通吃全场的评测漏洞能刺穿噪声活下来。
看着越挖越深的数据,我们做了一个很干脆的决定:不赶 ICLR 死线了,改投 ARR。 同时,为了彻底排除早期我们在单台 64 核 256G 开发机上硬塞 64 个并发 Docker 带来的出口代理超时和缓存争抢干扰,全组咬牙把管线搬上公司几百核几 T 内存的大集群,配足单容器资源与网络白名单,趁着长假把几乎所有实验推倒重跑了一遍(重跑后发现光把基建修干净,整体通过率就涨了一截——我现在严重怀疑市面上不少论文里奇低无比的 Baseline,测出来的其实是一半校园网 NAT 超时率)。这 1,030 次独立进化、210 万条轨迹攒下来的账本,就是现在的 《分辨率假说(The Resolution Hypothesis)》。
三、账本之外,三个更主观的判断
实验数据论文里都有,最后我想把这半年折腾下来几个带点个人偏见的结论摊开聊聊:
第一,别拿《The Bitter Lesson》给现在的文本 RSI 贴金——离散文本根本没有参数空间的“记忆性”。 靠终端跑分反推修改本质上是强化学习,样本效率本就极低。传统 RL 在连续权重空间里之所以能慢慢攒出本事,是因为几百亿维向量更新有近似正交的几何性质,新方向叠上去不会轻易抹平旧方向,参数天然是有记忆的。离散文本和代码没有这种记忆性,重写两轮就把前人覆盖了;指望在极少样本、极高噪声下靠无记忆覆写攒出复利,本身就违背直觉。
第二,好提示词需要“承担风险(Take Risk)”,而失明的门控只会制造“高斯模糊”。 聪明人写 Prompt 管用,是因为人懂整个系统的运行机理,敢下极具体、极锋利的死命令,同时自己兜得住不误伤别处的风险。自动进化系统每轮只拿到 0/1 那一丁点环境反馈,根本消不掉风险——锋利的修改碰上两次采样坏运气就被淘汰,最终能安全混过门控的,全是四平八稳、谁也不得罪、像加了一层“高斯模糊”一样的片汤话。
第三,短期劝新人避开老范式,但长期我依然相信“文本”与任务特化。 如果今天有刚进组的同学问要不要顺着“提议—跑分—替换”的老路子开新坑,我的实话是千万别碰——留给你的空间太窄(哪怕暴力加码到 16 倍验证采样,救活分数的同时又会陷入拒斥多步探索的过度保守),辛辛苦苦抠出两三分,下一代基座模型一发版顺手就吃掉了。
但往远看,两条真正有戏的路已经露头了:一是我们在跑完 7 种方法后发现,改代码脚手架(Harness)之所以比纯改文本略占上风,是因为它逼着工具和检查流针对具体题目做了特化——顺着这个逻辑把评估也下沉到因题而异的确定性过程指标上(比如改完代码是否立刻跑了未掩盖报错的测试),噪声方差当场就能砍掉 13 到 57 倍;二是上下文的单样本效率与众包潜力。喂海量语料训权重换来的只是可怜的边际提升,而一段文本塞进上下文当场就能生效,且全世界每个正在用大模型的普通用户每天都在天然生产文本经验。
等哪天社区真正造出了高分辨率的新尺子,解决了怎么筛、怎么在离散空间里无损积累的问题,这股乘上用户规模的力量才算真正上了牌桌。
- 论文全文(arXiv):https://arxiv.org/abs/2611.23068
- 项目主页、交互式数据浏览器与 30 秒互动小游戏:/resolution-hypothesis/
- 完整实验三部曲:
Enjoy Reading This Article?
Here are some more articles you might like to read next: