自进化的起点不是模型变聪明,是模型开始改承载自己运行的系统。这是Harness系列第5篇,前四篇讲了是什么、怎么拆、怎么转、怎么提分,这篇讲它自己改自己。
第2篇埋了个伏笔:DSH的目标用户可能从开发者走向Agent。当时一笔带过,这篇展开。因为这是整个系列最值得认真对待的一篇。
前四篇讲怎么搭,这篇讲它自己改自己
进化有个阶梯。最早是改提示词,调调措辞换换例子。然后是改工作流,搜一搜哪种流程分高。再往上是改脚手架代码,重构承载任务的支架。到顶是端到端改完整Harness:模型不再只是在给定系统里完成任务,而是开始分析并修改承载自身运行的系统。

DSH发布的是可以热重载的壳,并且设计成适合Agent自己去修改、进化的形态。这个发布思路很有野心:没去和成品工具卷产品,而是延续一贯的思路,开源加基础设施化。开源是把每一层都拆开,允许社区一起优化。基础设施化提高了使用门槛,避免项目复杂度膨胀到无法维护。
三层理解里,第三层就是为进化准备的:底层的元框架,让插件真正做到热重载、自由组合、彻底遗忘和删除。壳成了可以修改、可以换部件的对象。下一代Agent会在长任务里一边执行,一边更换支撑自身运行的部件,就像一艘持续航行的忒修斯之船。
别再只让它干活,让它改承载自己的系统
有个对比很说明问题。一家为当前范式做最好的产品,目标最有效、最简单。一家押注下一个范式,把替换、组合、撤销作为首要假设来设计。前者研究壳本身的能力,后者研究壳的可塑性。
可塑性这个问题更接近元框架:壳是流动的,一直会被模型内化和重写,最重要的是怎么高效地修改、替换、撤销其中的组件变化。DSH的插件不好直接类比外部工具,它更像是把钩子、外部工具、子Agent和内部核心循环统一成了一种机制。解决的是动态组合问题,让组件在依赖出现消失时重组,卸载时撤回副作用。
Creator模式是这个方向的第一个入口:指导Agent检查当前运行时、试验插件、创作新的预设。虽然还不是自进化系统,但能收集用来学习自进化的数据。官方同时鼓励社区创建分发第三方插件,这个模式可能成为插件生态的创作入口。
自进化到底缺什么,评测先行吗?
DSH给了自我修改的底座,但距离真正的自进化还缺一个完整的学习闭环:需要有学习循环来提出修改,需要有评估来验证修改有效。因此当前其实是第一步,自身拆成可定位、可替换的组件。
缺评估这件事,人大的一篇论文补上了。它面向模型自主改进壳的新兴能力,建立统一评测框架。要可靠地评测,至少解决三个问题。
第一,任务必须真正对壳的变化敏感。如果表现主要由基础模型能力决定,分数变化就不能算进化的证据。第二,验证集和评估集不仅要样本互斥,还要对壳变化表现出一致的响应分布。不然观测到的提升可能只是对验证集的过拟合,不是可泛化的改进。第三,进化是包含复杂轨迹分析与持续决策的长程过程,评测必须覆盖长程,不能只看单步。
这三个问题翻译成大白话:改了壳分数真动了吗,换个任务还灵吗,跑得久了还稳吗。说到底,没有评测的进化是自嗨,有了统一基准,进化才有刻度。
底座有了,但学习闭环还没闭上
模型侧也在进化。有实测把新版进化模型从开发、多模态到超长技能全测了一遍,编码、搜索、工具调用全面增强。壳进化加速模型迭代,模型增强又反哺壳的进化。这是个双螺旋,不是一条单行线。
但别被热闹带偏。真正的自进化需要闭环:跑任务、攒轨迹、分析失败、提出修改、验证有效、合入系统,再跑下一轮。现在的DSH走完了前半段:壳可拆、可换、可热重载。后半段的学习循环和评估基准,论文刚刚给出刻度,工程落地还早。
我给这个阶段的定位是:底座就绪,刻度就位,闭环在途。押注自进化方向没错,但别把第一步当成终点。
从改任务到改自己,其实只差两样东西
一样是学习循环,另一样是评估基准。学习循环回答怎么改,评估基准回答改得好不好。两样齐了,进化才转得起来。
有意思的是,这两样都不在模型里,在壳里。怎么收集轨迹、怎么分析失败、怎么构造候选修改、跑什么基准验证,全是Harness的活。模型的角色是提议和执行,壳的角色是记忆、评判和拍板。系列第1篇的公式在这里有了新解:模型负责想,壳负责剩下的一切,进化也不例外。
还有个细节:彻底的遗忘和删除。进化不只是增加,也是削减。Cordis 插件卸载时撤回副作用,失败的修改能干净回滚,没有残留。删得干净,进化才敢大胆改。删不干净,系统只会越来越臃肿。
动手入口:先跑通一次完整闭环
光说明白不够,得动手。有份保姆级教程目标很明确:照做一遍走通装、配、跑、写插件、加载、批处理的完整闭环。
先搞清几个词:插件是能力单元, profile是具名组合,bundle是分发包,patch是改插一行的配置文件。想给某个会话换一套能力,挂个插件在旁边就行,不用动源码。
环境要新版运行时加包管理器,加官方模型的密钥。版本还是开发者预览,官方明示未来会有破坏兼容的变更。现在入场就是早期 adopters 的位置:能玩,但别在生产要害上 All in。
我的建议分三步。第一步,跑通Creator模式,亲手改一次运行时,感受壳是可塑的。第二步,给自己的高频任务写一个专属插件,体会组合的自由度。第三步,关注进化评测的进展,刻度有了再谈闭环。关键在于,进化不是等来的,是先把壳拆开、再让数据回流,一步步搭出来的。
判断很简单:别问模型什么时候觉醒,问你的壳能不能被改、敢不敢改、改完能不能验。
发表评论 取消回复