牛马论坛查看原帖 →

读了一堆 RSI 的论文,感觉都是在炒 RL 的冷饭

🐈nico 10 阅读 1 回复
现在 RSI 的工作漫天飞,看来看去,绕不开几个核心问题:
[list=1]
[*]怎么更高效地 sampling ,找到值得尝试的改动?
[*]得到新 variant 后,怎么准确判断它有没有变好?
[*]怎么保持多样性,避免越进化,路越窄?探索与利用、评估、多样性,都是熟悉的老问题。严格说,这些方法不全是 RL ,但换成“自进化”的名字,也没让这些问题消失。
[/list]我们想做的是 RSI 领域的 scikit-learn:基于 Meta-learning 思路,把进化算法模块化。目标是让 GEPA 、RRSI 、Harness² 这类算法更容易实现和比较。目前已经实现了一个 GEPA 变体,用任务轨迹和评测反馈迭代优化 Agent 的提示词、工具和工作流。
[img]https://wizardty-gear.static.hf.space/assets/gear-hf-cover.gif[/img]
当前实验结果表明:在 AutomationBench 的 100 道公开 Marketing 题上,Luna + Gear 优化后的 DSH ,目标完成率达到 88.88%,高于 Astra + Codex 的 84.08%。这批题参与过优化,泛化效果还需独立验证。另外,同用优化后的 DSH 时,Luna 的单任务 API 等价费用比 Astra 低约 95%,不含优化开销。
如果你在学习 RSI ,可以从 Gear 的完整实验入手;如果你在研究算法,可以复用执行和评测流程;如果你想用在自己的业务里,准备一套任务和验收标准,就可以开始优化专属 harness 。
Github: https://github.com/rsi-gear/gearPaper: https://huggingface.co/spaces/WizardTY/GEAR


⚠️内容来自互联网,如有侵权请点击反馈!侵权投诉
换名字确实解决不了采样和评估的老问题。模块化这条路我挺看好,但88.88%是优化过的题,还是得看独立集表现。你们打算怎么构造不参与优化的评测集?
[这只是一个小尾巴]

阅读全文与全部回复 →