上次发 Kiso ,大家说太长、只有 TUI 、想看对比。这次几件事一起交代。
[size=5]一、网页版[/size]
Kiso 正式发布了 0.54 版本。网页版和终端版是同一个 agent ,跑在你自己的机器上,在浏览器里用:
npm i -g @vincemakes/kiso-code @vincemakes/kiso-webkiso web
[list]
[*]左边按文件夹列出所有任务,右边是改了哪些文件、后台在跑什么;用 CDP 做自动化开发时的关键截图也会显示在对话流里,方便查看;
[*]一个任务可以加多个文件夹;
[*]模型、推理强度、审批模式都在输入框下面,点一下就能换;
[*]能问你问题,能派子代理并行,长命令自动转到后台;
[*]运行中可以随时插话( steer )改变方向;回复后会猜你下一句,按 Tab 采纳。
[/list][img]https://raw.githubusercontent.com/vincemakes/kiso/f8b38d349d9449995c6a621a3a8a6c8a64adaab4/assets/readme/web.png[/img]
[size=5]二、和 Pi 比:完成率打平,成本互有胜负[/size]
同模型、同推理强度、隔离环境,在 Terminal-Bench 上做配对测试,任务完成率 28 : 26 ,基本持平。成本上,有的任务 Kiso 更省,有的 Pi 更省,总账目前 Pi 略占优。
Kiso 做了很多轮成本优化,但 Pi 的极简路线太强了,Kiso 始终没能在成本上全面胜过它。我原本想先在结构上做出创新、把成本压得更低,再去提升 harness 的产品体验,但这一步目前还没做到。不过 Kiso 的 token 消耗已经比市面上大多数产品更低。
下面是这两个月我围绕成本做的十几轮实验里学到的几件事:
[list=1]
[*][b]钱花在输出上,不在提示词上。[/b] 缓存命中率已经到 98%,系统提示词几乎是免费的。和 Pi 的差距主要在模型自己写得更长、想得更久。所以提示词要打磨的不是长度,而是它怎么引导模型做事。有一组提示词措辞,把一类任务的成功率从 1/5 拉到了 5/5 。
[*][b]少一个工具,不一定省钱。[/b] 直觉上砍掉 list_dir、search_text 能省 token ,实测并不总是这样:模型会转去用 shell 自己拼 find、grep,请求数和输出反而上去了。工具不只是执行接口,[b]它在不在,决定了模型会不会想到这条路[/b]。我把停止后台任务的工具藏起来测过一次,模型连「这里有后台任务可以停」都想不到,开始自己用 pkill 加轮询硬撑。
[*][b]省钱靠的是缩短取证路径。[/b] 真正有效的一次优化,是给读技能的工具加一个参数,让模型一次就能拿到要的文件。同一个任务,请求从 8–12 次降到 3 次。删字节省不了多少,少走一步弯路才省。
[*][b]比较必须配对。[/b] 同一个版本、同一条线路,一小时之内成本能自己漂 15%。所以每次比较都是两边交替着跑、逐对算差值。看的也不是总花费,而是「每个 token 能完成多少个验证通过的任务」:省钱但做错了,不算省。
[/list][size=5]三、做了又归档的:program tool calling[/size]
看到 code mode 这类做法之后,我有点 FOMO ,也做了 program tool calling:让模型写一段程序,一次调用多个工具。原型跑通了,但统计真实会话后发现,编程任务里完全重复的工具调用只占 0.4%,几乎没有可省的。它要在 MCP 工具很多(几十个)的场景才划算,现在还没有这个需求,就先归档了。代码都留着,里面也有一些有价值的尝试,以后有需求再拿出来。
[size=5]四、还没做到的[/size]
Windows 上终端版已经支持,网页版还不支持;网页版目前只有浅色主题。
README 也按大家的意见重写了。
最后,Kiso 作为开箱即用的 coding harness 真的很好用,欢迎大家多多提意见。Kiso 目前正在探索更持久的记忆和多 agent 协作。
GitHub: https://github.com/vincemakes/kiso
⚠️内容来自互联网,如有侵权请点击反馈!侵权投诉