死磕一个网页感知系统的来时路

想想来时路一开始，我只是想做自媒体，抓点站点数据。结果爬虫简单，维护起来没完没了。为了少维护，那时候想早上去上班晚上回来拿数据，不用自己值守，于是就开始给自己找方向。
那时开始构思这样一个工具：不用给每个网站单独写规则，在允许的范围内，把页面上能核对的事实交出来。我从第一个站开始，记得那时候 GPT5 刚发布不久，一点点摸索、踩坑、研究哪些规律换到另一个站还成立。弯路走的太多，第一版建模核心做出来时，已经过去半年。
后来 OpenClaw 火了，我开始想，能不能把这套感知交给 Agent 用。那段时间经常熬夜琢磨一件事：同一个网页，我扫一眼就知道该点哪，模型怎么就走偏了？它是没看到、理解错了，还是点了以后页面根本没变？
我开始把模型当时看到的页面、选中的对象、动作后的变化都存下来。最早一次记录只有几百 KB ，后来硬盘里攒了约 120 GB 的记录。慢慢地，任务跑偏时，我终于可以回到那一步，看看是页面没把事实交出来，还是模型拿着事实做错了判断。
后来系统慢慢健壮，我想知道一件事，自己做的东西能不能跟 Browser Use 掰掰手腕。于是挑了一道从 Investing 查行情、再到 SEC 找申报文件的题，做了六对同题测试。两边都用 DeepSeek V4 Pro ，适配和运行配置有差异。按同一套固定规则，EH 过了 6 次，Browser Use 过了 1 次。结果只说明这道题、这两套配置下发生了什么。对我来说，也算是没有观众的一次自我证明。
再后来稳定性验证，50 道自然语言任务，有经验和无经验各跑了 3 轮，共 300 次。两组各累计跑了十多个小时，执行期间没有人工接管。我事后逐份核交付，298 份通过。那些没交好的任务也有价值：有记录可翻，就知道该从哪儿查。
还有个没想到的收获：可审计的运行记录也能拿来训练模型。用熟悉任务前十遍的记录继续训一个 1.7B 模型，在之后 2,805 个离线步骤里，它选中同一控件的比例是 79.3%，同批评估中的 DeepSeek Flash 是 79.6%。参照的是历史驾驶模型的选择。到了没见过的任务，还有差距；整题能不能交付，还要继续研究。这大概算一个小小的数据飞轮，唯一遗憾就是受设备能力限制没办法尝试更大尺寸的本地模型。
以现在为节点回头看，最初只是不想维护爬虫。最后做出来的是一个不依赖逐站规则的网页感知核心：它把页面上能核对的事实交出来，决策和执行留给各自的层。这不到 7MB 的程序与 300 多 GB 的产物，包含了这一年多无数个深夜苦思难眠，也算给自己一年多以来的一个交代。


⚠️内容来自互联网，如有侵权请点击反馈！侵权投诉