QQ绑定
QQ绑定
首页
社区
心情
心情广播
游戏
面板
靓号
功能
登录
立即注册
摸鱼
摸鱼
帮助
元素远征
牛马集市
会员星图
字帖生成
登录特效
旅行地图
任务成就
积分商城
超级淘客
资源广场
友情链接
众裁中心
寻宝彩蛋
游戏勋章
牛马网盘
牛马图床
时间胶囊
牛马万年历
恶作剧商店
技术
死磕一个网页感知系统的来时路(三):长文分享一下干货,扔掉站点配置后,怎么给网页建几何模型
微信扫一扫 分享朋友圈
已有
37299
人穿越成功
教程:手机怎么扫描二维码
6
1
Look🍊
ID
257
昨天 17:08
发表在
兴趣交流
|
查看全部
阅读模式
众裁
上篇结尾停在“每适配一个站,要维护一份 200KB 的 JSON 配置”。做到第六个站时我彻底想明白了:就算跑得再稳,只要还在逐站写规则,本质上还是换皮爬虫。
真正的转折,始于我打算做一个能读网页的桌面助手。当时最大的困难就是:怎么才能不写配置、快速接入任意新站点,让感知自己跑起来?VLM 直接看?小元素看不明白还贵的要死。
为了回答这个问题,我逼着自己退回原点:网页的本质到底是什么?想来想去,我个人觉得它更像一本碎片化的杂志,终极目标是服务人类获取和使用信息。不管前端用了什么框架、嵌套了多少层代码,所有技术栈最终都在为一个消费终端服务——人类的视觉。
问题来了:当出现“人类之外的消费端”(比如 AI Agent)时,它该怎么使用这套专门为人眼设计的系统?
传统爬虫走的是后门,直接消费不可见的接口或底层结构,所以换个站就得重新磨合、一改版就崩,这些折磨了我太久。但反过来想,视觉呈现反而是所有站点差异的公共终点。回头翻看我最早画的那些 YOLO 标注规则,才发现它们其实一直在服务同一件事——我自己的视觉直觉,也就是“人到底是怎么看网页的”。
如果把网页去掉纹理和色彩,剩下的其实只有两样东西:几何与语义。几何给出位置、边界和归属,语义(比如 aria / role 或表头关联)区分“赞 / 评 / 价”这类含义。两者合在一起,就能把任意页面抽象成三个极简单的概念(拿最常见的瀑布流或列表页就能理解):
几何导航
:人看网页,看到的不是几十万字的 DOM 树,而是一簇簇有边界的几何块——哪些元素属于同一张卡、哪里能点,构成当前屏幕的一张二维导航图。
裁切与探索
:往下滑时,旧内容移出视口,新内容进来,总有元素刚好被切在屏幕边缘。下边被切,就是“下面还有内容”的探索信号;上、左、右同理。浮层遮挡也是一样:一块几何盖在另一块上面,先处理掉上层,再读底下。
探索完成
:反复探索当前视口后,不再产生新的几何结构,就是可以合法停下来的信号。
再通俗讲就是,网页就是不同的几何组成的,信息散落在各个几何结构里。当你看到页面有遮挡不全的地方会滑动探索,会在某个区域找到自己需要的功能或者想要获取的信息,当页面不在出现新的内容就停下来了。这里就是几何和信息变化带来的行为,对于我们来说这都是下意识的行动。
我这么形容几条抽象规则就是为了让你读到这里的时候去除过去常见的噪音,色彩、纹理、技术栈这些都是噪音,看到这里,你其实可以扫一眼自己面前正在看的这个页面——这三条建模规则是不是基本不用改就能直接套上去,然后再打开一个新的页面再次试试看看能不能建模同一个事实。
接下来才是关键:非人系统(大模型 / Agent)到底该怎么消费这三条概念?
网页是为人类物理视口设计的,不是为 DOM 树设计的。谁盖住了谁、哪张卡被屏幕切掉了一半、哪些按钮此刻其实点不到,都由浏览器最终的物理渲染态决定。物理世界可见,和转译给模型可见不一致,就是 Web Agent 产生操作幻觉的根源。这是我个人基于 EH 大量测试得出的主观结论,现在的模型在指令遵循和诚实度确实很优秀,我认为模型对外部世界的探索绑一个公共事实层的锚点是一种令人心安的解法。
回到正题现在很多方案直接喂裸 DOM 或无障碍树,把被弹窗盖死的按钮照样标成可点、把视口外藏着的几百行一股脑塞进上下文、把屏幕底部截断的卡片伪装成完整内容。模型读到的其实是一个失真的“假布局”,推理能力再强,也很容易点空、漏行,或者没看全就自信交出一份错答案。只有死守“人类可见边界”,让模型看到的世界和人眼看到的对齐,操作才能真正稳下来。
实际落地后,喂给模型的不再是 HTML,也不是整页截图,而是一份结构化的视口契约。比如下面是一次真实跨页对比任务里(查询开源
工具
信息)截出的一小段契约切片:
[页面主题] Selenium (software)[视口位置] 页首 · 页面总长约9屏[操作面真值] 动作面3、编辑面0被上层命中面占用,已移除;只使用当前仍标注可操作的表面[已审计证据 · 跨页只读] E0「Playwright_Developer: Microsoft」@f2 | E3「Playwright_License: Apache License 2.0」@f2▸卡[@N328组 @M10:O25] ⚠裁切 ▸卡[@N192组 @M13:O13] N191 @M13 text: Release N193 @O13 Release*: 2004; 22 years ago (2004) ▸卡[@N198组 @M14:O14] N207 @M14 title*: Stable release N208~2 @O14 title*: 4.53.0[1] / 17 November 2026 ▸卡[@N290组 @M22:O22] N288 @O22 Operating system: Cross-platform ▸卡[@N303组 @M25:O25] ⚠裁切 N304 @O25 License*: Apache License 2.0就这十几行,把前面几个概念全部串起来了:
遮挡真值
:顶部直接清掉被上层压住的操作面,不给模型留乱点的机会;
几何分组 + 语义贴值
:同属一张信息卡的字段聚在一起,列名直接贴到值上,哪怕便宜模型也不用靠位置硬数表格列;
裁切信号
:卡片底部标了 ⚠裁切,模型一看就知道下面还没露全,必须往下滚一屏核实到底部(滚屏后引擎自动切增量模式,只吐变化部分);
证据绑定防脑补
:上一页查到的字段已经跨页冻结成 E0~E3;最后提交结论时,每个交付字段必须绑定到真实页面节点或 E*。比如上面这个词条滚到底部后,信息栏确实没列 Developer 这一项——因为页面上绑不到节点,模型就老老实实报告“页面未列出”,不会凭预训练记忆瞎编一个作者填进去。
第一次对外讲自己总结的理论,这里只是我一家之言,欢迎讨论不同看法。想要了解更多可以看看EH的demo和公开测试版~
⚠️内容来自互联网,如有侵权请点击
反馈
!侵权
投诉
违规内容举报
回复
转播
恶作剧
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
本帖共 1 条回复,登录后即可查看
登录查看
立即注册
回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
Look🍊
Lv.1
牛马新星
121
主题
0
回帖
379
积分
+ 关注
发消息
hot.热文
换一批
女装退货率飙至80%,商家为何挂密码锁发货?
牛马论坛[NIUMABBS]-行为规范准则
小时候父母不让玩手机的秘密,网友亲测:经历过才懂!
[Day 21] - 10.26 - Tibo 又要重置了
day 22 - 今天 tibo 又重置
测试
AI 普及之后,应该把所有 Electron 重写为 native
求一个 Claude Team 车位,想直接进 Team
1000 美金预算还剩 998,我让 AI 开启了「付费软件斩杀计划」(Day 7 / 7)
“软饭硬吃?”石家庄一名25岁小伙在酒吧上班,被一位45岁的有钱大姐相中。
Ubuntu 等 Linux 发行版一发布,就锁定 PHP 版本号的原因是什么?
这种小程序葵花码直跳链接是怎么做到的?
1024 节日快乐
感谢老板支持,成功拿下【全家福-至尊套餐】
GPT-6.2 Astra & Sol 发布了
x 互粉贴! x 中文圈抱团
如何减少人为干预,让 agent 独立工作并提高交付质量
甲骨文免费 amd 小机出问题了吗
[Day 20] - 10.25 - Tibo 又要重置了
召唤神龙小游戏源码【H5版】
codex 的 vscode 插件又寄了啊
claude 账号突然被 on hold,有 v 友遇到过吗
原来达里奥切除过睾丸,很少有人知道
彩虹易支付 syskey 泄露高危后门, 可被利用发起订单退款等操作
上一主题
下一主题
有头有脸
上传一个头像,在任务中心获得。
QQ用户
绑定QQ账号,在任务中心获得。
晨曦初露
干啥都抢在前面,论坛第一批用户
100%
×
模板默认
东方雅韵
竹青·幽篁
霁蓝·澄碧
朱砂·绛霞
紫宸·夜宴
黛青·烟岚
月白·素练
莫兰迪雾色
雾灰·静默
鼠尾草·低吟
陶土·温存
石板·沉静
薄红·微醺
燕麦·素净
自然原木
橡木·暖阳
苔藓·晨露
陶土·粗陶
砂岩·旷野
森林·深境
桦木·素白
社区首页
我的帖子
我的消息
每日签到
游戏中心
查看全部
收起
全部应用
5
社区首页
默认
我的帖子
默认
我的消息
默认
每日签到
默认
游戏中心
默认
牛马论坛(niumabbs.com),一个专注于分享日常新鲜事、职场工作点滴、摸鱼乐趣与各类生活感悟的交流平台。
快捷访问
我的帖子
我的收藏
我的好友
我的关注
附加功能
任务大厅
道具商店
勋章中心
随便看看
关于我们
举报
小黑屋
手机版
站点统计
关注我们
加入Q群
微信客服
QQ客服
Copyright © 2026
NIUMABBS
版权所有
All Rights Reserved.
|
网站地图
劰载中...
关灯
在本版发帖
扫一扫添加微信客服
QQ客服
返回顶部
快速回复
返回顶部
返回列表