网易首页 > 网易号 > 正文 申请入驻

让AI"看懂"网页的野路子

0
分享至

你的AI助手能写代码,却连按钮在哪都找不着——这事挺尴尬的。

Domscribe这家公司搞了个新玩法:不给AI看代码,直接让它"看"网页长啥样。用视觉(计算机视觉)而不是DOM树(网页结构文档)来理解界面,思路挺野的。


一图拆解:AI怎么"看见"网页

传统路线:AI读HTML→解析标签→猜位置。问题很明显——现代网页一堆动态加载、CSS魔法,代码和实际画面经常对不上号。

Domscribe的路线:截图→视觉识别→生成结构化描述。像给人看UI设计稿,而不是塞给他一坨代码。

这解决了AI Agent(智能代理)的老大难问题:操作浏览器时找不着北。比如让它"点击设置里的隐私选项",它可能卡在三层菜单里打转。

为什么现在才有人做?

视觉理解模型(多模态大模型)去年才够用。以前截图给AI,它连"这是按钮还是图片"都分不清。

另一个隐藏需求:测试自动化。QA工程师最烦的就是写选择器(定位页面元素的代码),页面一改全崩。视觉方案抗折腾多了。

商业上的小心思

Domscribe没开源核心模型,卖的是API和托管服务。这很聪明——大模型能力 commoditize(商品化)太快,但"视觉解析网页"这个场景封装有粘性。

竞品思路对比:Browserbase、Stagehand这些Agent框架还在死磕DOM+LLM(大语言模型)混合方案。Domscribe押注纯视觉,是赌多模态进步速度超过网页复杂度增长速度。

有个细节很有意思:他们专门处理了阴影、圆角、半透明这些"视觉干扰项"。说明真做过落地,不是demo(演示)选手。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
女人爱听这些两性关系中的“下流话”,尤其是过了中年的女人

女人爱听这些两性关系中的“下流话”,尤其是过了中年的女人

i书与房
2026-03-25 16:30:22
陈皮加它一起煮,倒头就睡还疏肝宁神,我靠这招睡饱觉气色好

陈皮加它一起煮,倒头就睡还疏肝宁神,我靠这招睡饱觉气色好

江江食研社
2026-03-10 14:13:03
丹麦把旅居台湾民众居留证国籍、出生地登记改为中国,国台办回应

丹麦把旅居台湾民众居留证国籍、出生地登记改为中国,国台办回应

新京报
2026-04-15 11:21:58
朱标到底有多恐怖?他若不死朱棣不敢篡位,中国历史差点被他改写

朱标到底有多恐怖?他若不死朱棣不敢篡位,中国历史差点被他改写

千秋文化
2025-12-30 21:30:01
三面包围!俄急调防空兵东援,日本下场援乌,远东成新火药桶?

三面包围!俄急调防空兵东援,日本下场援乌,远东成新火药桶?

a入画浅相思
2026-04-15 23:54:29
楼市“预言家”潘石屹再开金口,前两次全中,这次大概率又说对了

楼市“预言家”潘石屹再开金口,前两次全中,这次大概率又说对了

鉴史录
2026-04-13 16:32:08
青岛市委常委张新竹履新,已任商务厅副厅长(正厅级)

青岛市委常委张新竹履新,已任商务厅副厅长(正厅级)

小影的娱乐
2026-04-15 10:05:54
282群,陈某汐也在!转账记录也是实名,表面称好友,背地却使坏

282群,陈某汐也在!转账记录也是实名,表面称好友,背地却使坏

魔都姐姐杂谈
2026-04-15 06:23:28
我是寡妇已绝经,当保姆同居半年后才懂,男人的良心装的都是算计

我是寡妇已绝经,当保姆同居半年后才懂,男人的良心装的都是算计

i书与房
2026-03-05 13:48:24
小鹏GX开启预售,预售价39.98万元

小鹏GX开启预售,预售价39.98万元

财闻
2026-04-15 20:48:22
交警提醒:即日起路边停车“开双闪”或被罚款200元,车主需留意

交警提醒:即日起路边停车“开双闪”或被罚款200元,车主需留意

复转这些年
2026-04-13 12:15:39
笑麻了,医学的尽头是玄学,当值班用苹果镇住了电话时,没想到

笑麻了,医学的尽头是玄学,当值班用苹果镇住了电话时,没想到

水泥土的搞笑
2026-04-13 21:08:39
医生调查428名糖尿病人士,发现:患糖尿病的人,有6大共性

医生调查428名糖尿病人士,发现:患糖尿病的人,有6大共性

刘哥谈体育
2026-04-14 16:36:46
中化怒了!550亿投资遭算计,倍耐力夺权战底牌全揭

中化怒了!550亿投资遭算计,倍耐力夺权战底牌全揭

轮胎报官方
2026-04-15 20:58:34
又一个中国车企发布HEV技术,百公里2.22个油,丰田和本田的基本盘危险?

又一个中国车企发布HEV技术,百公里2.22个油,丰田和本田的基本盘危险?

新浪财经
2026-04-15 08:37:08
国际乒联设百年荣誉榜,国乒仅入选3人,一邓亚萍二马龙,三是?

国际乒联设百年荣誉榜,国乒仅入选3人,一邓亚萍二马龙,三是?

格斗社
2026-04-15 16:51:15
大风315 | 旧车交由经销商申请报废,残值咋能按0元计算?4S店:合同约定好的,置换补贴含残值

大风315 | 旧车交由经销商申请报废,残值咋能按0元计算?4S店:合同约定好的,置换补贴含残值

大风新闻
2026-04-14 11:32:07
白宫:特朗普将提交“美国凯旋拱门”建设计划

白宫:特朗普将提交“美国凯旋拱门”建设计划

财联社
2026-04-16 02:42:03
失业的弟弟一家找上门,我无奈装病住院,5天后老公带来了意外消息

失业的弟弟一家找上门,我无奈装病住院,5天后老公带来了意外消息

奶茶麦子
2026-04-14 15:09:04
反向预言!12年前索尼惊人广告被挖出:从此不需要手机

反向预言!12年前索尼惊人广告被挖出:从此不需要手机

游民星空
2026-04-13 13:07:09
2026-04-16 03:51:00
像素与芯片
像素与芯片
有态度网友ytd
2403文章数 15关注度
往期回顾 全部

科技要闻

ChatGPT十亿用户又怎样?Anthropic直接贴脸

头条要闻

法国全票通过 “将不义之财归还中国”

头条要闻

法国全票通过 “将不义之财归还中国”

体育要闻

三球准绝杀戴大金链:轰30+10自我救赎

娱乐要闻

谢娜现身环球影城,牵手女儿温馨有爱

财经要闻

业绩失速的Lululemon:"健康"人设崩塌?

汽车要闻

空间丝毫不用妥协 小鹏GX首发评测

态度原创

教育
时尚
本地
健康
游戏

教育要闻

黄冈小升初招生题,求面积,方法思路太绝了

赫本爱穿的伞裙,好优雅!

本地新闻

12吨巧克力有难,全网化身超级侦探添乱

干细胞抗衰4大误区,90%的人都中招

《GTA6》抢劫玩法泄露引热议!NPC与警察全面升级

无障碍浏览 进入关怀版