网易首页 > 网易号 > 正文 申请入驻

苹果推出Ferret-UI Lite端侧AI模型:3B参数看懂复杂屏幕

0
分享至

IT之家 2 月 21 日消息,苹果研究团队在最新论文中,推出展示 Ferret-UI Lite 端侧 AI 模型,仅有 30 亿(3B)参数,却在性能上匹配甚至超越了体积大 24 倍的大型模型。

IT之家注:Ferret-UI Lite 是专为移动设备打造的多模态大语言模型(MLLM),参数量仅为 30 亿(3B),属于典型的“轻量级”模型,可以在算力有限的手机端,精准理解与操作复杂图形用户界面(UI)。

不过在多项基准测试中,Ferret-UI Lite 的性能不仅追平,甚至超越了参数量高达其 24 倍的大型服务器端模型。

在核心技术方面,通用大模型往往难以看清手机屏幕上微小的图标和文本,而 Ferret-UI Lite 通过引入“推理时裁剪(Inference-time Cropping)”技术解决了这一痛点。

模型在处理任务时,会先进行一次粗略预测,然后智能地“剪切”并放大相关区域,就像人眼凑近观察细节一样,再次进行精准识别。这种策略让小模型无需处理海量图像数据,也能捕捉到界面中的关键信息,从而更好理解屏幕元素。

在训练方面,研究团队为了解决高质量训练数据匮乏的问题,构建了一套合成数据生成系统。该系统包含“任务生成器”、“规划器”、“执行者”和“批评者”四个角色,让 AI 在模拟环境中不断尝试操作、犯错并自我修正。

这种机制不仅生成了海量训练样本,还让模型学会了如何应对现实操作中的错误与意外情况(如点击无反应或弹出干扰窗口),其效果远优于单纯依赖人工标注的清洁数据。

测试结果显示,该模型在执行短流程、基础 UI 操作时表现优异,但在处理复杂的多步长任务时仍有提升空间。

最重要的是,Ferret-UI Lite 能够完全在本地运行,无需将屏幕截图上传至云端服务器,这在赋予手机“自动操作 App”能力的同时,最大程度地保障了用户隐私。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
普京下令复仇!高超弹从天而降撕碎乌军防线,乌克兰多地火光冲天

普京下令复仇!高超弹从天而降撕碎乌军防线,乌克兰多地火光冲天

古书奇谈
2026-11-20 11:44:40
付豪空砍38分,辽宁107-115不敌山西,无缘CBA俱乐部杯2连胜

付豪空砍38分,辽宁107-115不敌山西,无缘CBA俱乐部杯2连胜

侧身凌空斩
2026-11-20 22:06:14
林恬儿与新欢私密照外泄,疑前夫何正德泄露,曝两人曾共用云账户

林恬儿与新欢私密照外泄,疑前夫何正德泄露,曝两人曾共用云账户

动物奇奇怪怪
2026-11-20 12:09:04
申花离队第1人浮现!曝锋线新星或加盟中超新军,曾随队2夺超级杯

申花离队第1人浮现!曝锋线新星或加盟中超新军,曾随队2夺超级杯

体坛鉴春秋
2026-11-20 15:28:32
间隔一天吃他汀,降脂效果更好?医生建议:服用他汀,谨记这4点

间隔一天吃他汀,降脂效果更好?医生建议:服用他汀,谨记这4点

今日养生之道
2026-11-20 11:13:14
于晓光没想到,韩国总统出席APEC峰会仅1天,秋瓷炫竟意外火出圈

于晓光没想到,韩国总统出席APEC峰会仅1天,秋瓷炫竟意外火出圈

一盅情怀
2026-11-19 14:03:42
印度前内阁部长:深圳APEC没请莫迪,伤了印度的体面。

印度前内阁部长:深圳APEC没请莫迪,伤了印度的体面。

荆楚寰宇文枢
2026-11-19 23:30:01
最高2001元!苹果官网突然加大优惠:11月27日开始,新iPhone促销

最高2001元!苹果官网突然加大优惠:11月27日开始,新iPhone促销

搞机小帝
2026-11-20 13:56:05
千亿老板拎包,陪老父亲逛商场购物,再大的老板在爹面前也是孩子

千亿老板拎包,陪老父亲逛商场购物,再大的老板在爹面前也是孩子

Mz娱乐前沿
2026-11-19 21:01:32
“领导夫人跳舞,我们可不敢看!”海淀区母女火出圈,被识破:真正的有钱人才不这样扭

“领导夫人跳舞,我们可不敢看!”海淀区母女火出圈,被识破:真正的有钱人才不这样扭

蝴蝶花雨话教育
2026-11-20 00:05:13
把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

起点财经
2026-11-20 09:50:54
日本发布了最新中日关系民意调研结果!出乎人意料

日本发布了最新中日关系民意调研结果!出乎人意料

荆楚寰宇文枢
2026-11-20 22:39:50
特朗普:理解普京对基辅袭击克里米亚大桥的愤怒

特朗普:理解普京对基辅袭击克里米亚大桥的愤怒

参考消息
2026-11-20 11:37:30
他曾是政治局常委,68岁失志选择服药自尽,至今骨灰未找到

他曾是政治局常委,68岁失志选择服药自尽,至今骨灰未找到

钟离踏忆
2026-11-19 14:41:40
65岁叶倩文冲上热搜:在南京档案馆见到14岁的母亲,当场愣住看哭无数人

65岁叶倩文冲上热搜:在南京档案馆见到14岁的母亲,当场愣住看哭无数人

磊子讲史
2026-11-16 16:23:07
武磊里程碑!海港生涯第200球,破足协杯两年球荒,对国安已入9球

武磊里程碑!海港生涯第200球,破足协杯两年球荒,对国安已入9球

奥拜尔
2026-11-20 20:14:15
县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

秋风专栏
2025-04-15 17:16:42
反转!母亲证实雅典娜没死,潮汕商会曝猛料,网友:没了比活着好

反转!母亲证实雅典娜没死,潮汕商会曝猛料,网友:没了比活着好

阿纂看事
2026-08-13 09:16:42
运动员哪能这么白这么露?铁三女神冯竟爽再次夺冠,回击流言蜚语

运动员哪能这么白这么露?铁三女神冯竟爽再次夺冠,回击流言蜚语

杨华评论
2026-06-03 02:20:48
没想到,APEC峰会开始仅1天,马斯克小儿子因一举动,再次火出圈

没想到,APEC峰会开始仅1天,马斯克小儿子因一举动,再次火出圈

黄色的泥土
2026-11-20 09:11:06
2026-11-20 23:27:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380545文章数 607744关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

"花坛藏尸案"凶手不服死刑判决 已提起上诉

头条要闻

"花坛藏尸案"凶手不服死刑判决 已提起上诉

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
亲子
家居
公开课
军事航空

旅游要闻

寻迹须弥山——藏在丝路古道上的石窟密码

亲子要闻

女孩的快乐是爸爸最大的创新动力!

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版