网易首页 > 网易号 > 正文 申请入驻

苹果推出Ferret-UI Lite端侧AI模型:3B参数看懂复杂屏幕

0
分享至

IT之家 2 月 21 日消息,苹果研究团队在最新论文中,推出展示 Ferret-UI Lite 端侧 AI 模型,仅有 30 亿(3B)参数,却在性能上匹配甚至超越了体积大 24 倍的大型模型。

IT之家注:Ferret-UI Lite 是专为移动设备打造的多模态大语言模型(MLLM),参数量仅为 30 亿(3B),属于典型的“轻量级”模型,可以在算力有限的手机端,精准理解与操作复杂图形用户界面(UI)。

不过在多项基准测试中,Ferret-UI Lite 的性能不仅追平,甚至超越了参数量高达其 24 倍的大型服务器端模型。

在核心技术方面,通用大模型往往难以看清手机屏幕上微小的图标和文本,而 Ferret-UI Lite 通过引入“推理时裁剪(Inference-time Cropping)”技术解决了这一痛点。

模型在处理任务时,会先进行一次粗略预测,然后智能地“剪切”并放大相关区域,就像人眼凑近观察细节一样,再次进行精准识别。这种策略让小模型无需处理海量图像数据,也能捕捉到界面中的关键信息,从而更好理解屏幕元素。

在训练方面,研究团队为了解决高质量训练数据匮乏的问题,构建了一套合成数据生成系统。该系统包含“任务生成器”、“规划器”、“执行者”和“批评者”四个角色,让 AI 在模拟环境中不断尝试操作、犯错并自我修正。

这种机制不仅生成了海量训练样本,还让模型学会了如何应对现实操作中的错误与意外情况(如点击无反应或弹出干扰窗口),其效果远优于单纯依赖人工标注的清洁数据。

测试结果显示,该模型在执行短流程、基础 UI 操作时表现优异,但在处理复杂的多步长任务时仍有提升空间。

最重要的是,Ferret-UI Lite 能够完全在本地运行,无需将屏幕截图上传至云端服务器,这在赋予手机“自动操作 App”能力的同时,最大程度地保障了用户隐私。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
孟凡贵真的是“记吃不记打”! 携老伴外出吃堂食,饺子就二两白酒搭配羊肉串,曾因糖高问题急救过三次

孟凡贵真的是“记吃不记打”! 携老伴外出吃堂食,饺子就二两白酒搭配羊肉串,曾因糖高问题急救过三次

裕丰娱间说
2026-11-18 11:33:08
今年养老金调整或按下暂停键,但明年的底子已经摆出来了,看看

今年养老金调整或按下暂停键,但明年的底子已经摆出来了,看看

白昼说故事
2026-11-18 10:41:26
开拓者遭遇2连败!杨瀚森被DNP,CCTV5中途弃播,诺里又被打脸了

开拓者遭遇2连败!杨瀚森被DNP,CCTV5中途弃播,诺里又被打脸了

董说体育
2026-11-18 12:12:12
那个被全单位孤立的挂职干部,我陪他吃了一年食堂,如今他回来了

那个被全单位孤立的挂职干部,我陪他吃了一年食堂,如今他回来了

星宇共鸣
2025-12-26 09:58:41
论三大淫妇的饥渴程度:潘金莲初会西门庆,一把将西门庆搂抱放倒

论三大淫妇的饥渴程度:潘金莲初会西门庆,一把将西门庆搂抱放倒

覃仕勇说史
2026-11-13 11:01:08
三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

小马姨
2026-11-16 09:42:14
传腾讯内部空前危机感:AI也会被替代!

传腾讯内部空前危机感:AI也会被替代!

城事堂
2026-11-17 00:05:10
帮美国造出原子弹的华人女科学家,37年后回国找父母的坟,周总理一句话让她当场落泪

帮美国造出原子弹的华人女科学家,37年后回国找父母的坟,周总理一句话让她当场落泪

磊子讲史
2026-11-13 17:11:22
先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

军迷战情室
2026-11-17 07:39:35
胆大包天!菲方阻碍中方参会,以为中国会忍,没想到中方留了一手

胆大包天!菲方阻碍中方参会,以为中国会忍,没想到中方留了一手

观锐器
2026-10-30 14:07:33
11月17日凌晨,俄罗斯报复不隔夜,4枚高超炸北约弹药库,炸大桥

11月17日凌晨,俄罗斯报复不隔夜,4枚高超炸北约弹药库,炸大桥

战域笔墨
2026-11-18 08:17:57
整容33次成瘾,4婚4离,手撕亲妈,26岁的她为了红,体面败光

整容33次成瘾,4婚4离,手撕亲妈,26岁的她为了红,体面败光

白面书誏
2026-11-16 17:30:14
香港赛:单局造21-7惨案!王祉怡2-0送白驭珀7连败,下轮中日大战

香港赛:单局造21-7惨案!王祉怡2-0送白驭珀7连败,下轮中日大战

钉钉陌上花开
2026-11-18 12:31:32
创业最怕自我感动,夫妻俩投资350万开三百平餐厅,不到一年半就关门大吉。光灯光就花了三十万,一个碟子一百块。

创业最怕自我感动,夫妻俩投资350万开三百平餐厅,不到一年半就关门大吉。光灯光就花了三十万,一个碟子一百块。

捣蛋窝
2026-11-17 17:50:23
《多喜一家人》央视开播!看完4集,我敢说:与《伟大的长征》相比,观众会断崖式下跌!

《多喜一家人》央视开播!看完4集,我敢说:与《伟大的长征》相比,观众会断崖式下跌!

Haha闲聊
2026-11-17 12:37:53
国际油价暴跌32%,国内只降5毛1!钱被谁“截”走了?

国际油价暴跌32%,国内只降5毛1!钱被谁“截”走了?

爱看剧的阿峰
2026-11-17 16:25:33
金正恩访问越南,乘专列耗时65时40分,为什么不坐飞机?大有讲究

金正恩访问越南,乘专列耗时65时40分,为什么不坐飞机?大有讲究

文史达观
2025-07-05 06:45:03
中国硬笔书法家协会已定性为“非法组织”!

中国硬笔书法家协会已定性为“非法组织”!

许三岁
2026-11-17 09:57:59
连续疯狂暴涨后,最大的危害是人们对油价消费产生了不可逆的转变

连续疯狂暴涨后,最大的危害是人们对油价消费产生了不可逆的转变

刘哥谈体育
2026-11-17 05:34:13
不报隔夜仇,泽连斯基发难炸断克里米亚大桥,俄军反击招招狠辣

不报隔夜仇,泽连斯基发难炸断克里米亚大桥,俄军反击招招狠辣

风笛悠扬声
2026-11-18 05:36:03
2026-11-18 14:44:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
379947文章数 607739关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

数码
时尚
游戏
公开课
军事航空

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

英国法庭驳回索尼PlayStation数字内容集体诉讼

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版