网易首页 > 网易号 > 正文 申请入驻

苹果推出Ferret-UI Lite端侧AI模型:3B参数看懂复杂屏幕

0
分享至

来源:市场资讯

(来源:IT之家)

IT之家 2 月 21 日消息,苹果研究团队在最新论文中,推出展示 Ferret-UI Lite 端侧 AI 模型,仅有 30 亿(3B)参数,却在性能上匹配甚至超越了体积大 24 倍的大型模型。

IT之家注:Ferret-UI Lite 是专为移动设备打造的多模态大语言模型(MLLM),参数量仅为 30 亿(3B),属于典型的“轻量级”模型,可以在算力有限的手机端,精准理解与操作复杂图形用户界面(UI)。


不过在多项基准测试中,Ferret-UI Lite 的性能不仅追平,甚至超越了参数量高达其 24 倍的大型服务器端模型。


在核心技术方面,通用大模型往往难以看清手机屏幕上微小的图标和文本,而 Ferret-UI Lite 通过引入“推理时裁剪(Inference-time Cropping)”技术解决了这一痛点。


模型在处理任务时,会先进行一次粗略预测,然后智能地“剪切”并放大相关区域,就像人眼凑近观察细节一样,再次进行精准识别。这种策略让小模型无需处理海量图像数据,也能捕捉到界面中的关键信息,从而更好理解屏幕元素。


在训练方面,研究团队为了解决高质量训练数据匮乏的问题,构建了一套合成数据生成系统。该系统包含“任务生成器”、“规划器”、“执行者”和“批评者”四个角色,让 AI 在模拟环境中不断尝试操作、犯错并自我修正。


这种机制不仅生成了海量训练样本,还让模型学会了如何应对现实操作中的错误与意外情况(如点击无反应或弹出干扰窗口),其效果远优于单纯依赖人工标注的清洁数据。

测试结果显示,该模型在执行短流程、基础 UI 操作时表现优异,但在处理复杂的多步长任务时仍有提升空间。

最重要的是,Ferret-UI Lite 能够完全在本地运行,无需将屏幕截图上传至云端服务器,这在赋予手机“自动操作 App”能力的同时,最大程度地保障了用户隐私。


IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
三婚又要离,越扒越窒息,他也太渣了!

三婚又要离,越扒越窒息,他也太渣了!

背包旅行
2026-03-07 20:05:55
美媒:蕾哈娜位于比弗利山庄的豪宅遭枪击,事发时本人在家

美媒:蕾哈娜位于比弗利山庄的豪宅遭枪击,事发时本人在家

环球网资讯
2026-03-09 10:26:51
女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

江山挥笔
2025-07-29 16:50:59
佩泽什基安收回道歉,伊朗要与美以进行六个月的“激烈战争”

佩泽什基安收回道歉,伊朗要与美以进行六个月的“激烈战争”

山河路口
2026-03-08 18:15:06
说得好!2026两会最火的提案不是医疗和就业,而是董明珠的这句话

说得好!2026两会最火的提案不是医疗和就业,而是董明珠的这句话

跳跳历史
2026-03-08 13:29:47
格林美:与中国恩菲签署战略合作协议

格林美:与中国恩菲签署战略合作协议

每日经济新闻
2026-03-08 17:09:50
伊朗反击取得重大成果?千万别信网上的那些专家和爽文

伊朗反击取得重大成果?千万别信网上的那些专家和爽文

壹家言
2026-03-04 19:37:20
对标奔驰小号G级 路虎小型卫士最新消息曝光

对标奔驰小号G级 路虎小型卫士最新消息曝光

乐选爱车
2026-03-09 08:00:03
美中央司令部:对伊朗军事行动中已有7名美军士兵死亡

美中央司令部:对伊朗军事行动中已有7名美军士兵死亡

每日经济新闻
2026-03-09 06:59:08
18岁50球61助!超越梅罗,当世第一人尘埃落定,2亿身价没水分

18岁50球61助!超越梅罗,当世第一人尘埃落定,2亿身价没水分

阿泰希特
2026-03-08 14:15:33
特朗普没想到:美伊大战打醒两个国家,一个是越南,一个是菲律宾

特朗普没想到:美伊大战打醒两个国家,一个是越南,一个是菲律宾

头条爆料007
2026-03-08 11:22:26
张学良有多少资产?没有给子女,临终前安排:遗产不给中国

张学良有多少资产?没有给子女,临终前安排:遗产不给中国

墨说古今
2026-02-28 15:29:40
约基奇:被选中时我正在睡觉 本是玩票没想到却成NBA第一人

约基奇:被选中时我正在睡觉 本是玩票没想到却成NBA第一人

仰卧撑FTUer
2026-03-09 10:52:05
饭到嘴里不会吃,毁了自己前程的那尔那茜,如今又被呼唤“回归”

饭到嘴里不会吃,毁了自己前程的那尔那茜,如今又被呼唤“回归”

林雁飞
2026-03-06 14:24:29
写给所有被网贷压垮的人:2026年,是你翻身最容易的一年

写给所有被网贷压垮的人:2026年,是你翻身最容易的一年

我不叫阿哏
2026-03-06 20:12:30
汪小菲现身邯郸麻六记,马筱梅着急试水复出,张兰的委屈藏不住了

汪小菲现身邯郸麻六记,马筱梅着急试水复出,张兰的委屈藏不住了

壹月情感
2026-03-08 14:40:58
央视官宣孙悟空扮演者执导翻拍新版

央视官宣孙悟空扮演者执导翻拍新版

歪歌社团
2026-03-08 04:07:48
新疆北部部分地区今天仍有降雪 明天降雪增多增强

新疆北部部分地区今天仍有降雪 明天降雪增多增强

北青网-北京青年报
2026-03-09 11:54:06
好消息:事业单位在职人员基础绩效奖再提高,退休人员发放文明奖

好消息:事业单位在职人员基础绩效奖再提高,退休人员发放文明奖

郭爱华追问教育
2026-03-09 06:20:46
全球第三品牌为何在中国沦为杂牌?现代起亚的惨痛教训

全球第三品牌为何在中国沦为杂牌?现代起亚的惨痛教训

蓝色海边
2026-03-08 19:10:30
2026-03-09 12:28:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
2395649文章数 5758关注度
往期回顾 全部

科技要闻

冲上热搜,马化腾说没想到“龙虾”这么火

头条要闻

媒体:美以陷入与伊朗的"消耗战" 特朗普或打"退堂鼓"

头条要闻

媒体:美以陷入与伊朗的"消耗战" 特朗普或打"退堂鼓"

体育要闻

36连胜终结!大魔王也是可以战胜的

娱乐要闻

姆巴佩恋情确认!与26岁新欢共度良宵

财经要闻

见证历史!油价暴涨

汽车要闻

对标奔驰小号G级 路虎小型卫士最新消息曝光

态度原创

时尚
房产
亲子
本地
教育

“这件衣服”今年春天爆火!时髦的人都在穿

房产要闻

来了!2月海南楼市销售TOP榜出炉!三亚又霸榜

亲子要闻

怪事!老人带大的娃,身上都逃不掉这3个特征!你家娃中了几个?

本地新闻

食味印象|一口入魂!康乐烤肉串起千年丝路香

教育要闻

佛州拟推“95%本州生”法案,国际生申请难度再升级!

无障碍浏览 进入关怀版