网易首页 > 网易号 > 正文 申请入驻

用GPT-4V“操纵”iPhone,无需训练可完成任意指令

0
分享至

丰色 发自 凹非寺
量子位 | 公众号 QbitAI
GPT-4V,就是Siri终结的开始。

一项研究发现:

无需任何训练,GPT-4V就能直接像人类一样与智能手机进行交互,完成各种指定命令。

比如让它在50-100美元的预算内购买一个打奶泡的工具

它就能像下面这样一步一步地完成选择购物程序(亚马逊)并打开、点击搜索栏输入“奶泡器”、找到筛选功能选择预算区间、点击商品并完成下单这一系列共计9个操作



根据测试,GPT-4V在iPhone上完成类似任务的成功率可达75%。

因此,有人感叹有了它,Siri渐渐就没有用武之地了(比Siri更懂iPhone)



谁知有人直接摆摆手:

Siri压根儿一开始就没这么强好嘛。(狗头)



还有人看完直呼:

智能语音交互时代已经开始。我们的手机可能要变成一个纯粹的显示设备了。



真的这么?

GPT-4V零样本操作iPhone

这项研究来自加州大学圣地亚哥分校、微软等机构。

它本身是开发了一个MM-Navigator,也就是一种基于GPT-4V的agent,用于开展智能手机用户界面的导航任务。

实验设置

在每一个时间步骤,MM-Navigator都会得到一个屏幕截图

作为一个多模态模型,GPT-4V接受图像和文本作为输入并产生文本输出。

在这里,就是一步步读屏幕截图信息,输出要操作的步骤。

现在的问题就是:

如何让模型合理地计算出给定屏幕上应该点击的准确位置坐标(GPT-4V只能给出大概位置)。

作者给出的解决办法非常简单,通过OCR工具和IconNet检测每一个给定屏幕上的UI元素,并标记不同的数字



这样一来,GPT-4V就只需面对一张截图指出要点什么数字进行操作就好。

两项能力测试

测试率先在iPhone上展开。

要想成功操纵手机涉及到GPT-4V不同类型的屏幕理解能力:

一个是语义推理,包括理解屏幕输入和阐明完成给定指令所需的动作。

一个是指出每一个动作应执行的精确位置(即该点哪个数字)的能力。

因此,作者开发了两组测试分别进行区分。

1、预期动作描述

只输出应该干啥,不输出具体坐标。

在这个任务中,GPT-4V理解指令并给出操作步骤的准确率为90.9%

比如在下面这个Safari浏览器的截图中,用户想要打开一个新标签页,但左下角的+号是灰色的,应该怎么办?



GPT-4V回答:

通常这样操作是ok的,但从截图来看,您似乎已经达到了500个标签页的上限,要想再打开新的,需要关闭一些已有选项卡,然后再看看+号是否可以点击。

看图理解表现得很不错~更多例子可以翻阅论文。

2、本地化动作执行

当让GPT-4V把这些“纸上谈兵”都化为具体行动时(即第二个测试任务),它的正确率有所下降,来到74.5%

还是上面的例子,它可以遵循自己给出的指令,给出正确的操作数字,比如点击数字9关闭一个标签页。



但如下图所示,让它找一个可以识别建筑物的应用程序时,它可以准确指出用ChatGPT,但是却给出了错误数字“15”(应该是“5”)。



还有的错误是因为屏幕截图本身就没有标出对应位置。

比如让它从下面的图中开启隐身模式,直接给了wifi处于的“11”位置,完全不搭嘎。



此外,除了这种简单的单步任务,测试也发现GPT-4V完全可以不需训练就胜任“买起泡器”这样的复杂指令。

在这个过程中,我们可以看到GPT-4V事无巨细地列出每一步该干什么,以及对应的数字坐标。



最后,是安卓手机上的测试。

整体来看,比其他模型比如Llama 2、PaLM 2和ChatGPT表现得明显要好。

在执行安装、购物等任务中的总体表现最高得分为52.96%,这些基线模型最高才39.6%。



对于整个实验来说,它最大的意义是证明多模态模型比如GPT-4V能够将能力直接迁移到未见过的场景,展现出进行手机交互的极大潜力。

值得一提的是,网友看完这项研究也提出了两个点:

一是我们如何定义任务执行的成功与否

比如我们想让它买洗手液补充装,只想要一袋,它却加购了六袋算成功吗?



二是大伙也不能兴奋得太早,要想真的商用这项技术,前进空间还很大。

因为,准确率可达95%的Siri都还经常被吐槽很差劲呢。



团队介绍

本研究一共12位作者,基本都来自微软。



共同一作两位。

分别是加州大学圣地亚哥分校的博士生An Yan,以及微软的高级研究员Zhengyuan Yang,后者本科毕业于中科大,博士毕业于罗切斯特大学。

参考链接:
[1]https://arxiv.org/abs/2311.07562
[2]https://x.com/emollick/status/1724272391595995329?s=20

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
成也马琳败也马琳,王艺迪承受了不该承受之重,提前和巴黎说再见

成也马琳败也马琳,王艺迪承受了不该承受之重,提前和巴黎说再见

杨哥乒乓
2024-03-02 18:23:50
A股:不必再猜了,下周(3月4日)大盘走势,会超出多头想象

A股:不必再猜了,下周(3月4日)大盘走势,会超出多头想象

彩云的夕阳
2024-03-02 07:20:03
台媒:蔡英文办公室一卫兵举枪自戕身亡,“宪兵指挥部”回应

台媒:蔡英文办公室一卫兵举枪自戕身亡,“宪兵指挥部”回应

环球网资讯
2024-03-01 23:50:16
多方确认:丁俊晖获特邀,已赴沙特参加利雅得大师赛!

多方确认:丁俊晖获特邀,已赴沙特参加利雅得大师赛!

金木原创
2024-03-02 18:53:32
大批中国买家离开后,该国半个国家宣布破产,现在后悔也来不及了

大批中国买家离开后,该国半个国家宣布破产,现在后悔也来不及了

环球Talk
2024-03-01 23:48:28
布林肯点名中方后!华春莹突然发了一张照片,释放信号不寻常

布林肯点名中方后!华春莹突然发了一张照片,释放信号不寻常

星辰故事屋
2024-03-01 20:53:51
今晨延安高架:三车相撞,有车起火

今晨延安高架:三车相撞,有车起火

新民晚报
2024-03-02 11:17:16
娃哈哈线上销量涨超500%,线下卖断货,可为何超市看不到娃哈哈纯净水?

娃哈哈线上销量涨超500%,线下卖断货,可为何超市看不到娃哈哈纯净水?

三言科技
2024-03-01 23:17:17
俄罗斯:将对德方所有行动采取回应措施!绍伊古要求军工企业:加速生产,提前交付武器……

俄罗斯:将对德方所有行动采取回应措施!绍伊古要求军工企业:加速生产,提前交付武器……

每日经济新闻
2024-02-28 22:36:09
烟火人家:李小冉胸膛上凸起的两道杠是什么高科技?答案让人心疼

烟火人家:李小冉胸膛上凸起的两道杠是什么高科技?答案让人心疼

扬仔侃电影
2024-03-01 13:10:17
再见了巴特勒!终于变成第二个韦德!热火是联盟最没人情味的球队

再见了巴特勒!终于变成第二个韦德!热火是联盟最没人情味的球队

张家大院趣说天下事
2024-03-02 11:40:02
破舰将拖走,菲44艘船强行冲锋,中方织起大网,卫星拍到震撼一幕

破舰将拖走,菲44艘船强行冲锋,中方织起大网,卫星拍到震撼一幕

朝晖前哨
2024-03-01 10:04:50
中国女排体能测试!倪非凡王媛媛状态好,吴梦洁摸高测试成亮点

中国女排体能测试!倪非凡王媛媛状态好,吴梦洁摸高测试成亮点

林子说事
2024-03-02 18:36:54
哈登退役前可能得到30000分吗?

哈登退役前可能得到30000分吗?

历史第一人梅西
2024-03-02 15:59:43
《周处除三害》删减内容曝光,仍保留四大重口戏份,尺度不忍直视

《周处除三害》删减内容曝光,仍保留四大重口戏份,尺度不忍直视

光影新天地
2024-03-01 13:31:42
搬器官、切肿瘤!广东这家医院21个小时“拆弹”成功!

搬器官、切肿瘤!广东这家医院21个小时“拆弹”成功!

南方都市报
2024-03-01 17:59:17
1990年,林青霞和邓丽君在法国海滩合影,那时素颜的样子确实很美

1990年,林青霞和邓丽君在法国海滩合影,那时素颜的样子确实很美

梦想之城
2024-03-02 07:57:44
岛国片中腿玩年的模特人妻:稚嫩童颜、大长腿、超敏感体质。

岛国片中腿玩年的模特人妻:稚嫩童颜、大长腿、超敏感体质。

皖声微言
2024-03-01 20:00:03
奚梦瑶再上T台走秀,被赞碾压许凯卡琳娜,网友:专业的就是不同

奚梦瑶再上T台走秀,被赞碾压许凯卡琳娜,网友:专业的就是不同

娱乐圈酸柠檬
2024-03-02 16:53:18
台积电熊本厂光索尼及TOYOTA订单就吃不完 美德中车厂都关注新厂

台积电熊本厂光索尼及TOYOTA订单就吃不完 美德中车厂都关注新厂

十轮网
2024-03-02 14:44:12
2024-03-02 19:36:49
量子位
量子位
追踪人工智能动态
9111文章数 174959关注度
往期回顾 全部

科技要闻

马斯克终于对OpenAI出手了

头条要闻

网红博主在泰国玩滑翔伞骨折小腿呈90度 对方赔8万元

头条要闻

网红博主在泰国玩滑翔伞骨折小腿呈90度 对方赔8万元

体育要闻

水货全明星?景菡一是谁?

娱乐要闻

周星驰为《女足》选角,网友反应平淡

财经要闻

新势力2月销量环比齐跌:多家车企没到万辆

汽车要闻

理想粉和理想黑同时试驾MEGA 赞爆与批判把车淹了

态度原创

旅游
亲子
房产
数码
公开课

旅游要闻

中国与这国迈入“免签时代”!

亲子要闻

七个月大婴儿被妈妈一直亲,转头就抱住妈妈狂啃“以牙还牙”,新系统反应就是快

房产要闻

重磅!海南又一区域官宣:取消300㎡销售限制,产权式酒店不限购!

数码要闻

移速推出能量魔方Pro移动电源:70000mAh支持百瓦快充

公开课

何为人生第一等事?

无障碍浏览 进入关怀版