网易首页 > 网易号 > 正文 申请入驻

字节开源了“豆包电脑”:UI-TARS-Destktop

0
分享至

最近字节开源了自动化桌面办公的项目开源,这就是现在的UI-Tars-desktop,通过这个系统就可以实现桌面自动化办公,可以说这就是“豆包电脑”

如下是系统截图,通过视觉可视化UI完成解读UI来驱动系统自动化操作


目前这个产品到底使用如何,简单来说就是通过对话完成任务命令,就可以完成各类浏览器、与应用程序打开。

目前系统支持agent形式的CLI调用以及普通桌面形式使用,前者是可以将以及客户端2种方式,第一种是支持Web Ui或者CLI的形式,允许开发者进行调用与兼容,第二周则是原生桌面GUI,只能通过远程桌面完成自动化操作。

也就是官方系统了自动化的平台调用形式,如下是系统的演示,15秒时间完成了对比酒店信息与价格。


目前支持多个工具:从CLI命令行到可视化桌面窗口

现在最新版本在11月份更新了之后,支持结构化输出,查看最后的结果,并且适合系统批量处理。

能够支持自动debug相关任务流程命令

可以查询到AI的沟通记录,以及了解他为什么会这么干,以及了解过去的过程与步骤,从而优化提示词与界面,

从豆包手机再到“豆包”电脑,接下来白领会成为第一批淘汰的人

在最近大火的2025年底马斯克的2个半小时访谈里,就提到在2026年预计Grok就会达到AGI,同时第一批被淘汰的人就是用鼠标和键盘的这群白领。

这些人将首先最容易被AI替代,因为没有涉及到物理世界,使用的数据都是数据信号,没有物理原理,而真实世界会有物理世界,这些会逐步被空间智能与空间感知替代。

带着团队打通vision Pro与AndroidXR 以及空间计算与PC、手机

最近之所以发现这个项目,是因为我带着团队正在打破空间计算与PC电脑的隔阂,要是使用vision Pro的同学应该知道,我们现在都只能够投屏PC或手机,所以使用vision Pro总是感觉是割裂的,就是无法和自己的PC电脑进行交互,虽然你知道都是数字化的屏幕,这就导致体验是割裂的。

但是比较遗憾的,现在vision Pro还没有提供眼球数据,所以开发者不能够获取到精细化的选中,而只有AndroidXR提供了眼球数据。

所以后续这类豆包手机、电脑都会成为大大提升人类与系统交互的工具,就不需要每一次点击鼠标或鼠标键盘打字了,将其通过agent帮忙进行输入

另外相关开源项目的地址已经放在知识星球了,如果有需要可以在星期查看,今天的分享就到这里。

“关注我,一个产品经理的创业故事”

每日案例拆解库,今天的开源产品与APP拆解在这儿

我创建的产品设计打卡社群,加入后365天,每天体验一款APP。提升产品设计能力,同时有1300份体验报告帮助你找到竞品

在这里你可以随时查询到你想找的各类竞品行业APP,无须自己亲自下载就可以马上得到APP的一手产品优化、交互设计、功能描述信息。

从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度,体验一款应用。

平均1天1块钱,扫码购买即可加入

连续体验48款应用,通过后原路退回

报名后添加星球助理

PMTalk123

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
天崩地裂!13000公里时速,导弹爆炸温度数千度:普京真掀桌子了

天崩地裂!13000公里时速,导弹爆炸温度数千度:普京真掀桌子了

梁讯
2026-01-13 11:58:55
张水华首次透露辞职内幕:遭遇大量电话和邮件投诉,只想当普通人

张水华首次透露辞职内幕:遭遇大量电话和邮件投诉,只想当普通人

一枚野球君
2026-01-13 13:04:22
张水华不再隐忍!揭露离职真相:不堪受网暴,甩锅给网友合适吗?

张水华不再隐忍!揭露离职真相:不堪受网暴,甩锅给网友合适吗?

削桐作琴
2026-01-12 19:43:43
赵本山之子开130万巨无霸,沈阳仅此几台

赵本山之子开130万巨无霸,沈阳仅此几台

趣味萌宠的日常
2026-01-13 09:00:51
华为Mate80 Pro Max 正式放量:1月12日,再次开售

华为Mate80 Pro Max 正式放量:1月12日,再次开售

科技堡垒
2026-01-12 11:48:17
喝假酒了吧?追觅科技CEO逆天发言 百万亿美金可相当于67个特斯拉

喝假酒了吧?追觅科技CEO逆天发言 百万亿美金可相当于67个特斯拉

道哥说车
2026-01-13 10:18:30
13岁女孩冰窟救男童 中央政法委通报表扬

13岁女孩冰窟救男童 中央政法委通报表扬

环球网资讯
2026-01-12 17:27:23
大陆终于出手,不能让蔡正元含冤,两岸传来好消息,国共即将会晤

大陆终于出手,不能让蔡正元含冤,两岸传来好消息,国共即将会晤

喜你成疾药石无医
2026-01-13 10:46:03
合川千人杀猪饭后续,一天宰猪五头,女子涨粉20万,文旅局忙疯了

合川千人杀猪饭后续,一天宰猪五头,女子涨粉20万,文旅局忙疯了

天天热点见闻
2026-01-12 05:51:53
空中技巧世界杯落幕!徐梦桃第7次加冕总冠军,中国队夺国家杯

空中技巧世界杯落幕!徐梦桃第7次加冕总冠军,中国队夺国家杯

全景体育V
2026-01-13 10:03:03
俄罗斯榛树导弹故意不装弹头,乌方承认:雷达完全失效,看不见

俄罗斯榛树导弹故意不装弹头,乌方承认:雷达完全失效,看不见

科普100克克
2026-01-11 11:44:23
“简直欺人太甚!”上海有顾客怒了!和好友一起吃个饭,竟被餐厅全程直播…矛盾频发,食客质疑侵犯个人隐私

“简直欺人太甚!”上海有顾客怒了!和好友一起吃个饭,竟被餐厅全程直播…矛盾频发,食客质疑侵犯个人隐私

新民晚报
2026-01-12 21:16:19
里程碑!哈登生涯总分超奥尼尔升历史第9 现役仅少于詹姆斯杜兰特

里程碑!哈登生涯总分超奥尼尔升历史第9 现役仅少于詹姆斯杜兰特

罗说NBA
2026-01-13 12:54:41
阿里巴巴涨幅扩大至10%

阿里巴巴涨幅扩大至10%

每日经济新闻
2026-01-13 01:11:20
她是东方卫视一姐,因寿宴门身败名裂,与相爱7年前任诀别嫁海归

她是东方卫视一姐,因寿宴门身败名裂,与相爱7年前任诀别嫁海归

娱说瑜悦
2026-01-13 12:55:57
15年前发布的iPhone4需求激增, 复古潮流与商家炒作成推手

15年前发布的iPhone4需求激增, 复古潮流与商家炒作成推手

界面新闻
2026-01-12 20:51:05
马斯克最新访谈:瓦特是未来货币,电力优势将令中国AI算力一骑绝尘

马斯克最新访谈:瓦特是未来货币,电力优势将令中国AI算力一骑绝尘

澎湃新闻
2026-01-13 04:52:26
特朗普:对伊朗贸易伙伴征收25%关税

特朗普:对伊朗贸易伙伴征收25%关税

财联社
2026-01-13 06:20:40
曾公开威胁“用核武打中国”的武汉大学985女硕士王懿饿死在日本

曾公开威胁“用核武打中国”的武汉大学985女硕士王懿饿死在日本

南权先生
2026-01-12 16:45:45
古巴高调反美!美国为啥不打古巴?因为古巴是最“先进”的国家

古巴高调反美!美国为啥不打古巴?因为古巴是最“先进”的国家

南宫一二
2026-01-10 17:41:19
2026-01-13 13:44:49
Kevin改变世界的点滴 incentive-icons
Kevin改变世界的点滴
每周一次,产品案例与经验分享
213文章数 8关注度
往期回顾 全部

科技要闻

每年10亿美元!谷歌大模型注入Siri

头条要闻

59岁女子诞下男婴:大女儿定居国外 我和丈夫感到寂寞

头条要闻

59岁女子诞下男婴:大女儿定居国外 我和丈夫感到寂寞

体育要闻

CBA还能众筹换帅?

娱乐要闻

周杰伦以球员身份参加澳网,C位海报公开

财经要闻

中国一口气申报20万颗卫星,意味着什么?

汽车要闻

限时9.99万元起 2026款启辰大V DD-i虎鲸上市

态度原创

本地
游戏
数码
旅游
公开课

本地新闻

云游内蒙|到巴彦淖尔去,赴一场塞上江南的邀约

黑旗&波斯王子RE真要来了?网站疯狂更新!

数码要闻

消息称AMD RDNA 5显卡晚于RTX 60系列问世,避开英伟达首发锋芒

旅游要闻

“野趣”花岙(屿见中国)

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版