网易首页 > 网易号 > 正文 申请入驻

阿里云发布多模态交互开发套件!让AI眼镜、人形机器人、陪伴玩具能听会看会交互

0
分享至

智东西1月8日报道,今天,在阿里云通义智能硬件展上,阿里云发布多模态交互开发套件,该套件集成了千问、万相、百聆三款通义基础大模型,并预置十多款生活休闲、工作效率等领域的Agent和MCP工具。

这款多模态交互开发套件不仅能听、会看,还能思考并且与物理世界交互,可应用于AI眼镜、学习机、陪伴玩具、智能机器人等硬件设备。

一、适配超30款主流架构终端芯片平台,预置十MCP工具和Agent

在芯片层面,阿里云多模态交互开发套件适配了30多款主流ARM、RISC-V和MIPS架构终端芯片平台,满足市面上绝大多数硬件设备的快速接入需求。未来,通义大模型还将与玄铁RISC-V实现软硬全链路的协同优化,实现通义大模型家族在RISC-V架构上的高效部署和推理性能。

在模型优化层面,除通义模型家族外,阿里云还针对大量多模态交互场景进行分析,推出适合AI硬件交互的专有模型,全面支持全双工语音、视频、图文等交互方式,端到端语音交互时延低至1秒,视频交互时延低至1.5秒。

此外,该套件预置十多款MCP工具和Agent,覆盖生活、工作、娱乐、教育等多个场景,例如,基于预置的出行规划Agent,用户可直接调用路线规划、旅行攻略、吃喝玩乐探索等能力。

该套件还接入了阿里云百炼平台生态,用户不仅可以添加其他开发者提供的MCP和Agent模板,还能通过 A2A协议兼容三方Agent,极大程度地扩展了应用的能力边界,帮助企业灵活搭建业务场景。

二、多家具身智能企业亮相,阿里云与乐聚机器人企业达成全栈AI合作

同时,阿里云还展示了面向智能穿戴设备、陪伴机器人、具身智能等领域的解决方案。

例如,在AI眼镜领域,基于千问VL、百聆CosyVoice等模型,阿里云打造了感知层、规划层、执行层以及长期记忆的完整交互链路,可一站式实现同声传译、拍照翻译、多模态备忘录、录音转写功能,有效解决交互不自然、回答准确率低的难题。

面向家庭陪伴机器人场景,基于千问模型和多模态交互套件,阿里云推出的解决方案不仅可实时监测异常状况,并及时告警信息推送,用户还能基于关键词查找、定位视频,与机器人进行对话交互和控制设备等。

展会现场,出现了多家具身智能厂商包括魔法原子、灵心巧手、跨维智能、原力无限等的身影,展出了多款人形机器人、四足机器人、灵巧手产品。人形机器人现场弹钢琴、做咖啡,人气爆棚。

另外,阿里云还宣布与乐聚机器人达成全栈AI合作,双方将基于阿里云算力、AI平台、千问模型,共同开展人形机器人训练场合作,以及探索基于千问模型的具身智能联合解决方案和人形机器人产品的开发。

目前,乐聚新版展厅机器人已接入千问模型。接入千问后,机器人在语音交互、知识库问答、实时对话等场景下,响应更快、答案更准、互动更自然。

结语:推动AI硬件告别“单感官”时代

大模型已开始具备理解、感知以及和物理世界交互的能力,越来越多的硬件和终端设备厂商开始通过接入大模型来提升交互体验。然而,仅靠基础大模型仍无法同时满足硬件设备对低成本、低时延、功能丰富和高质量效果的需求。

而阿里云多模态交互开发套件的出现,集成了千问、万相、百聆三款通义基础大模型,使硬件厂商和开发者能够通过套件快速为产品赋予高阶智能,告别了“单感官”时代,极大地缩短了开发周期,降低了开发成本。基于阿里云的这款开发套件,未来AI硬件有望出现更多的创新型解决方案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“乡村田地停放两架废弃飞机9年”调查:企业买飞机改造为住宿餐厅早已停业 镇政府回应土地属非基本农田

“乡村田地停放两架废弃飞机9年”调查:企业买飞机改造为住宿餐厅早已停业 镇政府回应土地属非基本农田

红星新闻
2026-11-16 18:07:10
“天才女孩”陨于美国,真相令人脊背生寒

“天才女孩”陨于美国,真相令人脊背生寒

南风窗
2026-11-16 12:01:13
特朗普:我即将访问中国,期待参加中俄美元首会晤

特朗普:我即将访问中国,期待参加中俄美元首会晤

极目新闻
2026-11-16 15:10:23
疑似用虾滑充当肿瘤?中南大学湘雅医院被爆出史诗级全AI论文

疑似用虾滑充当肿瘤?中南大学湘雅医院被爆出史诗级全AI论文

西虹市闲话
2026-11-16 18:42:42
传央行摸底"债息税":国债地方债利息或征25%所得税

传央行摸底"债息税":国债地方债利息或征25%所得税

爆角追踪
2026-11-16 18:02:59
官宣离婚不到1月,李小冉进医院,别急着心疼 她半年前那步棋才狠

官宣离婚不到1月,李小冉进医院,别急着心疼 她半年前那步棋才狠

阿废冷眼观察所
2026-11-16 18:14:13
防止埃博拉病毒病疫情传入我国,海关总署发布公告

防止埃博拉病毒病疫情传入我国,海关总署发布公告

界面新闻
2026-11-16 16:38:55
从前从前,有个人卖卡很久

从前从前,有个人卖卡很久

风向观察
2026-11-15 14:32:23
“国乒全军覆没34岁方博夺冠”登热搜,方博:我不是人中龙凤,但我绝非等闲之辈;曾说打败“獒龙蟒胖”才能打世界杯

“国乒全军覆没34岁方博夺冠”登热搜,方博:我不是人中龙凤,但我绝非等闲之辈;曾说打败“獒龙蟒胖”才能打世界杯

新民周刊
2026-11-16 14:43:50
退休人员好消息!多地公布养老金计发基数,今年退休将迎密集补发

退休人员好消息!多地公布养老金计发基数,今年退休将迎密集补发

云鹏叙事
2026-11-16 13:41:30
比下跌更可怕的事

比下跌更可怕的事

曹多鱼的财经世界
2026-11-16 14:55:16
争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

大秦壁虎白话体育
2026-11-16 08:27:29
山东13岁少年被控杀害5岁邻居案将开庭:最高检核准追诉,被害人父亲望顶格判处

山东13岁少年被控杀害5岁邻居案将开庭:最高检核准追诉,被害人父亲望顶格判处

澎湃新闻
2026-11-16 16:38:26
蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

果妈聊娱乐
2026-11-16 11:34:10
批评黄仁勋最狠的人身份扒出!不是白人黑人,不是印度人,是以华裔女记者为主的《纽约时报》

批评黄仁勋最狠的人身份扒出!不是白人黑人,不是印度人,是以华裔女记者为主的《纽约时报》

小徐讲八卦
2026-11-16 09:27:43
最佳论文:中国财政供养人员达6846万,占总人口4.85%

最佳论文:中国财政供养人员达6846万,占总人口4.85%

玛丽姬丝
2026-11-16 13:15:03
山东泰山官宣新帅!斯托伊科维奇重返中超,曾执教广州富力4年

山东泰山官宣新帅!斯托伊科维奇重返中超,曾执教广州富力4年

奥拜尔
2026-11-16 12:29:18
突然直线拉升!英伟达爆大消息,黄仁勋或回归掌舵

突然直线拉升!英伟达爆大消息,黄仁勋或回归掌舵

魏家东
2026-11-16 13:28:59
扫码抽中免费平板,贵阳男子称被要求108次电话回访,漏接一次罚300!改掏7800元买平板和酒,回家一看发现不对劲

扫码抽中免费平板,贵阳男子称被要求108次电话回访,漏接一次罚300!改掏7800元买平板和酒,回家一看发现不对劲

大风新闻
2026-11-16 13:50:06
挥泪斩马谡!曼联驱逐“顶薪大核”,签约顶星!两强援闪电加盟

挥泪斩马谡!曼联驱逐“顶薪大核”,签约顶星!两强援闪电加盟

头狼追球
2026-11-16 17:53:47
2026-11-16 20:00:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12943文章数 117195关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

两架大型飞机停田野9年锈迹斑斑 机舱有床还有星空顶

头条要闻

两架大型飞机停田野9年锈迹斑斑 机舱有床还有星空顶

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

小升级大体验 2027款岚图知音让家用更便捷

态度原创

本地
家居
旅游
游戏
手机

本地新闻

乌兰察布:以前种土豆,现在种Token

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

赴川感受藏乡风情 尼泊尔网红:一见如故 想把中国的美景分享出去

《星球大战:旧共和国》启动DirectX 12客户端技术测试

手机要闻

荣耀13300mAh电池通过3C认证,有望搭载于Power3或X90 Pro Max机型

无障碍浏览 进入关怀版