网易首页 > 网易号 > 正文 申请入驻

香港科技大学陈启峰:VLA模型能将视觉、语言和行为多模态信息整合,让车辆更好地理解驾驶场景

0
分享至

来源:睿见Economy

  9月16日-17日,聚合智能产业发展大会(2025)在武汉市举行,主题为“协同融合创新链产业链 推动聚合智能产业发展”。香港科技大学副教授、元戎启行客座教授陈启峰出席并演讲。

  陈启峰谈到,在具身智能方面,机器人通过图像、深度图、地图等多种传感器获取信息,并构建“大脑”和“小脑”系统,“小脑”负责控制层面,“大脑”负责行为规划与决策。“大脑”的核心技术之一是VLA模型(Vision Language Action),将视觉、语言和行为多模态信息整合,实现机器人和车辆在复杂环境下的自主决策与动作执行。

  同时,他强调,语言理解能力在长期发展中至关重要,它不仅增强机器人与车辆的可控性和交互性,还能够在复杂场景下提供高级推理能力,为未来通用化机器人和智能驾驶系统奠定技术基础。

  具体来说,他提到,在智驾方面中有一个挑战,也是端到端模型比较难处理的,就是处理盲区,需要一定的高级推理。“比如说现在有一辆大巴挡住了一定的视线,如果这个车没有考虑到盲区的话,它这个速度不一定会降下来,从而造成一些意外。”

  陈启峰解释到,借用VLA在很多场景可以更好地理解驾驶场景,因为这些道路的建设本身是给司机看的、人类看的,所以充斥着很多文字的信息。“如果我们能把这些文字的信息理解起来,比如说什么时候可以用可变车道或者公交车道。有语言,我们就可以做一定的思维链,去让它理解得更好。”

  所以,他强调,很多时候我们需要理解这些盲区,这些有风险的场景,做到防御性驾驶。通过VLA模型的训练,整个模型是相对比较简洁的,更多是需要在数据方面去强化这个模型,对于这些有风险的场景怎么样做到有安全的驾驶,给予正确的反馈。“因为很多现在预训练的大模型是利用互联网的信息,它没有驾驶场景安全性的考虑。”

  总体来说,陈启峰指出,VLA有几大好处,有空间语义的理解,能识别一些障碍物、文字,还有语音控车。它相当于一个“透视眼”,在传统感知看不到的地方,它能知道是否有风险,注意盲区。同时,对于驾驶场景上有一些文字的信息,可以通过VLA利用这些文字的信息做出辅助驾驶的决策。还有语音控车,可以避开一些大车、豪车,

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
布兰妮发文暗讽"模仿者":至少我的是真的

布兰妮发文暗讽"模仿者":至少我的是真的

赴一场山海啊
2026-10-19 03:10:50
葡萄牙足协官宣:C罗擅自离队已严重违纪!禁赛30天+罚款255欧元

葡萄牙足协官宣:C罗擅自离队已严重违纪!禁赛30天+罚款255欧元

我爱英超
2026-10-20 05:02:43
赖昌星最狠的一招,就是用天价豢养空姐周兵,攻破了海关关长的防线;私生子降生的那一刻,530亿走私帝国的遮羞布被彻底撕碎

赖昌星最狠的一招,就是用天价豢养空姐周兵,攻破了海关关长的防线;私生子降生的那一刻,530亿走私帝国的遮羞布被彻底撕碎

人生录
2026-10-20 00:05:11
每月1000多社保占了工资的一半!社保扩面找得到人,却恐怕留不住人

每月1000多社保占了工资的一半!社保扩面找得到人,却恐怕留不住人

三言四拍
2026-10-19 20:26:19
随州市广水市委书记崔传金接受纪律审查和监察调查

随州市广水市委书记崔传金接受纪律审查和监察调查

环球网资讯
2026-10-19 19:46:34
李小冉老公被执行2111万

李小冉老公被执行2111万

雷达财经
2026-10-19 10:35:15
哈佛30年研究惊人发现:人和人差距,根本不是努力,是吃哪种苦

哈佛30年研究惊人发现:人和人差距,根本不是努力,是吃哪种苦

心中的麦田
2026-10-18 18:56:10
农残最多的5种蔬菜,用水冲洗都洗不干净,都是常吃的,了解一下

农残最多的5种蔬菜,用水冲洗都洗不干净,都是常吃的,了解一下

思思夜话
2026-10-19 11:23:11
演员李小冉宣布离婚,其结婚逾十年未生育,曾坦言“没有心理成熟到想去承担这样一个沉重的责任”

演员李小冉宣布离婚,其结婚逾十年未生育,曾坦言“没有心理成熟到想去承担这样一个沉重的责任”

台州交通广播
2026-10-20 00:28:24
马斯克在 X 上发帖暗示:全球美元加起来,恐怕都不够 AI 巨头用了!

马斯克在 X 上发帖暗示:全球美元加起来,恐怕都不够 AI 巨头用了!

混沌录
2026-10-20 00:38:08
东莞市政府原副秘书长陈志军被双开

东莞市政府原副秘书长陈志军被双开

界面新闻
2026-10-20 09:15:07
大瓜!邯郸篮球直播忘关麦事件

大瓜!邯郸篮球直播忘关麦事件

新动察
2026-10-19 15:09:35
场均17+5+7也被放弃!雄鹿正式裁掉小波特:新赛季15+2阵容出炉

场均17+5+7也被放弃!雄鹿正式裁掉小波特:新赛季15+2阵容出炉

罗说NBA
2026-10-20 05:35:19
身披旭日旗中国留学生或被开除遣返,知情人士:“令我们感到愤怒的是,他还是江苏南京人”,在中国同学的强烈要求下,他才录道歉视频

身披旭日旗中国留学生或被开除遣返,知情人士:“令我们感到愤怒的是,他还是江苏南京人”,在中国同学的强烈要求下,他才录道歉视频

大风新闻
2026-10-19 22:01:08
52岁刘恺威新恋情曝光,与小20岁黎纪君十指紧扣逛街甜似初恋

52岁刘恺威新恋情曝光,与小20岁黎纪君十指紧扣逛街甜似初恋

开开森森
2026-10-20 09:26:14
早有前科!中国留学生披旭日旗,身份曝光,回国将迎3个严重后果

早有前科!中国留学生披旭日旗,身份曝光,回国将迎3个严重后果

梦想的旅途照进现实
2026-10-19 14:17:36
经济日报的评论,替一个断掉的踏板撑腰

经济日报的评论,替一个断掉的踏板撑腰

鲁先生的笔
2026-10-19 23:29:24
10月19日俄乌最新:超大规模袭击与创纪录的歼敌人数

10月19日俄乌最新:超大规模袭击与创纪录的歼敌人数

西楼饮月
2026-10-19 20:48:20
姆巴佩晒奖杯照:很自豪也很荣幸获奖,感谢所有投票的人

姆巴佩晒奖杯照:很自豪也很荣幸获奖,感谢所有投票的人

懂球帝
2026-10-20 01:01:19
又是形势一片大好!前三季度GDP增速4.6%,人均收入涨5.3%,你信不信?

又是形势一片大好!前三季度GDP增速4.6%,人均收入涨5.3%,你信不信?

六子吃凉粉
2026-10-19 15:46:14
2026-10-20 10:12:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5117704文章数 9805关注度
往期回顾 全部

科技要闻

新版MiniMax,能和DeepSeek掰手腕吗?

头条要闻

两名男性设局和女局长接触并发生关系 其中一人未成年

头条要闻

两名男性设局和女局长接触并发生关系 其中一人未成年

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

李连杰回应抛妻弃女传闻,透露四个女儿关系

财经要闻

宁德时代的大时代结束了吗?

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

旅游
艺术
游戏
数码
公开课

旅游要闻

文化遗产耀中原|寻访天宁寺三圣塔,解码金塔“三绝”

艺术要闻

俄罗斯90后摄影师比莉娅娃英这组写真,看完我直接跪了!最后一张绝了!

《追逐末日之光》参加 Steam 新品节,试玩版 10 月 20 日开放

数码要闻

57亿美元赔款还不够,Taction要求苹果支付iPhone与Apple Watch专利费至2035年

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版