网易首页 > 网易号 > 正文 申请入驻

小鹏北大VLA论文入选顶会!用“小模型”跑赢大模型,推理提速4倍

0
分享至

端到端自动驾驶大模型可以“脱离云端、直接上车”了?!

车东西12月29日消息,日前,北京大学与小鹏汽车团队的最新研究成果FastDriveVLA被人工智能顶会AAAI 2026收录。

▲小鹏官宣此次获奖信息

这次双方研究的内容并非实验室里的纸上谈兵,而是通过一个参数量仅为0.07B(7000万)、计算开销几乎可以忽略不计的即插即用模块ReconPruner,硬生生将VLA大模型的整体计算量(FLOPs)削减了7.5倍。

要知道,车端算力“寸土寸金”,它打通了高性能AI算法与量产硬件之间的“天堑”。

这意味着原本需要昂贵算力集群支撑的端到端大模型,现在已经具备了在英伟达等主流车载芯片上实现低延迟、高响应运行的能力。

AAAI2026作为人工智能领域的CCF-A类顶级会议,北京大学与小鹏汽车的研究论文被这样的顶会收录,也说明了其研究内容的价值。

一、车机算力有限 让AI学会“只看重点”

在智驾系统进入“端到端”时代的当下,VLA模型展现出的拟人化推理能力也让自动驾驶进入到一个新高度,但随之而来的“算力黑洞”也让工程师们倍感头疼。

举个例子,为了让AI看清复杂的十字路口,系统必须将高清图像切碎成数以千计的Token喂给大模型。

这样就造成了一个问题——视觉Token的通胀,在毫秒必争的驾驶决策中,庞大的计算量直接导致了车机“跑不动、反应慢”,甚至可能出现因推理延迟导致的系统卡顿。

此前,业界并非没有尝试过对这些Token进行“剪枝”去重,但效果不稳定,像盲人摸象。

▲三种剪枝策略对比

传统的注意力剪枝法(Attention-based)过度依赖文本指令,但在自动驾驶场景下,简单的驾驶指令往往无法提供足够的辨识权重,导致系统为了追求极致速度,可能会在不经意间删掉远处微小的红绿灯或障碍物。

而另一类基于相似度的剪枝法(Similarity-based)则过于追求视觉上的多样性,它们可能会为了保留独特性而记录路边的野花和天空的流云,却忽略了对决策至关重要的、平淡无奇的路面信息。

对此,北京大学和小鹏汽车团队合作的FastDriveVLA引入了极其朴素的“人类驾驶直觉”。

就像老司机在开车时,视网膜会自动过滤掉高耸的建筑和空旷的天空,瞳孔始终锁定的只有路面、行人和周边的车辆。

这种对“前景信息”的专注,正是FastDriveVLA的方案逻辑核心,AI不再对整张图像进行全量计算,而是精准捕捉并保留关键的前景Token。

这种思维转变,让AI对算力的要求减少7.5倍,也避免了算力的浪费。

二、ReconPruner 一个0.07B的“超级过滤器”

能实现上边的这种效率的提升,离不开ReconPruner这个参数量仅为0.07B的微型模块。如果说VLA模型是整车智驾的“大脑”,那么ReconPruner就是一个敏锐且轻量化的视觉中枢。

在AI领域,优化庞大的模型通常意味着动辄数万美元的重新训练成本,但ReconPruner这7000万参数的量级对于动辄3B起步的VLA主模型来说几乎可以忽略不计。

▲FastDriveVLA总体架构

它能够以即插即用的方式无缝集成到Qwen2.5-VL等大模型上,这种设计不仅极大地降低了量产部署的门槛,也让现有的智驾模型可以低成本升级,而无需修改主模型。

但真正让ReconPruner产生质变的,是一套被称为“对抗重建(AFBR)”的设计逻辑。

这套策略本质上是系统要求ReconPruner利用选中的Token尝试还原画面,如果它选出的Token确实包含了车辆、车道线等核心前景,重建出的画面质量就会更高。

反之,如果它关注了背景,重建结果就会不理想。

为了防止AI在这一过程偷懒,研究团队还引入了对抗博弈机制,强制要求模块必须在前景和背景之间做出明确的价值判断。

在这种严苛的训练下,ReconPruner被打磨成了一个能精准锁定关键驾驶目标的过滤器。

而支撑起这套“视觉本能”的基础,则是北大与小鹏团队潜心构建的nuScenes-FG数据集。

▲nuScenes-FG数据集

这套包含24.1万对高质量标注图像的数据集,对复杂的交通环境进行了像素级的拆解,将车辆、行人和道路边界等关键前景从杂乱的背景噪声中剥离出来。

正是这些海量的、带有标准答案的教材,喂出了AI的驾驶直觉,让FastDriveVLA能够在大模型处理海量视觉流的瞬间,精准切中影响安全的核心关键。

三、计算量缩减7.5倍 AI反而变聪明了?

在科技产品的迭代逻辑中,人们往往习惯了性能越高,功耗越高的直觉,但FastDriveVLA在测试场拿出的硬核数据,却展示了一种“反直觉”的进化。

从算力开销来看,FastDriveVLA对冗余信息的修剪堪称“暴力”。在nuScenes基准测试中,VLA模型的整体算力开销(FLOPs)从原始的38.2T骤降至5.1T,整整实现了7.5倍的缩减。

▲不同模型效率分析

这种算力压力的释放直接反馈在了推理速度上,这套模型在预填充阶段(Prefill)实现了3.7倍的提速,而解码阶段(Decode)也提升了1.3倍。

对于智驾系统而言,这省下的每一毫秒,都是为突发情况争取时间。

除此之外,性能的反常识增长也是这个模型的关键能力。

▲不同模型的性能对比

实验数据显示,在将视觉Token剪枝25%的情况下,FastDriveVLA在L2轨迹预测误差和路面边界交集率等核心指标上,超过了未经过任何剪枝的完整模型。

这就引发了一个值得思考的问题,为什么小模型反而比“大模型”更聪明?

从这个模型设计原理中不难看出,当下,冗余信息往往是AI决策的干扰项,当AI分配算力去处理天上的云朵(参数丨图片)、路边的写字楼或无关紧要的植被时,这些背景噪声都在稀释大模型的逻辑推理能力。

▲不同算法的“眼力”对比

FastDriveVLA就像是一个专业降噪器,通过过滤掉这些噪声,让大模型得以专注核心任务。

这也让AI的规划逻辑从过去的“博而不精”,进化成了如今可以对相关场景实现“精准打击”。

结语:VLA效率再提升

小鹏与北大的这项研究让已经上车的VLA模型,跑得更轻盈、更聪明。

FastDriveVLA的出现,本质上是对算力不足恐惧症的化解,在智能驾驶的下半场,竞争不再仅仅取决于谁的模型参数更大,而在于谁能更高效地利用每一分车载算力。

可以说,这种通过复刻人类驾驶的方法,让ReconPruner 这种极轻量化模块不仅解决了感知层面的噪声干扰,更打通了顶层算法与底层硬件之间的效能壁垒。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
进游戏第一件事!GTA6脱衣舞俱乐部实机画面首曝

进游戏第一件事!GTA6脱衣舞俱乐部实机画面首曝

游民星空
2026-11-18 23:28:03
英皇把董事席位交给谢霆锋,看中的是那根卖了 15 亿的烤肠

英皇把董事席位交给谢霆锋,看中的是那根卖了 15 亿的烤肠

子芫伴你成长
2026-11-19 00:05:10
深圳APEC晚宴的主桌座次,很有深意

深圳APEC晚宴的主桌座次,很有深意

煮酒杂谈
2026-11-20 20:40:05
陆毅女儿出道惹争议!长相才华太普通,网友:精修图都记不住脸

陆毅女儿出道惹争议!长相才华太普通,网友:精修图都记不住脸

静若梨花
2026-11-19 21:49:56
心理学上有个词叫:淬火效应(遇到一个强势的人,不要示弱,不要顺从,只需要记住 “淬火效应”)

心理学上有个词叫:淬火效应(遇到一个强势的人,不要示弱,不要顺从,只需要记住 “淬火效应”)

曾奇峰心理工作室
2026-10-30 12:02:50
多名演员发文抵制,业内人士:很悲哀,收入猛降八成,几乎成“免费劳动力”

多名演员发文抵制,业内人士:很悲哀,收入猛降八成,几乎成“免费劳动力”

上海约饭局
2026-07-05 15:23:20
纯白轻运动套装穿出人妻熟女味:丰腴曲线不硬凹,简约反而更勾人

纯白轻运动套装穿出人妻熟女味:丰腴曲线不硬凹,简约反而更勾人

樱桃小丸子1987
2026-11-15 14:37:18
国家税务总局规定:2026年11月1日起全国加油站全面推行,以后去加油站加油,加完油系统自动给你开电子发票

国家税务总局规定:2026年11月1日起全国加油站全面推行,以后去加油站加油,加完油系统自动给你开电子发票

扶苏聊历史
2026-10-09 10:45:34
巴萨不抢了,认为1000万欧引援成本太高!16岁天才将花落皇马,曼联准备追究

巴萨不抢了,认为1000万欧引援成本太高!16岁天才将花落皇马,曼联准备追究

福酱的小时光
2026-11-20 19:05:18
A股:今天,周五,A股为何突然加速跳水?原因有三点!

A股:今天,周五,A股为何突然加速跳水?原因有三点!

明心
2026-11-20 11:12:45
三星杯决赛卞相壹后来居上加冕,李钦诚大优势下随手纵虎归山

三星杯决赛卞相壹后来居上加冕,李钦诚大优势下随手纵虎归山

野狐围棋
2026-11-20 23:04:16
长征出发女红军近3000人,最终到达陕北的为什么只剩约几百人?

长征出发女红军近3000人,最终到达陕北的为什么只剩约几百人?

梨花头
2026-11-20 11:02:03
​有老师直言,高校靠折腾一线老师来假装重视教学,上课必须站着、细到毛孔的教学事故......但其实他们最不在乎的就是教学!

​有老师直言,高校靠折腾一线老师来假装重视教学,上课必须站着、细到毛孔的教学事故......但其实他们最不在乎的就是教学!

高教经纬88
2026-11-19 16:20:03
75岁大爷与保姆生下儿子,做亲子鉴定后,大爷却被子女们气得心梗

75岁大爷与保姆生下儿子,做亲子鉴定后,大爷却被子女们气得心梗

黄家湖的忧伤
2025-03-06 09:30:21
韩国最强小三保养得太好了,完全不像51岁,和16岁女儿都大差不差

韩国最强小三保养得太好了,完全不像51岁,和16岁女儿都大差不差

毒舌小红帽
2026-11-06 16:08:38
惊掉下巴!广东女子把DeepSeek当作“老公”,限额后热线扬言自残,多方应急人员上门,当事人发帖直呼社死

惊掉下巴!广东女子把DeepSeek当作“老公”,限额后热线扬言自残,多方应急人员上门,当事人发帖直呼社死

火山詩话
2026-11-19 12:42:19
U17国足VS西班牙首发:邝兆镭、赵松源复出先发!潘朝伟+帅惟浩替补

U17国足VS西班牙首发:邝兆镭、赵松源复出先发!潘朝伟+帅惟浩替补

我爱英超
2026-11-20 20:48:18
新爆料:赵丽颖携友人现身惹哭网友,冯绍峰发文:她究竟是爱我,还是仅想控制我?

新爆料:赵丽颖携友人现身惹哭网友,冯绍峰发文:她究竟是爱我,还是仅想控制我?

默默有话说
2026-11-20 12:15:25
麻了,锡安麻了!美媒提议勇士3换1大交易

麻了,锡安麻了!美媒提议勇士3换1大交易

篮球实战宝典
2026-11-20 19:58:07
瞄准AI时代人才培养,李书福:筹办芯位大学,学生接受专业智能体的学习训练

瞄准AI时代人才培养,李书福:筹办芯位大学,学生接受专业智能体的学习训练

澎湃新闻
2026-11-20 16:02:41
2026-11-21 00:03:00
车东西
车东西
未来汽车看这里。
6600文章数 6436关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

"花坛藏尸案"凶手不服死刑判决 已提起上诉

头条要闻

"花坛藏尸案"凶手不服死刑判决 已提起上诉

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
本地
数码
时尚
公开课

教育要闻

小鹿爱学,开启 AI 教育普惠时代

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

数码要闻

影石Mic Pro、Wave两款麦克风获升级,可原生接入腾讯WorkBuddy

《后会友期》的癫,还得她们治

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版