网易首页 > 网易号 > 正文 申请入驻

小鹏补齐物理AI的视觉底座

0
分享至

7月21日,小鹏集团称,正式发布TuringViT高效视觉编码器,面向VLM(视觉语言模型)/VLA(视觉语言动作模型)应用场景,从架构设计、数据范式与训练流程进行了系统性重构。小鹏方面称,该编码器将用于小鹏智能驾驶、智能座舱及IRON人形机器人三大业务场景。

在VLM/VLA系统中,视觉编码器通常被视为物理AI的“感知入口”,负责将图像或视频转化为供后续语言、动作模块处理的视觉特征。

随着VLM/VLA技术向真实场景落地,高分辨率图像、多视角输入和连续视频帧对视觉编码器的效率与时序处理能力提出了更高要求。

小鹏方面认为,行业普遍采用的“复用开源通用ViT”方案,难以同时满足智能驾驶、具身机器人等场景对性能、延迟与定制化的需求。

小鹏将TuringViT的设计归纳为三个维度。

架构方面,TuringViT以Turing线性注意力(TLA)为主,并保留少量标准多头注意力,构成混合Turing Block架构;在高分辨率输入下,计算复杂度由二次方缩放转为近线性。

据小鹏公布的测试数据,在1536×1536分辨率下,TuringViT-18L的推理吞吐量达到Seed1.5-ViT的3.04倍。

该编码器提供两个规格版本:TuringViT-18L包含3组Turing Block,面向动态分辨率下的部署;TuringViT-24L包含4组Turing Block,侧重提升表征能力。

数据方面,TuringViT采用VISTA-Curation多模态数据治理流水线。据小鹏方面介绍,该流水线对图文和视频数据进行多阶段筛选、重新描述和评分,以提高单个样本的监督信息量。TuringViT使用0.85B图文对进行预训练,约为SigLIP2-L训练数据规模的10%。在包括ImageNet-1K在内的六项零样本分类基准上,TuringViT-24L的平均准确率为83.6%。

训练方面,TuringViT采用四阶段渐进式原生动态分辨率训练方案,从预训练阶段即适配下游VLM/VLA的输入特性,配合二维旋转位置编码,支持不同尺寸和长宽比的输入。小鹏方面表示,这一设计减少了对“固定分辨率预训练+事后适配”路径的依赖。

小鹏方面称,TuringViT将用于三类业务场景。

在智能驾驶领域,小鹏称TuringViT是第二代VLA模型的核心视觉编码器,负责处理多路环视摄像头的高分辨率图像和多帧动态道路场景输入,为预测式世界模型提供视觉token。

在智能座舱场景中,TuringViT的VLM原生特性用于对齐视觉特征与语言模型,并支持不同画幅和比例的视觉输入。

在小鹏IRON人形机器人的技术体系中,小鹏将TuringViT定位为基础视觉模块,承担物体识别、空间关系理解、可操作区域检测和动态环境追踪等功能。

何小鹏在3月20日业绩会上称,小鹏IRON人形机器人计划于2026年底量产,年底月产能目标为上千台,并将优先在小鹏门店落地商用。

小鹏方面表示,TuringViT的架构设计与训练流程不依赖特定硬件平台,可为行业提供一条可复现的视觉大模型训练路径。

从技术布局看,TuringViT补上了小鹏物理AI技术体系中的视觉编码器一环。

此前,小鹏已陆续披露多视角生成式世界模型X-World、世界模型推理加速引擎X-Cache、预测式世界模型X-Foresight及X-Mind技术框架。TuringViT则位于这套物理AI技术体系的感知输入端。

不过,视觉编码器从技术发布到实际场景的规模化落地,仍要经过工程适配、算力部署与场景验证。

TuringViT能否在车端、座舱和机器人三个差异化的物理环境中稳定运行,尚需持续观察。小鹏方面表示,未来将持续扩大高质量图文视频数据规模,深化时序建模与具身视觉方向的技术探索。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
王虹没参加过数学竞赛但摘得菲尔兹奖,丘成桐:顶尖数学家靠竞赛、刷题是培养不出来的

王虹没参加过数学竞赛但摘得菲尔兹奖,丘成桐:顶尖数学家靠竞赛、刷题是培养不出来的

华商网
2026-07-24 15:31:21
赛里木湖围殴事件,情况比想象更严重……

赛里木湖围殴事件,情况比想象更严重……

李晚书
2026-07-24 18:53:22
配享太庙!抗击渐冻症7年的蔡磊迎一大好消息,各大官媒同步发文

配享太庙!抗击渐冻症7年的蔡磊迎一大好消息,各大官媒同步发文

云舟史策
2026-07-21 11:30:22
菲尔兹奖得主邓煜谈“中美教育差异”和“是否回国发展”:不存在对所有人都适用的唯一答案

菲尔兹奖得主邓煜谈“中美教育差异”和“是否回国发展”:不存在对所有人都适用的唯一答案

极目新闻
2026-07-23 22:46:07
晒317万年终奖被辞退,永不录用!腾讯通报:他两次拿下最高绩效,却倒在一张截图

晒317万年终奖被辞退,永不录用!腾讯通报:他两次拿下最高绩效,却倒在一张截图

听心堂
2026-07-24 14:39:35
谢贤也没想到,自己离开还不到一周,两个孙子竟成了谢霆锋的退路

谢贤也没想到,自己离开还不到一周,两个孙子竟成了谢霆锋的退路

乡野小珥
2026-07-22 17:34:12
12年来首次,印度国内大乱,莫迪大发雷霆,中方收到印方郑重承诺

12年来首次,印度国内大乱,莫迪大发雷霆,中方收到印方郑重承诺

策前论
2026-07-24 15:30:18
赛里木湖打人事件:7人围殴1人,被打司机头破血流,官方甩锅

赛里木湖打人事件:7人围殴1人,被打司机头破血流,官方甩锅

叶公子
2026-07-24 19:05:09
盐城市纪委监委通报:顾爱红被查

盐城市纪委监委通报:顾爱红被查

扬子晚报
2026-07-24 12:11:52
日本82-0表决结果引哗然,高市早苗被迫下台无需中国出手

日本82-0表决结果引哗然,高市早苗被迫下台无需中国出手

流年顛簸
2026-07-24 21:59:27
余承东也救不了江淮牛散

余承东也救不了江淮牛散

未来之地
2026-07-24 11:03:25
TVB宣布正式更名为“无线集团”,由传统电视台升级为跨媒体娱乐集团,市场拓宽到大湾区

TVB宣布正式更名为“无线集团”,由传统电视台升级为跨媒体娱乐集团,市场拓宽到大湾区

极目新闻
2026-07-24 13:57:45
奖金不够差旅费!菲尔兹奖奖金有多少?王虹、邓煜同时获奖能拿到多少钱?

奖金不够差旅费!菲尔兹奖奖金有多少?王虹、邓煜同时获奖能拿到多少钱?

刘付罗金
2026-07-24 09:21:13
王祖贤将肖像卖给AI公司,唐国强的话正在被验证

王祖贤将肖像卖给AI公司,唐国强的话正在被验证

娱乐圈十三太保
2026-07-23 16:15:55
19岁全红婵最新亮相!暴瘦14斤后颜值飙升 长发披肩太温柔 灵气十足

19岁全红婵最新亮相!暴瘦14斤后颜值飙升 长发披肩太温柔 灵气十足

念洲
2026-07-24 21:25:30
《科学》报道6岁女童接受基因编辑试验后死亡 涉事医学院回应:在调查中

《科学》报道6岁女童接受基因编辑试验后死亡 涉事医学院回应:在调查中

经济观察报
2026-07-24 17:32:34
两个“大佬”被掀老底,堕落文坛这是在开始挣扎?

两个“大佬”被掀老底,堕落文坛这是在开始挣扎?

现实的声音
2026-07-22 14:13:54
菲尔兹奖得主邓煜不写作业、极少记笔记却稳坐年级第一,高中老师:全班叫他“围棋战神”,早年差点走上职业围棋道路

菲尔兹奖得主邓煜不写作业、极少记笔记却稳坐年级第一,高中老师:全班叫他“围棋战神”,早年差点走上职业围棋道路

大风新闻
2026-07-24 17:39:06
居然又打着“为你好”的名义…

居然又打着“为你好”的名义…

鱼眼观察
2026-07-24 11:31:31
曝瓜迪奥拉拒绝意大利帅位!只考虑1天,两原因曝光,皮尔洛或接手

曝瓜迪奥拉拒绝意大利帅位!只考虑1天,两原因曝光,皮尔洛或接手

奥拜尔
2026-07-24 17:06:15
2026-07-24 23:43:00
华尔街见闻官方 incentive-icons
华尔街见闻官方
中国领先的金融商业信息提供商
149662文章数 2654289关注度
往期回顾 全部

科技要闻

中国等了90年,王虹邓煜同时摘下菲尔兹奖

头条要闻

西安一私立幼儿园被当地转普惠 园方损失超2000万元

头条要闻

西安一私立幼儿园被当地转普惠 园方损失超2000万元

体育要闻

哈登又发福几个围度!美媒嘲讽

娱乐要闻

张凌赫公主抱王楚然,比工业糖精好嗑

财经要闻

长鑫科技会成为下一个“中石油”吗?

汽车要闻

吉利的方盒子:来晚了,但打磨得刚好

态度原创

教育
健康
旅游
游戏
本地

教育要闻

关注!专科(高职)志愿今起填报!

教你三步快速识别中风

旅游要闻

关于规范芦芽山旅游度假区游客中心区域游览及停车秩序的公告

《光环:战役进化》已经有盗版流传!标准版未发售

本地新闻

跟着影视去旅行:西游篇

无障碍浏览 进入关怀版