网易首页 > 网易号 > 正文 申请入驻

科创AI+| 具身智能主题专访:拙河科技温建伟:通往物理世界具身智能的“全息之眼”

0
分享至


建设社会主义现代化强国,关键在科技自立自强。以科技金融支持创新创造,因地制宜发展新质生产力,加快建设现代化产业体系,是我国在“十五五”时期推动高质量发展、实现中国式现代化的核心战略部署。发展智能经济新形态,需要打通科技成果转化堵点、强化产业体系支撑、畅通金融赋能渠道,构建科技、产业、金融良性循环。在此背景下,《清华金融评论》推出《科创AI+》主题专栏,旨在深入阐释国家战略部署、汇聚权威观点、服务高质量发展大局,为政策完善与行业实践提供智力支持。物理空间智能赛道正迎来深度技术变革,各类技术路线不断丰富并重塑行业生态。

在物理世界与大模型之间,如何让具身智能“看得全、看得清、看得懂”,成为制约产业规模化落地的关键命题。光场感知——这一在给定空间和观察视角范围内对所有光信号进行统一记录的技术范式,被学界视为大场景物理世界具身智能最有潜力的感知路线之一。拙河科技是国内率先实现亿像素阵列光场相机量产的企业,核心团队在计算摄像学领域拥有多年技术积累,已相继攻克非结构化动态光场智能成像、多维多尺度融合光场重建、大范围动态场景智能处理三大核心技术,产品覆盖安保防护、智慧城市、交通运输等多场景。本期专栏围绕光场感知的技术位势与产业成熟度、多感知路线竞争格局、光场数据与空间大模型的闭环路径以及硬科技创业方法论等议题,专访拙河科技创始人兼董事长温建伟

光场感知:物理世界

的“全息之眼”

Q:光场感知被学界视为大场景物理世界具身智能最有潜力的感知路线之一,距离规模化落地还有哪些关键台阶?

温建伟:光场是一个比较理想化的、大而全的物理感知模式。它的定义是在给定空间、给定观察视角范围之内,将所有光信号,如位置信息、光谱信息、时间维度、观察视角等数据都完整记录。它能克服传统光学成像把所有信息简化为二维的弊端,从而解决模型训练中遇到的各种问题,包括深度信息、事物之间的关联关系等。

但光场太复杂,要把整个光场记录下来,目前硬件手段还不够理想。早期业界尝试用微透镜阵列,事实证明这条路并不顺利。用空间分辨率换取角度分辨率,会造成分辨率降低和成像质量下降,从产业推广角度难以走通。镜头阵列的方式组合光场同样面临挑战。镜头数量的选取、大视场场景下多少设备才能满足要求、采集图像在同一时空坐标系下对齐后的数据利用,都是很大的工程难题。数据量极大,如何标定、如何给模型做输入、如何分析关联关系,这条链路还没有完全建立起来。

大方向上说,光场相机对世界模型的训练开发是极具潜力的。但是,实操层面,算法的收敛、理论的收敛、工程的收敛还是瓶颈;算力的挑战、模型关联关系的挑战、成本的挑战,都是制约因素。需要系统性的应用场景、采集方式和模型迭代升级结合,滚动向前发展,不是单点突破就能带动全局;并且需要结合具体应用场景设计光场采集方式,在光场数据中与模型结合得到更好的训练结果,泛化之后再迭代升级。

Q:当前空间智能感知层存在视觉/光场、结构光、ToF、事件相机、LiDAR等多条技术路线并行竞争。光场感知与其他路线的差异化壁垒在哪里?您预判未来3—5年哪些路线会率先跑出规模应用?

温建伟:结构光、激光雷达、双目视觉等技术,其实都只解决了部分问题。它们的好处是成本较低、可操作性强,可以快速切入模型训练后端。但可以这样理解:其他技术手段都是对完整光场信息的压缩、切割——舍弃了一些信息,得到了特定结果。理想化的光场可提供全面的信息,但全面信息以现在的算力和模型能力,还“处理不了”。

光场相机对于其他模态感知的壁垒在于适应范围最广。不管是远距离的大视场,还是局部的人周环境,都可以适用,没有太大局限性,组合方式也灵活。七维全光函数中,任何一个维度都可以做增强,根据场景变化和模型需要,给出更全面准确的信息。光场也可以看作一个大的框架,一个时空四维维度下全部信息汇集的框架。其他传感器,如结构光、激光雷达、事件相机,采集的信号都可以在光场空间里找到自己的位置。它们是局部,光场是全局。

但灵活性也是双刃剑。理论上,一定要明确特别场景和特定模型更需要哪一类的数据,才能给出性价比最高的光场相机、采集到最合适的光场数据。模型越具体、要求越明确,才有更好的方案。光场与各种技术路线之间不是替代关系,而是整体与局部的关系,先建立一个相对泛化的光场框架,再用其他方式做局部增强,这也是可行的路径。公司目前还是以视觉为主,没有做多模态的结合。“全局+局部”的融合架构,可能是比单芯片集成多传感器更务实的演进路径。

产业拐点:从概念到

赛道的理性审视

Q:这两年具身智能和物理世界大模型的呼声非常强。您觉得空间智能赛道的拐点是否已至?面对当前的热潮,您如何判断行业的真实节奏?

温建伟:从我个人观点来说,知识类模型是相对成熟和闭环的,比如编程、设计等。但具身智能这一块,反而没有那么乐观。从大趋势上说,它必然要经历多个波峰波谷才能向前发展。这一轮热点可能未必带来革命性的突破,反而可能由于大量资源投入,会把短期内的瓶颈暴露得更明显,让大家的热情下降,然后进入技术积累和沉淀的阶段。

在算法尤其是理论方面,需要有新的突破之后才可能迎来新的契机。完全靠堆算力和利用现有的大模型来推动具身智能发展,仍有困难。现在大模型建立起来的,更多还是一种因果概率的关系,还没有收敛到物理概念的层面。理论上需要厘清的,是数据,尤其是视觉数据和光场数据与模型之间的深层关联。只有这方面的理论取得实质性突破,才有可能走到下一个阶段。

当大模型收敛到全物理概念层面的时候,就是光场相机最好的产业发展时机。在此之前,需求虽然迫切,大家都知道模型跑不通、鲁棒性不强、泛化能力不够,都在提数据缺失尤其是第一人称视角的数据缺失,但第一人称视角到底需要哪些数据,还没有统一定论。所以光场感知的规模化落地,需要场景、模型和硬件三者协同演进,而非某一单点突破。这注定是一个长周期过程,短期不宜高估,长期不应低估

Q:在核心器件仍依赖进口的背景下,您如何看待中国在光场感知方向与国际先进水平的差距?国产光场方案的突围路径在哪里?

温建伟:光场相机尤其是微透镜阵列光场相机,第一波热潮其实已经过去了。国外好多To C商业产品都不做了,只做IP核授权,不做硬件设计。因为本身有一些限制。用镜头阵列来做光场相机成本相对较高,面向的都是To B用户,而且To B用户还有隐私保护方面的要求。所以在国外,大型光场相机基本上只在军事用途能见到。

相比之下,国内在这方面的限制少一些,多场景应用也更丰富。公司切入场景除了安全和防御,还拓展至娱乐直播领域,与国家级主流媒体合作,开展大场景的内容制作与采集生成。理论上,在具身智能的数据采集领域,光场技术可以发挥重要的作用。需要指出的是,国内To C市场受限于成本因素尚未迎来爆发拐点,目前商业闭环还是以To B为主,在规则化的应用场景中推进。结构化环境比如工厂环境,更便于部署和采集。但我反而认为,未来具身智能的泛化,是要在非结构化环境中实现的。在流水线模式下,对模型收敛有极大帮助,但是不是具身智能的最优解仍存疑问。流水线上机械手或自动化工具就能解决大部分问题,这是行业需要反思的问题。从感知技术本身来看,非结构化的开放动态场景中,现有方案的泛化性仍面临较大挑战,这也正是光场感知在技术层面最具想象空间的应用方向之一。

数据资产:光场数据

的“基准真值”价值

Q:高质量空间标注数据极其稀缺,是制约物理空间智能规模化训练的硬性瓶颈。光场感知采集的高维全光数据具有极高的信息保真度。您认为光场数据能否成为世界大模型训练的“基准真值”来源?拙河科技在光场数据资产化方面有哪些探索?

温建伟:我们首先以数据采集设备作为切入点,然后提供一些辅助工具,便于对数据进行结构化处理与标定。但数据的下一步利用,要看双方的合作。我们没有自建数据集的想法,而是倾向于与生态伙伴合作,共同完成数据的采集和数据集的建立。

一个重要判断是:并不追求数据量的大小,因为模型还不够收敛。这些数据很可能在模型变化的时候,几十万小时的数据突然就变得可能只有几个小时的有效数据。由于模型未来发展方向不够收敛,数据的价值并没有想象的那么大。而不同类型数据的尝试,可能会给模型演进提供更多启发。所以光场数据能否成为“基准真值”,取决于模型端能否有效利用这些高维数据。现在的大模型还是因果概率关系,没有收敛到物理概念层面。当理论突破让模型能够理解物理概念时,光场数据的全息特性,如深度信息、视角信息、光谱信息、时间维度等,才能真正发挥价值。在此之前,我们的战略重心是把数据采集设备和基础算法做好,等待模型端的理论突破。

Q:光场感知采集的高维数据,如何与空间大模型形成有效闭环?您观察到哪些数据与模型协同的前沿趋势?

温建伟:高维数据的维度更丰富、灵活性更大。光场相机要取代双目、取代激光雷达其实都可以,只是代价会不同。同时,也需要有相应的算法来做动作捕捉、3D建模和目标提取,包括近场和远场的群体三维建模,理论上沿着这条技术路线都可以实现。

一件重要的事是光场空间的构建。若能把给定空间下的光信号记录和保留,剩下问题就是如何呈现。我们采用“隐式3D可渲染”技术——即在虚拟空间中记录光场信息,当视角移动至某一位置时,系统实时渲染出对应视角的二维图像。比如马拉松场景,沿着一条道路记录光场数据,重建数字孪生道路,随着视角不断向前延伸、推进,渲染画面不断重建呈现。关注视角集中在哪里,就把那里的二维图像渲染出来。我们与清华、北航、华科等多所高校都在开展产学研合作,结合数据采集设备,为模型训练提供数据支撑。但高维数据与模型的有效闭环,还需要看光场数据和模型之间的连接在理论上能否取得突破。

创业方法论:从实验室

到产业化的“惊险一跃”

Q:您过去的复合型履历给您带来了哪些底层能力?从研究到创业,最难跨越的是哪一个层面?

温建伟:在不同的岗位上,见到的、学习的东西不太一样。早年从事产业研究与宏观规划的经历,带给我的是宏观视野——从全局角度思考如何引领一个产业发展。但当时欠缺的是,这些规划如何一步步落地变为现实。在国央企做产品规划和技术研发的过程中,学到了如何将需求转化为供给,但同时却发现欠缺对整个行业发展趋势的把握。

创业的过程既需要抬头看路,又需要低头做事,考虑问题要全面而周到;既要了解国家大的政策方针指引,同时还要在产业链上找准生态位,完成价值传递。过往的经历,对我帮助很大。最终,将研发出的产品,交到客户手上,变成解决客户问题的利器,实现商品价值,是艰难的一次跨越;持续地跟随市场变化,持续地满足客户需求,是更大的挑战。

最难跨越的不是思维转变,而是切身的体感。你真正站在那个位置上,面对那些具体问题时,才知道什么叫“如人饮水,冷暖自知”。

Q:拙河科技源自知名高校科研团队的技术积累。从实验室技术到商业化产品,中间必然经历关键的“惊险一跃”。请您回顾这一过程中最具决定性的转折时刻。产学研协同方面,公司如何平衡学术前沿探索与产品工程化交付?

温建伟:实验室技术变成产品、再变成可商用商品,大概经历两个阶段。第一个阶段是技术到产品。我们是典型的技术驱动型创业,不是市场上有需求才去做,而是市场一直有更高要求(人总想看得更远、更全面、更清晰),只是此前的技术达不到。技术变成产品很依赖产业链支持,理论上能实现的性能指标,不一定能用现有工业品实现。

转折时刻其实没有特别惊心动魄的,更多是一个坑一个坑填出来的。每一个环节都有这样的工程问题需要解决,它可能不是科学问题,仅仅是工程问题,而工程问题反而需要经验的积累。做研究和做产品的根本区别在于,研究强调长板,创新点的高度决定论文的层次;而产品遵循木桶效应,短板决定成熟度,短板不够整个产品就不可用。

产学研协同方面,实验室承担的更多是前沿方向的探索,在比较确定地收敛之前,不会把工程化工作放到公司里来,起到的是对未知领域和未知问题的攻关作用。公司则提供平台,让老师们尝试新方法、验证新思路,快速把想法落地成实验环境和工程验证的闭环,推动他们坚定信念、朝着正确方向前进。这是一个互相促进、互相提供平台的双向循环。并且,学校探索未知,公司验证落地,市场反馈再反哺研究。

Q:对于正在融资、扩展落地的硬科技创业者,以及投身硬科技赛道的在校同学,您有什么务实建议?展望未来十年,您希望拙河科技在其中扮演怎样的角色?

温建伟:对在校同学和青年创业者,我最想说的是:实验室技术变成可商用商品,中间没有捷径。每一个工程问题都需要经验积累。它可能不是科学问题,但恰恰是这些工程问题决定了产品的价值与生命周期。保持科技报国的信念,把技术的工程可靠性做到极致,把企业的价值交付做到闭环,才能坚持下来。展望未来十年,具身智能将从实验室样机走向规模化落地,光场感知会成为具身智能的原生底层视觉基础设施,希望拙河科技在这个过程中成为光场感知技术的探路人和建设者,为行业的快速发展贡献力量。

Review of Past Articles -

01

02

03

关于《清华金融评论》·《科创AI+

《清华金融评论》坚守“建言金融政策,引领金融实践”的办刊初心与使命,《科创AI+》栏目聚焦新一轮科技革命与产业变革的时代浪潮。针对当前AI赋能科技创新、产融深度融合、前沿技术落地等热点话题进行深度剖析、案例分享与访谈解读。解码科创企业成长逻辑,洞察AI技术应用边界,探索“科技- 产业-金融”协同发展新路径。

来源 | 本人访谈

编辑 | 兰银帆

审核丨秦婷

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

清华金融评论 incentive-icons
清华金融评论
专注于经济金融政策解读与建言
6793文章数 14632关注度
往期回顾 全部

专题推荐

乌蒙深处 清凉毕节

无障碍浏览 进入关怀版