8月28日消息,阿里巴巴旗下高德发布万帧级流式3D重建模型ABot-Recon。据介绍,该模型无需长程记忆,仅凭连续12帧局部画面,即可实时重建上万帧3D场景,实现“边拍边建”。
与传统流式3D重建依赖长程记忆锚点不同,ABot-Recon采用“局部位姿预测+残差优化”技术路线,仅以最近12帧画面作为局部上下文窗口,预测局部点云及相邻两帧的相对位姿,再在线组合形成完整的全局轨迹和三维场景。
高德披露,在Oxford Spires长序列基准测试中,ABot-Recon平均轨迹误差较LingBot-Map降低40.6%,相对旋转误差RPE-R为0.12°,较前代SOTA降低约40%。
速度方面,在KITTI-02测试中,ABot-Recon实时重建速度达到24.45 FPS,为行业代表方法的1.24倍;峰值显存占用约6.71GB,约为同类模型的三分之一,一张GTX 1080Ti即可运行。
ABot-Recon仅需单目RGB视频输入,无需额外深度传感器或已知相机参数,可应用于私域建图、底图更新、具身智能、自动驾驶及3D内容生产等场景。
目前,ABot-Recon已在GitHub开源推理及评测代码和模型权重,并在魔搭社区上线体验专区。(易智)
