网易首页 > 网易号 > 正文 申请入驻

AR巨头都在做“全家桶”,他偏把核心算法拆出来做成一张2D地图

0
分享至

市面上的AR工具包,从苹果的ARKit到谷歌的ARCore,再到RoomPlan、Polycam,提供的都是一体化封闭方案。SLAM、物体检测、交互界面,所有功能打包在一个笨重的黑箱里,开发者只能全盘接受。如果你只想要中间那一环——把相机姿态和目标检测的数据流转成一张干净的、去重后的2D地图,告诉你“这里有把椅子,那里有扇门,坐标分别在哪”——目前市面上找不到一个轻量、可嵌入的工具专门干这件事。

一位开发者动手填补了这个空白,开源了一个名为geomap-engine的Rust工具包。它的功能定位极其精准:只做一件事。喂给它一个帧数据,包含相机姿态、内参,以及一系列二维边界框检测结果,它就维护一张“场景地图”——地图上每个真实物体只对应一个稳定条目,而不是把每次检测都当成新物体记录下来。

这套引擎刻意划清了自己不管的边界。它不跑SLAM,开发者得自带ARKit、ARCore或ORB-SLAM3之类的方案。它不做目标检测,模型同样由开发者自己准备。它更没有UI界面。它像一个粘合层,安静地坐在传感器感知模块和上层应用之间,专门处理姿态与检测结果的融合,然后把产出的结构化地图交给上层的App、机器人决策系统或车载工具链。

引擎内部的工作原理走了一条务实的流水线。第一步叫“投影”,把平面内的2D边界框,结合相机姿态和内参,通过与地平面的射线-平面求交,估算出物体在真实世界中的2D位置。目前的v0.1版本做了一个简化假设:相机距离地面的高度是已知且固定的。第二步是“关联”,针对标签类别和位置邻近度,与地图中已存在的追踪物体做最近邻匹配。第三步“融合”是这套引擎的核心设计:来自多次观测的结果并非简单取平均值,而是将置信度当作独立证据进行累加。每次观测都在增强可信度得分,值会朝着1的方向单调逼近,而非被过往的低置信度拉低。最后一步是地图维护,只用一条“陈旧度规则”就统一处理了噪声过客、长期静止后消失的对象,以及被移动过的物体——逻辑上三件事,实现上只需一个准则。

使用上非常直接。开发者引入Engine结构体,按Protobuf定义的格式组装好CameraIntrinsics、CameraPose和Detection,塞进一个Frame,调用engine.ingest_frame(frame),就能拿到一张SceneMap。输出的格式是GeoJSON,标准的FeatureCollection构型,里面全都是点状地物。拿到这段JSON可以当场丢进geopandas、matplotlib,或者任意一个地图查看器里可视化,不需要再写额外的格式转换代码。示例代码中,相机被设置为1.5米高、垂直俯视地面,检测框“椅子”以0.8的置信度标出了归一化坐标,一行println就吐出整个场景的GeoJSON字符串。

技术选型背后有明确的跨平台考量。选择Rust语言,除了性能与内存安全外,更关键的是后续可以通过FFI接口打通iOS和Android端的调用。帧数据与场景地图的数据结构用Protobuf定义,这使得前端无论用Swift、Kotlin,还是Python搭建的测试工具,都能以语言无关的方式喂入数据,不需要关心后端引擎用的是什么语言实现。

目前版本v0.1已经完成实现并通过了测试。代码库配置了持续集成,每次推送都会触发cargo build、cargo test和cargo clippy检查,三项均干净通过。总共11项测试覆盖了两类场景:一套基于手工编写的固定数据,用于验证基本逻辑;另一套用上了来自TUM RGB-D基准数据集的真实相机轨迹,叠加带合成目标的检测框以及真实施加上的检测器噪声。后者的目的很明确——确保关联与融合逻辑在真实的传感器抖动和检测噪声下依然能站稳,而不是仅仅在理想化的合成输入面前好看。由于版本尚未达到1.0,API仍可能发生变动。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
王晓晖施小琳会见泰国总理阿努廷

王晓晖施小琳会见泰国总理阿努廷

金台资讯
2026-07-19 09:07:12
身高182的篮球网红,凭啥让两米大汉服气,看完就懂

身高182的篮球网红,凭啥让两米大汉服气,看完就懂

林子说事
2026-07-19 13:05:45
下载速度飙至120MB/s!1分钟下载8GB,可抓取网页音视频!

下载速度飙至120MB/s!1分钟下载8GB,可抓取网页音视频!

科技乐小天
2026-07-18 14:14:08
潘粤明案判了,结果大快人心,和董洁长达11年的恩怨终于落幕

潘粤明案判了,结果大快人心,和董洁长达11年的恩怨终于落幕

仙味少女心
2026-07-18 23:48:03
姆巴佩:39岁梅西仍是世界第一,我们可能再也看不到这样的球员了

姆巴佩:39岁梅西仍是世界第一,我们可能再也看不到这样的球员了

体育闲话说
2026-07-18 20:46:02
姆巴佩世界杯金靴超越梅西,姆巴佩赛后表示:无法超越历史级传奇

姆巴佩世界杯金靴超越梅西,姆巴佩赛后表示:无法超越历史级传奇

体育闲话说
2026-07-19 09:13:50
小伙职高毕业期望薪资3万,面试官笑问:牛奶倒入大海怎么拿回?

小伙职高毕业期望薪资3万,面试官笑问:牛奶倒入大海怎么拿回?

青青会讲故事
2025-10-17 17:12:53
张子枫演技没崩,脸却崩了:娱乐圈最残酷的真相,不是“胖才丑”

张子枫演技没崩,脸却崩了:娱乐圈最残酷的真相,不是“胖才丑”

白宸侃片
2026-07-19 04:41:41
最后一座炼油厂被炸,俄被打断命脉,赔光500亿,还得砸钱进口

最后一座炼油厂被炸,俄被打断命脉,赔光500亿,还得砸钱进口

启迪你的思维
2026-07-19 02:43:31
比亚迪CEO警示:新款电机一旦投放市场,汽车行业或将全面洗牌

比亚迪CEO警示:新款电机一旦投放市场,汽车行业或将全面洗牌

音乐时光的娱乐
2026-07-18 12:50:55
女子就餐被“黄总”邀约后续:报警没用,原因曝光,当事人透更多

女子就餐被“黄总”邀约后续:报警没用,原因曝光,当事人透更多

奥字侃剧
2026-07-18 12:40:10
神奇定律能否实现?英格兰诚信互刷6-4,助推阿根廷87.5%可能夺冠

神奇定律能否实现?英格兰诚信互刷6-4,助推阿根廷87.5%可能夺冠

新杀猪的秀才
2026-07-19 07:31:49
摩纳哥亲王的私生子:比夏琳王妃的孩子大11岁,深受父亲器重

摩纳哥亲王的私生子:比夏琳王妃的孩子大11岁,深受父亲器重

小书生吃瓜
2026-07-18 23:38:37
岁月蹉跎,她从狼变成羊

岁月蹉跎,她从狼变成羊

二湘空间
2026-07-18 08:00:19
1954年,冻掉四肢的志愿军战士返乡,母亲:你走吧,娘养不了你!

1954年,冻掉四肢的志愿军战士返乡,母亲:你走吧,娘养不了你!

春秋砚
2026-07-19 10:55:10
十年催生宣告失败!国家终于认清:不生孩子真不是因为年轻人懒!

十年催生宣告失败!国家终于认清:不生孩子真不是因为年轻人懒!

有范又有料
2026-07-19 15:02:00
135亿罚单,642艘船跑路!美国帮巴拿马的追责成笑话

135亿罚单,642艘船跑路!美国帮巴拿马的追责成笑话

史智文道
2026-07-19 11:35:12
73岁港星携全家赴伦敦见证女儿毕业,感动落泪:爸爸以你为荣

73岁港星携全家赴伦敦见证女儿毕业,感动落泪:爸爸以你为荣

调侃国际观点
2026-07-18 12:51:06
别再算长鑫3万亿、4万亿总市值!首日实际流通盘仅330亿

别再算长鑫3万亿、4万亿总市值!首日实际流通盘仅330亿

财经智多星
2026-07-19 08:54:47
美军凌晨发起绝杀打击,伊朗地下导弹基地彻底瘫痪

美军凌晨发起绝杀打击,伊朗地下导弹基地彻底瘫痪

老马拉车莫少装
2026-07-17 22:26:30
2026-07-19 15:35:00
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
285文章数 58关注度
往期回顾 全部

科技要闻

Kimi K3单项登顶 整体落后前沿模型2-3个月

头条要闻

罗纳尔多预测世界杯决赛结果:西班牙队将轻松夺冠

头条要闻

罗纳尔多预测世界杯决赛结果:西班牙队将轻松夺冠

体育要闻

世界杯决赛,从“澡盆德比”500年前讲起

娱乐要闻

全网都心疼邹市明,再逼他支棱了

财经要闻

任泽平VIP会员自称爆仓巨亏千万

汽车要闻

把中国超跑卖到英国,比亚迪正在被世界看见

态度原创

健康
时尚
手机
房产
教育

刮痧也会刮出脑梗?讲个真实案例

伊姐周六热推:电视剧《雀骨》;电影《功夫女足》......

手机要闻

苹果二季度国内出货量逆势大涨!iPhone 17系列销量突破3776万台

房产要闻

突然出手!千亩城更+一线江景,世嘉亮出超级四代宅!

教育要闻

日常英语:公交车司机态度有问题

无障碍浏览 进入关怀版