3D语义分割新突破，层级一致性有了数学保障

近期，西南交通大学李天瑞教授、李崇寿副教授团队提出了一种新的层次化深度学习（DHL，Deep Hierarchical Learning）框架，创新性地从数学方面明确了“层次”的本质，并证明层内预测与层间一致性在理论的相通性。

该框架用于 3D 点云语义分割，通过模拟人类认知的层次结构，显著提高了 3D 数据的解析能力。该论文第一作者李崇寿对 DeepTech 表示：“我们想让机器像人类一样看世界，DHL 框架的本质是给机器装一套分层看世界的逻辑，并填补了 3D 层级学习的数学空白。”

该技术在自动驾驶、城市规划、机器人导航、数字孪生和具身智能等领域具有潜在的应用前景，并为未来三维视觉技术的实现提供了可能性。

自动驾驶的激光雷达需要快速地看得远且看得细，从层次的角度来看，需要在远距离和细腻度方面都看得准。将影响自动驾驶安全的场景和层次结构结合，有助于提高识别的细腻度和效率，进而验证自动驾驶的安全性。

尽管在数字孪生和三维重建领域已有层次和界面定义，但可基于该框架进一步推动其更高效地发展。未来，该技术有望通过无人机采集数据，结合地面测量技术，实现从自动识别对象到自动化输出多层次语义信息的完整流程。

此外，该框架还有望用于具身智能场景，比如在家庭环境中，存在几何相似但语义差异性大的物品，使用层次结构有助于提高识别的准确性，实现“先认大类，再找细类”的交互。

图丨李崇寿（来源：李崇寿）

人类能看到很远的地方，也能细致观察近处的物品，原因在于人类语言层次结构强。然而，在 AI 领域由于层次化认知没有被充分研究，其面临忽略天然关联、无法应对多粒度需求以及无法区分“几何相似但语义不同”歧义等问题。

研究团队旨在构建一种新的学习框架。他们首次从概率角度定义了“层级一致性”，例如模型预测“某个点是汽车”（概率 90%），那它属于其父类（如交通工具）的概率则一定大于等于 90%。

另一方面，研究人员还开发了聚合矩阵用于分类索引自动校准层级关系，在不需要人工调参前提下，能够自动地融合层次间的一致性，明确子类所属于的大类。需要了解的是，这并不是简单地构建标准尺度，还突破了传统只能定性分析的局限性。

李崇寿进一步指出，这种一致性包含两方面：一是“属于子集则必属于父集”，二是“不属于父集则必不属于子集”。通过聚合矩阵的方法，将这两方面自动融合到模型中。

（来源：IJCV）

为解决精度和效率难题，研究团队设计了两个模块：在层次嵌入融合模块（HEFM）中，分别“自上而下融合”和“自下而上融合”地建立了信息通道，并且该模块可嵌入到任何 3D 分割模型中；在自动生成类别层级的模块中，先用视觉语言模型读懂类别含义，再把这些类别归好类，从而让模型实现自动编目录。

研究人员在多个具有层次注释的三维场景数据集上验证了 DHL 框架的有效性。实验结果显示，相比于传统的单层分类器方法，DHL 在所有层次上的平均交并比（mIoU）和总体准确率上均获得了提升。

例如，在 Campus3D 数据集的校园地面细分案例中，传统方法会将校园里的房屋屋顶标成“地面”，DHL 能精准标成屋顶，还能关联到建筑物大类；在 ScanNet200 数据集，DHL 利用层级关联把细类分准，椅子、桌子的分割精度比传统方法高 8%-12%；在 PartNet 的家电零件细分中，DHL 将冰箱的分割 mIoU 提升到 52.7%。

图丨 Campus3D 中的类层级示例（来源：IJCV）

“我们第一次明确回答了层次的定义。与传统仅追求预测更高精度的方法不同的是，我们通过理论保障了模型在层次结构上的内在一致性，使其既能高效构建层次，又能在不同模型中泛化使用。”李崇寿表示。

相关论文以《面向三维语义分割的深度层次学习》（Deep Hierarchical Learning for 3D Semantic Segmentation）为题发表在计算机视觉领域顶刊 International Journal of Computer Vision（IJCV）[1]。西南交通大学李崇寿副教授是第一作者，香港城市大学研究助理教授李欣科是通讯作者。

图丨相关论文（来源：IJCV）

未来，研究团队将继续在几何和空间领域细化层次学习的理论。此外，他们还打算进一步拓展到时间维度（4D 维度），有望在动态情况下，既跟踪物理位置变化，也保持层次结构的一致性。

参考资料：

1.https://doi.org/10.1007/s11263-025-02387-6

运营/排版：何晨龙