生成式AI助力无线视觉系统透视遮挡物体技术突破

麻省理工学院的研究人员经过十多年的研究，开发出了一套能够让机器人通过"透视"障碍物来发现和操作隐藏物体的技术。该技术利用能够穿透表面的无线信号，这些信号会从隐藏的物体上反射回来。

现在，研究人员正在利用生成式人工智能模型来克服长期以来限制先前方法精度的瓶颈。这一新方法能够产生更精确的形状重建，从而提高机器人可靠抓取和操作被遮挡物体的能力。

这项新技术通过反射的无线信号构建隐藏物体的部分重建图像，然后使用专门训练的生成式AI模型来填补其形状的缺失部分。

研究人员还推出了一个扩展系统，该系统使用生成式AI准确重建整个房间，包括所有家具。该系统利用从一个固定雷达发送的无线信号，这些信号会从在空间中移动的人体上反射。

这克服了许多现有方法的一个关键挑战，即需要将无线传感器安装在移动机器人上来扫描环境。与一些流行的基于摄像头的技术不同，他们的方法保护了环境中人员的隐私。

这些创新可以让仓库机器人在发货前验证包装物品，消除产品退货造成的浪费。它们还可以让智能家居机器人了解某人在房间中的位置，提高人机交互的安全性和效率。

"我们现在所做的是开发了生成式AI模型，帮助我们理解无线反射。这开启了许多有趣的新应用，但从技术上讲，这也是能力的质的飞跃，从能够填补我们之前无法看到的空白，到能够解释反射并重建整个场景，"电气工程和计算机科学系副教授、麻省理工学院媒体实验室信号动力学小组主任、这些技术两篇论文的资深作者Fadel Adib说。"我们正在使用AI来最终解锁无线视觉。"

克服镜面反射难题

Adib团队此前已经演示了使用毫米波信号来创建被隐藏的3D物体的精确重建，比如埋在一堆物品下面的丢失钱包。

这些波长与Wi-Fi中使用的信号类型相同，可以穿过干式墙、塑料和纸板等常见障碍物，并从隐藏物体上反射。

但毫米波通常以镜面反射的方式反射，这意味着波在撞击表面后会向单一方向反射。因此，表面的大部分区域会将信号反射到远离毫米波传感器的地方，使这些区域实际上变得不可见。

"当我们想要重建一个物体时，我们只能看到顶部表面，无法看到底部或侧面，"Dodds解释说。

研究人员之前使用物理原理来解释反射信号，但这限制了重建3D形状的准确性。

在新论文中，他们通过使用生成式AI模型来填补部分重建中缺失的部分，从而克服了这一局限性。

"但挑战在于：如何训练这些模型来填补这些空白？"Adib说。

通常，研究人员使用极大的数据集来训练生成式AI模型，这是像Claude和Llama等模型表现如此出色的原因之一。但没有足够大的毫米波数据集可用于训练。

相反，研究人员调整了大型计算机视觉数据集中的图像，以模拟毫米波反射的特性。

"我们模拟了镜面反射的特性和从这些反射中获得的噪声，这样我们就可以将现有数据集应用到我们的领域。收集足够的新数据来做这件事可能需要数年时间，"Lam说。

研究人员将毫米波反射的物理特性直接嵌入到这些调整后的数据中，创建了一个合成数据集，用于教授生成式AI模型执行合理的形状重建。

完整的系统名为Wave-Former，它基于毫米波反射提出一组潜在的物体表面，将它们输入生成式AI模型以完成形状，然后细化表面直到实现完整重建。

Wave-Former能够生成约70个日常物体的忠实重建，如罐子、盒子、餐具和水果，比最先进的基线方法提高了近20%的准确率。这些物体被隐藏在纸板、木材、干式墙、塑料和织物后面或下面。

识别"幽灵"信号

团队使用相同的方法构建了一个扩展系统，该系统通过利用房间中移动人体的毫米波反射来完全重建整个室内场景。

人体运动产生多径反射。一些毫米波从人体反射，然后再次从墙壁或物体反射，最后回到传感器，Dodds解释说。

这些二次反射产生所谓的"幽灵信号"，即原始信号的反射副本，随着人的移动而改变位置。这些幽灵信号通常被当作噪声丢弃，但它们也包含有关房间布局的信息。

"通过分析这些反射随时间的变化，我们可以开始对周围环境有一个粗略的理解。但试图直接解释这些信号在准确性和分辨率方面会受到限制，"Dodds说。

他们使用类似的训练方法来教授生成式AI模型解释这些粗略的场景重建并理解多径毫米波反射的行为。该模型填补空白，细化初始重建直到完成场景。

他们使用100多个由单个毫米波雷达捕获的人体轨迹测试了他们的场景重建系统RISE。平均而言，RISE生成的重建比现有技术精确约两倍。

未来，研究人员希望提高重建的粒度和细节。他们还希望为无线信号构建大型基础模型，就像GPT、Claude和Gemini为语言和视觉构建的基础模型一样，这可能会开启新的应用。

这项工作得到了美国国家科学基金会、麻省理工学院媒体实验室和亚马逊的部分支持。

Q&A

Q1：Wave-Former系统是什么？它如何工作？

A：Wave-Former是麻省理工学院开发的无线视觉系统，能够通过毫米波信号"透视"遮挡物来重建隐藏物体。它首先基于毫米波反射提出潜在物体表面，然后使用生成式AI模型完成形状重建，最后细化表面直到实现完整重建，准确率比现有方法提高近20%。

Q2：毫米波信号为什么能透过障碍物看到隐藏物体？

A：毫米波信号与Wi-Fi使用的信号类型相同，具有穿透干式墙、塑料和纸板等常见障碍物的能力，并能从隐藏物体表面反射回来。研究人员通过分析这些反射信号的特征，结合生成式AI模型来重建被遮挡物体的完整3D形状。

Q3：RISE系统如何重建整个房间场景？

A：RISE系统利用人体在房间中移动时产生的多径毫米波反射来重建室内场景。当毫米波从人体反射后再次从墙壁或物体反射回传感器时，会产生"幽灵信号"。系统通过分析这些信号随时间的变化模式，使用生成式AI模型理解房间布局并完成场景重建。