GPT-4o开启太空舱门：AI Space Cortex让航天器具备自主运行能力

尽管企业在寻找人工智能软件的实际应用方面仍面临挑战，但太空科学家们至少已经找到了部署AI模型的明确方向。

来自加州理工学院、NASA喷气推进实验室、加州大学洛杉矶分校以及工程咨询公司Okean Solutions的研究人员正在积极探索如何利用AI模型在太空任务中实现自主运行操作。

他们将这个项目称为AI Space Cortex。这是一个旨在设计AI辅助自主框架的尝试，该框架能够处理从外星世界表面采集样本所需的各种任务，包括选址、样本收集以及将样本存放到科学仪器中。

NASA的"科学冰月操作稳健可解释自主系统"(REASIMO)项目负责执行这一研究，资金来源于NASA的"海洋世界生命探测技术概念"(COLDTech)计划。该研究旨在为未来的任务提供支持，比如Europa Lander项目——一个在木星冰卫星上寻找生命的提案。

描述该项目的预印本论文解释道："与以往主要依赖确定性任务执行的方法不同，AI Space Cortex集成了分层控制、基于主动视觉的场景分析、实时遥测评估、自我诊断和重新校准能力。"

AI Space Cortex的设计者们设想了一个能够实时自主运行科学任务同时检查自身健康状态的机器人系统。为此，它依赖计算机视觉和大语言模型。

在这个项目中，模型采用了OpenAI的GPT-4o，通过API访问而非本地运行。论文解释说，未来的实现将探索本地模型部署。这需要进行模型大小优化，并在推理速度与能耗之间取得平衡，因为行星着陆器在严格的功率限制下运行。

论文解释道："通过结合基础计算机视觉模型和大语言模型，Cortex能够解释和推理其周围环境，在没有直接人类干预的情况下做出明智决策。除了环境分析外，AI Space Cortex还能实时检测故障，自我诊断异常源头，并在必要时执行恢复程序。"

加州理工学院机器人研究科学家、Stealth Labs首席执行官、同时也是该论文十几位作者之一的Thomas Touma在接受采访时描述了这个项目。

"想象一下，你有一个带机械臂的系统，一个外星生物过来弯曲了你的机械臂，你撞到了岩石上，发生了什么事情，对吧？"他说，"现在你失去了这个相当昂贵的硬件设备。在这种情况下，我们试图设计一个不仅能检测故障，还能在出现问题时自我重新校准的系统。如果出现问题，这可能为你节省几亿美元，甚至十亿美元。"

他解释说，视觉模型允许进行图像分割，这是一种从背景像素中识别和分离所描绘对象的技术。例如，这使得模型能够选择机械臂上的特定点进行重新校准。虽然这可能需要比其他方法更多的计算能力，但结果是减少了困难的底层工作。

Touma说，这些模型"实际上在很多方面为我们节省了大量时间"。

Touma解释说，AI Space Cortex是一个在JPL的海洋世界着陆器自主测试平台(OWLAT)设施中进行实地测试的系统概念，该设施用于评估自主采样技术。

AI Space Cortex设计在配备8核CPU、8GB内存和NVIDIA 6GB笔记本GPU的系统上运行，依赖约400瓦的三相交流电源，并非为解决太空中的功率和热问题而设计。

他说，重点是功能性和系统能力。扩展是另一天的问题，随着时间推移，模型量化和推理硬件的预期进步可能会有所帮助。

虽然AI模型以产生幻觉（出错）而闻名，但Touma说由于系统边界的存在，这并不是问题。

"我们测试的系统是一个机械臂，"他解释道，"所以它能做的事情是有限的。它可能在其活动空间内崩溃，但不能穿墙而过。系统内部有很多底层硬性限制和安全防护。"

这些包括硬编码的扭矩和电流限制。

AI模型还会解释事物，让任务操作员能够理解摄像头看到的内容。操作员可以要求AI对场景提供意见，比如特定地形看起来是否安全或深度如何。

"实际上，通过所有实验，我发现它相当清醒，"Touma说，"我没有看到任何奇怪的幻觉。有时它会给你一个非常错误的意见，但实际上极其罕见。有时这也可能是我们向它提供模糊图像的结果。"

Touma说他对测试的AI模型能力印象深刻，特别指出了自动系统重新校准方面的工作。他解释说，研究人员故意损坏了机械臂，使其不再准确运行——它无法抓取被指示拾取的物体。

但在视觉模型和贝叶斯优化框架的帮助下，AI Space Cortex能够将损坏的机械臂重新校准到90%以上的准确度，仅使用摄像头进行评估。

AI Space Cortex并非计划中太空任务的一部分，但将为未来的加州理工学院/JPL项目提供信息支持。

"我们正在利用所学知识在其他项目上实施，"Touma说，"我可能不应该说它们是什么。"

Q&A

Q1：AI Space Cortex是什么？它能做什么？

A：AI Space Cortex是一个AI辅助自主框架，由加州理工学院、NASA喷气推进实验室等机构共同开发。它能够处理太空任务中从外星世界表面采集样本的各种任务，包括选址、样本收集以及将样本存放到科学仪器中，还具备实时故障检测、自我诊断和自动修复能力。

Q2：AI Space Cortex如何实现自主运行？

A：该系统结合了计算机视觉模型和大语言模型（如GPT-4o），能够解释和推理周围环境，在没有人类直接干预的情况下做出决策。它集成了分层控制、基于主动视觉的场景分析、实时遥测评估等功能，并能通过视觉模型进行图像分割来识别和操作特定对象。

Q3：AI Space Cortex在太空中会遇到什么挑战？

A：主要挑战包括功率和热管理问题。目前的测试版本需要约400瓦功率，而行星着陆器在严格的功率限制下运行。未来需要进行模型大小优化，在推理速度与能耗之间取得平衡。不过研究人员表示，模型量化和推理硬件的进步将有助于解决这些扩展问题。