InstructMesh：让AI生成的3D模型可修改并顺利打印

“所见即所得”是许多软件工程师遵循的指导原则——编辑内容与最终成品应保持一致。但当用户利用生成式AI系统进行3D打印，比如打印一个马克杯时，得到的成品可能根本无法用来盛咖啡。这是为什么呢？

问题的根源在于，AI模型理解物体应该“看起来”是什么样子，却不理解它应该“如何运作”，这导致设计出的物品往往不实用，背离了使用目的。即便用户想修复这些错误，这些模型通常也很难编辑，对于刚接触3D设计的新手来说更是如此。

一种名为“InstructMesh”的新方法，让设计和打印日常用品、配饰及机器人变得更加容易，使其能在现实中真正发挥作用。这款设计软件由麻省理工学院计算机科学与人工智能实验室（CSAIL）、谷歌以及东北大学的研究人员共同开发，用户可以通过提示让系统生成一副眼镜的3D设计，然后高亮标出在打印前希望改进的具体部分。这是一个由AI驱动的交互界面，旨在理解这些设计应该呈现的样式，以及专业用户和新手用户想要进行的修改，帮助他们打造真正想要的物品。

CSAIL的研究人员利用InstructMesh为普通物品增添了个性化和创意元素。例如，该工具制作出了一个仿佛被巨龙环绕的马克杯，龙尾正好作为杯柄；还打造了一个外形像贝壳的亮蓝色哨子，以及一副在镜片上方展开蝴蝶翅膀的眼镜。更具创意的是，它还制作了一个章鱼造型的分液器，液体从每条触手中流出，可同时为多个杯子倒饮料。

是什么让InstructMesh能够如此巧妙地响应这些独特的提示？它将微软的TRELLIS系统（可根据文本和图像提示生成3D模型）与支持ChatGPT的大语言模型GPT-4相结合——即把视觉知识和文本知识融为一体。

“我们希望把3D生成器的能力和大语言模型的推理能力结合在一个交互空间中，从而制作出人们真正想要的物品，”该项目论文的第一作者法拉兹·法鲁基（Faraz Faruqi）说道，他是电气工程与计算机科学系2022届硕士、2026届博士毕业生，也是CSAIL的近期研究人员。“语言模型擅长处理文本和图像，而TRELLIS的强项在于创建3D模型，因为它见过的模型数量极为庞大。”

InstructMesh的优势在其他更令人意外的领域同样派上用场。麻省理工学院的科学家们利用该程序制作了一款外观像牛仔布的护膝，以便与患者的牛仔裤相搭配。InstructMesh甚至还能协助制作机器人——也就是用来容纳无线组件的巧妙外壳。研究人员制作了一个外形像彩色小虾的“刷毛机器人”来展示这一能力。它内部隐藏着一个马达，打开开关后，它就能像上弦玩具一样在表面上滑动。

法鲁基和同事们发现，InstructMesh能够轻松制作出他们想要的物品。但对于从未进行过3D建模的人来说，他们又会如何看待这套系统呢？他们真的能在打印之前发现设计缺陷吗？

为了找到答案，研究团队让TRELLIS重新生成Thingiverse平台上的热门3D模型——该平台拥有数百万个可供3D打印的模型。结果显示，TRELLIS生成的模型中，近80%在结构上存在某种缺陷。随后，CSAIL的研究人员请新手用户在InstructMesh中识别并修复这些问题——经过专家评估，他们大约90%的情况下都能同时完成这两项任务。这些新手虽然缺乏专业知识，但凭借直觉弥补了这一不足。

InstructMesh为实际建模过程提供了支架式支持，而此前这一过程需要具备3D建模工具方面的专业知识。“由于操作发生在生成模型的潜在空间中，InstructMesh支持用自然语言描述问题，并在几何结构上生成可解释的变化，供用户评估和确认，”法鲁基说道。

随后，用户们制作出类似手机支架和花瓶的物品，并表示InstructMesh很容易使用。他们还发现，InstructMesh让他们能够表达各种各样的想法，而滑动条功能则让他们能更精确地进行某些调整，比如放大或拉伸模型的特定部分。

“用户得到了他们所提示要求的东西，并能轻松地对设计进行必要的微调，”法鲁基补充说道。“可以说，他们看到的就是他们得到的，而且这些物品确实能像宣传那样正常使用。”

虽然用户对使用InstructMesh感到满意，但法鲁基对这个项目有着更宏大的设想。他目前在谷歌工作，可能很快会将InstructMesh整合进一个增强现实（AR）平台中。其核心理念是：用户通过描述自己所处环境的背景信息来提示系统需要什么，系统随即能快速3D打印出来（例如，制作一个与你的钱包相匹配的手机壳）。

InstructMesh未来还可能开始引入物理仿真，模拟设计在特定使用场景下的反应，比如一个碗掉落时是否会摔碎，以及哪种材料最适合使用。该软件还可能整合更新的TRELLIS.2版本，以便对3D模型中更细微的部分进行优化。

麻省理工学院电气工程与计算机科学系（EECS）及机械工程系副教授、CSAIL成员斯特凡妮·穆勒（Stefanie Mueller）是该论文的资深作者。法鲁基和穆勒与谷歌研究人员艾哈迈德·卡塔里（Ahmed Katary，2023届）、法比安·曼哈特（Fabian Manhardt）、弗鲁山克·法德尼斯（Vrushank Phadnis，2013届硕士、2020届博士）、鲁菲·杜（Ruofei Du）以及费德里科·托姆巴里（Federico Tombari）共同撰写了这篇论文。其他合著者还包括东北大学助理教授梅根·霍夫曼（Megan Hofmann），以及多位CSAIL同事：电气工程与计算机科学及建筑学博士生德米尔坎·塔斯（Demircan Tas，2024届硕士及建筑学硕士）；前访问研究员特雷莎·赫拉迪拉克（Theresa Hradilak）；电气工程与计算机科学系研究生张宁（音译，2025届）；博士后李佳佳（音译）；以及马丁·尼瑟（Martin Nisser，2019届硕士、2024届博士）。

该研究工作部分得到了谷歌及麻省理工学院—HPI联合研究计划的支持。研究团队将在11月举行的ACM用户界面软件与技术研讨会上展示这项成果。

Q&A

Q1：InstructMesh是什么？它能做什么？

A：InstructMesh是由麻省理工学院CSAIL、谷歌和东北大学研究人员联合开发的3D设计软件，能让用户修改AI生成的3D模型中存在的结构缺陷，制作出真正实用且符合个性化需求的物品，比如马克杯、眼镜、护膝等。

Q2：InstructMesh是如何工作的？

A：InstructMesh结合了微软的TRELLIS系统（根据文本和图像生成3D模型）以及大语言模型GPT-4，将视觉生成能力与文本推理能力结合起来。用户可以用自然语言描述问题，系统会在几何结构上生成相应的修改供用户评估确认。

Q3：没有3D建模经验的新手能用好InstructMesh吗？

A：可以。研究人员发现，面对TRELLIS生成的存在结构缺陷的模型（约80%存在问题），新手用户使用InstructMesh识别并修复问题的成功率约达90%，说明该工具即使对无专业背景的用户也十分友好。