MIT新工具解决AI建模后的3D打印制造可行性

AI生成的3D模型 这只杯子， 能装咖啡吗？ 轻点画面，看看问题在哪 封死的杯口 倒不进一滴咖啡。 研究团队把120个热门模型交给AI重建，94个带着 两类以上这样的毛病。

让AI设计一个龙缠杯身、龙尾当把手的马克杯，它很快就能交出一个精致的3D模型。

可仔细一看，杯口被一块平板封死了。

照这个模型打印出来，连一滴咖啡也倒不进去。

这不是个例。

MIT计算机科学与人工智能实验室联合谷歌等机构专门研究了这个问题，论文将发表在11月的人机交互顶会UIST上。

他们开发的工具叫InstructMesh，思路很简单。

AI生成的模型先别急着打印，让普通人用鼠标涂一笔、说一句话，把它修到能打印为止。

龙纹杯从生成到打印的全过程。从左到右依次是输入提示词、AI生成、涂出封死的杯口并要求去掉、修好的模型、打印出的实物。

图源：InstructMesh论文

第一问

AI为什么会做出看着像、却用不了的东西

原因出在AI的学习方式上。

目前主流的3D生成模型，训练时主要看渲染出来的图片像不像，只要各个角度看起来对，就算合格。

至于杯口有没有开、杯壁够不够厚、两个零件有没有连上，从图片上很难看出来，模型自然也就不在意。

研究团队先做了一次摸底。

他们从3D打印模型分享网站Thingiverse挑出最热门的120个模型，各渲染一张图片，交给微软开源的3D生成模型TRELLIS重建，再请两位建模专家把重建结果和原模型逐一对照。

结果，120个模型中有94个同时存在两类以上的毛病，平均每个模型有2.4处。最常见的三类毛病是：

多出不该有的凸起和碎块，占65.8%；该开的孔没有开，占48.6%；该实心的地方做成了空心，或者反过来，占36.9%。

摸底找到的九类毛病，每列一类。上排是AI重建的模型，下排彩色部分是专家标出的出错位置。

图源：InstructMesh论文

要修这些毛病，专业人士会打开Blender这类建模软件，一个面一个面地改，外行根本无从下手。

重写提示词让AI再生成一遍，又常常是这里修好了，那里又变了样。

第二问

不改成品，改毛坯

InstructMesh最关键的一步是选对了下手的地方。

TRELLIS这类模型生成3D模型分两步走。

第一步先搭出一个粗糙的毛坯，它由64×64×64的小方块网格组成，就像用乐高拼出的大致轮廓。

第二步再由解码器在毛坯的基础上补出光滑的表面、纹理和细节。

InstructMesh只改第一步的毛坯。

添几个方块，或者挖掉几个方块，再把改好的毛坯交回解码器，由AI重新生成细节。

好比雕塑家不去打磨抛光好的铜像，而是回到泥坯上捏几下，再重新翻模。方块之间没有复杂的连接关系，增减都不容易出错；

鳞片和花纹交给AI重新补齐，修过的地方也不会显得突兀。

系统流程。提示词先变成方块毛坯，再解码成杯子。发现杯口封死后，系统在毛坯上挖掉对应的方块，重新解码，得到能装水的杯子。

图源：InstructMesh论文

研究者把常见的修补操作归纳为六个基本动作：

往外加料的有拉伸、加厚、填充，往里减料的有修剪、掏空、压平。

他们还为这些动作调好了十二套参数预设，用来应对不同的毛病。

六个基本动作的效果，左边三个加料，右边三个减料，粉色是用户选中的区域。

图源：InstructMesh论文

第三问

外行怎么下指令

界面上的操作很简单，先用画笔涂出有问题的部位，再用一句话说明要怎么改；

也可以不打字，直接拉滑块选择动作、调节幅度。

下面这张卡片，点一下走一步。

涂一笔 说一句 看预览 重生成 毛坯交回AI，细节重新长出来 杯口打开，能装咖啡了。一次局部修改加重新生成， 平均43.7秒。 走完了 涂一笔 说一句 看预览 重生成 改动先标红，给你过目 要挖掉的方块标红，要加的标绿。毛坯藏在后台， 预览让人看得见改了什么。 轻点下一步 涂一笔 说一句 看预览 重生成 往外加料 往里减料 拉伸 加厚 填充 修剪 掏空 压平 再说一句：去掉这个盖子 GPT-4只做选择题，从六个动作里挑一个、配好参 数。测试中它选对了92.1%。 轻点下一步 涂一笔 说一句 看预览 重生成 先用画笔涂出封死的杯口 不用懂建模，涂到大致位置就行。零碎的误涂，系 统会自动忽略。 轻点下一步

用文字下指令时，背后由GPT-4负责理解。

但它并不直接改动几何形状，只做一道选择题，从六个动作里挑出一个，再配好参数。

至于改哪里，由用户涂抹的区域决定。

还有一个难题，毛坯藏在后台，用户看不到改动效果。

所以系统在正式生成前先给出预览，要加的部分标绿，要挖的部分标红，满意了再点确认。

预览效果。上排输入开个洞，杯口被标红后挖开；下排输入把这两部分连起来，绿色区域长出一截新把手。

图源：InstructMesh论文

InstructMesh的网页界面，从左到右是一次完整的修改流程。

图源：InstructMesh论文

第四问

外行能不能修好模型吗

团队先自己用这套工具修复测试集里的毛病，再请独立评审逐个判定。

各类毛病的修复成功率在83%到96%之间，其中开孔类最容易修好。

团队自测的修复成功率，开孔类和壁厚类最高，部件粘连重复类最低。

图源：InstructMesh论文

真正的考验在外行身上。研究者招募了12名非技术专业的学生，他们都没有接触过3D建模或CAD软件。

每人要处理5个有毛病的模型，每个模型限时10分钟。

实验用的五个模型。上排是原始模型，中排是AI重建版，下排粉色是需要修复的位置。

图源：InstructMesh论文

结果，学生们找出了90.4%的毛病。经独立专家复核，156处毛病中有140处修好了，成功率89.7%。

更有意思的是，学生对自己有没有修好的判断，和专家的结论高度一致，只有7.1%的情况对不上。

外行实测 12个从没学过建模的学生， 每个模型限时10分钟 每格一处毛病，共156处；粉色是修好的140处 89.7% 毛病修好了 90.4% 毛病被找出 7.1% 自评与专家不符 修一处毛病通常只要两三分钟。网格上的细小裂缝最 难发现，被截断的部件最费时间。

学生找毛病的表现。网格上的裂缝、破洞这类拓扑错误最难发现。

图源：InstructMesh论文

修复用时。一处毛病通常两三分钟修完，补全被截断的部件最费时。

图源：InstructMesh论文

学生修复各类毛病的成功率。从图上估读在75%到100%之间，论文图注称都超过80%，略有出入。

图源：InstructMesh论文

第五问

打字还是拉滑块交互？

第二轮实验招募了12名新参与者，专门比较两种操作方式。

用文字描述更省力，适合大改；

拉滑块更精确，适合补缝、开孔这类细活。

最终6人更喜欢用文字，6人更喜欢滑块，而12人全都希望两种方式都保留。

一位参与者说，它让原本看不见的操作变得看得见了。

两种方式的打分对比，绿色越多越认可。右下角一组是对预览功能的评价。

图源：InstructMesh论文

第六问

3D打印出来的实物

团队用Stratasys J55全彩3D打印机打印了一批实物。

贝壳造型的哨子原本没有共鸣腔，加上气道后能吹出清脆的声音；

牛仔布纹理的护膝原本没有绑带孔，开孔后能绑在腿上；

蝴蝶眼镜原本镜片是实心的、镜腿是断开的，修好后能正常佩戴。

最有意思的是一个虾形外壳，里面装的是一种靠电机振动、用细腿爬行的刷毛机器人。

原模型前后的腿互相抵消了前进的力，肚子里也没有放电机的空间。

修短挡路的腿、挖出电机舱后，它就能朝一个方向爬了。

还有一个章鱼分酒器，原本头和腿都是实心的。

在头顶开口、打通每条腿里的通道后，从头顶倒酒，酒就能同时流进几个杯子。

左边上下是龙纹杯和贝壳哨，中间是护膝和蝴蝶眼镜，右上是虾形刷毛机器人，右下是章鱼分酒器。

图源：InstructMesh论文

第七问

还做不到的事

第一，精度有限。毛坯只有64×64×64格，一格约占物体尺寸的1.5%。

以10厘米高的杯子为例，一格约1.5毫米，比这更细小的缺陷修不了。

还做不到的事 毛坯只有64格见方 0 10厘米 一格约1.5毫米 比一格还细的缺陷 修不了，精度被毛坯卡住 肉眼看不出的毛病 内部壁厚、装配公差，要靠人先发现 会动的结构 铰链、卡扣，目前还不支持

第二，毛病得靠人先发现。

肉眼能看出的问题，外行能找到九成；

但内部壁厚不足、装配公差不对这类问题，往往要到切片时甚至打印失败后才会暴露。

第三，铰链、卡扣这类需要活动的结构，目前还修不了。

最后

回到那只龙纹杯

MIT的InstructMesh做的事，让用户看一眼、说一句话，一分钟内就能在毛坯上把AI生产的模型变得更加合理从而制造出来更有实用价值。

这个工具从AI生成到打印之间，多了一道可打印性修复的工序。

生成模型会越来越逼真，但杯口被封死这类物理世界的理解问题还大量存在。

解决这类问题的核心价值可以让AI设计和真实可制造的通道进一步打通。

我们也将持续关注这类工具。