网易首页 > 网易号 > 正文 申请入驻

全球首次实测通过!CMU华人用AI设计的乐高「不翻车」

0
分享至

新智元报道

编辑:peter东 英智

【新智元导读】如何将一句简单的文字描述变成物理稳定的乐高模型?LegoGPT通过物理感知技术,确保98.8%的设计稳如磐石。

输入一段文字,AI就能设计出可实际搭建的乐高?

来自CMU的研究人员提出的LegoGPT彻底改变了游戏规则。

只需输入「金属紫色电吉他」,AI就能生成一个不仅外形逼真,还能在现实中稳稳站立的乐高模型!

不同于传统3D建模工具生成的,LegoGPT通过微调Meta的LLaMA模型,结合47,000个稳定结构数据集,确保98.8%的设计符合物理定律。

LegoGPT是第一个能够将文本输入转换为物理稳定的乐高设计的AI模型。

目前,数据集、代码和模型均已开源。

论文地址:https://www.arxiv.org/abs/2505.05469

项目地址:https://avalovelace1.github.io/LegoGPT/

不同于那些会为了迎合你输入的请求而生成奇怪(且不稳定)设计的 AI 生成器,LegoGPT的设计遵循物理定律,这意味着。

LegoGPT不仅设计了与文本描述(提示词)相匹配的乐高模型,还确保它们可以在现实世界中逐块搭建,无论是人类测试者通过手工搭建,还是借助机器人辅助构建。

搭建高背椅子的乐高过程

图1:生成的乐高模块,经过带有力传感器的双臂机器人系统,根据 AI 生成的指令来拾取和放置积木,最终组成完成的乐高成品

LegoGPT生成的乐高组件,不止包含了具体的结构,还能按照提示词,包含喷漆机纹理图案。

图2:LegoGPT生成的乐高组件

生成带有提示词纹理图案的乐高组件

LegoGPT根据提示词金属紫色电吉他,生成的乐高组件是吉他形状,并且下部为紫色

LegoGPT相比之前生成3D建模的工具,其最大的优势在于其生成的结构是稳定的。

许多现有的 3D 生成模型专注于创建具有详细几何形状的多样化物体,但其生成的设计往往无法物理实现。

没有适当的支撑,设计的一部分可能会坍塌、漂浮或保持断开状态。

而使用LegoGPT生成的设计98%的时间是物理稳定的。

突破传统3D建模局限

LegoGPT怎么做到给出稳定设计的?

首先,LegoGPT的微调了Meta的一个开源大模型LLaMA-3.2-1B-Instruct,为了训练模型,团队构建了一个名为StableText2Lego的新数据集。

其中包含超过47,000个稳定的乐高结构,28000个独特的3D对象,其中每一个都由OpenAI的GPT-4o生成描述性标题,例如「流线型」「细长的船」或「具有醒目前格栅的经典风格汽车」这样的描述以及对应的3D乐高组件。

图3:a)统将 LEGO 设计分割成一系列文本标记,以从下到上的光栅扫描方式排序,b)将砖块序列与描述配对,以微调 LLaMA-3.2-Instruct-1B。c)在推理时,LegoGPT 通过根据文本提示逐个预测砖块来增量生成LEGO设计

每个结构都经过了物理分析,以确保它可以在现实世界中建造。

此外,LegoGPT团队使用了一个独立的软件工具来增强积木预测模型,该工具可以使用模拟重力和结构力的数学模型来验证物理稳定性。

图4:考虑乐高重力和结构力的物理模型,以预测乐高组件拼接后的稳定性

LegoGPT作为第一个预训练LLM,该模型不是预测下一个词,而是逐步预测要添加的下一个积木,从而逐步搭建出一个完整的由乐高组成的世界。

LegoGPT会通过首先生成一系列精确放置的乐高积木来工作。

对于序列中的每个新积木,系统确保它不会与现有积木碰撞,并且能够适应建筑空间。

完成设计后,它使用上述数学模型来验证模型能够直立而不倒塌。

如果LegoGPT生成的模型在实际搭建中部分组件倒塌,系统也会识别出第一个不稳定的积木并回溯,移除它以及所有后续积木,然后尝试不同的方法。

这种具有物理感知的回滚方法被证明是LegoGPT的要点。没有它,只有24%的设计能够站立,而使用完整系统时,成功率则有98.8%。

图5:LegoGPT生成的不稳定组件,在回滚中被去除

乐高不只是一个玩具,LegoGPT的用途,也远远不止加速新一代乐高玩具的设计,把乐高店里的玩具价格打下来。

LegoGPT展示出的技术实力,有着现实用途。

能够设计出稳定的乐高组件,也就能让大模型设计出可以3D打印的组件,再由机器人将这些组件拼接成具有现实功能的工具,例如无人机,无人驾驶的船只及模型车,这些在技术上,是一脉相承的。

LegoGPT中对于物理模型,以及不稳定组件的回滚,使其能够成为第一个具有极高可靠率,能产生稳定3D结构的预训练模型。

当然,LegoGPT仍存在一些局限性。

当前的LegoGPT版本仅在20×20×20的建筑空间内工作,并且仅使用八种标准积木类型。

LegoGPT目前支持一组固定的常用乐高积木,在未来工作中,LegoGPT的研究团队计划扩展积木库,以包含更广泛的尺寸和积木类型,例如斜坡和地砖。

研究人员希望扩大他们的训练数据集,以包含比目前可用的21个类别更多的对象。

作者介绍

Kangle Deng

Kangle Deng是卡内基梅隆大学(CMU)机器人研究所的博士生,由Deva Ramanan和Jun-Yan Zhu的共同指导。 此前,他于2020年获得北京大学学士学位。

Kangle Deng的研究方向主要为计算机辅助创作,目前的研究工作得到了微软研究院博士奖 学金的支持。

Ruixuan Liu

Ruixuan Liu卡内基梅隆大学(CMU)计算机学院机器人研究所的博士生,导师是智能控制实验室的Changliu Liu教授。

他的研究方向为机器人学习/控制、生成式制造以及人机协作。

Ruixuan Liu在卡内基梅隆大学(CMU)获得了电气与计算机工程学士学位,辅修机器人技术。

本科期间,他在Sebastian Scherer教授领导的AirLab实验室工作,工作重点是用于建筑结构检测的传感器融合和三维重建。

参考资料:

https://arxiv.org/html/2505.05469v1

https://arstechnica.com/ai/2025/05/new-ai-model-generates-buildable-lego-creations-from-text-descriptions/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
惨!新5元纪念币,没人约了!

惨!新5元纪念币,没人约了!

天天纪念币
2026-11-18 12:05:10
日本预测:中国将成为全球第一个,不需要武器进口的国家

日本预测:中国将成为全球第一个,不需要武器进口的国家

小妹讲史
2026-11-17 17:40:50
日本3岁女童惨死家中!全身50多处淤青、食道破裂!亲妈多次目睹丈夫施暴却未阻止!

日本3岁女童惨死家中!全身50多处淤青、食道破裂!亲妈多次目睹丈夫施暴却未阻止!

东京新青年
2026-11-17 19:22:35
WTA公布赛季年终奖金榜:郑钦文收入超249万美元,为收入最高中国球员;世界第一莱巴金娜超1113万美元居首,安德列娃、萨巴伦卡分列二三位

WTA公布赛季年终奖金榜:郑钦文收入超249万美元,为收入最高中国球员;世界第一莱巴金娜超1113万美元居首,安德列娃、萨巴伦卡分列二三位

大风新闻
2026-11-18 14:26:01
立场亲华武契奇前脚离去,后脚塞尔维亚就冒出个不亲欧不亲俄的“硬茬”,欧洲这次真急了!

立场亲华武契奇前脚离去,后脚塞尔维亚就冒出个不亲欧不亲俄的“硬茬”,欧洲这次真急了!

唠叨说历史
2026-11-12 14:20:16
车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

触摸史迹
2026-11-17 09:20:45
A股三大指数快速拉升翻红

A股三大指数快速拉升翻红

证券时报
2026-11-18 13:46:04
钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

墨策讲历史
2026-11-04 22:47:01
最新:乌克兰重创克里米亚大桥以东两大炼油厂!

最新:乌克兰重创克里米亚大桥以东两大炼油厂!

项鹏飞
2026-11-18 20:22:28
CBA杯开打!24队争夺8个名额,CBA和NBL直接对话,强队缺兵少将!

CBA杯开打!24队争夺8个名额,CBA和NBL直接对话,强队缺兵少将!

大卫的篮球故事
2026-11-18 12:54:45
真爱!曼联0-3不敌伯恩茅斯之后 波切蒂诺立马告知有解约条款

真爱!曼联0-3不敌伯恩茅斯之后 波切蒂诺立马告知有解约条款

雪狼侃体育
2026-11-18 21:16:54
笑不活了!苏州乘客飞机延误办改签,告诉空姐江浙沪几座机场都行,空姐一问目的地,他沉默三十秒才说:苏州

笑不活了!苏州乘客飞机延误办改签,告诉空姐江浙沪几座机场都行,空姐一问目的地,他沉默三十秒才说:苏州

王老师你还好吗
2026-11-06 14:39:40
六盘水用1200万抵扣2.2亿债务,女子拒绝后遭逮捕,被批不识抬举

六盘水用1200万抵扣2.2亿债务,女子拒绝后遭逮捕,被批不识抬举

干史人
2025-04-25 08:30:03
上海大量上市!价格稳住了!盒马、叮咚等同步热销

上海大量上市!价格稳住了!盒马、叮咚等同步热销

看看新闻Knews
2026-11-18 20:52:06
两场验出真货!王钰栋张玉宁领衔四人成赢家,邵佳一等三人成输家

两场验出真货!王钰栋张玉宁领衔四人成赢家,邵佳一等三人成输家

南海浪花
2026-11-18 01:23:32
俄已解除禁杀令,允许暗杀泽连斯基?特朗普坦言:普京已经让步了

俄已解除禁杀令,允许暗杀泽连斯基?特朗普坦言:普京已经让步了

国际法大视野
2026-11-17 15:18:04
上半年138.3万对离婚,民政局“不劝了”:40岁以后的分手,是算过账的

上半年138.3万对离婚,民政局“不劝了”:40岁以后的分手,是算过账的

青科新闻
2026-11-08 11:25:23
普京访华:来中国最舒心,中美俄开创历史

普京访华:来中国最舒心,中美俄开创历史

生思孰虑
2026-11-18 16:31:39
30多名高管在场!黄仁勋:“我希望你死”,让我们都解脱

30多名高管在场!黄仁勋:“我希望你死”,让我们都解脱

青橘罐头
2026-11-18 09:46:47
先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

军迷战情室
2026-11-17 07:39:35
2026-11-18 21:52:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16711文章数 67239关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
教育
游戏
本地
房产

艺术要闻

深邃宁静的风景油画,奥地利著名风景画家弗舍尔

教育要闻

第十五届“挑战杯”中国大学生创业计划竞赛主体赛拟授奖名单,公布!

《GTA6》全新截图公开!男主开战斗机 女主瑜伽裤

本地新闻

乌兰察布:以前种土豆,现在种Token

房产要闻

周大生出手!海棠湾又一大商业体来了

无障碍浏览 进入关怀版