广东
好消息！ 好消息～ 欢迎科研团队供稿
免费分享学术 项目成果
卡内基梅隆大学提出了LegoGPT，这是首个能够根据文本提示生成物理稳定的乐高积木模型的方法。为此，构建了一个大规模、物理稳定的乐高设计数据集StableText2Lego，其中包含超过47,000 个乐高结构，涵盖28,000 多个独特的三维物体，每个都配有详细的文本描述，并训练了一个自回归的大型语言模型，通过预测“下一个积木块”的方式生成设计。
LegoGPT 能够生成稳定、多样且美观的乐高设计，且高度契合输入的文本提示。同时，还开发了一种基于文本的乐高纹理生成方法，用于创建带有颜色和纹理的设计。同时，进一步展示了这些设计不仅可以由人类手动拼装，还可以由机器人手臂自动组装。（链接在文章底部）
01 技术原理
(a)LEGOGPT方法通过端到端的方式，根据文本描述生成物理稳定的乐高结构，并展示逐块 构建的中间步骤。(b) 所生成的设计不仅可以手动拼装，还可由自动化机器人进行组装。(c) 除了基础的乐高设计（上方），LEGOGPT方法还可以根据外观描述生成带有颜色（右下）和纹理细节（左下）的乐高模型。
(a) 从 ShapeNetCore网格模型出发，通过将其体素化到一个 20 × 20 × 20 的网格中，并应用 “乐高化（legolization）” 过程来确定积木布局，从而生成乐高设计。(b) 为了增强多样性，对每个形状进行多种结构变换，通过随机化积木布局，在保持整体形状不变的前提下生成多个变体。
(c) 接着对每个变体进行稳定性分析，筛除那些物理上不稳定的设计。(d) 为获得每个形状对应的文本描述，从 24 个不同视角渲染乐高设计，并利用 GPT-4o生成详细的几何描述。(e) 展示了 StableText2Lego 数据集中 5 个类别的示例样本。
(a) 系统将一个乐高设计标记化为一系列文本 token，按照自底向上的光栅扫描顺序排列。(b) 构建了一个指令数据集，将积木序列与文本描述配对，用于微调 LLaMA-3.2-Instruct-1B模型。(c) 在推理阶段，LegoGPT 会根据文本提示逐块预测积木，逐步生成乐高设计。
对于每一个生成的积木块，都会进行有效性检查，确保它的格式正确、在砖块库中存在，且不会与已有积木发生碰撞。设计完成后，还会对整个结构进行物理稳定性验证。如果发现结构不稳定，会回滚至稳定状态，删除所有不稳定的积木及其之后的部分，并从该点重新开始生成。
02 演示效果
从文本逐步生成乐高结构：
使用机器人自动组装生成的乐高结构（速度提高 8 倍）： 生成纹理乐高模型： 生成的彩色乐高模型：
https://github.com/AvaLovelace1/LegoGPT/
https://arxiv.org/pdf/2505.05469欢迎交流～，带你学习AI，了解AI
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
