一张图30秒转高质量3D模型？！创始人00后美女学霸

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”

中国很有影响力影视特效CG动画领域自媒体

大家早上好呀~

不久前，有颜有智的00后清北学霸们

研究出来一个超炸裂的3D生成模型

Unique3D

这款模型在GitHub和Hugging Face上开源后

迅速引起了全球的关注

不仅冲上了Hugging Face模型热榜

还被旗下官方工具Gradio亲自下场

向大家小小的炫耀一下

让大家看看这算不算是“best image-to-3d model”
（最佳图片生成3D模型）

那Unique3D被捧的如此之高，究竟是何方神圣呢？一块去看看！

Unique 3D

01

• Unique 3D是什么？

Unique3D是开源的一个单张图像到3D模型转换的框架，通过结合多视图扩散模型和法线扩散模型，以及一种高效的多级上采样策略，可以从单张图片中快速生成具有高保真度和丰富纹理的3D网格。

Unique3D结合ISOMER算法进一步确保了生成的3D模型在几何和色彩上的一致性和准确性，仅需30秒即可完成从单视图图像到3D模型的转换，简而言之：随意丢给它一张图片，它都能在短短30秒内，生成和原图一样精细的3D模型！

• Unique 3D功能特色

• 单图像3D网格生成：Unique3D能够从单个2D图像自动生成3D网格模型，将平面图像转换为具有空间深度的三维形态。

• 多视角视图生成：系统使用多视图扩散模型生成同一物体的四个正交视图图像，这些视图从不同方向捕捉物体的特征，为3D重建提供全面的视角信息。

• 法线贴图生成：Unique3D为每个多视角图像生成对应的法线贴图，这些贴图记录了物体表面的朝向信息，对于后续的3D模型渲染至关重要，能够模拟光线如何与表面相互作用，增强模型的真实感。

• 多级分辨率提升：通过多级上采样过程逐步提高生成图像的分辨率，从低分辨率到高分辨率(如从256x256到2048x2048)，使得3D模型的纹理和细节更加清晰。

• 几何和纹理细节整合：在重建过程中，Unique3D将颜色信息和几何形状紧密结合，确保生成的3D模型在视觉上与原始2D图像保持一致，同时具有复杂的几何结构和丰富的纹理细节。

• 高保真度输出：生成的3D模型在形状、纹理和颜色上与输入的2D图像高度一致，无论是在几何形态的准确性还是纹理的丰富性上都达到了高保真度的标准。

重要的是它的生成效果优于InstantMesh、CRM、OpenLRM等图像转3D模型~

• Unique 3D的技术原理

Unique3D流程，输入一张图像，首先根据多视角扩散模型生成四张256×256分辨率的正交多视图图像。

然后，通过高分辨率采样过程，使用ControlNet-Tile逐步提高生成图像的分辨率，将图像分辨率提升至512×512。

给定生成的彩色图像，训练一个法线扩散模型，生成与多视角图像相对应的法线图，并利用多级上采样的方法，将其提升到高分辨率，来保证生成模型的细节。

最后，利用重建算法ISOMER，基于Mesh进行3D重建，这是一种直接对网格进行变形的多视角重建方法，可以高效地重建有数百万个面的网格模型。

• 如何访问Unique3D?

• Aiuni.ai — Unique3D的官方网站Aiuni.ai，提供了关于这个工具的全面信息，包括其特性、用例和更新。（需要邀请码）地址：https://aiuni.ai/

• GitHub仓库 — 代码和文档可在GitHub上获得，目前仍在建设中。预计很快能实现更多的功能。
  地址：https://u45213-bcf9-ef67553e.westx.seetacloud.com:8443/

Unique 3D测试结果

02

那说到这，小编真的忍不住亲自上手来一番测试！

这个界面很简单，只需要将所选图片上传，进行简单的参数调整，勾选去除背景，然后点击Generate 3D（生成3D）就可以了！

咱们先输入个泡泡玛特MOLLY试试水~

用时不到1分钟（可能跟大家网速有关），看看生成结果！家人们！我惊呆了啊！意外的还原效果很不错。

再换个简单一点的罐子~

不到一分钟生成结果如下：虽然罐子的整体外形生成的不尽人意，但是罐子上的纹理处理的不错。

接下来，编编点了官方示例中的照片，

生成速度很快，大约就几十秒左右。看看生成结果：

官方示例的另一张图片：

生成结果如下：

结论：

1.优点：速度很快，相较于市面上其他主流AI工具而言，从照片到模型生成的速度非常快，甚至有的模型生成只需要30秒！效果好，生成的3D模型在造型上相对来说很准确，从泡泡玛特的MOLLY、生成人物以及罐子上的花纹来看，不管是纹理还是形状，都非常还原参考照片。

2.缺点：在生成的3D模型背面细节处欠缺，分辨率普遍不高。会有生成不完整的模型这一情况出现。

只听编编一个人说，当然不够，一起顺便看看其他玩家们的生成结果：

玩家一：

玩家二：

玩家三：

玩家四：

玩家五：

当然了，不少玩家对Unique3D表示满意！

但有玩家指出，生成的模型也有一些瑕疵，背面的分辨率不高，有一些斑点，还会生成额外的手。

还有玩家表示：上传了一张番茄计时器的图片，结果多了两块凸起。

耳朵也变形了！

Unique 3D背后团队

03

在文章的最开头提到了这个模型是清北00后学霸们一起搞定的！那肯定不少人和编编一样好奇Unique3D背后团队-AVAR AI！请看照片~说个题外话，全员颜值都在线！

创始人兼CEO胡雅婷，毕业于北京大学计算机系，曾在谷歌、阿里、字节做过算法工程师。更牛的是近期36Kr评选的2024 U36创业者中最年轻的一位。

技术合伙人兼CTO吴凯路，来自天才少年齐聚的清华姚班，在叉院做在3D生成和NeRF科研，创新性的提出了FSD（text-to-3d流分数蒸馏）和MemSR（高效训练超分辨率模型）等工作。

COO任靳珊，本科毕业于北大，艺术史论与工商管理双学位，硕士毕业于芝加哥大学，曾在海内外美术馆、腾讯艺术等有过策展商务文创经历。

介绍完团队成员，我们再回到这个新研发的Unique3D模型，团队不光将数据等开源，还用更高质量的商用私有数据对模型进行了工程优化并上线到产品网页端—Aiuni AI。

Aiuni AI目前呢，已经和多家动画、影视、品牌、IP行业的上市公司及大厂都有合作，同时C端新媒体内容和社群运营也在持续增长。

像现在海内外用户都会在社交平上发布与之相关的作品内容。

另外，Aiuni AI也确实好用，输入的图像可以1:1的像素级还原。

除了上面提到的，Aiuni AI还在进行部署，即将上新很多其他的功能。比如3D Word！一句话、一张图就能生成一个360度全景，用户还可以导出整个场景的3D文件。

DreamCamera功能也将会逐步推出，可以一键将视频人物替换为生成角色，同时Aiuni AI还兼容VisionPro等MR的渲染环境：

可能很多人又会担心失业了，不至于哈，从目前小编所测试的所有的AI生成模型的效果来看，没有可以直接应用到实际项目中的，无论模型精细程度还是纹理都需要手动调整，用到一些VR或者简单的场景中，想生成了就扔到你的项目中用？咳咳咳，不可能！所以好好练手吧，提高技艺，让自己变得有核心竞争力才是王道。“科技以人为本”

今天，关于Unique3D这个项目本编就不多说了，值得一试！想玩玩看的，本编在上文中已经附上网址了！因为Aiuni AI需要邀请码，所以本编是在下面这个链接测试的！

地址：
http s:// u45213-bcf9-ef67553e.westx.seetacloud.com:8443/

项目主页： https://wukailu.github.io/Unique3D/

项目论文 ： https://arxiv.org/pdf/2405.20343

AI生纹理，PBR生成器！布料模拟软件Marvelous Designer最新版功能解读

女画师因身材太好，被质疑从人到画作都靠AI？！

他作品不多，但每个都很哇塞~