AI打造“魔法博物馆”，五分钟完成一件“3D展品”
基于新款文生3D基础模型
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
注意看，这是一家“魔法博物馆”，陈列的展品琳琅满目，甚至还有机甲套装……
魔法镜子、水晶法杖……也是一应俱全，仿佛真的进入了魔法世界。
没错，这个“博物馆”里的“展品”全都是由AI打造的，而且一件只需要五分钟。
来自南洋理工大学、上海AI实验室等机构的研究人员，共同推出了新款文生3D基础模型3DTopia。
只需要一组文本，它就可以在5分钟内生成出多样化、高精度的3D模型。
除了“魔法博物馆”里的展品之外，日常的物品3DTopia更是可以精准合成。
比如老板心血来潮想要布置一下办公室，它就能建立出桌椅摆件的样子，甚至桌子上的咖啡也一起“准备”好了。
就算天马行空一些也没关系，只要人能想到，它可以建立出一套月球的“沙盘”。
那么，该怎么用3DTopia来创建3D模型呢？
推理分两阶段进行
3DTopia的推理过程是分为两个阶段进行的，第一个阶段会根据提示词生成点云格式的粗糙模型。
比如当我们让它生成一个机器人模型时，第一阶段得到的模型是长这样的：
第二阶段就是用该团队推出的theeefiner对这个粗糙的点云进行细化，并完成上色等操作。
经过优化theeefiner的之后，这个机器人模型终于变成了人类熟悉的样子。
所以，实际操作过程也需要对这两部分用到的工具分别进行部署。
首先拉取3DTopia的文件，然后用conda创建虚拟环境并完成安装，接着还要安装另一份教程部署第二阶段要用到的threefiner。
部署完成之后，还得到HuggingFace上下载一个checkpoint文件并放到指定目录。
整个过程难度倒也不算大，但是对于小白来说操作起来可能也得费一番功夫。
所以，如果这个部署过程看上去过于繁琐，这里还有一份大神改编的Colab笔记。
利用这份笔记，只需要修改其中的提示词和文件名，部署过程则是一键完成，不过实测需要选择A100才能完美运行。
这份笔记将第二阶段拆分成了两个子步骤，所以部署完之后一共需要运行三段代码，修改提示词的方式如下图。
其中stage1生成的文件名可以点击左侧的文件夹图标，就可以在3DTopia – results目录下找到，stage1目录下同时还会生成初稿的预览视频。
最终的成品模型，则是默认存在了stage2目录中。
不过需要注意的是，目前笔记的第2-2步存在一处小错误，运行之前需要在threefiner前加上一个英文感叹号，否则无法正常运行。
GitHub：
https://github.com/3DTopia/3DTopia
Colab笔记：
https://colab.research.google.com/github/camenduru/3DTopia-jupyter/blob/main/3DTopia_jupyter.ipynb
- 视频大模型无损提速：删除多余token，训练时间减少30%，帧率越高效果越好2024-11-17
- ChatGPT深夜更新：Mac版支持“读屏编程”，Windows版全员可用了2024-11-15
- 李飞飞吴佳俊团队推出具身智能决策能力评价基准，o1-preview登顶2024-11-14
- 小度为何押注AI眼镜？2024-11-13
相关阅读
