3D版抖音有望诞生,零门槛3D创作时代来临|VAST宋亚宸@MEET 2025
全球700万3D生成模型背后的秘密
编辑部 整理自 凹非寺
量子位 | 公众号 QbitAI
全球用户累计生成700万3D模型,海外上千用户上传自己生成的3D动画短片……
这就是3D大模型公司VAST及其旗下3D大模型“Tripo”系列的傲人成果。
相比于文字生成、图片生成、视频生成,3D生成技术的发展更像AIGC赛道的隐形前行者,但其实到了今天,输入语段文字或图片,已经可以得到一个完整的、有价值的、可用的3D的模型。
在量子位MEET 2025智能未来大会上,VAST创始人兼CEO宋亚宸带来了他所看到的3D生成的世界,以及3D生成赛道的新的机遇。
为了完整体现宋亚宸的思考,在不改变原意的基础上,量子位对演讲内容进行了编辑整理,希望能给你带来更多启发。
MEET 2025智能未来大会是由量子位主办的行业峰会,20余位产业代表与会讨论。线下参会观众1000+,线上直播观众320万+,获得了主流媒体的广泛关注与报道。
核心观点梳理
- 技术层面上,3D生成的发展分为静态内容生成、动态内容生成、人人零门槛可用三个阶段。
- 有了创作平台后,有机会诞生3D版抖音。
- 明年,Tripo的成熟度会达到1080p、甚至4k的水平。
- 预计到2026年,原生AI 3D创作者会探索出一些新的3D内容范式。
- 3D生成会带来一种新的交互形式,就像成语“言出法随”形容的那样。
……
(以下为宋亚宸演讲全文)
3D生成到什么阶段了?
我们公司VAST是一家做3D大模型的公司,希望大家能够在我的分享当中找到自己喜欢的一些有意思的点。
先给大家介绍一下什么叫作3D大模型。
我们的3D大模型叫作Tripo,它的功能非常简单,输入一段文字,或者说一张图片,当然也可以同时输入图片、视频等不同模态,就能输出一个完整的、有价值的、可用的3D的模型。
它的表达方式是mesh,带贴图材质PBR,并且可以在像游戏、动画、元宇宙、XR、MR,包括数字孪生、仿真模拟等等行业里去用起来。
同时我们做了很多有意思的风格化,比如像素化、乐高化、网络化等,可以让大家端到端地在各个行业里面使用,例如3D打印、鞋服家具等场景。
我们不只做了静态的模型,还做了骨骼的自动绑定,动作的生成,也就是用户可以在3D空间里进行实时交互,和朋友社交,一起探索新的世界。
相较于语言大模型、图片大模型、视频大模型,3D生成模型(及背后技术)可能比较新。
2024年年初Tripo1.0刚刚发布的时候,我们认为它的水平类似于手机摄像头360p分辨率的水平;现在Tripo2.0上线,成熟度已经达到了类似于720p分辨率的水平;明年,Tripo的成熟度会达到1080p、甚至4k的水平。
虽然3D生成技术现在还是半成熟的状态,但是发展速度是非常快的。
3D生成技术的三步走计划
来到量子位的MEET2025大会,我们想“炫耀”一下我们的论文。
2023年,VAST发了一系列论文,包括六投六中的CVPR,还有ECCV 、SIGGRAPH;今年又发了几十篇新的论文。刚刚在东京结束的SIGGRAPH Aisa,我们拿了Best Paper Honorable Mention,技术团队上周刚刚从东京领完奖回来。
VAST还做了很多开源的社区贡献,这个也非常关键。
我们开源的项目包括世界最大的3D生成算法框架ThreeStudio、图生3D的鼻祖Wonder3D,还和Stability AI一起开源了TripoSR。最近又开源了一些新的项目,也欢迎大家关注。
技术层面上,我们认为主要分3步走——
第一步是静态的内容生成。这个很好理解,就像生成一个个雕塑。
第二步是动态的内容生成。原本静态的雕塑可以动起来,和用户互动(甚至可以把雕塑的头拧下来当头踢)。
第三步,我们认为明年年底之前,每个人都可以零门槛、零成本地进行实时的3D内容创作。
大家可能会问,除了爱玩游戏,我本人还有什么别的理由要要投身3D生成技术领域?
3D其实非常特殊。文字、图片、视频、3D包括音频这些信息载体或内容媒介中,3D是一直缺乏属于自己的UGC内容平台的内容媒介的。
所以说我们认为,3D版抖音是有机会诞生的。
可以看到,不管在移动互联网时代还是互联网时代,文字、图片、视频的UCG内容平台,一直是巨头之所以为巨头的关键路径。那么3D是不是也会有自己的类抖音平台?
经过VAST自己和一些合作伙伴的大量尝试,我们发现3D现在的创作门槛还是太高了,还是缺乏一个属于自己的“摄像头”——你很难想象没有手机摄像头,你怎么玩小红书、怎么用抖音去分享你自己每天的生活。
3D是不是有机会先出现一个大众级别的创作工具,降低用户创作的门槛、降低用户创作的成本,并且让大家实时进行创作,才有机会诞生一个所谓的3D版抖音。
3D版抖音诞生需要什么样的创作工具?
那么这个大众级别的创作工具是什么?就是刚刚提到的3D大模型。
我们认为在第一阶段,也就是截至快结束的今年,3D生成技术已经达到720p分辨率水平,并聚拢百万级开发者;到了2025年,开发者数量会达到千万级别。
这些AI 3D的原生创作者,不会再去做很重磅的游戏。就像之前米哈游创始人蔡浩宇讲过的,未来0.0001%的顶尖人才还是会继续做游戏,但99.99%的人其实转向根据自己的兴趣随意创造游戏。
到2026年,这些原生的AI 3D创作者会探索出一些新的3D内容范式,这就需要有一个全新的UGC 3D内容平台去承载和分发。
而且现在还处于第一阶段时,3D生成已经在一些场景里实际落地了,比如说传统的CG、游戏、动画、影视、虚拟制作,还有传统的TMT,涉及到直播、教育、电商等等;还包括传统的工业、3D打印、工业设计、鞋服、家居、首饰、玩具、文具、灯具、香薰、蜡烛、文创、食品等行业;当然还包括所谓的新兴行业,也就是空间智能(这个行业会得到长足的发展),比如说元宇宙、XR、MR、具身智能的仿真模拟、数字孪生、数字人等。
3D生成已经解决了一些核心的问题:
- 原来我们做3D模型,需要几百美金,便宜点也需要几十美金。现在你去做一个3D模型,只需要0元。
- 原来需要几天甚至几周时间做一个3D模型,现在只需要几十秒。
- 原来需要高昂的设备的成本,需要专业的两三年建模经验的建模师,现在零门槛。
同时我们还可以实现规模化和个性化。
“让所有人零门槛创建有意思的3D内容”
目前,全世界前十的3D打印公司里,超过一半是我们的客户,并且已经上线使用了。
原来的3D打印在全世界有几百万人群,他们都不会建模。现在每个人都能用AI 3D的能力建自己的模型,生成一条赛博朋克的鱼,或者皮卡丘和钢铁侠的结合体,生成后再打印出来,就拥有自己独一无二的手办了——这是完成定制化的需求。
于是,有很多首饰、手办、积木玩具的厂商,可以利用AI 3D快速生成自己想要的款式,然后放到市面上看大家的反馈。尤其最近要过年了,还能快速做一些定制化的toB礼盒。
除了用于商业化场景,其实每一个人都可以做自己想要的3D的工业设计和产品需求,包括我自己。
所有的普通用户都可以在Tripo3D.AI里生成自己想要的工业设计,而且和想象中一模一样,然后直接打印出来,比如做一套自己的国际象棋棋子。
今年年中,VAST在海外有上千个用户上传了自己用Tripo生成的一部部动画。
这就是3D生成现在已经达到的成熟度。
我不会建模,没有学过Blander、Maya、3D Max,也不会Unity或者UE,我也不是一个3D内容创作者。但我自己尝试借用Tripo的能力,花了一个早上的时间,做了人生中第一部动画。
所以我敢说,现在已经能够让每个人零门槛地去创作这么有意思的3D内容。
我们的用户里有一个哥们特别有意思。
他用Tripo生成了几百个3D模型,拼成了一个太空站,做了俩视频,觉得自己很牛,发了一个推特,马斯克觉得也很牛,就转了,在全球范围内有1亿的播放量。
还有另一个创作者也非常有意思,他用我们的3D生成能力搭建了一个自己的XR空间。
他把每天遇到的开心、糟心的事情告诉AI,AI根据内容生成各种各样有意思的手办、城堡,像是一本3D日记。他既可以邀请别人来逛他的3D日记本,也可以邀请大家来这里一起创作。
我想说的是,在XR的时代,当虚拟现实世界到来了以后,我们看到3D生成会带来一种新的交互形式,就像一个成语形容的那样,“言出法随”。
在虚拟现实的世界里,很重要的一个核心技术,就是成熟的3D生成技术。
最后介绍一下VAST的slogan:
为世界进文明,为人类造幸福。
感谢大家的时间!
- 宿舍/房间网不好?一加新机能穿3墙、离200米接收wifi信号,玩《原神》平均帧率超1202024-12-27
- 2年间AI大模型成本骤降万倍,商业化应用加速跑|智谱张帆@MEET20252024-12-27
- 刚刚,阶跃星辰再融数亿美元!发力「超级模型」+「超级应用」,奔向六小强决赛圈2024-12-23
- 百川新模型超GPT-4o近20%,首创自约束训练方案突破瓶颈,主打「领域增强」2024-12-23