英伟达投的Sora竞品免费了！网友挤爆服务器，120秒120帧支持垫图
团队之前还做了文本3D生成模型
西风 发自 凹非寺
量子位 | 公众号 QbitAI
120秒120帧高质量逼真视频，视频生成赛道新模型入场，火到服务器被挤爆！
网友直呼这是Sora级别的视频生成AI，关键是可以免费试用。
话不多说，直接看效果。
镜头拉近，爆炸场景非常自然：
废墟真实感拉满：
生成变换各种动作的视频也可以：
二次元风格也不在话下：
拿来做个动画小短片质感也很好：
下面这个就很哈利：
这个新推出的模型名为Dream Machine，现已推出免费公开测试版，支持文生视频、图生视频。
网友看过用过后直呼太疯狂：
火爆了，甚至要排队几小时
据了解，Dream Machine基于Transformer构建，并直接用视频进行训练，因此能够生成物理准确、内容连贯且充满动感的场景。
起初官方表示模型可以在120秒内生成120帧视频，但发布后的真实情况是太多人挤入，网站流量过大，现在生成一个视频甚至需要排队几个小时。
产品负责人Barkley Dai在Discord上回应道：
目前需求太大，我们正努力提升处理能力，所有生成都不会丢失，只是会暂时留在队列中等候。
排队时间现在已经逐渐缩短了，预计处理当前积压的生成请求仍需几个小时。正常情况，将提示转成视频只需2-3分钟。
我们也赶紧上手试了一下，操作起来非常简单。
打开官网注册登录后直接点击右上角Try Now：
接着就可以上传图片、输入Prompt，点击右边的箭头生成视频：
然后就是等……
好在用了不到一个小时，视频生成好了。
Prompt：A cartoon-style little bird flying freely in the sky, colored in pastel macaron hues.（一只在天空中自由飞翔的小鸟，卡通风格，马卡龙色系）
第一次生成的效果如下，大伙儿觉得如何：
此外，在推出免费公开测试版前，已经有少数AI视频创作者和电影制作人测试上了Dream Machine，他们也发布了不少作品。
接下来再来看一波网友们的大作。
有制片人直接用Dream Machine制作了一部电影预告片，使用了之前Midjourney创作的图像进行了生成：
效果被网友称有印度导演Tarsem Singh的拍摄风格：
这位网友同样“复活”了之前用Midjourney创作的一组图像：
成片是这样婶儿的：
还有网友制作出了在沙漠中变形穿梭的飞船：
生成的雪山景深、运镜效果都很好：
除了高质量视频的展示，官方也点明了Dream Machine目前存在的局限：
画面主体可能会扭曲，处理动态对象时可能会出现问题，文本和视觉元素融合处理方面有限制，处理复杂或多变环境时效果不稳定。
谁造出了Dream Machine？
Dream Machine背后是一家致力于多模态模型开发的初创公司——Luma AI。
联合创始人兼CEO Amit Jain是前苹果AR/CV工程师；联合创始人兼CTO Alex Yu 2021年毕业于加州伯克利，曾于Angjoo Kanazawa教授一起研究NeRF相关的3D计算机视觉。
此外，团队成员还包括前英伟达研究科学家Jiaming Song、NeRF开山论文作者之一的Matt Tancik等。
据TechCrunch消息，截至今年1月份，Luma AI已融资超7000万美元。
其中A轮，完成了2000万美元融资，投资方包括Amplify Partners、NVIDIA、General Catalyst等。
B轮融资4300万美元，a16z领投，Anjey Midha、Amplify、Matrix、NVIDIA、South Park Commons等参投。
而在Dream Machine之前，Luma AI凭借去年发布的一个文本到3D生成的模型Genie 1.0，已经打出了一波知名度。
Genie能够在10秒内创建3D物体，可生成四边形网格和材料，支持任意多边形数量的标准格式。Genie现在可以通过网页版、Luma iOS APP以及Discord社区使用。
Luma iOS APP量子位之前也有介绍过。基于NeRF，小如3D装饰模型，兼具灯光和形状细节：
大到整个墓园的3D场景渲染版，都能被很好捕捉：
这次最新推出的Dream Machine，是Luma AI打造的第一个视频生成AI。
感兴趣的家人们可以亲自上手试试～
https://lumalabs.ai/dream-machine
参考链接：
[1]https://venturebeat.com/ai/we-dont-need-sora-anymore-lumas-new-ai-video-generator-dream-machine-slammed-with-traffic-after-debut/
[2]https://x.com/LumaLabsAI/status/1800921380034379951
[3]https://lumalabs.ai/team
[4]https://x.com/minchoi/status/1800944734577336702
[5]https://x.com/markgadala/status/1800947546656759929
[6]https://x.com/thepaulmontreal/status/1800946280144773441
[7]https://x.com/panaviscope/status/1800940733278622136
- Q*项目公开发布！研究团队并非OpenAI2024-06-25
- 最新爆火3D生成模型，清北硬核00后成团再出击丨开源2024-06-25
- OpenAI突然断供开发者，国产大模型无痛搬家服务立即上线2024-06-25
- 小米大模型提效新框架：训练最高提速34%，推理最高提速52%！Kaldi之父合作出品2024-06-24
相关阅读
