国内首个视频垂直大模型发布！一句话生成科幻大片预告，人人可玩

明敏 2023-07-28 16:40:36 来源：量子位

明敏 发自 凹非寺

量子位 | 公众号 QbitAI

只靠一句话，AI就能做一支科幻电影预告片。

脚本、每帧画面、背景音乐，AI都能生成。

这就是国内首款视频垂直大模型新壹视频大模型带来的现场首秀。

由该模型作为底座的AIGC视频平台一帧秒创，同步推出，现在可直接体验。

不仅是用AI生成画面，这个平台还能实现图文转视频、AI帮写、插入数字人等。

在过去半年试运营中，该平台每天产出超出10万分钟视频，积累了200多万用户。

同时还推出了数字人创作平台，24小时内就可以训练好一个数字人。

在发布现场，还有投资人任泉还来帮忙站台，强调正在视频领域发生的新技术革新。

所以，这个视频大模型什么来头？

首个垂直视频大模型？

发布会介绍，新壹大模型是一个以视频为核心的多模态AIGC模型。

通过对海量视频样本的学习，具有几大关键能力：

• 多模态感知
• 实时学习
• 自迭代
• 多场景交叉推理

由此它能理解文字的含义、识别图像内容、感知音乐情绪，然后生成视频。

在发布会现场的演示中，最开始给新壹大模型的仅仅是一句主题：

人类驾驶地球、离开太阳系、并遇到危险。

然后就看到大模型很快理解了意思，输出了10个镜头的脚本，都非常契合主题。

下一步，再基于生成文字内容，大模型又给出了10个分镜头。

从现场效果里可以看出，每一个镜头给出的画面，和文字的对应也很紧密。

比如镜头八的脚本是“一位科学家站起来，他的眼神坚定”。

画面上就给出了一位穿太空服的男性，皱紧眉头，眼神坚定。

再要求AI配一段“大气磅礴、有重低音和交响乐团的元素，给我一种踏上新征程的感觉”。

最后把生成的所有素材一结合，就有了一个完整的科幻预告片。

据介绍，新壹视频大模型采用了自监督学习方案，会观察和学习大量的视频数据，通过分析视频的结构、内容、风格等多个维度，自我理解和把握视频制作的规则和逻辑。

而且能跨场景进行知识迁移与关联，选择合适素材，调整视频风格；还可面向行业级的垂直场景对新壹视频大模型做定向训练。

在现场，新壹方面也强调，大模型中关于视频理解、匹配输出的部分，均是由自研技术支撑。

而以该模型为底座的座的AI内容生成平台一帧秒创，也正式发布。

它能提供图片生成、视频生成、声音生成、数字人生成等任务。

并提供了一个千万级的结构化视频库，可以精准匹配素材。

比如在现场演示中，通过平台制作一个“夏日防暑小妙招”的视频，同样是AI自己生成文案、匹配素材。

除了视频制作方面，同步亮相的还有一个数字人平台。

据介绍，通过多模态合成AI技术，该平台可以将真人录制的视频和音频素材，快速生成2D写实数字人。

基于新壹视频大模型， 24内小时即可完成一个数字人的训练。通过融合通用语言模型、音视频生成技术，能够快速、低成本的生成真人播报视频和直播。

结合该技术，还有一个名为“秒祝”的明星数字人祝福视频制作产品发布。它可以还原明星的声音和形象，制作出对应数字人，并生成个性化定制祝福视频。

那么问题来了：

带来这一系列AIGC领域新动向的玩家，到底是谁？

视频行业20年老玩家出手

如上一系列新技术、新产品的幕后玩家，名叫新壹科技。

公开信息显示，新壹科技注册于2022年1月，是一家非常年轻的创业公司。

但是他们的团队，其实是在视频行业中摸爬滚打20多年的老玩家，曾多次站在视频风口浪尖：如此前大火的秒拍、小咖秀，都是该团队推出的产品。更早之前，则是中国首个上市的视频公司酷六网。

新壹科技创始人、董事长为韩坤，CEO为雷涛。

△新壹科技创始人、董事长韩坤

这一次召开发布会，用新壹自己的话来解释，就是要在AIGC的时代下，重新出发。

那么，为什么要做大模型？

有直接需求、行业影响和新壹自身三方面要素。

首先是用户需求方面。

作为视频行业的资深玩家，新壹注意到在社交平台极度发达的今天，很多人都有输出自己观点的需要。以及目前人们上网浏览的大部分信息都是视频模式，但是互联网信息中转换为视频的部分，占比却并不多。

所以，一个低门槛的视频创作平台，是有巨大市场需求的。

新壹科技CEO雷涛举例说，比如很多人对于一些事情都想发表观点，但是他可能不愿意或者没有时间自己出镜，这时如果他有一个数字人可以帮他出镜，再有工具能快速剪辑视频，就能很好满足这部分人需求。

这也是新壹反复强调的一个点：AIGC时代下有技术是不够的，还要能提供直接使用的场景，这样技术才能被更高频率、更大范围地应用起来，而在这方面，垂直领域玩家具有先天的自身优势——本身就更懂市场需求。

其次是行业方面。

作为经历了互联网视频产业崛起的玩家，雷涛认为目前产业内的各方面要素已发展相对成熟，如手机硬件、软件、网络等，都能很好支撑互联网视频产业。

在这样的前提下，AIGC相关的项目是很容易做成的，“只要人工智能可以起来就够了”。

作为一直都有技术积累的视频玩家来说，在这方面就会具备一定优势。

这也是新壹为什么做大模型的第三点原因——自身积累。

基于过去在行业内的20年积累，新壹在视频方面积累了深厚的技术和经验。新壹董事长韩坤发布会上也非常自豪地表示，“我们培养出了一支代码技术过硬的工程师团队，形成了良好的产品服务意识。”

同时雷涛表示，新壹做大模型，并不是重复造轮子。他们的技术底座中，视频方面主要依靠自研，但是在图像、TTS等领域，也会集成业内的优秀成果。

我们是用另一种方式提供工程化的创新。就好比造车一样。

△新壹科技CEO雷涛

但现在就已经是AIGC产品应用开发的最佳时机了吗？新壹为何在这样一个时间点正式对外推出？

雷涛也从技术和行业两个方面给出了解释。

技术上，他认为AI领域的各种创新，不会存在一个所谓的成熟期，技术一直在不断迭代优化。新壹从现在出发，之后也会不断在技术上进行迭代。

再结合行业现状，AIGC热潮如今略有降温，但雷涛认为这并不是一件坏事。因为只是看热闹的人已经走了，剩下的则是对AIGC有真正需求的人，而这部分人现在对AI的胃口已经被吊起来了。

所以在这个时间节点下，他们对外发布新壹视频大模型，并带来一帧秒创制作平台。

值得一提的是，在发布大模型相关产品的同时，他们还推出了一个数字人平台。

要知道，数字人技术热潮比AIGC更早，赛道内的玩家数量众多，新玩家新壹并不具有先发优势。

雷涛解释说，基于新壹自身在视频、娱乐产业方面的积累，他们看到在这方面其实有非常明确的商业模式，比如给明星制作数字人让它帮忙带货。

在发布会现场，不仅是任泉本人来给新壹站台，还有多位明星送来了祝福视频。

并且新壹使用了更加先进的技术，价格也不高（售价可低至千元价位），所以现在加入数字人赛道，新壹同样有自身独特优势。作为这种技术成本和应用的能力，新壹还宣布了与新浪微博的合作，将为金V用户提供专门数字人。

实际上，在秒拍和一直播风靡的周期里，与新浪微博也始终密切相关。

但关于新壹科技的投融资，还尚未到对外官宣的时候，不过CEO雷涛透露，进度各方面都比较顺利，不少投资人也看到了AIGC正在对视频领域展开的技术革新，而新壹这支团队穿越多个周期、潮起潮落、久经考验。

有意思的是，这其实也是韩坤雷涛这支视频老兵团队时隔多年的再度公开亮相，但地点都是北京东三环的康德莱酒店。

上一次，2017年在这里，秒拍一直播母公司一下科技宣布了新一轮巨额融资，震动江湖。

这一次，韩坤站在台上，表达着一直站在创业路上的原因——对视频内容的热爱，而新壹则是这种热爱的延续和新的开始。

“新的开始，壹定成功。”