AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

Adobe研究院新作

衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

哎鸭,鸭鸭摔倒了!

鸭鸭是真的,摔跤是真的,但端的咖啡和端咖啡的手,是AI给p上去的

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

△还好手里的咖啡只洒了亿点点

来自一个开源项目,VideoDoodles,这两天在外网上的讨论度直线上升。

这项目妙就妙在,能给视频加上手绘风格的涂鸦,可可爱爱的也行,奇奇怪怪的也行。

就跟人工一帧一帧画上去的没差。

这对目前市场上大多数的2D视频编辑软件来说,还是比较难的。想要达成同等效果,一般还是得创作者真·一帧一帧画上去。

怪费力气的。

但VideoDoodles能靠在视频中重建3D场景,然后在其中放置平面画布,来生成这种效果。

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

不少人表示,可以用它来装饰视频,加加卡通效果or花字,然后进一步加工成meme/表情包。

搞笑视频也安排,在路上了!

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

想加什么手绘效果就加什么

VideoDoodles是酱婶宣称自己的效果的:

在视频中轻松、任意地插入手绘动画,还是和视频内容无缝融合的那种。

真的吗?一起来看看。

和给鸭鸭加胳膊加手一样,VideoDoodles可以给任意物种加上四肢

火烈鸟可以端着自己摇晃的红酒杯,悠闲地在水里泡jio。

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

小火车从远处驶来,挥舞着双手,xiu的从镜头里开过去了。

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

当然,想要加一个四肢健全的动物在视频片段里,也是没问题的。

Be like这个肩膀上的小松鼠:

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

可以看到,不管这位女士怎么步行前进,小松鼠都老老实实呆在她肩膀上。

除了肢体动作,也可以用VideoDoodles来给视频片段加综艺后期的花字。

静态文字:

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

动来动去的文字:

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

都有不错的生成效果。

以及,蹭一个刚结束的奥运会的余热,VideoDoodles可以给各种各样的大幅度运动加手绘。

或是箭头指向:

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

或是超人卡通特效:

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

咋实现的?

给视频内容加上手绘动画,现在的惯常做法,是把视频本身作为底层,然后利用人工逐帧绘制2D动画效果。

这样做效率相对较低,而且需要保证手绘动画效果要跟踪动态、解决透视变形和适配遮挡物。

能搞定,但费人费时间。

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

那么,VideoDoodles是如何处理动态物体的跟踪,还有动画同步的呢?

它提供了一简单的界面来帮助大家完成视频涂鸦——“简单”,意味着老手和小白都能轻松画起来。

而项目背后,是利用3D场景重建技术,实现涂鸦自然融入视频场景,包括追踪、透视变形和遮挡等复杂视觉效果。

具体而言,VideoDoodles先把视频内容进行3D重建,而后在视频中放置平面画布,这些画布在3D场景中被跟踪,然后逐帧添加手绘动画。

通过自定义算追踪算法,VideoDoodles锁定画布对应的视频场景中的物体,完成画布跟随物体运动进行移动和旋转。

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

在VideoDoodles的用户交互界面中,用户可以通过关键帧位置和方向,在2D图像空间的UI中精细控制画布。

而系统则是通过跟踪视频中,移动对象的运动来精心插入关键帧。

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

简而言之,VideoDoodles是根据关键帧表达的用户意图,利用自有算法解决被遮挡、透视变换,在视频的任意帧渲染场景感知画布,并使画布紧紧跟随移动的物体。

而且关键帧可以有任意数量的位置、方向。

如下面这张图,VideoDoodles就是通过第一帧涂红部分处的方向&位置,和最后一帧涂绿的位置,从而在整个视频中连贯地渲染相应的画布。

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

具体操作中,流程大致是这样的:

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

最后介绍一下:

VideoDoodles这项研究,由Adobe研究院,蔚蓝海岸大学,以及代尔夫特理工大学的研究人员共同完成。

AI斗图神器:普通视频秒变meme,手绘动画轻松融入,了解一下?

研发团队负责人表示:

我们的目标是简化“视频涂鸦”的创作过程
这种新兴的混合媒介艺术形式结合了视频内容和手绘动画,可以用于娱乐或教育目的。
有了VideoDoodles,希望更多人能够轻松实现「将想象力注入现实世界」。

参考链接:
[1]https://em-yu.github.io/research/videodoodles/
[2]https://www-sop.inria.fr/reves/Basilic/2023/YBNWKB23/VideoDoodles.pdf

版权所有,未经授权不得以任何形式转载及使用,违者必究。