0.7秒，完成动漫线稿上色
多种风格都能hold住
鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
给一张这样繁复的线稿：
一步步填上颜色、赋上光影：
你猜需要多长时间？
答案是最快0.7秒。
没错，这又是AI的手笔。
厚涂不在话下，换种漫画上色风格，只要给出示例，这只AI也能迅速get到灵魂。
而这，还不是Ta的全部实力。
有别于业内针对静态漫画的上色AI，这个来自爱奇艺的智能上色引擎，还能用来给动态漫画赋上前后风格统一的色彩。
并且是已经正式「出道」的那种——
在爱奇艺自制轻动画《吞噬永恒》中，这只自动上色AI就已经落地应用，施展了自己的才能。
所以，这样一只AI的「上色灵感」源自何处？
我们照例一起扒一扒背后的技术~
理解线稿，精细上色
想要学会上色，AI首先要明白线稿为何物。
爱奇艺工程师们的做法，是在基于GAN的模型中引入注意力机制和语义参考模块，使得AI能够自动识别人类画师给出的线稿。
如下图所示，智能上色引擎能get到眼球、斧头等各个部分完整的语义信息。
看懂了线稿，就可以进入到上色环节了。
为了使得上色效果精准，并在多帧情况下保持各帧风格的一致性，爱奇艺工程师们祭出了以下几招：
- 根据具体需求调整网络结构，使模型与数据更加匹配
- 设计色彩参考模块和风格参考模块等预处理模块，提高上色图片的色彩丰富度和风格统一性
- 多种loss相结合，实现像素级别的精细匹配和上色。
具体的上色手法，就像这样：
虽然啪一下很快的，但其实爱奇艺智能上色引擎对人类老司机很「讲武德」——提供了分图层的输出模式，专业画师可以轻松在AI的基础上灵活调整上色细节。
需要说明的是，在给动态漫画上色的过程中，AI倒是也「参考」了一些人工上色的方法，比如背景和特效大多可以重复使用，上色模型可以只专注于对人物进行上色。
另外，值得一提的是，在打磨上色算法的过程中，工程师们也积累下了一套线稿数据生产系统。
对于用户而言，基于爱奇艺智能上色引擎获取到的数据，可以构建线稿数据库和不同风格的动态漫画数据库。
自动动画上色模型
看到这里，你可能会有这样一个疑问：这样的AI能应用在动态漫画的制作过程中，那么更高难度的动画呢？
最近，爱奇艺在一篇WACV 2021论文中，通过最新的研究进展，展示了未来的一种可能性。（论文地址见文末）
研究人员发现，动画帧之间存在着很强的关联性，很多只是身体位置和动作发生了变化，如果能获得帧间的相关性，只需要一帧上好色的图片，就能将其颜色变换到其他待上色帧，减少大量重复、非创造性的劳动。
为此，研究人员设计了一种相关匹配特征转移模型，称为：基于相关性匹配的特征迁移模块，Correlation Matching Feature Transfer(CMFT)，来将参考帧的颜色特征与待上色帧进行对齐。
并且，研究人员将该模型以coarse-to-fine的方式嵌入到基于U-Net的生成网络中，逐步对匹配的特征进行细化和修正。
效果如何？
上图中，实际上只有第一帧是人类画师的作品，后面几张都是AI根据第一帧生成的。
实验表明，在帧间一致性和上色质量上，这只AI都超越了前辈。
这也就意味着，AI自动上色技术未来还可能在更为复杂的动画领域大展身手。
等到这样的AI模型从实验室落地到工业界，一方面，能在更广阔的领域中解放创作者的双手，让他们将更多的精力投入到艺术创意工作中。
另一方面，无疑能进一步提高动画的工业化生产效率、降低生产成本。
好番连连看的日子，想想都觉得幸福感爆棚了。
当然啦，在这个过程中，想要实现AI和创作者习惯之间的无缝衔接，让AI模型能「摸透」创作者的想法，还是少不了算法研究者和动漫创作者之间的紧密交流、合作。
推动动漫工业化新流程
转回当下，像爱奇艺智能上色引擎这样的AI，其实已经开始在产业中发挥价值。
事实上，熟悉动漫画制作过程的小伙伴都知道，线稿上色这一步处于脚本创作、分镜和线稿之后，随着剧情的推进，动漫内容需要不断去更新延续，在流程中存在重复劳动环节，工作量巨大。
以漫画为例，一话通常在十到二十格之间，一部作品基本又是成百上千话的量，其中涉及大量对相同或相似帧的上色工作。
而AI恰恰能够辅助人工完成上色环节中的底色和光影着色，有效提高行业生产力。
在2020年中国二次元用户规模有望突破4亿的背景之下，对于动漫产业而言，人工成本的攀升和有限的上色效率，目前已经成为限制动漫产量提高的一大障碍。
而爱奇艺智能上色引擎这样已经实际落地到动态漫产业中的AI，恰恰为解决这一矛盾带来了一种全新的可能性：改变传统工作方式，把创意交给人类，把重复交给AI。
爱奇艺表示，相较于纯人工上色，智能上色引擎预计可在动态漫制作上色环节中，节省约30%的人力。
除此之外，对于专业上色画师而言，这样的AI或许也能够提供参考，激发新的灵感，甚至衍生出更多更有意思的玩法。
那么，你是不是有什么大胆的想法了呢？
文章最后，传送一下这只AI的作者——爱奇艺AI创作团队。
该团队的目标是：不断探索新技术与内容制作的深度融合，以技术替代操作简单、重复性高且繁琐的基础性、非原创性工作，让创作者把时间投入到创意中，进而优化内容生产流程，推动行业的工业化水平。
目前，不仅是在动态漫上色领域，在录制、素材管理、后期等综艺节目制作环节，爱奇艺均探索了AI辅助一体化智能制作方案的应用。
论文链接：https://arxiv.org/abs/2004.06718
— 完 —
- 0元起步打造你的AI搜索！实测秘塔知识库新功能，竟能指导我升职加薪了2024-11-11
- o1满血版泄露！奥数题图片推理手拿把掐，奥特曼上线剧透o22024-11-03
- 科研版AI搜索来了！知乎直答接入正版论文库，一手实测在此2024-11-01
- 微软清华改进Transformer：用降噪耳机原理升级注意力，一作在线答疑2024-11-03
相关阅读
