头像神器！照片一键秒转简笔画，清华刘永进等CVPR 19 Oral研究
现在，只需一键，就能将你的照片转化成简笔画。
铜灵 发自 凹非寺
量子位 出品 | 公众号 QbitAI
现在，只需一键，就能将你的照片转化成简笔画。
清华大学和英国卡迪夫大学的研究人员提出了一种名为APDrawingGAN系统，随意输入一张人脸照片，系统输出黑白人物线条画。
看一下具体效果。
这有三张女性头像，经过APDrawingGAN处理后，这些照片成为了手绘风：
男性头像也Hold住：
目前，研究人员已经将这个研究做成了名为“AI肖像画大师”小程序，进入小程序就能在线试玩。
量子位亲自上手，实测了这个小程序。输入一张DeepMind VQ-VAE二代模型生成的人物假脸：
大约一秒钟后，这张假脸的简笔画版就出来了：
似乎发现了一个可以用来快速生成头像的神器啊~
这项研究来自清华大学和英国卡迪夫大学，成为今年的CVPR 19的口头报告。
独立损失项
在论文APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs中，研究人员揭秘了这个头像生成神器的原理。
在这项研究中，研究人员提出了一个层次化的GAN模型， GAN每个层次的输出都由独立损失项控制。
研究人员提出了一个损失函数，里面包含四种损失项，包括一种新型DT（距离变换）损失、局部变换损失、对抗损失和像素级损失。
整个生成流程如下图所示：
对抗损失负责辨别图像真假，像素损失驱动合成图像更逼真，局部变换损失负责将额外限制加至中间输出上。
在这四种损失中，距离变换损失(DT损失）起到了重要作用。
在此前的照片转简笔化的研究中，经常出现生成图与原图不能完全对应，让线条之间有些错位的问题。想要解决这个bug，就需要DT损失亲自出马了。
研究人员解释说，这种损失能包容微小错位，从而惩罚更严重的无法对应问题。
至于模型的训练数据，研究人员自制了一个包含140张人脸照片与对应画像的数据集，命名为APDrawings，用来训练模型。
研究人员进行了一系列实验，与此的相似研究进行了效果对比。
在上图中，从左到右依次为人类照片、人类手绘肖像、Gatys、CycleGAN、Pix2Pix和APDrawingGAN的生成结果，红框代表此前其他研究生成效果的瑕疵。
对比来看，APDrawingGAN的生成效果线条最流畅，其艺术肖像风格化效果最好。
除了视觉效果的对比，研究人员还对比了CycleGAN、Pix2Pix和APDrawingGAN在FID评估指标下的得分。
测评结果显示，APDrawingGAN的FID得分最低，仅为62.14，表现最佳，而CycleGAN的得分87.82最高。
最后，研究人员找来73名志愿者，每位志愿者依次从两种算法生成的作品中选择质量最高的一幅，认为APDrawingGAN效果最好的概率为71.39%。
作者团队
这项研究的作者共有四人，分别是清华大学的Ran Yi 、Yong-Jin Liu（刘永进）和英国卡迪夫大学的Yu-Kun Lai和Paul L. Rosi。
一作Ran Yi目前是清华大学计算机科学的在读博士生。2012年，Ran Yi被清华电子工程系录取，2016年在清华本科毕业。
刘永进（Yong-Jin Liu）是清华计算机系长聘教授，博士生导师，人机交互与媒体集成研究所所长。刘教授还是国家杰出青年基金获得者、国家优秀青年基金获得者，入选教育部新世纪人才计划。
此前，Ran Yi和刘永进还推出过将照片转化成新海诚《你的名字》画风的CartoonGAN，
△ 左列为输入的照片，右列为CartoonGAN生成的新海诚画风的图像
Yu-Kun Lai现为卡迪夫大学计算机科学与信息学院的Reader（准教授），从本科到博士均在清华就读。
Paul L. Rosin是卡迪夫大学计算机科学与信息学的教授，南开大学“外专千人计划”教授。此前，曾担任Computer Graphics Forum国际期刊编委，Computational Aesthetics 2015国际会议主席。
传送门
论文APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs地址：
https://cg.cs.tsinghua.edu.cn/papers/CVPR-2019-Drawing.pdf
— 完 —
诚挚招聘
量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ’ᴗ’ ի 追踪AI技术和产品新动态
- 微软公布19财年财报：净利润增长22%，云计算首超个人计算业务2019-07-19
- 腾讯云推出物联网边缘计算平台，具备五大特点，想攻克物联网落地难题2019-08-28
- DeepMind医疗业务几经动荡，现在团队并入Google2019-09-20
- 首例基因编辑干细胞治疗艾滋病：北大邓宏魁参与，达最佳治疗效果2019-09-14
相关阅读
