路人妹子秒变老婆，凶恶大狗秒变萌犬：日本开源GAN插件，局部P图无压力
发型，脸型，瞳色，都能定制啊
花栗子 发自 凹非寺
量子位 出品 | 公众号 QbitAI
这是一只面露凶光的哈士奇。
但它凶不过三秒，只要在眼睛上刷一刷：
就回归了呆萌的本性。
机智的你可能已经发现，是左下角那只 (有点像博美的) 小狗，帮它找到了自我。
既然眼睛圆润了，耳朵就没必要再挣扎，也刷一下吧：
一键换上梗犬的耳朵，更加温柔了。
还有，只要让忧郁的小猎犬保持皱眉，再把嘴张开，便可以获得职业假笑。
想修哪里点哪里，这是东京大学和日本独角兽Preferred Networks开源的“插件”，可调教各种GAN：包括BigGAN和StyleGAN，也不用重新训练。
另外，既然是来自东瀛的AI，当然可以定制老婆啦：
已为您生成，棕瞳的猫女。
有Demo可以玩，还有开源代码。
不过为什么，修改局部也可以这样天衣无缝？
面露凶光
团队用了两种方法。
一种是标签拼贴 (Label Collage) 。拼贴大法名叫sCBN。
通俗地说，图上的各种色彩代表不同的标签，共同组成一张标签图 (Label Map) 。比如，红色是狐狸的头：
修改一个标签，把图上的某个部分，标成自己想要的样子：比如把狐狸的头，标成狗头。它就真的变成了狗：
△“绿色”的后背部分也修改了
这就是从标签图上生成的结果。
做法很简单，只要在归一化参数上，应用一下位置相关的仿射变换 (Affine-Transformations) ，就能在空间上改变语义信息，不用重新训练一只GAN，直接用预训练网络就可以。
这样，把金毛变成狮子，人类依然笑得灿烂：
就算不是动物，两岸青山相对出，中间的绿草如茵，也能变成碧波粼粼：
但有时候，要修改的部分，对应的并不是单一的标签。
这时，便有了名叫特征混合 (Feature Blending) 的第二种方法。
它不需要用标签图，直接把几张图拼起来就可以了。
一张是源图：
两张作为样本，老爷爷的胡子，和小朋友的刘海：
然后，最初的男生就有了花白的胡子和棕色的头帘：
原理是，虽然想要修改的部位，对应的不是某一个标签；但图上的一个区域，依然可以对应到一组神经元。
前段时间轰动的GAN Dissection算法，就是给网络做解剖，找到一组神经元，对应某个中间特征 (Intermediate Feature) 。
特征混合，就是要加工各种中间特征，把它们无缝融合到一起。
你看，丹凤眼的面瘫少年：
有了棕色的大眼睛，再加上愉快的嘴：
画风就全然不一样了。
你一定还记得，开头的老婆也是这样生成的：
如果“红瞳才是正义！”，今后就可以把这样的方法插进各种GAN，一键追求正义，不用再截下转瞬即逝的缘分了：
△ 这是英伟达StyleGAN的作品
开源了
上周，新版本的论文已经发布了。
算法也开源了，近期可能有更新。
想定制老婆的同学，可以使用Demo：
https://colab.research.google.com/github/quolc/neural-collage/blob/master/NeuralCollage_demo.ipynb
代码传送门：
https://github.com/quolc/neural-collage
论文传送门：
https://arxiv.org/pdf/1811.10153v2.pdf
- 马云正式卸任后，阿里巴巴开盘跌0.87%2019-09-10
- 亚马逊在华拓展云计算团队，挑战阿里巴巴和腾讯2019-10-16
- AI独角兽云知声，已完成一期科创板IPO辅导2019-10-17
- IDC：今年上半年中国公有云服务市场规模达54.2亿美元2019-11-07
相关阅读
