漫画汉化组，不用手动抹掉原文了：开源AI一键擦除，还能修复背景
左擦擦，右擦擦，上擦擦，下擦擦。
栗子 发自 凹非寺
量子位 报道 | 公众号 QbitAI
△ 来自《弹丸论破》
漫画汉化组，和动画字幕组，表面看都是翻译，可工作还是很不一样的。
比如，日文动画生肉一般没有加字幕，而漫画原本就充满了文字。
所以，漫画的汉化组，要先把原文抹掉，才能贴上中文。
需要抹掉的，不只气泡里的对话，还有背景里的旁白，以及字体硕大雄健的拟声词。
这样巨大的工作量，还是交给AI吧，只要一键：
满篇的文字都消失了，人类完全没有帮忙。
AI的名字叫SickZil-Machine，是一群韩国小伙伴开发的，已经开源。
不光字去掉了，背景也修补了：
有了它，汉化组再也不用大规模手动擦除了。
面对此情此景，人类表示相见恨晚：
那么，韩国少年们是怎样孕育出这只AI的？
一步两步
团队说，这是一个完全自动消除漫画文字的AI；但如果人类需要，也可以手动指定消除某一部分文字。
至于是如何擦掉文字，AI由两个机器学习模型组成：
一个叫SegNet，负责把需要抹掉的文字部分，分割出来；
一个叫ComplNet，负责把抹掉之后露出的背景补全。
抠出文字的SegNet，借鉴了前辈U-Net图像分割技术：
U-Net结构像个U，从全卷积网络 (FCN) 改进而来。
分割是用成对数据训练的。这里的成对数据，就是漫画原图，加上文字部分的mask。
只用了285对数据。
抠出文字之后，就该填补背景的ComplNet上场了。它是借鉴了前辈DeepFillv2图像修复算法：
DeepFillv2来自UIUC和Adobe，擦除图像的任意部位，AI都能修补完整。
比如，抹掉一盏路灯，AI便会把路灯背后的建筑物补好。
除此之外，还能按自己的意志修改图片：
把人类的下巴擦掉，再描个短一点的下巴，AI就会给你一张不是马脸的人像了。
当然，漫画未必需要这样高度定制，脑补背景就够。
团队用了31,497张图来训练，其中11,464张是有文字的。
最终，成果斐然：
不过，也不一定要全靠AI，人类可以手动选择要 (或不要) 消除的部分。
先让屏幕显示出AI生成的mask (红色) 。如果发现不该变红的部分红了，就手动把这一部分从mask里去掉，这样AI就不会把它消除了。
比如上面，妹子的脸旁边，没有字的地方红了一大块。那么，把这一部分红色框起来扔掉，就好了。
你也试试吧
其实，这个好东西也不一定是汉化组才用得到。
没事做的时候，把漫画原本的台词抹掉，练习填词，也是很健康的活动哟。
比如到了这种时候，人类会说些什么呢：
△来自山下智博
额，哪里健康了？
传送门：
https://github.com/KUR-creative/SickZil-Machine
U-Net传送门：
https://arxiv.org/abs/1505.04597
Deepfillv2传送门：
http://jiahuiyu.com/deepfill2/
— 完 —
- 马云正式卸任后，阿里巴巴开盘跌0.87%2019-09-10
- 亚马逊在华拓展云计算团队，挑战阿里巴巴和腾讯2019-10-16
- AI独角兽云知声，已完成一期科创板IPO辅导2019-10-17
- IDC：今年上半年中国公有云服务市场规模达54.2亿美元2019-11-07
相关阅读
