你的涂鸦活了，CMU中国本科生让画成真丨有代码有Demo
随手涂鸦画小人，它就活了，开始动了，仿佛是神笔马良。这是CMU中国本科生Lingdong Huang创造的虚拟世界，在这里，只要随意涂鸦，你笔下的形象就能立马蹦蹦跳跳，就像魔法世界一样。
郭一璞 发自 凹非寺
量子位 报道 | 公众号 QbitAI
凡人的世界，绘画就是静态的。但在一个神秘的计算机世界，一切都不一样，不信你看。
画一个独角兽，然后轻轻一点。
独角兽就“活了”，奔跑跳动、跃然纸上。
给它取个名，再轻轻一点——拥有姓名的独角兽，就从纸面进入一个三维世界，开始不知疲倦的翻越，一座座山丘……
这个世界里，还生活着各种奇奇怪怪的生物。
比方藏在人群中扭秧歌的蜗牛。
看，长了四只脚的怪物：
在天上行走的渔夫，怕不是个仙人：
带着帽子的鬼怪绅士
连一草一木都能成精：
卡通人物也可以，你看有哆啦A梦：
黄皮耗子皮卡丘，这次没长毛：
还有神奇的大方脸：
这些小家伙，都是吃瓜群众们画出来的。
在这个虚拟世界里，只要寥寥几笔涂鸦，所绘之物尽成真，堪称真神笔马良。它们在同一片天地间奔跑，魑魅魍魉纠缠，宛如百鬼夜行。
这个，就是正在CMU就读的中国小哥Lingdong Huang同学创造的涂鸦世界，在这个世界里，任何人都能像神笔马良一样，随便一画，即刻成真。
不少吃瓜群众看到之后纷纷惊叹：
这特么简直是魔法
好喜欢这些涂鸦，我能连着看好几天哈哈。
简直像诗一样，都是有血有肉的形象，在一个自然随性的地方飘荡。
怎么做到的
明明是随意的涂画，竟然能自动分辨出小鬼怪们的“胳膊”和“腿儿”，还能有节奏的活动，这些涂鸦是怎么“活”过来的？
“造物主”黄同学用了三个步骤来完成这个世界的构建。
给涂鸦加上骨架
就像人体关键点检测一样，随手画出的涂鸦也需要关键点，确定骨骼位置，才能描绘出它的精气神。
这里，黄同学用了OpenCV的骨架化工具，借助Zhang-Suen的C++代码实现。不过，这套实现遍历了图像中的所有效果，所以在web端实现的效果又卡又慢。
黄同学不得不重新借助gpu.js，用WebGL shaders的javascript分支重写了代码。
重写之后要快得多了。比如我们放一张寡姐持枪的照片，它就能自动把画面的重点，寡姐的躯干和两条拿枪的胳膊就可以自动勾勒出来。
让机器看懂骨架
但是，现在问题来了，看到这样一张图，人类可以判断出来是一个人和TA的两条胳膊，可是机器好像不行啊。
于是，黄同学决定用8×8窗口扫描整个图像，找到那些有笔画的部分马克出来，作为根补丁（root patch），然后，看根补丁小方块的四个边，哪边有线就往哪边延伸，这样就能找出整个骨架，之后用中值模糊滤波器（aggressive median-blur filter）降噪。
现在，机器终于能理解你画的涂鸦的形状，和它内部的骨架结构。
让涂鸦动起来
下面就得想办法让涂鸦动起来了。
这里，黄同学确定了五大物种：哺乳动物、人、鸟、鱼、植物，根据涂鸦形象骨架，确定画出来的小怪物属于哪一类物种，然后给骨架的不同部分分配身体器官：这是头，这是胳膊，这是腿……
之后，他为不同物种设定了单独的“走路”姿势，比如植物应该是在一个固定的地方蹦蹦跳跳，哺乳动物和人类应该是在地上跑，鸟应该放在天上呼扇翅膀，鱼应该是在水里摆尾游动。
这样一套流程下来，涂鸦就能动起来了。
对了，涂鸦小怪物们所生活世界的“天、地、水”也需要定义。
黄同学用2D高斯函数乘以Perlin噪声，生成了一个类似海里的小岛的地图，中间高，周围低，最外层是水，这样，花鸟鱼虫们就能够各得其所了。
AI搞怪爱好者
黄同学即将在明年从CMU毕业，此前他还是迪士尼的实习生。这位97年出生的少年，创造过很多神奇的项目。
比如，自动生成山水画：
还有Emoji小人大战：
自动书法生成器：
相当有趣的内容，大家可以戳进传送门体验。
专业“马良”公司已面世
涂鸦动起来，这种像神笔马良一样的功能其实已经被一家公司商业化了。
前微软人机交互专家曹翔博士创立的小小牛科技就是这样一家公司，他们用自研的Wonder Painter技术，可以把各种物体变成会动的角色。
比如，在绘画界面里画一个穿裙子的姑娘：
接下来，姑娘就可以直接开始热舞了：
小小牛的这项技术已经以游戏的形式，应用在了一些线上营销活动中。未来，这类技术或许还能在艺术创作、儿童教育等领域大放异彩，会大大降低艺术创造的门槛。
所以“神笔马良”，不止是前沿技术，未来商业前景也隐隐轰鸣。
传送门
Demo体验：
https://doodle-place.glitch.me/
差点忘了说，因为这个项目太受欢迎，有时候需要像滴滴一样排队才能进入，开头的皮卡丘和哆啦A梦在第二个Demo服务器里：
https://doodle-place-server-2.glitch.me/
原作博客：
骨架化代码：
https://skeletonization-js.glitch.me/
- MEET2020 | 百度景鲲：AI交互正在吃掉旧产品边界，触达移动互联网盲区用户2019-12-10
- MEET2020 | 王砚峰揭秘搜狗AI技术体系：自然交互在左，知识计算在右，核心是语言2019-12-16
- MEET2020 | 旷视唐文斌：你到底给谁创造了什么样的价值？这是AI产品的灵魂拷问2019-12-17
- MEET2020 | 快手刘霁：AI基础能力决定每个公司AI的迭代和落地效率2019-12-20
相关阅读
