AI教你画油画：任意画风都可驾驭，笔画序列秒秒钟呈现，百度南大团队打造 | Reddit高赞
用前馈网络预测笔画
杨净 发自 凹非寺
量子位 报道 | 公众号 QbitAI
AI已经能教你画油画了。
随便给一张图，笔画序列秒秒钟呈现。
比如世界名画蒙娜丽莎。
亦或是写实类的小鸟。
还有极具氛围感的河灯。
总之什么风格都可以驾驭。
这项技术在Reddit上21小时内就已经有600+的点赞量。
究竟是如何打造的呢？
用前馈网络预测笔画
神经绘画，就是为给定的图像生成一系列笔画，并使用神经网络进行绘画式的真实再现过程。
研究团队提出了一个基于Transformer的框架，叫做Paint Transformer，用前馈网络来预测笔画的参数。
由于当前没有可用的数据集来训练Paint Transformer，受物体检测启发，研究人员设计了一个自训练Pipeline。
整个模型由两个模块组成：笔画预测器和笔画渲染器。
给定目标图像和中间画布图像，笔画预测器，生成一组参数以确定当前笔画集。
预测器包含了两个用于特征嵌入的CNN网路和一个用于参数预测的Transformer。
随后，笔画渲染器为笔画集汇总的每个笔画，生成笔画图像，并将它们绘制到画，产生结果图像，大小为512*512。
在DETR（用Transformer进行对象检测）的基础上，增加了二进制神经元来预测笔画是否应该被保留。
这样它就可以在没有任何现成的数据集的情况下进行训练，同时还能实现出色的泛化能力。
实验表明，这一方法比以前的方法取得了更好的绘画性能，而且训练和推理成本更低。
百度南大团队打造
这项技术由百度、南京大学、罗格斯大学共同打造。
目前代码已经开源，并在一刻相册App上应用。
论文地址：
https://arxiv.org/abs/2108.03798
GitHub网址：
https://github.com/wzmsltw/PaintTransformer
版权所有，未经授权不得以任何形式转载及使用，违者必究。
- 突破短视频局限！MMBench 团队构建中长视频开放问答评测基准，全面评估多模态大模型视频理解能力2024-10-30
- 人形机器人新品牌“灵宝CASBOT”发布，来自中科慧灵2024-10-30
- 第一波大模型已经走进厨房了！实测方太Healthy CookingGPT2024-10-25
- 讯飞版《Her》长脸了！多模态虚拟人表情动作超逼真，一张图一句话就能DIY自己2024-10-24
相关阅读
