你画一笔AI画整张图！AI实时作画方式被打开，颜色细节自动补全，一个脚本即可实现
网友：艺术家作画新方式
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
现在用AI画画，完整草图都不需要了。
每一笔落下，AI都会实时交上“新作业”
细节、颜色、画布空白，它都自动补全。
还能通过提示词来控制生成图像的内容和风格。
比如加一句“一个穿长外套的男人站在海边“，AI立马调整了作画方向：
最后成稿的作品如下，效果很奈斯。
怪不得网友表示，自己惊掉的下巴已经找不到了。
这就是最新火起来的AI实时作画项目，Reddit上的热度有1.8万。
有人还表示，这回似乎说明了，相较于取代人类，AI可能更大程度上会帮助人类艺术家创作。
一个脚本搞定
如上效果是靠一个Python脚本实现。
通过构建一个画布和一个图像生成框，然后把每次落笔后的草图发送给Automatic 1111的API接口，这样就能基于Stable Diffusion和ControlNet的能力作画了。
其中，Automatic 1111是一个基于Stable Diffusion的可便携部署的离线框架，封装了UI和一些功能，能通过可视化界面使用Stable Diffusion。
此外生成图像方面还使用了ControlNet的scribble模细化效果。
作者提醒说，想要让这个脚本能正常运行，一定要确保能调用Automatic 1111 webui的API，并且已经安装激活了ControlNet扩展。
可以通过修改payload.json文件来获取不同的prompt、seed和ControlNet模型。
在实时生成的速度上，作者表示现在看到的demo是他加速4倍后的结果，具体情况如何，恐怕还要看大家的显卡水平了。
所以不少网友看后的反应是：
实时？我的显卡说，你在做梦。
1080要再次哭晕了……
也大佬推算了各个型号显卡可能带来的效果：
我上次使用Automatic1111时，用3080能实现每秒12次迭代；对于预览图片来说，或许不需要这么多迭代。
所以如果用3080的话，大概可以每1-2秒得到一张图片预览（3060可能是3-4秒）；如果用4080、4090，不到1秒就能出一张预览。
尽管硬件上还是有制约的……但这还是没影响大家的脑洞。
有人表示，这或许是未来很多艺术家搞创作的方式了。
还有人说，未来已来了。
你觉得呢？
GitHub地址：
https://github.com/houseofsecrets/SdPaint
参考链接：
[1]https://twitter.com/thekitze/status/1648627002822254593?s=20
[2]https://www.reddit.com/r/StableDiffusion/comments/12pcbne/i_mad_a_python_script_the_lets_you_scribble_with/
- AI版《黑客帝国》：无限生成逼真视频，3A画质，还能实时交互2024-11-21
- 国产4o大模型，秒懂国风李子柒2024-11-20
- 大模型上了火山方舟：数据唯你可见，唯你所用，唯你所有2024-11-14
- Keras之父，离职谷歌2024-11-14
相关阅读
