免费用Stable Diffusion「脑补」名画画框外世界,网友:白嫖真香

没什么违和感的那种

Alex 发自 凹非寺

量子位 | 公众号 QbitAI

人人都可以免费在线试玩的“脑补”画面神器来了!

它可以打破画框的桎梏,“想象”(Outpainting)出《戴珍珠耳环的少女》的背景:

这个工具名为Stable Diffusion Infinity,是大火的AI绘图新星Stable Diffusion的一项子功能。

只需要一两句话提示,Stable Diffusion就可以画出你想要的东西,而且和已有部分衔接自然,没什么违和感。

由于其“免费可玩”,网友们纷纷竖起大拇指,有人指出:这真的很不容易。

因为先前在8月份DALL·E就干过“扩画”这种事儿了,当时不少网友献上膝盖,但DALL·E不是免费的,并且其访问权限这几天才逐步放开。

所以现在免费开源的Stable Diffusion也能扩画了,让网友们很开心。

还有人表示,这下应该可以看到戴珍珠耳环的那位少女穿上鞋的样子了。(甚至可以亲自为她穿上鞋)

Stable Diffusion新功能:Outpainting

除了“脑补”《戴珍珠耳环的少女》的背景外,还有人用Stable Diffusion来Outpainting了城市风光图。

好家伙,这直接把公园、河岸的建筑和更远处的天空给画出来了:

虽然细节有些经不起推敲,但是总体看起来还是比较和谐的。(再P一下就差不多了)

那么说到这里,通过Outpainting“脑补”出来的画面为什么和已有部分没啥违和感?

为了生成图像更自然,在Outpainting边界图片时,AI会将图像现有的视觉元素,包括阴影、反射和纹理等考虑在内。

另外,虽然在这些扩画过程中,AI起到主要作用,但是人也是不可或缺的一部分。

因为这需要人为输入一些句子或者关键词来指导AI作画。

比如,在为《戴珍珠耳环的少女》补充背景时,告诉AI某个指定区域放一张桌子,然后在墙上放一个带框的画等。

另外,在延伸上面那张“城市风光照”时,手动输入“沿着经过的河流的线性公园和河滨公园,河流和马尼拉地铁天际线的景色 ”。

(Linear park and esplanade along the passing river, view of the river and metro manila skyline)

当然这也意味着可以DIY了:如果你想加一个花瓶或者为少女穿上鞋的话,告诉AI就行。

不过,测试人员们发现Stable Diffusion在“脑补”过程中也有翻车的时候。

例如当其绘制“草地上的一只猫”(a cat on grass)时,前面几步都很正常,但最后居然画出了一只“双头猫”……

测试者指出这应该是模块“PIL.Image”中没有属性”Resampling”,不过此问题目前只在一个人的电脑上出现过。

DALL·E也“脑补”过同一幅画

在Stable Diffusion之前,DALL·E同样也“Outpaint”了《戴珍珠耳环少女》,最终成品是酱婶儿滴:

所以你更喜欢DALL·E还是Stable Diffusion的作品?

对了,按Stable Diffusion的传统,用其来Outpainting的小哥已将相关代码开源在Google Colab和GitHub上了,感兴趣的友友们可以去仔细看看。

传送门:
Colab: https://colab.research.google.com/github/lkwq007/stablediffusion-infinity/blob/master/stablediffusion_infinity_colab.ipynb
GitHub: https://github.com/lkwq007/stablediffusion-infinity
参考链接:
[1]https://www.reddit.com/r/MachineLearning/comments/xtd8kc/p_stablediffusioninfinity_outpainting_with_stable/
[2]https://bytexd.com/how-to-use-outpainting-with-stable-diffusion-infinity-colab/

版权所有,未经授权不得以任何形式转载及使用,违者必究。