港大阿里「视觉AI任意门」,一键向场景中无缝传送物体
光线角度都能适应
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
点两下鼠标,就能把物体无缝「传送」到照片场景中,光线角度和透视也能自动适应。
阿里和港大的这个AI版「任意门」,实现了零样本的图像嵌入。
有了它,网购衣服也可以直接看上身效果了。
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/eb03a40318c48951abba332b2a2358a1.gif)
因为功能和任意门十分相似,所以研发团队给它起的名字就叫AnyDoor。
AnyDoor一次能够传送多个物体。
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/2f485e5713dc9948e4fd48388e80d560.gif)
不仅如此,它还能移动图像里的已有物品。
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/6c202d64430085b68b16365860d22a5f.gif)
有网友看了之后赞叹到,或许接下来就会进化到(把物体传入到)视频了。
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/a68564536ba8a5f1896d956970546b6e.png)
零样本生成逼真效果
相对于已有的类似模型,AnyDoor具有零样本操作能力,无需针对具体物品调整模型。
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/911e2fce890576b7dd256eba81c0ec3a.png)
除了这些需要进行参数调节的模型之外,AnyDoor相对于其他Reference类模型也更为准确。
实际上,其他的Reference类模型只能做到保持语义一致性。
通俗地说,如果要传送的物体是一只猫,其他模型只能保证结果中也有一只猫,但相似度无法保证。
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/b39f1a553aea340aaff4d1e01de4f8d6.png)
我们不妨把AnyDoor的效果放大看看,是不是看不出什么破绽?
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/826f14b1c18b217dbe267e0a8193cb37.gif)
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/767b3fba581f826ca8c72d336843be88.gif)
用户评价的结果也证实,AnyDoor在质量和准确度方面表现均优于现有模型(满分4分)。
而对于已有图像中物体的移动、换位,甚至改变姿态,AnyDoor也能出色完成。
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/135ecda05ad2889a3cf3570fa93b727a.jpeg)
那么,AnyDoor是如何实现这些功能的呢?
工作原理
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/51f7a545ebdfb0e9e9075cc809b928c6.png)
要想实现物体的传送,首先就要对其进行提取。
不过在将包含目标物体的图像送入提取器之前,AnyDoor首先会对其进行背景消除。
然后,AnyDoor会进行自监督式的物体提取并转换成token。
这一步使用的编码器是以目前最好的自监督模型DINO-V2为基础设计的。
为了适应角度和光线的变化,除了提取物品的整体特征,还需要额外提取细节信息。
这一步中,为了避免过度约束,团队设计了一种用高频图表示特征信息的方式。
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/f0e92e359f04f75bd054cd53413a9254.png)
将目标图像与Sobel算子等高通滤波器进行卷积,可以得到含高频详情的图像。
同时,AnyDoor利用Hadamard对图像中的RGB色彩信息进行提取。
结合这些信息和过滤边缘信息的遮罩,得到了只含高频细节的HF-Map。
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/6091d8354d1e8c2eaf644e4762dada0d.png)
最后一步就是将这些信息进行注入。
利用获取到的token,AnyDoor通过文生图模型对图像进行合成。
具体来说,AnyDoor使用的是带有ControlNet的Stable Diffusion。
AnyDoor的工作流程大致就是这样。而在训练方面,也有一些特殊的策略。
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/d58e2fbe4f6540f21750d19eb92028d0.jpeg)
△AnyDoor使用的训练数据集
尽管AnyDoor针对的是静态图像,但有一部分用于训练的数据是从视频当中提取出来的。
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/84c82303f6fb1be4fe791c05ded6f1c1.jpeg)
对于同一物体,视频当中可以提取出包含不同背景的图像。
将物体与背景分离后标注配对,就形成了AnyDoor的训练数据。
不过虽然视频数据有利于学习,但还存在质量问题需要解决。
于是团队设计了自适应时间步采样策略,在不同时刻分别采集变化和细节信息。
通过消融实验结果可以看出,随着这些策略的加入,CLIP和DINO评分均逐渐升高。
![港大阿里「视觉AI任意门」,一键向场景中无缝传送物体](/wp-content/uploads/replace/599b6c002e2dff5704d3980f00ad2565.jpeg)
团队简介
论文的第一作者是香港大学博士生陈汐(Xi Chen),他曾经是阿里巴巴集团算法工程师。
陈汐的导师Hengshuang Zhao是本文的通讯作者,研究领域包括机器视觉、机器学习等。
此外,阿里方面还有来自达摩院、菜鸟集团的研究人员也参与了这一项目。
论文地址:
https://arxiv.org/abs/2307.09481
- 谷歌揭秘大模型不会数r原因:嵌入维度是关键,不止分词器问题2024-09-04
- 《黑神话》动捕供应商展示新算法:华科校友创办,华为云合作,亮相数博会2024-09-03
- 又有AI创始人卖身大厂!带走25%员工留下空壳,为吴恩达第一位博士生2024-09-02
- 逼真到被打假!OpenAI投的机器人身穿衣服做家务,被怀疑人类套壳拍视频2024-09-01