何恺明团队新作:图像分割精细度空前,边缘自带抗锯齿,算力仅需Mask R-CNN的2.6%
鱼羊 乾明 发自 凹非寺
量子位 报道 | 公众号 QbitAI
又是何恺明超越何恺明。
其团队最新论文一出,图像分割又往前一大步:
消耗的资源变得更少,算力仅需Mask R-CNN的2.6%。
不仅能实现准确的分割,甚至连张开的五指都能精准抠出:
秀长腿的长颈鹿,分割后腿也能保持修长的模样了:
△右为新方法
如此效果,已然超越了默认mask head的Mask R-CNN。
这是一种名为PointRend的新方法,“实现了前所未有的输出分辨率”。
也可以在现有模型的基础上构建,灵活应用于实例分割、语义分割任务。
其中诀窍在于:将图像分割当做一个渲染问题。
如此研究,同样也引起了业内人士的围观。
有人盛赞称,这是一项“伟大的工作”,也有人惊叹于研究思路:“从经典方法中获取知识,牛。”
PointRend:将图像分割视作渲染问题
渲染是将3D模型显示为2D平面上的规则像素网格。
尽管输出表现形式是规则网格,但其底层物理实体是连续的,并且其物理占用率等属性,可以通过物理和几何推理(如射线追踪),在图像平面上的任何实值点进行查询。
图像分割,同样可以视作底层连续实体的占用图,然后从中输出预测标签的矩形网格。
实体被编码在网络特征图中,可以通过插值在任意点进行访问。
PointRend就是基于这种类比提出的,可以应用于实例分割和语义分割。
△PointRend原理
以实例分割举例,首先,使用轻量级的分割头,对每个检测到的对象(红框)进行粗略的mask预测。
接下来,选择一组点(红色点),用小规模的多层感知器(MLP)为每个点进行独立预测。
对这样的细分算法进行迭代,以从粗到细的方式计算mask。
具体而言,PointRend分为三个主要组成部分。
用于推理和训练的点选择(Point Selection)
PointRend的核心思想是,在图像平面中自适应地选择预测分割标签的点。
类似于光线追踪中的抗锯齿问题,这些点应该更密集地分布于高频区域(例如对象边界)附近。
推理部分,如上文所说,是一个以从粗到细的方式迭代“渲染”输出mask的过程。在每次迭代中,PointRend使用双线性插值,对其先前预测的输出结果进行上采样。
然后再次密度较高的网格上选择N个最不确定的点(如上图黑点),举个例子,对于二进制mask而言,就是概率最接近0.5的那些点。
计算每一个点的逐点(point-wise)特征表示, 预测它们的标签,以恢复精细网格上的细节。
直到输出结果达到预设的分辨率,迭代结束。
训练部分,还需要选择部分点,在其上构建逐点特征,用来训练点头(Point Head)。
这里依然采用推理部分介绍的细分策略,只是引入了顺序步骤。并且,在训练中不进行迭代,而是使用基于随机抽样的非迭代策略。
为了提高性能,每个区域仅对少量点进行采样,并采取轻度偏差的采样策略,提高系统在训练期间的效率。
逐点 (point-wise) 表示
PointRend通过组合低层特征 (fine-grained features) 和高层特征 (coarse prediction),在选定的点上构造逐点特征。
在细粒度特征(fine-grained features)方面,为了让PointRend呈现出精细的分割细节,研究人员为CNN特征图中的每个采样点提取了特征向量。
不过,细粒度特征虽然可以解析细节,但也存在两方面的不足:
- 1、不包含特定区域信息,对于实例分割任务,就可能在同一点上预测出不同的标签。
- 2、用于细粒度特征的特征映射,可能仅包含相对较低级别的信息。
这就需要粗略分割预测 (coarse prediction) 来进行补充,提供更多全局背景。
这样的粗略预测类似于现有架构的输出。以实例分割为例,coarse prediction可以是Mask R-CNN中 7×7 轻量级mask head的输出。
点头 (Point Head)
对于每个选定点的逐点特征表示,PointRend使用简单的多层感知器进行逐点分割预测。
多层感知器在所有点(所有区域)上共享权重。
并且,由于多层感知器会针对每个点预测分割标签,可以通过特定任务的分割损失进行训练。
更少的消耗,更好的结果
何恺明等人在研究中给出了结果证明,无论是在定性和定量维度上,都取得了显著的效果。
与此同时,这一思路也进一步降低了消耗的资源,在当前人工智能算法模型在端侧部署的大趋势下,意义更大。
此外,这一方法不仅仅能够应用在实例分割中,在语义分割中也取得了显著的效果。
首先,他们将PointRend与Mask R-CNN默认的4×conv mask head进行了对比,使用的数据集是COCO和Cityscapes。
结果显示,在相同的分辨率上,PointRend的预测效果要明显强过默认的4×conv mask head。
从定性效果上来看,在Mask R-CNN使用PointRend(右图)在预测Mask时更加精细。
此外,输出图像的分辨率更高的情况下(细分推理),PointRend也更强大。一方面体现在所需的资源上。
在输出224×224分辨率图像下,PointRend只需0.9B FLOPs,而4×conv需要34B,相比之下优化了30多倍。
另一方面体现在效果上,从下图来看,分辨率更高的情况下,AP出现了饱和的情况。
但直观效果随着分辨率提高变得更好,使用PointRend还能够抗锯齿。
在语义分割方面,他们的研究结果表明,使用PointRend能够进一步提升DeeplabV3和 SemanticFPN的效果。在实验对比中,采用的是Cityscapes语义分割集。
首先是在DeeplabV3上的效果,基于PointRend的DeeplabV3的语义分割效果明显更好。
在推理过程中对res4阶段进行扩展,可以产生更大、更准确的预测,但是需要更高的计算和内存开销,而且结果仍然不如使用PointRend。直观来看,PointRend也可以恢复更小的对象和细节。
此外,通过自适应采样点, PointRend只预测32k点,就可以达到1024×2048分辨率(即2M点)。
在SemanticFPN上,在8×和4×输出步长变体上,用了PointRend之后,效果也有明显提升。
又双叒叕来自何恺明团队
PointRend是何恺明团队的最新研究成果,一共有四名作者,全部来自Facebook AI研究院。
第一作者是Alexander Kirillov,毕业于海德堡大学,是FAIR致力于计算机视觉研究的科学家。
除了何恺明之外,作者中还有一位华人学者,名为吴育昕。他在2015年从清华大学计算机系毕业,之后在CMU获得硕士学位,现在是Facebook研究工程师。
最后一位作者是Ross Girshick,博士毕业于芝加哥大学,也是FAIR致力于计算机视觉研究的科学家。
对于何恺明来说,PointRend是他在图像分割领域的最新探索。
这篇论文中被改进的Mask R-CNN,就是出自他手,自2017年3月提出以来,到现在已经成为图像分割的主流算法。这一成果也在2017年的ICCV上获得了最佳论文奖。
在此之前,他在计算机视觉领域的研究成果也获得了CVPR 2009和CVPR2016的最佳论文奖,可以说是传奇般的存在。
PointRend等后续研究成果出现,也进一步说明了他并没有停下来,而是在不断寻找新的方法来提升模型的效果。
大神之所以是大神,这也是其中的原因之一吧。
你说呢?
— 完 —
- 10人团队融了10亿美元,Ilya最新访谈:Scalling Law并非一成不变2024-09-07
- 大模型应用新战场:揭秘终端侧AI竞争关键|智在终端2024-09-02
- 原来AI搜索,百度这么搞2024-09-04
- 超6亿!文心大模型日调用量半年增长超10倍,AI成百度最强加速引擎2024-08-23