这是商汤绝影智能车3D目标检测模型新神器,入选了AI顶会ICCV

高效利用时序信息,即插即用

曹原 发自 副驾寺

智能车参考|公众号AI4Auto

商汤绝影最新自动驾驶研究成果来了!

使用一种全新训练方式,能有效提升纯视觉3D目标检测模型精度!

该方式的研究论文入选了AI顶会ICCV 2023,代码已开源。

这是商汤绝影智能车3D目标检测模型新神器,入选了AI顶会ICCV

研究提出了一种叫做历史帧物体预测(HoP)的训练方法,能让3D目标检测模型更有效地利用时间信息。

并且,HoP方法即插即用,可以无缝集成到任何BEV检测框架中,并提升性能。

例如在主流3D目标检测方法之一——BEVDet4D框架下,使用HoP方法进行训练能够有效提升模型性能,并且发布时在nuScenes的纯视觉方案中取得SOTA。

这又是怎么做到的?

商汤最新自动驾驶研究成果

基于纯视觉的3D目标检测正逐渐成为自动驾驶领域的新研究热点,同时也是非常具有挑战性的任务。

目标物体被遮挡、图片信息不全等等都会影响到系统对3D环境的感知,如何融合多摄像头的信息也是其中的难点。

这是商汤绝影智能车3D目标检测模型新神器,入选了AI顶会ICCV

目前最常用的方法是在BEV空间里引入时空信息,对数据信息进行时间融合,比较著名的方法有BEVDet4DBEVStereoBEVFormerPETRv2等等。

新方法不断迭代,SOTA的记录也不断被刷新,这意味着时间信息在纯视觉3D目标检测具有非常重要的作用。

因此,商汤基模型团队提出了一种新的,名为历史帧物体预测(Historical Object Prediction,HoP)的训练方案,能够更高效地利用时间信息,增强算法的时间建模能力。

并且,HoP可以无缝接入任何最先进的BEV检测框架中,并显著提升性能,同时只用在训练过程中使用,在测试时不会引入额外开销。

BEVDet4D框架下,使用ViT-L作为骨干网络,在nuScenes数据集上,使用HoP训练后的NDS和mAP分别为68.5%和62.4%。论文4月发布时,达到当时纯视觉方案的SOTA。

这是商汤绝影智能车3D目标检测模型新神器,入选了AI顶会ICCV

另外,在使用历史帧Query融合优化后的BEVFormer框架下,使用HoP训练后,在ResNet101和V2-99两种骨干网络下,模型都获得了优于其他模型的结果。

这是商汤绝影智能车3D目标检测模型新神器,入选了AI顶会ICCV

那么,HoP又包括什么?

HoP训练方案和历史帧Query融合

首先,利用图片的骨干网络和视角转换网络得到从t到t-N时刻的BEV特征,并丢弃第t-k帧的BEV特征信息。

这是商汤绝影智能车3D目标检测模型新神器,入选了AI顶会ICCV

其次,研究设计了一种时间解码器,用来在剩余帧的BEV特征中提取有价值的信息,重建一个虚拟的t-k帧的BEV特征。

该时间解码器包括长期时序信息捕捉分支和短期时序信息捕捉分支。

这是商汤绝影智能车3D目标检测模型新神器,入选了AI顶会ICCV△短期时序捕捉分支

一方面,短期时序信息捕捉分支重点在于提取空间语义信息,主要利用t-k帧前后两帧;另一方面,长期时序信息捕捉分支则能够提取物体的运动信息,利用的是其余所有帧的信息。

这是商汤绝影智能车3D目标检测模型新神器,入选了AI顶会ICCV△长期时序捕捉分支

两种方式互补结合,得到强时空特征,更有利于建立虚拟的t-k帧的BEV特征。

最后,研究在虚拟的t-k帧的BEV特征上,增加了一个轻量的BEV检测头来预测t-k帧的物体。

除了HoP,论文中还提出了历史帧Query融合(Historical Temporal Query Fusion),可以从Query层面融合历史帧的信息来帮助当前帧的检测。

在使用历史帧Query融合优化后的BEVFormer框架,使用HoP方法训练后,NDS和mAP都得到提高。

作者简介

本文一共有7位研究人员,分别来自商汤、香港大学、哈尔滨工业大学(深圳校区)和香港中文大学。

两位同等贡献的第一作者均是商汤的研究人员,分别是Zong ZhuofanJiang Dongzhi。第三位作者Song Guanglu同样也来自商汤。

其余作者中,Xue Zeyue来自香港大学,Su Jingyong来自哈尔滨工业大学(深圳校区)。

另外,本文还有两位通讯作者,分别是来自香港中文大学的李鸿升,以及来自商汤的刘宇

其中,李鸿升是香港中文大学电子工程系副教授,拥有美国理海大学计算机科学博士学位。主要研究方向包括计算机视觉、机器学习和医学图像分析,此次有13篇论文入选ICCV 2023,谷歌学术上总被引次数达到33369次。

这是商汤绝影智能车3D目标检测模型新神器,入选了AI顶会ICCV

刘宇是商汤智慧决策与游戏事业部总经理兼高级研究总监,博士毕业于香港中文大学MMLab,主要研究方向为机器学习和计算机视觉,在AI领域顶会顶刊发布论文超过30篇,被引次数达到5094次。

这是商汤绝影智能车3D目标检测模型新神器,入选了AI顶会ICCV

值得一提的是,本次共有2160篇论文入选ICCV 2023,10%来自中国,其中商汤科技及联合实验室录用了49篇,在产业机构中排在第一位。

论文链接:

https://arxiv.org/abs/2304.00967

代码链接:

https://github.com/Sense-X/HoP

参考链接:

https://mp.weixin.qq.com/s/W5qfQFHcBPR1tODqTSG7YQ

版权所有,未经授权不得以任何形式转载及使用,违者必究。