这是商汤绝影智能车3D目标检测模型新神器,入选了AI顶会ICCV
高效利用时序信息,即插即用
曹原 发自 副驾寺
智能车参考|公众号AI4Auto
商汤绝影最新自动驾驶研究成果来了!
使用一种全新训练方式,能有效提升纯视觉3D目标检测模型精度!
该方式的研究论文入选了AI顶会ICCV 2023,代码已开源。
研究提出了一种叫做历史帧物体预测(HoP)的训练方法,能让3D目标检测模型更有效地利用时间信息。
并且,HoP方法即插即用,可以无缝集成到任何BEV检测框架中,并提升性能。
例如在主流3D目标检测方法之一——BEVDet4D框架下,使用HoP方法进行训练能够有效提升模型性能,并且发布时在nuScenes的纯视觉方案中取得SOTA。
这又是怎么做到的?
商汤最新自动驾驶研究成果
基于纯视觉的3D目标检测正逐渐成为自动驾驶领域的新研究热点,同时也是非常具有挑战性的任务。
目标物体被遮挡、图片信息不全等等都会影响到系统对3D环境的感知,如何融合多摄像头的信息也是其中的难点。
目前最常用的方法是在BEV空间里引入时空信息,对数据信息进行时间融合,比较著名的方法有BEVDet4D、BEVStereo、BEVFormer、PETRv2等等。
新方法不断迭代,SOTA的记录也不断被刷新,这意味着时间信息在纯视觉3D目标检测具有非常重要的作用。
因此,商汤基模型团队提出了一种新的,名为历史帧物体预测(Historical Object Prediction,HoP)的训练方案,能够更高效地利用时间信息,增强算法的时间建模能力。
并且,HoP可以无缝接入任何最先进的BEV检测框架中,并显著提升性能,同时只用在训练过程中使用,在测试时不会引入额外开销。
在BEVDet4D框架下,使用ViT-L作为骨干网络,在nuScenes数据集上,使用HoP训练后的NDS和mAP分别为68.5%和62.4%。论文4月发布时,达到当时纯视觉方案的SOTA。
另外,在使用历史帧Query融合优化后的BEVFormer框架下,使用HoP训练后,在ResNet101和V2-99两种骨干网络下,模型都获得了优于其他模型的结果。
那么,HoP又包括什么?
HoP训练方案和历史帧Query融合
首先,利用图片的骨干网络和视角转换网络得到从t到t-N时刻的BEV特征,并丢弃第t-k帧的BEV特征信息。
其次,研究设计了一种时间解码器,用来在剩余帧的BEV特征中提取有价值的信息,重建一个虚拟的t-k帧的BEV特征。
该时间解码器包括长期时序信息捕捉分支和短期时序信息捕捉分支。
一方面,短期时序信息捕捉分支重点在于提取空间语义信息,主要利用t-k帧前后两帧;另一方面,长期时序信息捕捉分支则能够提取物体的运动信息,利用的是其余所有帧的信息。
两种方式互补结合,得到强时空特征,更有利于建立虚拟的t-k帧的BEV特征。
最后,研究在虚拟的t-k帧的BEV特征上,增加了一个轻量的BEV检测头来预测t-k帧的物体。
除了HoP,论文中还提出了历史帧Query融合(Historical Temporal Query Fusion),可以从Query层面融合历史帧的信息来帮助当前帧的检测。
在使用历史帧Query融合优化后的BEVFormer框架,使用HoP方法训练后,NDS和mAP都得到提高。
作者简介
本文一共有7位研究人员,分别来自商汤、香港大学、哈尔滨工业大学(深圳校区)和香港中文大学。
两位同等贡献的第一作者均是商汤的研究人员,分别是Zong Zhuofan和Jiang Dongzhi。第三位作者Song Guanglu同样也来自商汤。
其余作者中,Xue Zeyue来自香港大学,Su Jingyong来自哈尔滨工业大学(深圳校区)。
另外,本文还有两位通讯作者,分别是来自香港中文大学的李鸿升,以及来自商汤的刘宇。
其中,李鸿升是香港中文大学电子工程系副教授,拥有美国理海大学计算机科学博士学位。主要研究方向包括计算机视觉、机器学习和医学图像分析,此次有13篇论文入选ICCV 2023,谷歌学术上总被引次数达到33369次。
刘宇是商汤智慧决策与游戏事业部总经理兼高级研究总监,博士毕业于香港中文大学MMLab,主要研究方向为机器学习和计算机视觉,在AI领域顶会顶刊发布论文超过30篇,被引次数达到5094次。
值得一提的是,本次共有2160篇论文入选ICCV 2023,10%来自中国,其中商汤科技及联合实验室录用了49篇,在产业机构中排在第一位。
论文链接:
https://arxiv.org/abs/2304.00967
代码链接:
https://github.com/Sense-X/HoP
参考链接:
https://mp.weixin.qq.com/s/W5qfQFHcBPR1tODqTSG7YQ
- 哪吒冲刺港交所IPO,上市起点碾压蔚小理,然而一步慢步步慢2024-06-28
- 注意,北京无人车接送机不免费了2024-06-28
- 广东造车新势力,爆雷了2024-06-25
- 百亿造车新势力破产清算!市值缩水超99%,欠债超10亿,债权人还吵起来了2024-06-24