自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好
CVPR分享最新成果
一凡 发自 副驾寺
智能车参考 | 公众号 AI4Auto
用视频生成的仿真场景,能有多逼真?
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/1c04aacfebfe9edeba37d9373c13ff24.gif)
两旁的行人,前车的刹车灯……连这些细节,都能动态显示地清清楚楚。
两辆自行车行驶在道路中间,避让通过:
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/615f9550b2873b2aa39d9ace2110f4bf.gif)
这就是如今自动驾驶“当红炸子鸡”Wayve,在CVPR 2024上分享的最新成果:
自动驾驶仿真模型PRISM-1,没有激光雷达,没有3D标注信息,只基于摄像头输入的信息。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/5f4922bef3e49c6d8aff4c45cb5b0208.png)
PRISM-1:利用视频数据重建4D真实场景
模拟仿真测试是自动驾驶的重要环节。
实车测试周期长,成本高,覆盖的工况和长尾问题有限,尤其是极端场景下的Corner Case,实车测试比较危险,且调试程序后,可能不好复现验证。路还是那条路,但路况和道路参与者一直都在变。
因此,通过合成数据,仿真测试自动驾驶系统的路线,正在受到关注。
成本低,配置灵活,场景覆盖率高,对特殊的Corner Case能够复现后再验证,可以与实车测试形成互补。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/08f8d91b8b9715ca1e684e3845e61f3a.jpeg)
不过自动驾驶模拟仿真也面临着诸多挑战,比如在场景重建环节,复杂的城区道路,有很多动态元素难以准确呈现,像行人和自行车,不仅形态各样,而且行为灵活难预测。
传统还原通过场景图的方式,将元素组织成层次结构,用节点表示场景中的实体,用彼此的边缘表示它们之间的关系。
这种方式不够灵活,因为当车辆模拟测试时,周边场景其实一直在动态改变,一些元素无法完美分离,会导致错误传播。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/20e0a4eff781ed9fd8b5622b3aa6f65a.jpeg)
为了突破传统方式的局限,Wayve转向更灵活、能自适应的模拟方案,在端到端的基础上,提出了PRISM-1模型。
主要是三个特点:
- 框架更灵活:能有效处理常见元素,模拟移动元素,甚至包括瞬态场景元素,比如风吹动的树叶,隧道中的波动光线。
- 自监督场景分离:无需标注或预定义模型,分离场景中的动态元素和静态元素。
- 可扩展表示:即使场景复杂度增加,PRISM-1仍能保持高效。这最大限度地减少了工程量和错误传播。
详细过程,Wayve没有披露,只是主要介绍了视图合成方面的创新点。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/22586dbe6db4e135b1a2df53e2a9d2ee.png)
具体地说,PRISM-1重点关注摄像头观测到的路径的偏差。
无需依赖其他传感器,只靠摄像头,获取车辆行驶时的一组稀疏图像,重建4D场景。
当然,用摄像头获取数据场景数据,有一个天然限制,那就是在动态场景下,只能从一个视角拍摄其中的元素。
如何在任意时刻,从不同视角重建4D场景?
PRISM-1在承认车子动态特性的前提下,通过两种方式改变摄像头路径:
第一种方式,冻结时间。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/975c63fd810cf98c2da97ef4ddb87aa8.gif)
测试车辆周遭一切都暂停了,场景的时间维度不变,但空间可变,摄像头左右平移,以不同角度查看周边场景。
第二种方式,冻结空间。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/2f66bb36a1588dfcfa194de75ebf8aa2.gif)
测试车辆自身保持静止,空间数据不变,但时间还在变化,周遭事物还能运动,观察其变化。
两种方式结合,Wayve可以利用PRISM-1从各种视角重建场景,甚至复现一些细节,比如前车刹车灯亮了。
Wayve还将在此基础上,继续迭代工作。
下一步,Wayve打算加强模型的可扩展性和灵活性。
比如,用模型去重建一个“行人通过斑马线”的场景。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/71b4f86ed5b161d65dad4cd0c1a4f495.gif)
如果需要,也可以把行人移除掉。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/1b5295469a93d0330eebdb8fe2e5b89e.gif)
推出PRISM-1,提高自动驾驶模拟的真实性,加快算法迭代的同时,Wayve还开源了一个场景数据集WayveScenes101 Dataset,顾名思义,包含了101个复杂动态场景。
涵盖了英美两地,不同的驾驶环境和路况,包括多种天气和光照条件下的城区、郊区和高速公路。
当然,能被微软和英伟达同时相中押注,Wayve的工作成果远不止这些。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/a31b383a596040d6267a8ddc5a37bf9e.png)
自动驾驶独角兽,微软英伟达都投了
遍观全球,最近一段时间,特别是在自动驾驶领域,很少有独角兽,能盖住Wayve的风头了。
5月7日,Wayve官宣了10.5亿美元(折合人民币约为75.8亿元)的新一轮融资。
软银领投,微软和英伟达跟投。
数额之巨,投资者阵容之豪华,实属罕见,轰动一时。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/d6d1fc138c1a848b38b9342be466a8d4.jpeg)
在此前,只有Waymo、Argo和Cruise等,获得过这个级别的融资。
Wayve一举刷新英国AI公司单笔融资的记录,连英国首相也在声明中表示,这「巩固了英国作为AI超级大国的地位」。
彼时的Wayve都有什么技术成果,吸引巨头押注?
主要是一个架构,两个模型:
一个架构是指端到端的AV 2.0,不依赖高精地图,Wayve称可兼容纯视觉和激光雷达多种方案。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/e628c4fbe1626076d8a4b557a7c773ca.png)
两个模型是指LINGO系列以及GAIA-1,分别是Wayve在AI的可解释性与AIGC上的成果。
首先来看LINGO系列,去年9月,Wayve推出了LINGO-1模型。
Wayve将其称之为VLAM(视觉-语言-动作模型),与传统技术范式不同的是,视频数据之外,Wayve还引入了老司机语音包进行训练:
Wayve请来很多专业司机,要求他们在开测试车辆做出相应操作时,大声说话,解释自己为什么这么做。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/8e9a1c416394568d202db92030a73722.gif)
这样,自然语言就被引入了自动驾驶,LINGO-1实现了在开车时,解释自己的决策逻辑,这提高了模型的可解释性。
这项工作最近升级至LINGO-2,进一步增强了人车交互,司机可以通过限定的命令,比如「靠边停车」,调整智驾的开车策略。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/d65bf8c85ad27fd4e51c6fd096cffdbe.png)
另外一个模型则是GAIA-1,是一个为自动驾驶打造的多模态生成式世界模型,参数规模90亿。
输入视频、文本和操作,就能生成逼真的自动驾驶视频,不同路况和天气,效果都能以假乱真。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/5e1d83cceb668ae4bb950fb0cb2039f6.gif)
诶等等,GAIA-1能生成自动驾驶测试的视频,PRISM-1能用视频模拟真实场景,两个一结合,这不就闭环了吗?doge
当然没有这么简单,在去年6月,Wayve推出GAIA-1早期版本后,就有相关研究人员指出,模型生成的视频中,会有一些元素在后续“突然消失”,还不完善。
虽然去年10月,Wayve更新了GAIA-1,扩大了参数规模,增加了训练时长,模型生成视频的细节和分辨率都有明显提升,但是否完全克服了“元素突然消失”的问题,还有待充分验证。
引领Wayve打造这些成果的,是两位联合创始人:
Alex Kendall(亚历克斯·肯德尔)与Amar Shah(已退出)。
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/7e39481b07b3cc488a7164098155e1b8.png)
两人都是剑桥大学机器学习专业的博士,于2017年创立了Wayve。
其中肯达尔去年曾陪同比尔·盖茨试乘旗下产品,比尔·盖茨后来点赞其工作:
That was fantastic!
![自动驾驶要啥实路测试?L4当红独角兽新模型:2D视频输入4D场景输出!难怪老黄看好](/wp-content/uploads/replace/7946fa9a75aee2a4a81a5e04de90310a.png)
或许是这次试乘打动了比尔盖茨,微软连续两次出手,投资Wayve。
Wayve也是不负所托,最近一年频频拿出成果,给行业带来惊喜。
时值CVPR 2024,Wayve也举办了一系列活动,PRISM-1研究人员就在现场。
到场的朋友,可以去#1712展台交流交流。
- 跨山越海,为家而来!二代哈弗H9开创「家庭越野」新品类2024-09-06
- 对话任少卿:世界模型是自动驾驶与机器人的新范式2024-09-05
- 坦克400汽油版与坦克500 Hi4-T 黑武士,联袂亮相成都车展2024-09-05
- 极石汽车致力于打造户外生活第一汽车品牌,成都车展迎来全球化战略新里程碑2024-09-04