Waymo最新最强自动驾驶模拟器,刚刚对外开源了

轻量级,支持硬件加速器的多智能体模拟器

曹原 发自 副驾寺

智能车参考|公众号AI4Auto

Waymo联手谷歌,发布最新自动驾驶仿真模拟器。

和比较常见、提供十分逼真的车辆和道路环境的仿真模拟器不同,Waymax的图像简洁到有点粗略了:

Waymo最新最强自动驾驶模拟器,刚刚对外开源了

但别看效果图只剩下小方块和实线虚线,实际上这是一个复杂而细致的多智能体环境,能让自动驾驶系统更好学习决策和规划:

Waymo最新最强自动驾驶模拟器,刚刚对外开源了
Waymo最新最强自动驾驶模拟器,刚刚对外开源了△处理拥堵,系统能更像人类司机

更重要的是,Waymax各项代码文件已开源

并且在Waymax的开发团队中,还有不少华人科学家的身影。

Waymo最新最强自动驾驶模拟器,刚刚对外开源了

Waymax有什么特点

首先,Waymax是一个更专注自动驾驶决策和规划层面的自动驾驶仿真模拟器,并且提供的是多智能体场景

Waymo最新最强自动驾驶模拟器,刚刚对外开源了

智能体(agent)是自动驾驶仿真中常见的术语,也会译作“代理”,代表的是自动驾驶车辆、行人、其他车辆、公交车等等路上常见的道路交通参与者。

为什么要叫智能体?

是因为在这样的仿真场景下,每个智能体都具有一定的自主决策和行为能力,让仿真场景从交通参与者的角度更接近真实环境。

Waymo最新最强自动驾驶模拟器,刚刚对外开源了△比如图中这些粉色的框

并且,传统模拟器往往采用预定义的智能体,人为编写智能体应该做什么,但往往和真实情况有差距。

Waymax提供的则是利用Waymo Driver(Waymo自动驾驶平台),收集到的超过数千万英里真实世界自动驾驶数据,提前构建出的智能体,更符合现实情况。

从Waymax的效果图也能看出,Waymax是一个轻量级模拟器,方便进行快速迭代。

Waymo最新最强自动驾驶模拟器,刚刚对外开源了

Waymax完全使用JAX编写,可以运行在TPUs、GPUs等硬件加速器上,支持单图内仿真训练,同时支持大规模、分布式机器学习工作流。

并且,Waymax也支持在线训练和评估。

那么,Waymax都包括什么?

Waymax的介绍

首先,在数据使用方面,Waymax支持三种方式:

  • 从Waymo开放数据集(Waymo Open Motion Dataset)加载数据(需要在Waymo的网站上注册);
  • 从本地磁盘加载数据;
  • 通过Google Cloud远程流式传输数据;

其次,Waymax定义了五个评估车辆行为的指标,包括:

Waymo最新最强自动驾驶模拟器,刚刚对外开源了

在车辆模拟的动力学模型方面,Waymax支持两种,分别是直接基于状态的控制模型,和自行车运动学模型

其中,直接基于状态的控制模型允许用户直接设置车辆的位置,方向和/或加速度,不考虑运动学约束。

也就是用户可以完全控制车辆状态,模拟器则根据用户提供的状态来模拟车辆行为。

自行车运动学模型通过加速度和转向来控制车辆,并将车辆模拟成一个没有摩擦的刚体,考虑车辆的运动学特征,可以更精确模拟车辆行为。

Waymax模拟器的默认帧率是每秒10帧(10Hz),和Waymo开放数据集使用的帧率相同。用户也可以根据需要自行调整帧率

Waymo最新最强自动驾驶模拟器,刚刚对外开源了△发生碰撞的演示

而对于仿真场景中未受控制对象,Waymax也支持三种操作模式允许智能体模拟行为,包括日志回放(Log playback),基于IDM的路径跟随模型(IDM-based route-following model),以及用户自定义模型

Waymax还支持强化学习训练,提供两种常用接口,包括无状态仿真接口(类似Brax API)和有状态仿真接口(实现dm-env API)。

为什么做出Waymax

Waymo这几年都会举办公开仿真智能体挑战赛(Waymo Open Sim Agents Challenge),Waymo在模拟器中预先放置了智能体,研究人员需要训练这些智能体能够和车辆进行尽可能真实的交互。

而在2022年的挑战赛中,Waymo意识到自己没有建立足够强大的模拟器来训练智能体。

所以,Waymo和Google DeepMind合作开发出Waymax,可以实现闭环运行,并且能持续监控和调整自动驾驶系统的行为,以实现训练自动驾驶系统的目的。

Waymo最新最强自动驾驶模拟器,刚刚对外开源了

对于自动驾驶系统来说,仿真模拟是更经济安全的测试和评估性能的方式。

所以这就要求仿真模拟器不仅能够提供真实的仿真环境,同时环境中各种物体应该像真实道路上的车、行人、自行车等等一样,能够自我决策该怎么走,以及要做出什么反应。

因此,仿真模拟器需要提供能够互相交互的智能体,最好还能低成本、可以快速迭代训练。

Waymo副总裁、研究主管Drago Anguelov表示:

Waymo开放数据集还有Waymax,是想引导学术或研究讨论能朝着我们认为有希望的方向发展。我们也非常期待其他研究人员利用这些资源能开发出什么技术。

并且Anguelov还说,明年Waymo可能会重新举办一次仿真智能体挑战赛,就用新的模拟器Waymax

Waymo也提供了一份Waymax详细的代码和教程,感兴趣的可以试起来了~(不可商用)

代码传送门:https://github.com/waymo-research/waymax

论文传送门:https://arxiv.org/abs/2310.08710

参考链接:https://techcrunch.com/2023/10/19/waymos-new-simulator-helps-researchers-train-more-realistic-agents/?guccounter=1

版权所有,未经授权不得以任何形式转载及使用,违者必究。