理想暴雨测智驾,端到端+VLM上车,车主:求更新!

“领先无图一个时代”?

一凡 发自 副驾寺

智能车参考 | 公众号 AI4Auto

「自动驾驶」的上限有多高?

李想用一段视频回答了这个问题。

在宣布三年高考…啊不是,在宣布“三年L4,明年L3”后,李想再度发声谈自动驾驶,分享了团队的最新进展,还特别强调了背后的技术范式:

端到端+VLM (视觉语言模型)。

暴雨测智驾,效果挺意外

刚刚,李想发布了一段理想测试智驾系统的视频。

可以看到,即使在暴雨中,显示的车道线仍然非常清晰,系统还对场景情况进行了简述。

理想暴雨测智驾,端到端+VLM上车,车主:求更新!

驾驶决策也很果断,嫌前车太慢,直接就是一个变道:

理想暴雨测智驾,端到端+VLM上车,车主:求更新!

右转过路口比较顺畅,过弯就避让:

理想暴雨测智驾,端到端+VLM上车,车主:求更新!

车主一整个期待住了,求快更新:

理想暴雨测智驾,端到端+VLM上车,车主:求更新!

在视频中,测试者还特别强调,“真的没有用到图”。

因此视频所展示的,很可能就是还在内测阶段的理想无图NOA,目前测试范围扩大至一万人,预计将于今年三季度正式推送。

对此,有理想智驾团队成员转发微博称,理想端到端+VLM技术“超越无图一个时代”

理想暴雨测智驾,端到端+VLM上车,车主:求更新!

很多网友也是对此表示震撼,点赞理想的智驾进展:

理想暴雨测智驾,端到端+VLM上车,车主:求更新!

实际落地,是否有网友们说的这么夸张,目前还不得而知。

但从公开成果来看,理想近期确实在智能驾驶方面,取得了一些不错的进展。

来,咱们一起扒一扒。

理想汽车近期的重要工作

理想汽车近期在智能驾驶方面有三项重要进展,先来看感知层:

理想联合中山大学,提出了一个名为UA-Track的3D多对象跟踪框架。

该框架主要是针对自动驾驶感知中的不确定性问题进行了优化,比如目标对象尺寸过小,或是被遮挡,造成跟踪不准确。

理想暴雨测智驾,端到端+VLM上车,车主:求更新!

框架主要包括三个关键组件:

  • 不确定性感知概率解码器(Uncertainty-aware Probabilistic Decoder), 简称UPD。引入了概率注意力机制,来捕获目标预测中的不确定性。
  • 不确定性引导的查询去噪策略(Uncertainty-guided Query Denoising),简称UQD。在训练阶段模仿实际跟踪过程中,目标可能会受到的遮挡和观测误差,增强模型对不确定性的鲁棒性和收敛性。
  • 不确定性降低的查询初始化(Uncertainty-reduced Query Initialization),简称UQI。利用预测的2D对象位置和深度信息来减少查询不确定性,提高初始对象定位的准确性。

这三个模块组成了一个端到端的系统,从输入图像直接生成跟踪结果。最终整体还会平衡损失函数,实现整体性能的最优化。

UA-Track在nuScenes(多模态3D自动驾驶数据集)基准测试中取得了最先进的性能,测试集上的AMOTA(平均多目标跟踪精度)达到了66.3%比之前最好的端到端解决方案提高了8.9%。

理想暴雨测智驾,端到端+VLM上车,车主:求更新!

这是理想在感知层取得的最新成果,此外,理想还联合清华大学等单位,进行了TOD3Cap工作,提出了一种对象级的稠密图文对数据的生成方案

可以对3D场景下的每个对象,生成详细的自然语言描述。同时还开源了一个室内外数据集。

理想暴雨测智驾,端到端+VLM上车,车主:求更新!

相比这两项工作,可能另一项工作DriveVLM大家更熟悉些,也是理想和清华的合作成果。

李想近日在出席重庆论坛时提到过,将人类快慢思考引入到AI算法中,整个自动驾驶系统一分为二:

传统的感知、预测、规划,这种模块化的范式对应第一类系统,是智能体基于人为手动写好的规则,就像人根据直觉和应急变化,做出快速反应。

不需要复杂的过程,应对常见场景没问题,响应迅速,需求算力也不高。

理想暴雨测智驾,端到端+VLM上车,车主:求更新!

但是,很显然解决不了无穷无尽的Corner Case,怎么办?

这就需要借助第二类系统VLM,具备一定的通识能力,通过端到端的场景理解,识别物体和预测,进行决策和轨迹规划。

算力消耗大,需要更长的推理时间,好处是能够处理复杂场景,以及从未见过的长尾场景。

理想暴雨测智驾,端到端+VLM上车,车主:求更新!

这些重要工作,为理想实现智能驾驶突破,提供了技术底层支撑。

通过测试视频,看起来理想下一阶段的智驾能力很不错。

当全面推送后,考虑到理想汽车的保有量,想必能力也会较快速的迭代,更上一层楼。

当然,具体能力会达到什么水平,还是要「上路见真章」。

什么时候,全国推送?

参考链接:

理想暴雨测智驾:https://weibo.com/1243861097/OiI9G30X8

清华MARS Lab解析DriveVLM:https://zhuanlan.zhihu.com/p/692173066?utm_psn=1784386450537615360

论文传送门:

UA-Track: Uncertainty-Aware End-to-End 3D Multi-Object Tracking
https://arxiv.org/pdf/2406.02147

TOD 3Cap: Towards 3D Dense Captioning in Outdoor Scenes
https://arxiv.org/pdf/2403.19589

DRIVEVLM: The Convergence of Autonomous Driving and Large Vision-Language Models
https://arxiv.org/pdf/2402.12289

版权所有,未经授权不得以任何形式转载及使用,违者必究。