谷歌都烧不动了！自动驾驶数据存储之困：落地越多数据越大成本越高
自动驾驶最新落地挑战曝光
邓思邈 发自 副驾寺
智能车参考 | 公众号 AI4Auto
自动驾驶最新的研发和落地挑战曝光了：数据存储成本高昂，自动驾驶公司正在想办法“节食”。
这不，谷歌旗下Waymo摊牌了——
现阶段更注重自动驾驶数据的质量，而不是数量。
必须筛选出有保存价值的数据，丢掉没有价值的数据。
其实，这也是在Robotaxi相继落地凤凰城、旧金山后，不得已做出的选择。
很显然越往后发展，数据成本会越大…这对于自动驾驶是新的考验。
更加注重数据质量
对于自动驾驶数据，Waymo定下了明确的要求。
根据最新消息，近日Waymo为负责计算基础设施的团队设置了严格的数据上限。
他们现在只保存新采集的数据，将老的数据删掉，因为与当前的技术、实际情况和各项优先级相比，之前的数据已经过时了。
此外，Waymo公司从上到下都需要配合——各个团队被分配了不同的数据存储限额。
例如，有的团队负责让车辆识别周围的环境（感知） ，有的团队则基于以往的乘坐经历来测试软件更新（评估），这些小组都需要对数据进行取舍。
如果他们选择保留车辆应急突发事件的数据，那么系统就会自动过滤掉其他无关的数据。
Waymo做出这一改变后效果如何？
软件工程师查塔姆透露，他们的“新政”非常奏效，随着Robotaxi车队规模的扩大，他们必须尽快舍弃掉没用的数据。而且他还说，对自动驾驶数据的存储量进行节省，有时能激发创造力，并提供有价值的发现。
举个例子，因为要节省存储量，他们就会思考，下雨和下雪哪个天气状况下的数据，对于他们业务发展来说更重要？
最后他们得出的结果是下雪，一方面是他们现在采集的下雪数据量很有限，另一方面是他们的车辆应对下雨天气处理得更好了，因此不需要再花费过多精力。
而且他们还发现与下雨有关的数据把停车时的数据也都采集来了，他们认为这很没有必要。
事实上，Waymo对待数据的态度，并非一成不变。
最开始十多年前，自动驾驶还是谷歌内部的一个小项目时，要想存储更多的数据并不容易。
在当时，没有明确用途的数据会被他们删掉，例如自动驾驶操作失败的记录。
到了2016年12月，从谷歌独立出来后，Waymo对于数据存储有了更多独立性和自主权。
当时他们大幅增加了数据存储容量，团队对保存的自动驾驶数据也不那么挑剔了。
例如在2019年末，他们开始测试捷豹I-Pace这款Robotaxi时，由于配备了更先进的传感器，生成的数据量也更大了，以至于当时测试车1个小时采集的数据量超过1100GB，足以填满240张DVD光盘。
直到现在，又开始对数据进行节制了。这个从紧到松再到紧的变化过程，根本上反映了Waymo目前的经济状况。
今年年初面临裁员、还收缩了自动驾驶卡车业务，如今随着Robotaxi服务范围的扩大，Waymo这时就需要从各方面来节流。
数据存储就是一个重要切入口。简单举例，英特尔在2016年就估计，每台无人车每天将产生4000GB的数据量，以亚马逊目前的收费标准计算，存储一年的成本约为35万美元（折合人民币约为244万元）。
随着自动驾驶技术的发展，如今的数据存储成本已远远超过了这个数。
其他自动驾驶公司怎么样？
对数据越来越挑剔的，不止谷歌Waymo一家。
通用旗下Cruise表示，在旧金山采集的数据中，只有不到1%的数据被团队认为有用，所以他们现在也不会选择在云端存储所有的数据。
随着车队规模的不断扩大，Cruise正致力于改进其数据存储系统，目的是使自动驾驶落地变得更容易、成本更低。
现代汽车与安波福（Aptiv）合资组建的L4级自动驾驶公司——Motional也存在类似的情况。
据Motional副总裁Balajee Kannan表示，那些罕见的东西和不太寻常的场景会被删除掉，比如道路上的障碍物或带有冲浪板的自行车。更繁忙场景的数据最有可能被保留下来。
除了删除掉没有价值的数据，另外一个办法是对数据进行分级存储，对于那些访问频率较低的冷数据，可以存储在性能合适、成本较低的基础设施之上。
谷歌无人车开创者克里斯·厄姆森（Chris Urmson）创办的Aurora，就用了这样的办法。
他们目前通过使用自动化系统对无人驾驶卡车产生的数据进行分类，而且工程师也会标记关键的数据，例如最近发生的危险事故等，以确保这些数据以常规的方式进行存储。
而那些不常用的数据，每个月都会陆续被转移到较冷的存储区。直到三个月后，才会对大量的数据进行删除。总体来说，只有大约15%的数据位于Aurora最容易访问的存储层。
另外，图森也表示他们会在四年后，将大部分数据转换为冷存储。
总的来说，日后随着自动驾驶技术的提高、传感器数量的增多、车队规模的扩大，数据存储的成本会只增不减。
诚然，自动驾驶公司如果想要降本增效，就必须在节省流量费用、节省存储资源及计算资源上下功夫。
这是新的挑战，也是新的机遇。
文章参考链接：
https://www.wired.com/story/self-driving-cars-are-being-put-on-a-data-diet/
https://baijiahao.baidu.com/s?id=1761056932090741984&wfr=spider&for=pc
- 网红越野坦克500出混动了：动力倍增油耗只有6个，33.5w开卖2023-07-06
- 中国自动驾驶开启出海模式：文远知行拿到中东首张国家级牌照2023-07-06
- 超可靠智慧性能SUV再升级，AITO问界M5标准版正式亮相2023-07-03
- 百亿激光雷达独角兽IPO：去年出货5万7，卖一个赔本9千块，小米菜鸟吉利都是股东2023-07-03
相关阅读
