华为重塑自动驾驶,纯血鸿蒙编程语言亮相,开发者大会杀疯了
盘古大模型5.0,重塑自动驾驶
一凡 发自 副驾寺
智能车参考 | 公众号 AI4Auto
精锐尽出,华为杀疯了。
华为开发者大会2024 (以下简称HDC 2024)震撼开幕,“纯血”鸿蒙、盘古大模型5.0、编程语言仓颉、5.5G……新成果接连炸场。
科技春晚全程高能,技术盛宴干货满满。
尤其是盘古大模型对自动驾驶的变革,引发行业关注。
AI生成视频如此逼真,自动驾驶不必依赖路测。
华为盘古大模型,重塑自动驾驶
在HDC 2024上,华为官宣盘古大模型升级至5.0,多模态能力大幅提高。
所谓多模态,即盘古大模型5.0能更好更精准地理解物理世界,包括文本、图片、视频、雷达、红外和遥感等更多模态,生成的内容更符合现实规律。
从应用落地来说,聚焦自动驾驶行业,盘古大模型5.0将支持灵活定制,生成不同路况、不同光照、不同天气的训练视频数据,时长最长可达1分钟。
在现场,华为还对这项能力进行了演示:
可以灵活定制,是要生成一条空的街道,还是多车复杂路况:
天气情况也能上上强度:
仔细观察,会发现当天气变化时,生成的车辆细节不一样:
同一辆车,雨天时车灯是打开的。
如何做到这么逼真且智能的?
背后是创新的可控时空生成技术(STGC),核心是数据和模型两个方面。
训练数据,华为采用六个视角相机,覆盖360度,累计采集和治理20万帧高质量数据。
模型方面,华为在视频生成大模型VAE和DiT架构的基础上,新增了三个输入模块:
- 3D边界框编码器(3D bounding box Encoder)
- Bev路网编码器
- 相机轨迹编码器
然后使用算法处理3D边界框和BEEV路网图,使得盘古大模型实现多视角关联学习,学习到多视角空间和时序一致性。,从而生成自动驾驶训练所需要的场景。
这有助于解决当下自动驾驶的两个难题:
数据集的泛化和边缘场景生成。
自动驾驶系统的训练非常复杂,过去依赖路测,部署车队投入大,路测采集数据成本高,时间周期长。
同时自动驾驶的能力成长,受限于遇到的边缘场景(Corner Case),比较罕见。
而且遇到边缘场景,针对性调整系统后,也不一定能复现出来验证,毕竟路况车况随时在变。
而且极端地边缘场景,比较危险。
对于这些问题,其实业内早前也提出过仿真测试的路线。
只不过过去是,先建模后渲染,构造仿真数据成本高,精度误差大。
现在,华为用盘古大模型,实现了建模仿真到AI生成的转变。
有助于自动驾驶摆脱路测依赖,收集数据不一定非要上路,降低自动驾驶训练成本。
边缘场景可生成可复现,加快自动驾驶终局到来。
此前Wayve和Waabi这类初创公司,就因相关能力受到关注,英伟达等巨头投资。
现在华为正式官宣入场,很可能会把这条赛道推向新高潮。
而自动驾驶,不过是盘古大模型重塑千行万业的冰山一角。
盘古大模型,也只是HDC 2024科技盛宴的其中一道主菜。
HDC 2024,重塑、升级与跨越
除了自动驾驶,在现场华为还提及了盘古大模型对各行各业的赋能,包括工业设计、建筑设计、具身智能和汽车设计。
华为还特别提到了,盘古大模型对新车造型设计的利好。
盘古大模型可以将原来需要1-2年设计周期大幅缩短,造型设计师可以将自己的灵感,通过对话、画图与大模型交互,生成3D数字模型。
还可进行风格化调整,以及零部件编辑,变换颜色等。
生成的数字模型还可以直接输出成3D文件,支持10几种主流格式。
设计师可以直接3D打印样品,减少制作油泥模型的轮次,极大地节省成本和时间。
除此之外,其实很早以前,盘古大模型的视觉能力,就已经用来检测汽车零部件的缺陷了。
盘古大模型升级炸场,同样官宣升级的还有5G技术。
余承东在现场宣布,5.5G的时延更低,连接数更多,今年会是5.5G商用元年。
在华为官方的预热视频中,最新机型Pura 70已经出现5.5G的网络标识,其中意味不言自明。
还是接着聊新升级对智能车和自动驾驶的影响。
据公开报道,其实从去年,有车企比如长城,就已经在试验“5G-A(5.5G)超可靠低时延汽车柔性产线”,尝试提高生产效率。
而在自动驾驶领域,无人车每天产生的超海量数据,借助5.5G也能够实时传回后台算力平台,加快算法训练。
相比盘古大模型和5.5G,可能对于普通用户来说,最关注也是感受最直接的,还是“纯血鸿蒙”,也就是Harmony Next。
新一代鸿蒙操作系统,不仅是内核、数据库和文件系统等等自主,还有配套的编译器、编程语言、开发IDE和框架。
从最底层的核心硬件,到用户交互的前端,每个开发环节实现自主,还有9亿台设备支撑的生态,动摇操作系统两强格局。
不过在大会现场,谈到Harmony Next的升级,华为更多地还是介绍对终端的影响。
但也能从中推测到,未来的鸿蒙车机,流畅度还会继续提高,车机交互会有新的想象空间,
以及华为在自动驾驶的实践,反哺到终端了。
在大会上,余承东用L1-L5的概念,来形容划分“纯血”鸿蒙升级后,语音助手小艺的推理规划能力。
他还在现场激动地表示:
今天,鸿蒙大势已定。
没有人能熄灭满天星光。
后一句话,余承东在4年前的华为开发者大会上就说过:
没有人能够熄灭满天星光,星星之火可以燎原。
如今我们看到,盘古大模型正重塑千行万业,5G技术持续升级,鸿蒙生态跨越式进化。
4年前的星火,真的已成燎原之势,汇成璀璨星河。
风雪倾轧四五年,轻舟已过万重山。
万重山后,继续领先。
- 大模型安全PK,怎么就让车厂拿了一等奖?2024-11-01
- 宁德时代给增程车提速:400公里大电池,4C超充,钠离子上车2024-10-31
- 1周载客15万单,Waymo跑出Robotaxi商业化最佳成绩2024-10-31
- 81.5万!小米SU7 Ultra开订,雷军:全面领先保时捷Taycan2024-10-30