蔚来AI大模型正式上车：NOMI进化无限畅聊，有问必答
表情更多更聪明，一句话生成任务场景
曹原 发自 副驾寺
智能车参考 | 公众号 AI4Auto
蔚来大模型NOMI GPT，正式上线。
语音助手NOMI现在不仅更聪明，拥有各种各样的用车、百科知识。
还能懂“感觉”，根据用户要求生成对应氛围灯，比如这是春游的氛围：
更进一步的是，NOMI还可以一句话创建任务场景。比如小孩上车时打开儿童锁和后排屏幕锁；工作日我上车时自动导航去公司、并且空调打开到23度。
原来大模型是这么用的？
都进化了啥功能
这次升级，NOMI升级后首先会拥有5大功能，官方给出的名称分别是大模型百科、用车问答、无限趣聊、趣玩表情和魔法氛围。
其中大模型百科和用车问答功能顾名思义，就是无论是关于用车相关的问题、还是其他百科、出行攻略、创作文案、总结整理信息等等问题，NOMI都能解决。
比如问仪表盘上有人背着大宝剑的图标是什么意思？NOMI会回答：
或者让NOMI推荐5个周末适合带娃去的公园，NOMI会介绍：
并且NOMI的回答还能支持表格展示，比如让NOMI把周杰伦每张专辑的发布时间列个表格出来。
其次的无限趣聊则是可以与NOMI不限轮次谈天说地。
比如可以让NOMI吹吹你的彩虹屁、在你不开心时安慰一下你；或者聊聊你感兴趣的音乐、影视类内容，让NOMI分享它喜欢某一首歌的哪句歌词；还能一起玩猜字谜、猜动物的语言游戏；还有角色扮演，可以让NOMI扮演李白和你对话。
趣玩表情意思是升级后的NOMI，表情更多更丰富，包括160+个。你可以让它直接做个鬼脸、吹泡泡；还能匹配指令显示对应表情。
比如这是春节收到很多红包的表情：
另外还能展示表情九连拍，让NOMI连续展示一连串的表情。
最后的魔法氛围就是可以让NOMI营造各种氛围，可以直接和NOMI说，来个XX氛围的氛围灯，NOMI就会从超过1670万种的氛围灯中选出它觉得最适合的那种。
比如这是照亮前程的氛围灯：
而除了以上这些功能，这次的重头戏就是上线AI场景生成功能，支持一句话创建场景任务，还能取个名字。
基础一点的有，“工作日早上我上车时就自动导航去公司，把热点打开，空调调到23度，然后播放NIO Radio资讯充电站”，NOMI就会生成场景，并命名为“上班通勤”模式。
并且不只是车主，也能创建其他用车人员的模式。比如：当副驾上车的时候，打开座椅按摩并对他说加班辛苦了，NOMI就会创建为“归来舒缓”模式。
并且还能让NOMI提醒车主下车时不要忘记携带随身物品，或者到达出游地点后提醒大家先合个影等等。
那么这些能力，又是怎么实现的？
蔚来NOMI GPT大模型上车
此次升级，一大核心就是NOMI GPT端云多模态大模型上线。
基于蔚来自研端侧多模态感知能力，参数规模数十亿，可以收集图像、音频，还有从车身传感器的多模态的信息，让NOMI能“看见”、“听见”，并且感受车内和车外的人和环境。
另外，NOMI还拥有认知中枢，能根据收集到的多模态信息，通过推理分析形成复杂任务的处理能力，包括中控分发、多模拒识、跨域继承&跳转和多Agent决策环节。
也就是说NOMI根据所说内容，结合对话上下文、感知以及状态信息，去判断这里需要调用任务型交互、问答闲聊还是用车助手；并且综合判断这是在和NOMI交互，还是在和车内其他人聊天，如果是后者，NOMI就无需插嘴。
对此蔚来还宣布首创模态内外多维度对比学习技术，并应用于NOMI的对话系统中，让NOMI的误识别率和误拒识率均在2%以内，以及调度分发单轮准确率达到98%以上，长距离多轮分发准确率达到95%以上。
即升级后的NOMI处理用户指令时更准确和可靠，在单次交互和连续多轮对话中都能保持高准确度，提升用户体验。
并且，新的NOMI还拥有情感引擎。
此前NOMI已经拥有记忆能力，包括短期记忆和长期记忆，情感引擎则是在此基础上帮助NOMI通过实时反馈、事后反思、人为训练等方式，变得更聪明、掌握新技能和新知识。
NOMI甚至可以拥有人设，包括性格、三观、梦想等等，让回答不仅符合自己的人设，还贴合用户的使用习惯。
同时，蔚来还预告，由于新一代电子电器架构已经打通智舱和智驾，座舱内模型计算可以调用智驾芯片算力，再加上蔚来认为自己拥有行业最牛智驾算力——4颗英伟达Orin X， 共1016TOPS，所以未来还会有更多的功能上线。
另外，由于多模态能力包括识别用户、穿着等比较私人的信息，蔚来还承诺新系统做到敏感信息不出车、账号之间互相隔离、车载通信端到端加密等，保证数字安全。
包含大模型百科、用车问答、无限趣聊、趣玩表情、魔法氛围以及AI场景生成功能，会和Banyan·榕 2.4.5 CN版本从今日开始推送，大概会在一周内推送完毕。
车主可将车机版本升级至Banyan 2.4.5、NOMI应用版本升级至20.4.20.192，就能开始使用以上这些功能，
而NOMI的端侧多模态感知能力正在内部测试，预计在年内推送上车。
不难发现，打通座舱内任务调用，一句话调用车内功能已经是最基本的能力，而且语音助手能完成用车知识、百科知识问答，也逐渐成为座舱标配，相关能力已经从“有没有”发展到“好不好”的竞争。
并且蔚来认为，虽然行业内语音助手功能也有很多家做得好，甚至做得久，比如小爱和小度，但对于座舱的理解蔚来拥有自己的优势。
再加上蔚来一直在思考大模型能力和整车进行更深入的融合，这份思考非常扎实；以及思考背后带来的各种各样的技术，包括算法、工程、服务等等，蔚来的这些优势也不是别人很容易就能追得上的。
那这份优势是否能转换成行业口碑，还要等全量推送后，看看车主的评价。
这次蔚来NOMI升级的能力，有戳中你心巴的吗？
- 哪吒冲刺港交所IPO，上市起点碾压蔚小理，然而一步慢步步慢2024-06-28
- 注意，北京无人车接送机不免费了2024-06-28
- 广东造车新势力，爆雷了2024-06-25
- 百亿造车新势力破产清算！市值缩水超99%，欠债超10亿，债权人还吵起来了2024-06-24
相关阅读
