首个AI内核操作系统!断网挑战花样玩法,个人化属性拉满
端侧大模型已成新趋势
明敏 鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
手机有了大模型,玩转vlog剪辑这么简单了?
只需给手机智能助手提要求,“帮我生成XXX的视频”。
然后它立马从相册里找到相关的素材。
点击生成视频,立马一个剪辑精美的视频就来了。
这个效果来自于荣耀最新发布的MagicOS 8.0操作系统(中文名:魔法OS 8.0),如上对话成片的能力,源于荣耀魔法大模型与MagicOS的深度结合。
这是一个以平台级AI为内核的新系统,并创新性地引入端侧大模型全面使能AI内核。
不只是会搞创作,它还能利用深度语义理解+意图识别,成为“个人智能助理”。
比如老师发来的家长会消息,长按就能一键创建日程。
也有多模态能力,长按邀请函、一拖,就能识别具体时间地点主题,然后一键加入日程。
如此看来,平台级AI+MagicOS,让手机越来越有智能私人助理那感觉了~
而且这种体验离普通人都很近,荣耀在发布会上表示,11号开启MagicOS 8.0公测计划,新老机型都能陆续体验。
如果是最新机型Magic6的话,还能在骁龙8 Gen 3的支持下,把大模型带到端侧,甚至“断网都能用”,隐私数据留存在端侧无需上云。
而这些还不是MagicOS 8.0的全部能力。具体还有啥?一起来看。
首发意图识别人机交互
以平台级AI为新内核的MagicOS 8.0,带来行业首个基于意图识别的人机交互。
从定义出发,意图识别交互是让设备可以主动理解意图完成任务。
这种新范式具体该怎么做?MagicOS 8.0上新的核心功能之一——“任意门”可以带来更直观的理解。
“任意门”基于Magic Live平台级AI、多模态意图识别引擎、意图分析决策平台实现。
带来的关键改变就是,APP之间的跨转可以一步直达了。
举个栗子。往常我们从小红书上种草了一个物品,需要先在小红书上保存图片,然后手动切换到购物APP,选择识图搜索,最后才能开始浏览商品。如果还想进行比价,还需要再切换另一个购物APP。
而“任意门”能将这个非常繁琐的流程,简化成两步:长按+一拖。
比价也更加简单,两个APP都能变成浮窗放在屏幕侧方,方便来回查看。
或者是在短信上收到地址,也能长按、一拖,通过“任意门”一步导航。
这种帮人省事的操作,对于不擅长手机操作的人群来说,更加有必要。
比如对于老年人来说,输入法打字都存在门槛,更别提在各种APP上搜索了。
“任意门”基于多模态能力,可以长按识别照片中的文字,然后选中、复制粘贴,一拖直接搜索。
不只是任意门的“一按一拉”,还有三指下滑,可以收藏在手机上看到的各种信息。把各个APP中的收藏,集中整合到一起,最后能在手机上形成一个个人知识中心。
除此之外,MagicOS 8.0还带来了系统级的主动服务。
比如收到出行短信,就可以自动创建日程。
截图聊天软件中的日程信息,点击“创建日程”,系统就能识别其中的时间地点等信息,创建对应日程。
还有灵动胶囊,率先使用了眼动交互。当应用以灵动胶囊卡片的形式放在桌面时,注视胶囊即可跳回到应用内。
值得一提的是,针对打车这种不方便操作手机的场景,MagicOS 8.0会根据实时追踪在耳机内播报信息。
考虑到现在大家日常经常是不同设备协同使用,MagicOS 8.0还构建了一个信任环。
手机、电脑、平板、手表、耳机、车机、打印机都能加入。
比如上班路上正在看的文档,可以从手机向上一拖,直接发送到电脑。
综上就是MagicOS 8.0意图识别交互的亮点功能。
智能化方面的升级,得益于荣耀平台级AI以及端侧大模型的加持。
MagicOS 8.0是以平台级AI为内核、为底座。
它基于“Magic Live智慧引擎”。相较于传统的OS内核,它不是单纯基于设备的资源进行计算,而是更加关注手机用户个人,比如位置、状态、个人习惯、知识库等人因元素,就像是钢铁侠的贾维斯那样。
此外,为进一步增加平台级AI对人因元素的学习和理解,荣耀正式发布了自研70亿参数大模型“魔法大模型”。通过和高通联合开发调试,魔法大模型经过量化压缩后可被部署在骁龙8 Gen3上,也就是能在“端侧、离线运行”。
因为没有上云,用户的个人数据可以被更好保护;同时,模型在端侧可以更好利用数据,对用户个人的习惯、意图深入学习。
而在大模型的加持下,平台级AI具备了智能认知能力,可从场景感知进化到感知理解,能对内容进行推理学习,还可以对复杂任务进行拆解。
由此可以把以往系统被动的响应、变成主动服务;让设备可以更理解人;让传统的触摸交互,升级为多模态交互。
也是基于这些改变,MagicOS 8.0才能带来基于意图的智能终端交互新范式,并且在新机Magic6上首发。
不过,想要让大模型能够系统级地融入到手机OS,并不是一件易事。从性能与功耗的平衡,到能力与场景该如何结合,当下行业内还没有形成标准答案。
所以,明确提出意图识别人机交互的荣耀,具体是怎么做的?
70亿参数大模型如何进手机
尽管与千亿、万亿规模的云端大模型相比,70亿参数量看上去并不算大,但实际上,一个70亿参数的模型在网络上也要占到二十几个G。
对于手机这样的终端载体来说,能不能放得下、放进去后能不能正常运转,都仍是业界普遍关注的技术难题。
第一重直观挑战,就是如何把如此大的模型“装”进手机。
这里涉及到的关键技术,是AI量化、压缩技术。荣耀透露,荣耀联合高通在大模型量化压缩方面进行了深度调优,“魔法大模型”被部署在骁龙8 Gen3上,能实现流畅的端侧运行。
举个具体的例子,荣耀在内部打造了高性能加速平台,基于这一平台的量化压缩、算子加速和芯片智能释放能力,一个20G+的7B参数大模型,能被压缩至原本的1/6。
解决了大模型进手机的问题,还只是第一步。大模型要成为操作系统内核的重要助力,真正去理解用户的意图,完成各种功能调度,还面临一重重大挑战:算力。
在这个环节上,荣耀同样和高通进行了深度合作:双方联合优化了端侧AI大模型的推理性能,以充分释放端侧NPU算力。
同时,荣耀和高通还从系统调度层面,对大模型带来的功耗问题进行了深度优化。在隐私安全方面,双方联合优化了端侧AI大模型应用的数据通道保护,以保障用户数据安全。
值得一提的是,荣耀MagicOS 研发向我们透露,此番MagicOS 8.0展现出意图识别人机交互能力,可以理解为AI Agent能力的展现。
实际上,7B的魔法大模型是MagicOS 8.0大模型能力中最大的一个模块,具体任务调度中,大模型会调度更小的1B、3.5B模型来解决问题。
荣耀CTO邓斌进一步解释说:
大模型真正的核心能力是完成任务闭环。
荣耀更专注在把一个通用模型分解成多个专用模型。先对用户的意图进行对话理解,再用专用大模型去解决问题。
如此一来,就能进一步解决大模型进手机面临的内存、功耗问题。
端侧大模型在保护用户隐私、提供专属服务方面,有着不可替代的价值,是大模型在终端落地应用的关键所在。
但不可否认的是,参数量更大的云侧大模型,拥有更强大的智能涌现能力,同时,很多垂直领域大模型也是在云侧部署的。
此前,荣耀CEO赵明就曾发表观点,认为“未来端侧AI与云侧AI相结合,才能更好地满足用户需求”。
为了接入云侧大模型,同时又要保证隐私数据不出手机,荣耀还自研了大模型中控平台,实现端侧大模型、通用大模型以及垂域大模型的安全高效连接。
简单来说,就是在调用云侧大模型时,端侧大模型会帮你将隐私数据留存在本地,同时根据简单对话分析理解用户的真实意图,生成更为详细的prompt来与云侧大模型交互。
这一方面保障了数据安全,另一方面也简化了用户与云侧大模型交互的过程。
以荣耀与航旅纵横正在联合打造的智慧出行为例,在荣耀Magic6上告知YOYO智能助手“下周一要到北京出差”,YOYO智能助手就会在本地根据对日程、用户个人习惯的理解,get到用户具体何时要出发、从哪里出发,进而将需求分解到具体的航班时间和航司要求,脱敏后调用航旅纵横千穰大模型给出航班推荐。
△该案例预计于今年上半年完成落地
发布会上,荣耀还发布了百模生态计划,即以自研中控架构打造一个“大模型货架”,让通用模型、垂域模型都能加入到大模型移动应用生态当中。
值得关注的是,这样依托于大模型,打造个人化操作系统的技术能力,对于荣耀而言并非一蹴而就。
赵明在新荣耀三周年之际提到:操作系统的个人化是荣耀发展的方向。
从荣耀独立的那天起,我们就重资投入AI领域。AI大模型出来之前,荣耀打造的是平台级AI的能力,是让手机越用越懂你,越用越好用。平台级AI不仅仅是拍照,还有手机的流畅度,各种应用调度更加精准,用AI能力使能荣耀手机的各个维度。
荣耀认为端侧大模型是平台级AI演进和发展的升级。
目前,荣耀AI研发费用已累计达100亿,AI专利成果达2100篇,AI意图识别达600类。
大模型时代,AI新生态已现雏形
大模型技术带来的变革,核心是人机交互方式的变革。而大模型应用落地场景从云上向端侧的迁移,正在让这个趋势越来越明朗。
在此过程中,荣耀这样的终端厂商,无疑正在扮演越来越重要的角色:
通过端侧大模型的能力,在保证数据安全的情况下,充分分析、理解用户个人数据,让“贾维斯”这样的超级助手离现实更近一步。
进而,用户能够通过手机这一窗口,连通大模型重构的一切,在新的技术时代,将“提出问题”的难题交还给大模型,用更简单的方式实现更复杂的目标。
站在开发者的角度,新的应用生态、新的技术机遇也由此出现:
大模型和手机终端的结合,已经率先由中国手机厂商卷起热浪。在终端AI领域,中国手机厂商和中国开发者强强结合的机会正在显现,有望在大模型全球竞速中,在应用领域建立起优势。
就在荣耀MagicOS 8.0发布现场,荣耀还官宣,2024年荣耀远航计划扶持资源额度提升至20亿,聚合应用分发、服务分发、内容分发等全场景,提供2000+以上扶持名额,助力中国应用服务出海,加速激励和扶持开发者创新。
而在2023年底,荣耀云业务已全面升级,面向中国市场推出全域自研产品矩阵,包括应用市场、游戏中心、主题中心、智慧服务等,意在以新渠道、新流量为生态伙伴解锁新增长。
值得关注的是,荣耀在2022年后海外业务发展迅猛。市场调研数据显示,2023年第三季度欧洲手机市场中,荣耀是全球唯一正增长的手机品牌。
另外,荣耀旗舰机Magic系列2023年前三季在海外市场的销量同比增长超300%,不到10个月里,荣耀在法国、意大利、西班牙和罗马尼亚等多地实现了3-7倍的增长。
这也是华为之后,中国手机厂商在欧洲市场的全新突破。
出海战略之下,正如赵明所说,“中国荣耀远远不够,我们要打造世界荣耀”。
或许这一次,将会改变每个现代人生活体验的外挂大脑,正在从中国出发,将风暴吹向世界,而中国AI也将成为世界荣耀。
— 完 —
- 科研版AI搜索来了!知乎直答接入正版论文库,一手实测在此2024-11-01
- 微软清华改进Transformer:用降噪耳机原理升级注意力,一作在线答疑2024-11-03
- o1满血版泄露!奥数题图片推理手拿把掐,奥特曼上线剧透o22024-11-03
- 全国第二!智平方荣获第十三届全国创新创业大赛初创型企业全国总决赛第二名(新一代信息技术赛道)2024-11-03