实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结
系统级功能都是Agent级
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
都说2024会是AI Agent元年,杀手级应用将要出现。
但就在开年,已经看到不一样的思路。
与其做单个Agent应用,不如把系统能力提升为Agent级。
不仅让大模型加持智能助手,还能让系统工具也具备AIGC能力。
比如一键消除照片中的人群:
让AI总结打电话内容:
而且语音摘要处理全程加密,生成内容完全存储在本地。
如上效果,都来自OPPO最新发布的Find X7系列。
它内置端侧大模型,整个手机、系统的AI浓度拉满。
通过端云协同,首发了AI大模型语音摘要功能,系统还可直接搞定AI文章摘要、AIGC消除。同时智能助手小布也拥有超过100+AI能力。
具体能力到底如何?我们实测了一把~
手机更像Agent了
结合发布来看,这一次Find X7系列主要带来的新AI能力体现在4个方面,图文语音都覆盖了。
- AIGC消除
- AI大模型语音摘要
- AI文章摘要
- 小布助手升级
值得关注的是,其中有三个方面都体现在系统应用上。
AIGC消除内置在系统相册里。只需把想要消除的内容圈起来,或者涂抹掉,大模型就能识别、消除。
处理效果非常自然,看不出任何修改的痕迹。
它支持识别与分割的主题超过120类,可以实现发丝级的分割、高达6个的多主体分离,以及超大面积图像的填充和自然生成。
第二个升级的系统级AI能力是AI大模型语音摘要。
Find X7系列内置端侧大模型,让手机本身具备了更高理解能力。
打电话时只要点击“智能摘要”,在结束通话后即可得到一份总结。
总结中不仅包括重点提及的时间、地点、事件,而且会清楚区分电话双方分别说了什么内容,智能摘取出待办事项。
与此同时,在端侧大模型支持下,手机本身也具备了文本摘要总结能力。
在各种网页、APP中看到的长文,都可以通过双指按屏、一扫,总结摘要。
摘要最长可生成14000字,生成速度也非常快。200字首字生成带来20倍更快响应,2000字首字生成可以实现2.5倍更快速度。
而除了这些系统工具更加AI化,小布助手本身也有了重大升级。
它现在具备100多种AI能力,可以覆盖日常生活、办公创作等场景。
对话语气也更加自然,会根据场景带入角色和情绪。
如上就是“大模型手机”OPPO Find X7系列带来的最新AIGC能力。
可以看到,在拓展AndesGPT对应用、终端的影响上,OPPO的脚步非常快。距离ODC 2023才过去不到2个月,就又有新能力释放,而且还给了新思路。
“意料之外”与“情理之中”
有点意外的是,这些新增能力没有局限于智能助手小布,而是同时把系统功能AI化。
这是一种比较新鲜的尝试。
当下,大模型影响移动终端的终极想象比较统一,就是把系统打造成一个强大的Agent,让人和手机的交互,变成钢铁侠和贾维斯那样,人类只需发出指令,所有操作交给系统自己完成。
具体如何走到这一步?
一种通常的思路是,通过大模型不断加强系统智能助手的能力,直到它能够自如操作系统。
从OPPO当下的动作来看,其实还可以有一种思路:让系统开始AI化,打造Agent级的系统功能,而且要从最日常的功能开始入手。
相较于前者,这种思路的好处有很多。
一方面,用户能更快在手机上把AI用起来。而且最先Agent化的功能都是用户最常用的功能,提升它们的能力,满足用户提升体验的基本要求。
另一方面,厂商也能在这一过程中,逐步积累技术,基于实践洞察用户需求,做更有针对性的创新,慢慢让操作系统转变为强大的Agent。
这种新思路在2024开年提出,无疑给Agent元年打开新趋势。
那么问题来了,为什么OPPO会想到这一方向?基于哪些实践?背后又有哪些思考?
OPPO安第斯大模型的“英雄出处”
想要回答这些问题,还要从OPPO的大模型脚步看起。
梳理来看,主要可分为三个部分:
- 大模型能力积累
- 大模型与系统深度融合
- 软硬一体,全面赋能智慧交互体验
首先在基础能力探索方面,对于OPPO而言,起点不是2023而是2020年。
当时OPPO自研出了大模型OBERT。这个模型在架构上引入了1+N的多任务联合学习机制,可以通过精品知识图谱不断增强知识能力。它曾一度跃居中文大规模知识图谱问答KgCLUE排行榜首位,同时还能结合亿级用户交互数据进行反馈学习,不断迭代演进。
在早期积累好大模型开发能力后,趋势爆发之时,OPPO便快速行动。
几个月前,OPPO正式发布自主训练的最新一代大模型安第斯大模型(AndesGPT)。
它一共有三种参数规格,十亿至千亿不等:
- Andes-Tiny:轻量化模型,支持端侧本地化部署,可以做到用户隐私数据隔离和离网可运行。
- Andes-Turbo:可提供性能和效果均衡的体验,可以快速支持多场景适配。
- Andes-Titan:千亿级参数规模,面向高度复杂的任务,支持深度推理。
AndesGPT具备的三大技术特点——对话增强、个性专属、端云协同,这也是以用户为先,OPPO思考手机在落地大模型过程中,最应该被关心的几个方面。
对话增强方面,OPPO自研的Swapped Attention机制,针对手机场景中的多轮长对话问题。
它通过外部存储和KV压缩方式,实现会话级KV缓存。结合PagedAttention算法一起使用,能带来50%的首字延迟降低,以及30%的推理吞吐提升。
这样一来,在和用户进行多轮对话后,模型的推理速度也不会明显降低。
个性专属方面,AndesGPT会深度融合“用户画像”和“个人数据”,让小布助手不仅拥有海量知识,还能基于过往对话内容和习惯,提供“千人千面”的服务。
端云协同方面,OPPO推出多种模型规格,轻量级模型负责处理需要快速响应的任务,云端大模型则负责深度推理任务,这样能保障全场景智能调度。
很明显,和基础大模型厂商的思路不同,OPPO作为深入用户场景的厂商,在构建模型时就遵循用户为中心的原则。构建好基础大模型,就要开始关注大模型如何在手机场景落地。
步步为营的AndesGPT
OPPO的做法是先和软件系统深度融合,然后再推出旗舰硬件。
在发布Find X7系列之前,ODC 2023上,潘塔纳尔和AndesGPT先组合亮相。
它们能够从用户情景、上下文对话、正在发生事件等多维度变量信息中,深度理解用户当前需求。与此同时小布助手升级,能在手机上完成诸多AIGC任务。
紧接着,OPPO Find X7系列内置端侧大模型。借着新机发布,OPPO也带来一系列大模型应用方面创新,不仅扩充小布能力,也将AI进一步向系统引入。通过软硬结合、端云协同,OPPO Find X7系列能带来更加完整的大模型体验。
透过这些实际动作便不难理解,为什么OPPO可以提出趋势发展中的新思路。
一方面,OPPO积累了大模型底层技术,能更准确判断技术将会产生何种影响。
目前可以明确的是,大模型将影响人机交互范式。放到手机这一领域,将是系统级的改变,操作系统一定会被大模型重塑。
另一方面,智能手机市场庞大又复杂,大模型势可以影响诸多方面,但是先做什么、不做什么,不能仅基于厂商的经验判断,必须要看用户的实际需求和反馈。
这就使得在大模型落地手机这件事上,想要做得彻底,就无法急于求成。而另一边,需求浮现出来就要立刻抓住,才能逐渐铺开大模型能力。
在找到路线后,具体做法上,OPPO也给出了参考——打造AndesGPT生态。
在ODC 2023上,OPPO表示AndesGPT的目标是,为每个人打造有用的大模型及智能体。同时开源Agent框架,打造一站式的“智能体开发平台”,支持智能体的高效孵化、托管与应用。
智能体的开源,能够让B端和C端都可以便捷地构建自己的应用生态。低代码、零代码创建自己的智能体应用,则能让更多人都可以参与到OPPO的大模型应用生态中。
同样,将系统级能力提升为Agent级,也是为了丰富AndesGPT生态。
它展示Agent之于手机终端,能够如何拓展工具边界、如何调用和处理数据以及如何根据指令灵活操作。更揭示了将大模型作为内核驱动系统、重塑终端的巨大潜力。
为了积极推动AndesGPT生态。在前沿算法研究方面,OPPO一手抓产学研,一手握开发者。
OPPO已经联合中国科学技术大学成立智能计算联合实验室;并即将开启开源计划,打造面向开发者开源的智能体开发平台,打造Agent Store,支持Agent的高效孵化、托管与应用。
另外,OPPO也在倾尽全力加入大模型浪潮。OPPO高级副总裁、首席产品官刘作虎直言,今年手机公司再不布局大模型就没戏了。
目前OPPO已经成立一个AI中心,将公司内所有AI相关的伙伴都集中在一个独立系统,目的就是为了集中所有资源,作为核心竞争力。
一手打造生态,一手赋能终端
总结来看,OPPO当下想做的事核心有两件:
- 打造AndesGPT生态
- AndesGPT重塑终端
如今行业内已经达成共识,只做大模型还不够,必须要构建大模型生态。
OPPO计划打造“千人千面”的模型生态,大模型能够依据不同背景、使用方式来决定它的实际价值和使用效果。因此大模型必须要学会结合应用环境、满足个性化需求。
这个过程里,终端是重要载体。
它记录了用户的习惯、喜好、个人知识库等,能天生为大模型个性化服务。基于终端这个重要载体,厂商和开发者能够更好挖掘用户需求,用户也能及时进行反馈,生态由此也将更加蓬勃发展。
与此同时,打造大模型生态,最终也是为了重塑终端。
手机作为离用户最近的一块屏幕,它已经成为连接各种智能终端的核心枢纽。种种趋势都显示,AI是手机终端发展的新引擎。上一代手机智能助手打开了大众对于私人AI助理的想象,现在在大模型加持下,这种想象变得更加确定。
由此也就不难理解OPPO在Agent元年开始,即亮出大动作。
随着大模型应用落地进展加快,今年大模型生态和大模型终端一定还会发生更多新故事。而在趋势发生早期就已梳理出明确路线的玩家,也更有机会引领趋势、站上潮头。
你觉得呢?
- Sora开服被挤爆!支持中文/编剧模式/作品分享,145块就能玩2024-12-10
- 华为云又一数据中心开服:让算力像水电一样通用,青岛这步棋走对了2024-12-07
- 第一个国产中文o1来了,直接数学竞赛题伺候!2024-11-27
- 联想创新开放日:2024最全面AI产品组合来了2024-11-28