实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结

系统级功能都是Agent级

明敏 发自 凹非寺

量子位 | 公众号 QbitAI

都说2024会是AI Agent元年,杀手级应用将要出现。

但就在开年,已经看到不一样的思路。

与其做单个Agent应用,不如把系统能力提升为Agent级

不仅让大模型加持智能助手,还能让系统工具也具备AIGC能力。

比如一键消除照片中的人群:

实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结

让AI总结打电话内容:

实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结
实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结

而且语音摘要处理全程加密,生成内容完全存储在本地。

如上效果,都来自OPPO最新发布的Find X7系列。

它内置端侧大模型,整个手机、系统的AI浓度拉满。

通过端云协同,首发了AI大模型语音摘要功能,系统还可直接搞定AI文章摘要、AIGC消除。同时智能助手小布也拥有超过100+AI能力。

具体能力到底如何?我们实测了一把~

手机更像Agent了

结合发布来看,这一次Find X7系列主要带来的新AI能力体现在4个方面,图文语音都覆盖了。

  • AIGC消除
  • AI大模型语音摘要
  • AI文章摘要
  • 小布助手升级

值得关注的是,其中有三个方面都体现在系统应用上。

AIGC消除内置在系统相册里。只需把想要消除的内容圈起来,或者涂抹掉,大模型就能识别、消除。

实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结

处理效果非常自然,看不出任何修改的痕迹。

实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结

它支持识别与分割的主题超过120类,可以实现发丝级的分割、高达6个的多主体分离,以及超大面积图像的填充和自然生成。

第二个升级的系统级AI能力是AI大模型语音摘要

Find X7系列内置端侧大模型,让手机本身具备了更高理解能力。

打电话时只要点击“智能摘要”,在结束通话后即可得到一份总结。

实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结

总结中不仅包括重点提及的时间、地点、事件,而且会清楚区分电话双方分别说了什么内容,智能摘取出待办事项

实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结

与此同时,在端侧大模型支持下,手机本身也具备了文本摘要总结能力。

在各种网页、APP中看到的长文,都可以通过双指按屏、一扫,总结摘要。

摘要最长可生成14000字,生成速度也非常快。200字首字生成带来20倍更快响应,2000字首字生成可以实现2.5倍更快速度。

实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结

而除了这些系统工具更加AI化,小布助手本身也有了重大升级。

它现在具备100多种AI能力,可以覆盖日常生活、办公创作等场景。

实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结

对话语气也更加自然,会根据场景带入角色和情绪。

实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结

如上就是“大模型手机”OPPO Find X7系列带来的最新AIGC能力。

可以看到,在拓展AndesGPT对应用、终端的影响上,OPPO的脚步非常快。距离ODC 2023才过去不到2个月,就又有新能力释放,而且还给了新思路。

“意料之外”与“情理之中”

有点意外的是,这些新增能力没有局限于智能助手小布,而是同时把系统功能AI化。

这是一种比较新鲜的尝试。

当下,大模型影响移动终端的终极想象比较统一,就是把系统打造成一个强大的Agent,让人和手机的交互,变成钢铁侠和贾维斯那样,人类只需发出指令,所有操作交给系统自己完成。

具体如何走到这一步?

一种通常的思路是,通过大模型不断加强系统智能助手的能力,直到它能够自如操作系统。

从OPPO当下的动作来看,其实还可以有一种思路:让系统开始AI化,打造Agent级的系统功能,而且要从最日常的功能开始入手。

相较于前者,这种思路的好处有很多。

一方面,用户能更快在手机上把AI用起来。而且最先Agent化的功能都是用户最常用的功能,提升它们的能力,满足用户提升体验的基本要求。

另一方面,厂商也能在这一过程中,逐步积累技术,基于实践洞察用户需求,做更有针对性的创新,慢慢让操作系统转变为强大的Agent。

这种新思路在2024开年提出,无疑给Agent元年打开新趋势。

那么问题来了,为什么OPPO会想到这一方向?基于哪些实践?背后又有哪些思考?

OPPO安第斯大模型的“英雄出处”

想要回答这些问题,还要从OPPO的大模型脚步看起。

梳理来看,主要可分为三个部分:

  • 大模型能力积累
  • 大模型与系统深度融合
  • 软硬一体,全面赋能智慧交互体验

首先在基础能力探索方面,对于OPPO而言,起点不是2023而是2020年。

当时OPPO自研出了大模型OBERT。这个模型在架构上引入了1+N的多任务联合学习机制,可以通过精品知识图谱不断增强知识能力。它曾一度跃居中文大规模知识图谱问答KgCLUE排行榜首位,同时还能结合亿级用户交互数据进行反馈学习,不断迭代演进。

在早期积累好大模型开发能力后,趋势爆发之时,OPPO便快速行动。

几个月前,OPPO正式发布自主训练的最新一代大模型安第斯大模型(AndesGPT)。

它一共有三种参数规格,十亿至千亿不等:

  • Andes-Tiny:轻量化模型,支持端侧本地化部署,可以做到用户隐私数据隔离和离网可运行。
  • Andes-Turbo:可提供性能和效果均衡的体验,可以快速支持多场景适配。
  • Andes-Titan:千亿级参数规模,面向高度复杂的任务,支持深度推理。
实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结

AndesGPT具备的三大技术特点——对话增强、个性专属、端云协同,这也是以用户为先,OPPO思考手机在落地大模型过程中,最应该被关心的几个方面。

对话增强方面,OPPO自研的Swapped Attention机制,针对手机场景中的多轮长对话问题。

它通过外部存储和KV压缩方式,实现会话级KV缓存。结合PagedAttention算法一起使用,能带来50%的首字延迟降低,以及30%的推理吞吐提升。

这样一来,在和用户进行多轮对话后,模型的推理速度也不会明显降低。

个性专属方面,AndesGPT会深度融合“用户画像”和“个人数据”,让小布助手不仅拥有海量知识,还能基于过往对话内容和习惯,提供“千人千面”的服务。

端云协同方面,OPPO推出多种模型规格,轻量级模型负责处理需要快速响应的任务,云端大模型则负责深度推理任务,这样能保障全场景智能调度。

很明显,和基础大模型厂商的思路不同,OPPO作为深入用户场景的厂商,在构建模型时就遵循用户为中心的原则。构建好基础大模型,就要开始关注大模型如何在手机场景落地。

步步为营的AndesGPT

OPPO的做法是先和软件系统深度融合,然后再推出旗舰硬件。

在发布Find X7系列之前,ODC 2023上,潘塔纳尔和AndesGPT先组合亮相。

它们能够从用户情景、上下文对话、正在发生事件等多维度变量信息中,深度理解用户当前需求。与此同时小布助手升级,能在手机上完成诸多AIGC任务。

紧接着,OPPO Find X7系列内置端侧大模型。借着新机发布,OPPO也带来一系列大模型应用方面创新,不仅扩充小布能力,也将AI进一步向系统引入。通过软硬结合、端云协同,OPPO Find X7系列能带来更加完整的大模型体验。

透过这些实际动作便不难理解,为什么OPPO可以提出趋势发展中的新思路。

一方面,OPPO积累了大模型底层技术,能更准确判断技术将会产生何种影响。

目前可以明确的是,大模型将影响人机交互范式。放到手机这一领域,将是系统级的改变,操作系统一定会被大模型重塑。

另一方面,智能手机市场庞大又复杂,大模型势可以影响诸多方面,但是先做什么、不做什么,不能仅基于厂商的经验判断,必须要看用户的实际需求和反馈。

这就使得在大模型落地手机这件事上,想要做得彻底,就无法急于求成。而另一边,需求浮现出来就要立刻抓住,才能逐渐铺开大模型能力。

在找到路线后,具体做法上,OPPO也给出了参考——打造AndesGPT生态

在ODC 2023上,OPPO表示AndesGPT的目标是,为每个人打造有用的大模型及智能体。同时开源Agent框架,打造一站式的“智能体开发平台”,支持智能体的高效孵化、托管与应用。

智能体的开源,能够让B端和C端都可以便捷地构建自己的应用生态。低代码、零代码创建自己的智能体应用,则能让更多人都可以参与到OPPO的大模型应用生态中。

同样,将系统级能力提升为Agent级,也是为了丰富AndesGPT生态。

它展示Agent之于手机终端,能够如何拓展工具边界、如何调用和处理数据以及如何根据指令灵活操作。更揭示了将大模型作为内核驱动系统、重塑终端的巨大潜力。

实测OPPO大模型手机:路人甲一抹就没,电话粥一键总结

为了积极推动AndesGPT生态。在前沿算法研究方面,OPPO一手抓产学研,一手握开发者。

OPPO已经联合中国科学技术大学成立智能计算联合实验室;并即将开启开源计划,打造面向开发者开源的智能体开发平台,打造Agent Store,支持Agent的高效孵化、托管与应用。

另外,OPPO也在倾尽全力加入大模型浪潮。OPPO高级副总裁、首席产品官刘作虎直言,今年手机公司再不布局大模型就没戏了。

目前OPPO已经成立一个AI中心,将公司内所有AI相关的伙伴都集中在一个独立系统,目的就是为了集中所有资源,作为核心竞争力。

一手打造生态,一手赋能终端

总结来看,OPPO当下想做的事核心有两件:

  • 打造AndesGPT生态
  • AndesGPT重塑终端

如今行业内已经达成共识,只做大模型还不够,必须要构建大模型生态。

OPPO计划打造“千人千面”的模型生态,大模型能够依据不同背景、使用方式来决定它的实际价值和使用效果。因此大模型必须要学会结合应用环境、满足个性化需求。

这个过程里,终端是重要载体。

它记录了用户的习惯、喜好、个人知识库等,能天生为大模型个性化服务。基于终端这个重要载体,厂商和开发者能够更好挖掘用户需求,用户也能及时进行反馈,生态由此也将更加蓬勃发展。

与此同时,打造大模型生态,最终也是为了重塑终端。

手机作为离用户最近的一块屏幕,它已经成为连接各种智能终端的核心枢纽。种种趋势都显示,AI是手机终端发展的新引擎。上一代手机智能助手打开了大众对于私人AI助理的想象,现在在大模型加持下,这种想象变得更加确定。

由此也就不难理解OPPO在Agent元年开始,即亮出大动作。

随着大模型应用落地进展加快,今年大模型生态和大模型终端一定还会发生更多新故事。而在趋势发生早期就已梳理出明确路线的玩家,也更有机会引领趋势、站上潮头。

你觉得呢?

版权所有,未经授权不得以任何形式转载及使用,违者必究。