真的有能开光追的手游了!自带实机演示的那种,OPPO这次玩“大”了
ColorOS在画质的路上越走越远
杨净 萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
手机上能玩到光追游戏了!
桥豆麻袋,你确定吗?
众所周知,光追渲染效果非常溜,哪怕镜面反射、水面倒影以及阳光阴影都非常真实~
但算力要求巨大,PC端搞了这么多年,也未见有大规模扩张的起色,移动端确定可以??真的不是PPT??
别着急,先来看看效果:
这是玩《使命召唤》手游的场景,可以看到车内打破玻璃时,原本单薄黯淡的碎片,呈现出立体干净的透明感(甚至有屏幕破碎的错觉)。
建筑物的阴影不再像大片色块硬生生“粘”在墙壁上,而是显示出特有的朦胧。
而若细看游戏画面,能发现面具的眼镜片清晰反射出了建筑物轮廓:
还有金属质感的门,在光滑地板上反射出的镜面效果:
好吧,眼见为实。
真机操作起来,游戏画质和帧率也完全没有下降!
听说,ColorOS(OPPO的移动端操作系统)还是首家真正把光线追踪技术标准能力落到移动终端上的系统,简直是游戏画面党的福音~
在这之前,光追似乎还是个离我们挺远的技术,没有显卡就带不动的那种。
究竟是从什么时候开始,手机上也能跑光追了?
被移动端“盯”上的光追
先来看看光追原理。
计算机在做特效、渲染图片时,需要将现实中的光线散射、反射、折射等现象还原出来。
传统的光栅化算法,选择直接将光线照射的效果“粘”到物体表面,相当于人眼看到的是许多张2D贴图,并非真实的3D效果。
光追(Ray Tracing,光线追踪)则不一样,它会真实地追踪每一条光线的轨迹,计算每个交点的反射、折射等效果,直到遍历整张图像。
因此,光追的优势在于渲染效果非常真实,往往能很好地还原一些光栅化忽略的效果,例如阴影和反光,以及这种水面倒影的变化情况:
最初,光追技术从电影业开始兴起,像2009年的著名电影《阿凡达》就采用了光线追踪技术。
随后,却遭遇了一段相当长的瓶颈期,究其根本,是难以进入更有落地空间的游戏领域。
因为游戏的特殊性,光追渲染必须实时完成,瞬时计算量非常大,对硬件性能要求极高。
一直到2018年,英伟达带着RTX系列显卡和DLSS等AI算法出现,才真正将光线追踪技术在PC和主机上推向一波高峰。
各大游戏厂商们纷纷开始支持光线追踪技术,包括《地铁:离去(增强版)》、《赛博朋克2077》等著名游戏大作,宣传时都将这项技术作为新卖点。
这波游戏光追的“火热之风”,自然也吹到了移动端上。2020年,随着Vulkan正式支持光线追踪API,移动端厂商也坐不住了。
BUT,移动端光追,并不是想落地就能落地的。
由于硬件体积严重受限,移动端相比PC端还要更难兼顾性能、掉电量和功耗(发热)等游戏体验效果。
将光追落地到移动端,是认真的吗?
更实际的落地方案:混合渲染
事实上,这些年还真有不少厂商想过要将光追落地到移动端。
- Imagination GPU提出过相应架构,但几乎没有移动平台使用方案;
- 手机厂商三星和华为也都宣称自己有光追计划,但都还没落地;
- 联发科也于近日和腾讯游戏、ARM一起推出了移动端光追SDK,但更多还是硬件层面的支持……
而在几天前ODC21的开发者大会上,OPPO却出乎意料,率先公布了基于ColorOS的移动端光线追踪的技术方案,首次真正把光线追踪技术标准能力落到了移动终端上,还直接放出了真机演示,是可以现场试玩的那种。
ColorOS是OPPO基于安卓开发的手机操作系统,也是OPPO自研技术的“集大成者”。
实际上,移动端光线追踪技术也仅是ODC21开发者大会中,ColorOS发布的“黑科技”之一。除此之外,他还提出了一个更大的“目标”,期望建立以用户为中心的泛在服务生态。
其特点是:可以让人与设备间的交互更加自然无感,让虚拟世界的真实渲染与现实趋于融合,让多设备无缝互联互通,和使服务体验随人流转。
光追技术就是支撑ColorOS实现泛在服务的三大技术之一,让虚拟世界的真实渲染与现实趋于融合的关键。
据介绍,目前在开启光追后,部分游戏场景中的帧率可以达到每秒30+帧,瞬时计算量能达到每秒20多兆光线:
从图中可见,墙壁上展示的枪支和灯光倒影,在开启光追之后才被显示出来:
量子位也在现场试玩了一下,手感确实还不错。
那么,ColorOS是如何做到率先将光线追踪技术标准能力落到移动终端的?
一方面,相比于死磕实时纯光追计算,ColorOS选择走一条更加实际的道路:混合渲染。
在初始场景中,ColorOS先采用光栅化完成整体渲染,再利用光追实时生成阴影和水面、玻璃和金属等特殊材质的真实倒影,既能在最明显的地方展示光追效果,又能极大地降低光追计算量。
面对实时光追计算会产生噪点的情况,ColorOS自研了“无噪音模式”,在自动平衡算力和功耗的情况下,从技术上确保渲染时不出现噪点。
(通常来说,实时光追计算都会产生噪点,像英伟达就会采用DLSS等AI算法来进行降噪)
另一方面,除了自研的混合渲染技术以外,ColorOS也与不少厂商展开了合作。
在游戏引擎上,除了计划支持Unity引擎(这次的《使命召唤》手游就是基于Unity引擎制作的),ColorOS也计划支持采用虚幻引擎的游戏厂商,将光追落地到更多游戏上;
在硬件架构,ColorOS会与高通和联发科等芯片厂商都进行合作,并自研了相应的异构计算技术,确保光追在不同的硬件上都能得到最优性能提升。
在这过程中,技术人员谈到遇到不少难题。比如,部分游戏厂商使用了旧版本引擎,与最新光追方案有许多不兼容的地方,ColorOS必须进行相应的技术适配;又例如在针对硬件优化时,也需要反复与厂商进行磨合,针对性地提升光追在处理器上的运行性能……
ColorOS将光追技术标准能力落地到移动终端上后,预计明年上半年,也会把这项能力开放给开发者。
在画质这条路上越走越远
ColorOS做这件事情,意外么?
事实上,如果翻看ColorOS画质优化历史就会发现,这其实只是当中一隅,甚至还是水到渠成地自然发生。
2018年,正值王者荣耀热度高峰,OPPO率先联手游戏商推出超高清画质技术,让诸多画面细节有了提升。
2019年,游戏体验得到进一步升级,OPPO联合高通开发Game Color Plus(超现实增强画质)技术,《王牌战士》《和平精英》《坦克世界》《斗破苍穹》等几款热门游戏也加入画质增强队伍。
紧接着就在第二年,O1超感画质引擎已广泛应用于各大视频平台,包括微信、QQ等视频聊天功能,腾讯、芒果TV、微博、Bilibili等视频应用,以及抖音、快手、微视等短视频应用。
凡此过往,无一不表明ColorOS在手机画质这条路上越走越远,而刚刚推出的移动光追技术也将是手机画质的下一个标准。
从另一个维度看,移动光追还是市场导向、以用户为中心的必然选择。
今年是元宇宙元年,虚实融合相关的体验成为趋势。
像虚拟购物、虚拟会议、虚拟演唱会等这些新形式连番登场,而且反响都还不错。
比如,今年年初《堡垒之夜》的一场虚拟演唱会,就吸引了1070万玩家的参与。这种方式还被业内人士评价为“对元宇宙的惊鸿一瞥”。
但试想一下,如果未来元宇宙真如现实世界那般,拥有源源不断的生命力、广阔的应用场景,那么真实性、沉浸感就是背后最大的技术需求。
移动光追技术,是目前看来最可行的解决方案之一,势必少不了市场推动、厂商竞逐。
技术内因加上市场外因,ColorOS的这次选择,也并不意外。
刷新技术形象
其实,当我们连点成线时就会注意到,OPPO这两年持续进行着“技术输出”,不断刷新大家对他的固有形象。
这一点在ColorOS上尤为明显。
除了技术直接露出,在侧面的研发投入、生态布局等动向上,也都展现着它已经不同往日。
创始人兼CEO陈明永透露,自2020年起三年内,OPPO将持续投入500亿元研发费用,这些技术也都将会在ColorOS中呈现出来。
以前,ColorOS都是种不显山不露水的隐形技术派。这一点与OPPO内部技术理念不无关系。
OPPO研究院院长刘畅就表达过,科技公司真正的实力,不一定需要通过营销和宣传体现。而且OPPO内部的技术理念,也不提倡把技术挂在嘴边。
之于ColorOS,就是希望用户有最好的体验,但不必知晓背后技术的复杂性,比如超级快充,又比如暗光成像。
但现在,随着技术发展,更多开发者云集,一个新的服务生态围绕ColorOS形成。
于是技术的那一面,再也藏不住了。
在今年ODC21开发者大会上,内部的生态势能公式也首次对外披露,其中技术就是最重要的一环。除了我们前面提到的移动端光线追踪技术之外,可以体现泛在服务计算能力的,还有AI渲染技术和异构计算。
AI渲染在ColorOS中体现出来的是Omoji功能,用户可以在虚拟世界中拥有真实化身,与光追技术结合能够让虚拟的画面更加逼真,呈现出真实感与趣味性,实现虚拟和现实之间的完美融合。
异构计算是ColorOS面向性能功耗优化的系统级方案,可以把AI渲染和光追带来的计算量提升,分发给不同架构的硬件去计算,让GPU与CPU协同工作,解决了功耗增加的问题。
所以,泛在服务生态的三大核心技术,都是这种技术驱动、生态势能的产物。
至于移动光追,虽然看起来微不足道,甚至离我们有些远,但谁能想到,在全球手机厂商竞逐、针尖跳舞的比拼中,ColorOS率先给出了答案。
- 首个GPT-4驱动的人形机器人!无需编程+零样本学习,还可根据口头反馈调整行为2023-12-13
- IDC霍锦洁:AI PC将颠覆性变革PC产业2023-12-08
- AI视觉字谜爆火!梦露转180°秒变爱因斯坦,英伟达高级AI科学家:近期最酷的扩散模型2023-12-03
- 苹果大模型最大动作:开源M芯专用ML框架,能跑70亿大模型2023-12-07