祖传人像玩家，如何把AI秀出新高度

萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI

从今往后，合照不必担心站在边缘会变形了：

如今这种硬件所限的bug，正在被一举解决，且了无痕迹：

除了拯救变形的人脸，还可以有人性化的素颜级美颜。

比如真实的你 VS 素颜级美颜的你：

从脸到脖子的贴心美白，懂你省心的祛痘P图，但又恰如其分地留下你标志性的泪痣，让分享到朋友圈的你不至于有美颜痕迹的尴尬。

当然，5G时代、短视频时代，人像技术、美颜能力，自然也得与时俱进。

哪怕你的手和过山车一样抖，拍出的视频（图左），也可以和用了几千块的稳定器一样清晰。

而这，就是AI可以带来的最新最前沿人像技术能力。

并且祖传人像玩家，还把一切all in到了手机里，把手机AI人像实现搞出新高度。

没错，说的就是OPPO。

怎样的AI人像新能力？

融合了人脸检测、面部关键点检测、超分辨率算法、语义分割、自动补帧等一系列前沿AI技术。

全称：OPPO FDF全维人像视频技术系统。

这也是业内首个针对人像视频拍摄打造的AI影像技术系统。

这个由感知人像引擎和画质增强引擎组成的系统，不仅能让照片里的人看起来更好看，画面质感也能得到质的提升。

具体如何做到的，我们一一详细解构。

所谓感知人像引擎，就是针对拍摄时的人像区域进行优化，其核心技术包括AI人脸检测/关键点检测、AI超清人像（暗景/长焦拍摄也高清）、OFL肤质优化、人脸畸变矫正四大项。

这四项技术，都需要很强很稳，不能有偏科。

以人脸检测为例，这是人像引擎中最基础的技术，但经过OPPO优化后的特征金字塔 （FPN）算法，能在25ms内达到99.78%的人脸识别准确率。

而在人脸关键点检测上，OPPO以296个点的数量，实现了移动平台上每秒检测200次 （200fps）的速度，在WFLW数据集上实现了低至4.71%的NME损耗。

至于画质增强引擎，则是一套能保障用户在绝对多数场景下都能拍出满意的画面的算法合集。

哪怕画面抖动幅度较大、还是光线不足或过亮，画质增强引擎都能将画面调整到更符合用户偏好的观感。（你的VLOG必备小能手）

除了在开头看到的，加入新一代超级防抖功能以外，画质增强引擎还包括视频多帧HDR和超级夜景视频两项技术。

利用视频多帧HDR拍出来的小姐姐，随便截一帧都是唯美的艺术照：

就连拍摄的夜景视频，也能得到不输白天的清晰度，甚至比白天有更丰富的色彩度：

这些看似不经意的人像拍摄、视频处理效果，却是决定作品细节的关键。

如何评价OPPO最新AI人像技术？

需要更加深入到核心技术之源。

这次OPPO，不仅将人像系统做到了极致，还用软件弥补了硬件上“广角摄像头”带来的不足。

目前AI人像领域，核心技术水平，可以以处理暗光/长焦拍摄所用的超分辨率计算作为参考。

简单来说，超分辨率（Super-Resolution）计算，是将一组低质量、低分辨率的图像，通过软硬件，得到一幅高分辨率图像。

这是当前计算机视觉技术中难度最大的领域之一，需要尽可能地平衡图像的画质与真实性。

其核心思想，在于用时间带宽（获取同一场景的多帧图像序列），来换取空间分辨率，实现时间分辨率向空间分辨率的转换。

而就在这个领域，OPPO此次展现的技术能力，并非“啪的一下很突然”……

CVPR 2020上，OPPO就提出了独创的神经网络架构RFB-ESRGAN，利用分布式算法提高计算效率、并以多元的采样与计算模型配合，将模糊的图片清晰放大了16倍。

当时OPPO还从全球280多个顶尖参赛团队中脱颖而出，夺得了“极端超级分辨率感知”的第一名。

有备而来。

效果也人人可见，经过AI处理的人像，眉毛和皮肤都变得更加清晰。

但相比软件突破解决软件问题，OPPO的这个AI系统，还需要关注的技术亮点在于——用软件技术弥补硬件的先天不足。

例如，在用广角摄像头给人拍照的过程中，总有些尴尬之处：

如果不抢C位，你的人脸就可能会变形。

而且，由于透视投影（Perspective Projection）的近大远小原理，变形的往往只有人脸，背景看起来反而比较正常。

以往针对这种变形脸，通常需要一些职业P图大师来处理。

业内也一直在追求——既不会扭曲背景，又能让人物恢复正常的技术。

而这次OPPO的解决思路，运用了球极平面投影 （Stereographic Projection）。

其原理是，把一个球面投射到平面上，并不忠实反映距离，却十分忠实地反映角度。

不过，单这么一项还无法一蹴而就。

这种投影对人脸的拉伸并不大，然而背景看起来却会变得扭曲。

（投影近处变化小，远处变化更大）

所以OPPO再用上了另一项工序，用AI将两者结合。

最终经过两次拍摄处理，加上一个AI切割算法，就能将“球平面投影”的部分边缘变形人脸、和“透视投影”的背景结合起来，实现人脸的还原。

Anyway，如果你对技术原理本身不是很感冒，其实也没关系。

甚至无需清楚知道OPPO这个AI系统中“感知人像引擎”和“画质增强引擎”的高深之处。

简单直接，所用所得，可以理解OPPO FDF全维人像视频技术系统，就是OPPO放在手机里的你的专属化妆师和视频后期。

是的，专属，体现在结果细节。

比如开头提到的AI智能消除瑕疵，业内美颜产品和功能中，都算是标配。

然而，将痘痘、皱纹这样的特征，和泪痣这样的先天特征进行区分训练，“分阶采样”的智能模型，却是少之又少。

它体现了技术和产品团队对用户人性的洞察。如今的社交网络发图发视频，确实都会发之前P一下，但所有人追求的，还是让P图痕迹、无迹可寻。

没有谁想在晒照晒视频后，被发现美颜P视频的硬伤。

另外，还有OFL肤质优化所需的语义分割技术，同样体现这种想用户所想。

为了将皮肤、头发和衣物区分开来，OPPO的模型通过结构特征提取，将人像分割成脸部、脖子、手部、头发、衣物等几部分。

然而，与常见的美颜语义分割不同，OPPO将脸部、脖子、手部统一归类为皮肤，一起进行优化，为的就是避免肤色不均匀的问题。

……

所以如此种种，也能知晓为啥OPPO在人像领域一直引领、功力深厚的真正原因。

一方面是最复杂最前沿的技术，另一方面还要有大众真实审美观的洞察，最后交付到用户手中无感使用。

OPPO的另一面

OPPO的技术性，通常易于被忽略。

但事实是，包括手机摄影摄像在内的“华山论剑”领域，OPPO产品和功能之所以爆款常有，都源自技术底蕴和支撑。

在世界知识产权组织(WIPO)的专利报告中，OPPO都是全球榜上靠前的企业。

最新可查的2019年数据，OPPO在全球范围内的排名位居韩国三星和美国高通之后，位居全球第六、中国区第二。

而具体到人像领域，OPPO的技术专利，也能最好诠释这家公司为何在该领域持续创新和领先。

OPPO官方披露，2012年开始就在人像领域在全球范围内开展专利布局，包括中国、美国、德国、法国、英国、印度以及日韩等25个国家地区。OPPO在人像美颜、虚化、防抖、夜景等影像技术的专利申请总数超过700件，其中发明专利占比80%。

然而技术底色的光芒，此前一定程度上被大众消费电子产品的成功而盖过。

这其实也与刚才提及的OPPO的产品理念，密不可分。

讲本分、讲人性、讲用户体验，追求的是：

在今年OPPO未来科技大会现场，创始人陈明永还分享了OPPO手机的初代往事。

还是功能机时代，2008年，OPPO第一款手机在历时一年半研发后，原型机获得供应链和客户高赞，但最终OPPO团队却决定不发布它，而是花费半年在此基础上重新设计，达到预期想要的最完美效果。

最终，笑脸手机问世，一炮而红，用一款功能机的最慢推出纪录，创造了半年破百万台销量的业界佳话。

同样的理念一以贯之，就有了后来的「充电5分钟通话2小时」的快充领先方案，有了自拍、人像摄影领域的江湖地位。

正是这样的产品理念，从需求、体验，带动了产品的成功。而产品的成功，又让OPPO可以在更大体量规模的用户数、用户反馈反馈上迭代技术和打磨产品。

实现了数据智能背景下，技术-产品-用户之间的正向循环和动势能转换。用户只需得到最好的产品体验和解决方案，而无需关注背后技术的复杂度和实现难度。

这也正是OPPO创始人陈明永强调的本分、致善式创新。

他说本分的力量是从自省出发，应该做什么？做了没有？

而且思考问题的本质，做正确的事。

在商业特别是消费电子领域，友商、竞争和各种“欺瞒奸狠”常被关注。

但相信本分和致善式创新，就是相信可以通过解决别人的问题、用户的痛点，实现多赢。

具体到OPPO，就是希望以科技作为手段，实现每一个用户对美、想象力和人性的追求。

陈明永认为，科技创新如果没有自我约束机制，没有更高的理念做支撑，很可能成为一种负担。

通盘思考中国哲学“致良知”和西方人性哲学之后，陈明永提出“科技为人，以善天下”，意以给公司经营和科技创新提供一条校验准绳，以纠偏各种追求短期效益的创新。

同时，他提醒科技创新过程中要注意规避因恐惧落后对手而不关心人的需求的盲目式创新。

所以从技术、产品，上升到企业经营，OPPO之道，实现了一以贯之。

One more thing

最后，这次OPPO大秀技术和产品实力的大会上，还有其他最前沿技术的一揽子展出。

除了FDF全维人像视频技术系统，还有三大前沿应用。

一是手机，OPPO X 2021卷轴屏概念机：

二是代表下一代交互终端的AR眼镜，OPPO AR Glass 2021：

以及AR应用平台，CybeReal全时空间计算，这是OPPO的数字孪生平台，能够提供高精度的全时定位和场景识别，实现物理世界与数字世界的融合。

另外现场展区，还有包括3D虚拟人像技术、AI眼球控制，UWB空间感知技术等等一系列前沿技术。

不过，在这一系列的前沿技术和创新产品里，最令人期待的还是FDF系统。

因为马上就能让每个人所见所得。

OPPO官宣：2020年12月，也就是下个月，搭载FDF全维人像视频技术系统的新品就会发布。

想直接体验最前沿的AI人像能力和应用，不妨拭目以待~