英特尔用英伟达显卡，给GTA5打了个超强画质补丁

子豪 萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI

英特尔居然用英伟达显卡，给GTA5做了个画质增强补丁？

没错，画面亿点点接近真实世界的那种：

有点意思。

更有意思的是，据英特尔表示，这个补丁在Geforce RTX 3090 GPU上，完成一次画质增强推理，只需要半秒钟的时间。

效果也确实不错，看起来就像是自家行车记录仪拍的：

就连增强后的草地和沥青路面（右侧），看起来也更真实了：

简直就像是在洛杉矶（GTA5取景地）实地飙车一样，而且丝毫不拥堵！

网友表示，这简直是个巨大的飞跃，而且研究不是出自英伟达或者AMD，竟然是来自英特尔！

不过，英特尔怎么想起来搞计算机图形学方面的研究了？

毕竟，去年11月份，英特尔正式宣布推出他们的Iris Xe MAX独立显卡，研究已经在进行中了。

这波啊，这波英特尔在大气层。（手动狗头）

所以，这个画质增强补丁，究竟给GTA5的画面“施了什么魔法”？

不用光追，3点改变让图像更真实

通常来说，用GAN就能实现类似的逼真图像，例如将一匹马转换成斑马。

然而，用GAN会产生一个问题。

如果只用图片作为输入，生成的图像虽然逼真，却不可避免地会出现伪影等现象（图中闪烁、斑马身上不时出现棕色浅影）。

通常来说，伪影产生的原因之一，是生成器在将低分辨率图像转换成高分辨率图像时，需要进行反卷积，这容易出现不均匀重叠、产生某些抽象部分，并出现某些色块漂移的情况。

为了解决这一问题，研究人员将图片作为输入的同时，还给它加上了更多的限定信息——

这些信息，是GTA5游戏引擎在渲染场景时，产生的一组中间缓冲区（G-Buffer），里面包含了几何形状、物体材质和光照等物理信息。

将这些物理信息与图像一起输入模型，就能避免网络在改变图像风格时，连着物理信息也一块改变了。

这样，既能增加图像真实性、又能减缓伪影出现的情况。

输入指标有了保障，就可以放心开始生成图像了。

整体来看，这个模型分为两部分：用图像增强网络生成图像，并以感知鉴别器和LPIPS指标，来判断生成图像的真实性、相似性。

首先，来看生成部分。

研究人员发现，要想让GTA5中的图像看起来更真实，有3点特征可以改变：

• 增加汽车的光泽
• 改善植被的整体外观
• 让沥青路面看起来更光滑

为此，图像增强网络（架构基于HRNetV2）本身，采用了KITTI、Cityscapes和Mapillary Vistas三个数据集进行训练，分别学习这些特征。

其中，采用KITTI数据集训练网络，以增强GTA5中的汽车光泽（传说中的抛光）：

再采用Cityscapes训练，模拟出更接近真实世界的气候情况（这里模拟了德国气候）：

最后，用Mapillary Vistas数据集进行训练，以模拟出更光滑的沥青路面：

这样，相比于GTA5中的动画场景，生成的图像车子会反光、植被更丰富、路面也更平坦了，看起来更接近真实世界。

然后，就是鉴别部分了。

这部分包括感知鉴别器、和一个名为LPIPS（Learned Perceptual Image Patch Similarity）的指标，分别评估生成图像的真实性、以及与输入图像之间的相似性。

鉴别器包含分割网络和VGG-16两部分，用来对生成图像和现实场景中的图像进行对比，并给生成图像进行打分，越真实分数越高。

至于LPIPS，则是一个指标，用来评估生成图像与最初输入的图像之间的“感知相似度”。

与其他模型相比，效果如何？

论文将Intel的模型，与ColorTransfer、SPADE、WCT2、CUT、TSIT等模型进行了对比。

从视频中来看，Intel的模型生成的结果，基本都能保持与GTA5原始图像一致的结构。

但其他模型却暴露了一些不足，其中效果最糟糕的是SPADE，根本无法生成相应的场景布局。

再比如，ColorTransfer无法修改纹理，因此欠缺了一些真实感：

WCT2在很大程度上，要受到参考图像质量的限制，生成效果不稳定：

在TSIT和MUNIT中，模型生成了额外的树木，甚至还有无法去除的伪影：

比起使用感知损失的其他方法，Cycada使用了更明确的语义信息，效果更好。

但是类似地，在CUT和Cycada中，也出现了车标伪影的情况，CUT中的一些整体场景不堪忍睹：

这些树木、车标等伪影，在一定程度上是由于统一采样和较大的图块导致的。

而Intel研究团队以较小的图块进行采样，减少了源数据集和目标数据集之间的不匹配。

从感知效果上来看，这些模型生成的图像，都比GTA要更“真实”。

从各项指标来看，Intel的模型综合表现也是最优的（数值越低，效果越好）。

不过，新模型也有不太完美的地方，进行增强后的路人效果还是一般，看起来不太真实。

当然，这也和采用的训练数据集有关，Intel模型所用的数据集，并不过多地涉及行人，主要还是用于增强天空、沥青路、汽车光泽等真实感。

网友：比路径追踪便宜多了！

对于这次模型展现的效果，网友们的评价也是褒贬不一。

有网友迫不及待地想要用上了：搞起！

还有网友表示，这将是未来GTA-5这类游戏的发展方向——更接近真实世界。

而且，这项技术相比于路径追踪，不知道要便宜多少。

最重要的是，技术所用的神经网络，还修复了物体上那些不真实的纹理。

当然，也有网友调侃：

视频是用便宜的行车记录仪来拍的？（这个视频只有720p）

嗯，所以这就是《黑客帝国》色调呈绿色的原因。

还有一些网友不太喜欢这种类型的“写实风”：

这，这只是把加州变成‘德国风’吧？

这不是又回到GTA 4了？

这些网友认为，GTA 5不该追求写实主义，更需要的是具有美感和娱乐性。

游戏开发者并不是没有能力，显然，他们是刻意选择了风格化和超现实主义，因为它看上去比真实的东西更具吸引力。

对此，有网友解释说，研究人员和游戏开发者的出发点不同。

这是一个巨大的飞跃！

纹理和光照是CGI中两个非常棘手的问题，使用光线追踪呈现逼真的光泽，需要计算大量表面之间的光线反射。

应用ML可以巧妙地跳过最困难的部分。这项技术可以用来制作游戏、电影或电视剧。

你希望游戏用上这样的图像增强引擎吗？

项目地址：
https://intel-isl.github.io/PhotorealismEnhancement/

论文地址：
http://vladlen.info/papers/EPE.pdf

参考链接：
[1]https://www.youtube.com/watch?v=P1IcaBn3ej0
[2]https://news.ycombinator.com/item?id=27126092