虚拟人，你们着实有点抢镜了（doge）

十三 2022-05-06 12:55:03 来源：量子位

金磊 发自 凹非寺

量子位 | 公众号 QbitAI

谁能想到，“抢镜”这事，还能发生在虚拟人身上 ……

就在刚刚过去的五四特别节目中，这样的一幕便真真儿地上演了：

不难看出，他们并不只是舞台上的配角，而是和李一桐、赵珈婧云等明星一道，共同演绎着青春、释放着活力。

而且舞台的镜头也会时不时的给到他们，来一个特写：

不得不感叹……这年头，连虚拟人都有实力和真人“抢镜”了。

这些虚拟人，到底是什么来头？

眼尖的友友们或许早就发现了他们都出自腾讯之手，没错，他们分别是：

• 星瞳，来自QQ炫舞
• 吉莉，来自和平精英
• 童和光，XNOX工作室与腾讯NExT Studios工作室联合打造的原创虚拟IP

但比起在台上跟明星一起唱跳，更为惊艳的是他们接下来的一波操作——闪现！

上一秒还在演播厅，下一秒就直接“闪现“到了中国人民大学、北京航空航天大学、武汉大学三所高校，在操场上与学生们共同演绎各种舞蹈。

足迹堪称横跨了大江南北。

不止于此，腾讯还为节目准备了一个分会场——TMELAND。

在这个占地13万平米的虚拟空间中，年轻人们可以通过avavtar形象小人在TMELAND广场上观看节目直播，还能与TMELAND的众多岛民们一起欢呼、舞蹈、打卡。

这场面，青春洋溢，好不热闹。

不过，相较于TMELAND我们更想深入探究本次节目中在虚实之间来去自由的三个虚拟人的实力究竟如何。

台上一分钟，台下十年功

和人类一样，虚拟人要想在大型活动上表演节目，那也需得是“台上一分钟，台下十年功”。

如同现实中的人际相处一样，大众对虚拟人的接受度往往也是凭借“第一印象”。人物形象是否能够通过高质量拟人化，为用户带来足够自然逼真的亲切感、关怀感与沉浸感，往往决定了虚拟人的受欢迎程度。

然而，所谓画鬼容易画人难，人类的视觉感官对同类形象、特别是对同类的面部高度敏感，似像非像的虚拟人很容易让人陷入“恐怖谷”效应。

即使突破了静态下拟真的瓶颈，如何让虚拟人自然地动起来，也是一大难题，人类能从彼此的表情、肢体中读取丰富的非语言信息，反过来讲，虚拟人表情和动作中些微的不自然都会很容易被察觉到。

不过，游戏技术的创新，也在推动着虚拟人制作技术不断进步，现在的Unreal Engine、Creation等游戏引擎已经基本上使虚拟人实现了从“很像到很真”的跨越。

本次节目中的虚拟人童和光，便是基于Unreal Engine引擎开发。制作过程中，为了让人物拥有更细腻、丰富的表情，腾讯NExT Studios团队运用自研的xFaceBuilder®数字角色制作管线，混合骨骼和Blendshape方案，为童和光打造了超过700张脸部表情，实现了超精细制作。

同时，制作团队还将Maya的动画绑定系统抽象化，无缝跑在Unreal Engine上，实现了Maya和Unreal Engine的统一，在实时脸部动捕获中得到了更好的脸部动画。

不仅如此，为了让人物更真实，制作团队基于游戏引擎在发丝建模技术上采用了LookDev流程，先让发型师制作真实发型，送进照相建模实验室扫描得到头发的3D模型，然后再结合顶级游戏公司的解决方案对发质进行定制；衣服细节上，都是由专业服装设计师设计版型，服装设计软件制作，并基于HumanIK的骨骼绑定加SHAPES BlendShape修型方案，最终使其呈现出更真实的细节。

解决了形象问题之后，对于虚拟人动作流畅性和灵活性的问题，制作团队选择了自研的xMoCap®动捕动画全流程生产管线来解决。

这套管线集角色绑定、动作捕捉、动画工具、资产管理和动捕数据库为一体，能够很好的支持大型团队协作、云端海量资产管理、高保真3D角色动画生产等工作，符合超写实数字人的制作需求。

一段QQ炫舞星瞳的热舞，便可以看出在这一管线之下，虚拟人动作的自然度：

同样，《和平精英》数字代言人“吉莉”在舞台上的肢体表现也非常流畅。

目前，腾讯在虚拟人生产制作全流程上，已经积累了不少自有知识产权专利，这些积累对虚拟人生产制作起到了极大的降本增效作用。

据了解，本次五四特别节目给到制作团队的时间只有一个月。正是因为此前丰富的虚拟人技术积累，这些内容才可以按时保质地制作出来。

透过虚拟人制作“好、快、省”的表象，从支撑其发展的底层技术来看，最早开始让虚拟人进入常态化和大规模应用的就是游戏行业。游戏行业在长期发展过程中一直在探究的一个命题，就是如何让一个个NPC的表情、动作、神态更像真人。

因此虚拟人技术快速发展的背后，离不开游戏领域多年来积累的人物建模、动作捕捉、实时渲染、实时交互等技术，这些技术汇聚成制作管线，让虚拟人技术逐步走向成熟，逐渐走入大众的视野。虚拟人能够实现“从很像到很真”，本质上是游戏技术外溢的结果。

现在谈游戏技术，格局得打开些

不过，游戏技术外溢的成果可不仅仅局限在虚拟人行业，游戏作为文化产业的重要组成部分，其技术创新也在推动着文化产业不断演进。

以大家熟知的中轴线为例，中轴线拥有7.8公里的宏大面积，700多年的历史沉积，数千年的文化传承，想让大众快速、全面地了解、认识中轴线背后独特的文明和传统，并非一件易事。对此，快速发展的互联网和游戏技术，提供了一种全新解决方案。

2021年12月，腾讯与北京市文物局共同启动了“数字中轴”项目。其中，最重要的举措之一，就是腾讯将自己累积多年的游戏技术开放出来，包括游戏引擎技术、物理仿真技术以及云游戏技术等，直接助力北京中轴线数字展陈体系建设，让更多普通人能够通过全新视角，体验北京中轴线的壮美与活力。

除了文化产业，游戏技术也在影响着前沿科技的发展。

以引爆深度学习热潮的AlphaGo为例，它正是在下棋（Game）这一游戏场景中完成了打败人类的“壮举”。

回顾AI的发展史，可以说AI从诞生至今，其背后一直有着游戏的影子，电子游戏一直是AI发展的重要推动力和体现AI实力的重要场景。

1944年，冯·诺依曼在《博弈论与经济行为》一书中，首先提出了两人对弈的Minimax算法；

1947年，图灵编写出了第一个下棋程序；

1950年，香农发表《计算机下棋程序》一文，开启计算机下棋的理论研究。

1951年，图灵的好朋友克里斯托弗·斯特拉切（Christopher Strachey）写出了世界上第一个视觉游戏checkers。

……

时至今日，从OpenAI Five 到 AlphaStar ，这些 AI在某个游戏中击败了职业人类玩家依然是决策智能领域快速发展的标志。

但游戏技术的影响力远不止此，其价值的创造力早已扩展到了实体产业。

腾讯依靠数字孪生，助力自动驾驶技术落地就是一个很好的例证。

在自动驾驶的产业发展过程中，现实道路环境测试，是非常重要的一个环节。行业内一直有一个量产应用必须要跑完“110亿英里”里程的共识，相当于往返地球与太阳4.9次。

很显然，这样的目标不可能在现实生活中达成。于是，虚拟仿真技术便成为了这一问题的突破口。

针对自动驾驶模拟仿真测试需求以及行业痛点，腾讯推出了内置高精度地图、虚实结合、线上线下一体的自动驾驶模拟仿真平台TAD Sim。

作为业内首个由游戏技术和真实数据双擎驱动的虚拟仿真平台，TAD Sim在真实性、全面性、可视化、轻量化、标准化等方面均处于行业领先地位，能够很好的满足自动驾驶在虚拟世界进行测试和学习的需求，极大降低了相关成本。

而自动驾驶，也仅仅是游戏技术“外溢”到实体产业的一个缩影。

毫不夸张地说，现在游戏技术已经被广泛地应用到了基础设施、智慧城市、治理规划等领域。

例如，51WORLD利用源自游戏引擎的数字孪生技术，对“妈湾港”10万余个集装箱进行了超大规模箱体的动态生成与同步，首次实现了港口行业在数字孪生全要素场景下的动态数据实时驱动，以及5G环境下港口全量工业设备的态势感知。

再比如，北京数字政通基于游戏引擎打造的“晶石”孪生平台及新城市大脑产品，融合了数字政通在城市运行“一网统管”方面的业务能力，将孪生能力与实际业务诉求进行深度结合，能够通过1:1还原的数字孪生场景，借助虚实结合、天空地一体化、预测分析等手段，有效提升城市精细化、智能化管理的能力。

从更高层面来看，现在的游戏早已超脱了最初的“限定”，成为了文化与科技的共生体，将在数实融合领域展现出更多元的价值。

过去的几十年里，软件和硬件相互交缠发展，不断碰撞，推动着游戏内容、体验和技术能力的不断革新，现在的游戏技术已经发展成为了涉及计算机图形学、运动学和动力学、多功能感知、人工智能和虚拟现实等多个学科的前沿交叉领域。

从文化层面来看，游戏既是文化的重要载体，也是文化创造的工厂之一；从科技层面来看，游戏对前沿科技而言，扮演的是“试验田”和“推进器”的角色。其本质已经由早期的“娱乐产业”演变成了文化产业与科技产业的“交织体”，成为了当下的文化科技成果之一。

不久前，腾讯董事会主席兼首席执行官马化腾在《关于加强文化科技成果深度应用与自主创新的建议》中指出，文化科技融合是文化强国与科技强国两大战略的交叉领域。

文化科技成果不仅在文化产业得到广泛应用，在文化产业之外的应用也不断丰富，溢出效应开始显现，为科技创新带来新方向，并推动数字经济与实体经济融合发展。

而游戏作为文化与科技的共生体，正在开启这个世界的无限可能。