十亿红包还不够，揭秘快手春节四大技术玩法：AI/AR/MR都被装进App，为了这个春晚真拼了
郭一璞 发自 凹非寺
量子位 报道 | 公众号 QbitAI
要不大家现在都喜欢科技互联网公司呢。
如今每年春节，这些公司都是绞尽脑汁、争前恐后想给全国人民拜年、互动，发红包。
这不，BAT之后，今年快手夺得花魁：央视春晚期间，就壕砸10亿。
但可能你还不知道的是，快手雄心不止于发钱拜年获流量，还想借此机会一展技术实力和品牌。
不老说快手“土”嘛，大概也就是要用最前沿的黑科技玩法，让大家既要拿钱开心，也要玩得酷炫。
至于这些新技术新玩法跟红包的直接联系，我们也基本完整地打听到了方案。
这就一一解析。
注意，无论年龄、用户所在地、机型，都可以参与——快手为老铁都能互动操碎了心。
新年灯牌
如果你还没有为房间换上春节的装扮，可以考虑一下快手的「新年灯牌」特效：
在快手上拍摄视频，就可以在家中墙壁上打上春节祝福的动态灯牌，配上各种红灯笼等节庆装饰品，整间屋子都洋溢着过年的氛围。
办公场景中，也能一秒挂灯笼：
其中主要用到的是混合现实（MR）技术。该特效将春节元素与真实世界进行融合，结合虚实遮挡、虚拟灯光、平面贴合给用户提供新的交互体验。
与AR、VR不同，MR通过实时的空间计算和场景理解，将物理现实与数字世界无缝地混合在一起，创造了一个虚拟和物理对象共存，并且能够实时交互的环境，从而带来极具沉浸感的用户体验。
MR结合了虚拟和现实，在虚拟的3D空间内实时运行，需要结合真实世界的位置数据进行，借助空间映射和理解，让机器认识到周边的边界、表面、照明等空间光影信息，结合空间的相关对象，创建出混合的世界，再输入特效素材。
这样，虽然人看到的是在真实世界上多了一些虚拟素材，但实际上系统感知并理解了整个空间。
因此，目前MR实现所需要的硬件成本比较高，仅仅是输入设备，就可能要用到ToF摄像头、3D结构光等特殊设备，比如微软做了HoloLens 2这款MR头显，人民币价格27388元。在一些没有高端相机模组的手机上是很难实现的。
快手技术团队介绍，这次用在快手App上的MR算法依靠单摄像头采集图像数据，结合深度学习和传统的立体几何算法，除可准确估计相机的位置，还实时输出了高质量的场景深度数据和法向、Mesh等3D信息。
这样就能将MR效果十分贴合的融合到真实世界图景中了。
为了保证模型能在手机端运行，快手技术团队在保证预测质量的情况下，对模型的计算量进行了大幅缩减，这样，配置不高的手机也能成功运行模型了。
有了这样的MR技术基础，除了新年灯牌特效之外，快手上还能实现许多种特效，比如利用3D打光给真实场景添加虚拟光，演唱会的氛围立马就有了：
创造出的虚拟物体，也能虚实结合的遮挡在真实物体的后面：
虚实物理碰撞，虚拟的物体碰撞在真实的楼梯上，按照真实世界的物理规律运行，影子也投影在了楼梯上：
模拟物体沿真实世界体表运动，这只瓢虫能随着墙壁的形状、拐角改变行进的方向：
在室外场景也可以：
还可以做真实的流体特效，水倒出来流动的轨迹、反射的光亮几乎和现实世界肉眼看上去毫无差别：
这些特效都和真实场景紧密结合，呈现效果和在真实场景中出现的事物几乎一模一样。
如果你想看更多惊艳细节，不妨点开视频瞧瞧：
地标AR
除了MR之外，AR技术，也被快手用在了春节互动中。
如果你回家会路过哈尔滨站、郑州站、广州站这些火车站，或是会去西安钟楼这些景点游览，打开快手拍视频，地标建筑上就会出现AR烟花特效。
我们提前拿到了效果，在郑州火车站，就是一只头带金色王冠、有着两只萌萌的大眼睛、Q版红色前爪的青蛙，张嘴呱一声，头顶就会出现“快手祝你新春快乐”的烟花字样：
到了哈尔滨火车站，火车站大楼就变成了一只挥舞着红色巨钳的大螃蟹，从大楼正面张开嘴，伸舌头吐泡泡，泡泡和快手的新春祝福一起升上天空：
广州则是一只鸭子的造型，鸭子头顶还顶着半个蛋壳，一副刚刚破壳而出的样子：
拍下视频，就可以假装自己去了日本花火大会；在自己家乡的地标拍下拜年视频，还可以给全国各地的同学朋友彰显家乡特色。
此前，快手也曾在全国不少地标上做过类似的AR特效，比如岳阳楼上被加上了《岳阳楼记》的弹幕：
天津劝业场大楼上，AR熊猫爬上了楼顶：
萌娃拜年
第三个技术效果非常适合给亲戚朋友发送拜年视频，名字叫做「萌娃拜年」。
在我们预先体验到的测试版本中，录制快手视频时切换到这个特效，你的脸就会变成小娃娃的样子，整个人看上去仿佛小了几（十）岁，非常可爱。
生成的娃娃脸都是根据每个人不同的样貌特征而“儿童化”的，用到的技术，就是GAN（生成对抗网络）+AR（增强现实），借助部署在本地的模型把视频效果变成小时候的自己。
堪称“卖萌利器”，不少明星网红也加入了卖萌的队伍，冯提莫就用它来给网友们送上了祝福：
还有胡海泉，你能认出来吗？
因《野狼disco》而闻名的宝石老舅也在玩这个互动特效：
AR特效会给人物的头上戴了一顶清朝式帽子，看起来有那么一点金童玉女的样子，仿佛下一秒就要被人截屏贴到门口，迎接前来拜年的亲友。
至于小时候的自己是不是真的有这么可爱，那你可能就要等火车到家问一问妈妈了。
我的一生
最后，还有一个玩法：「我的一生」——现在已经上线，可以根据你的容貌特征，生成从小到老不同年龄段自己的样子，即使你10岁，也能生成80岁的样子：
效果看上去非常有警示性作用，二三十岁的年轻人呀，如果再不珍惜时间、保养身体，可能很快就会变成满脸皱纹的样子呦~
“老了”之后，还能变回10岁的模样。
“变老”让人有些难以接受，但“变嫩”就喜闻乐见了。
用这个特效，可以试试让爷爷奶奶看到自己20岁的模样，回忆一下青春，也是年夜饭上的精彩环节。
而它背后的技术和前面的「我的一生」类似，用到的是我们熟悉的生成对抗网络。
让技术落地
跑过计算机视觉开源算法的同学都知道，让这些技术落地到移动端并不是一件容易的事儿，尤其是当你并不知道用户“老铁”们用的是骁龙855还是性能较低的手机的时候。
而在手机端，不少功能快手都是业内第一次实现的。作为一个主攻下沉市场、拥有2亿多日活用户的应用，快手让千千万万日常生活和科技行业并不交集的普通用户都有了体验最新科技的机会，并用这些技术创造内容与乐趣。
这自然是技术情怀。
但另一方面，让用户无差别体验产品的最新技术，自然也是可以让用户无差别参与到红包中来。
算是一个比较聪明的方式吧。
