照片上的人出来了！云从3D人体重建登顶三项榜单，一张照片就能生成3D形象
你的Mate 20 Pro是不是买早了？
跳起来的妹子被定格在半空中，成为一张平面的照片。
现在，输入这张照片到特定的程序里，就变成了这样：
不只360°，全角度可见的3D立体形象，就好像妹子要从照片里跳出来一样。
以往的3D人体重建，往往需要多个摄像头，或者连续的多帧影像，才能重建出人体的3D模型。
不过现在，云从科技在3D重建领域刷新了榜单，而且只需要一个普通摄像头，拍摄一张照片就可以。
而且，既然一张照片就可以生成3D图像，那么连续的一段视频，就可以生成一个动画电影片段啊。
比如这样的动态场景，像是陈佩斯老师的《吃面》：
我们把它3D化，从正面看：
从侧面看：
从背面看：
从头顶看，上帝视角吃面：
只要上个色，就可以变成动画版《吃面》。
三个数据集皆取得第一
云从的基于单帧图像的3D人体重建技术同时在Human3.6M、Surreal和UP-3D三个数据集上排到了第一名，将原有最低误差记录大幅降低30%。
每个数据集上的每项的error都要比此前的研究低，意味着生成的3D模型相对更为准确，更接近人体的真实状况。
云从科技3D人体重建技术全身精度误差（Surface Error）在Surreal上从75.4毫米降低到52.7毫米，关节精度误差（3D Joint Error）从55.8毫米降低到40.1毫米，Human3.6M上的关节精度误差（3D Joint Error）从59.9毫米降低到46.7毫米，技术的执行速度从之前的上百毫秒降低到仅需5毫秒。
部署在手机上，无需3D结构光
云从的这项技术通过对RGB图像的分析，推理出人体或人脸的3D形态，并通过光学透视、阴影叠加等基本光学原则准确预测出各个关键点在3D空间的位置和朝向，从而得到人体的姿态或表情信息。
除了预测人体的3D形态和姿势，这项技术还可以实现用6万多个点完整描绘人体，帧率达到200fps。
另外，在部署上的一个优点是，可以利用普通光学摄像头作为感知设备，不需要连续图像或者多视角拍摄。
也即是说，如果将这项技术部署在手机上，那么不需要3D结构光也可以实现3D人脸识别，或者制作3D表情。
相比传统的人体关键点检测，基于单帧图像的3D重建技术不仅能输出骨骼关节点信息，更能同时预测大量的人体表面关键点信息，预测结果更加丰富，而且每个点的坐标都是3D的，能够体现不同躯干的纵深信息。
多样的应用
除了在手机上实现各种3D卡通表情，3D人体重建技术还可以用在许多不同的场景。
商场购物就是一大应用场景，只需要一个角度的一张照片，就可以重建出顾客的身体3D模型，模拟穿上衣服的效果，节约了落地成本和部署难度。
另外，这一技术也可以优化自拍、直播、短视频软件里的美颜、瘦身功能，在3D模型上美颜，效果会相对自然，不会出现角度极端的“蛇精脸”，加上虚拟的妆容打扮也可以更自然。
而当技术成熟之后，在影视特效制作方面，这项技术也可以更方便的制作出阿丽塔这类3D角色，而不必使用复杂的设备。
- MEET2020 | 百度景鲲：AI交互正在吃掉旧产品边界，触达移动互联网盲区用户2019-12-10
- MEET2020 | 王砚峰揭秘搜狗AI技术体系：自然交互在左，知识计算在右，核心是语言2019-12-16
- MEET2020 | 旷视唐文斌：你到底给谁创造了什么样的价值？这是AI产品的灵魂拷问2019-12-17
- MEET2020 | 快手刘霁：AI基础能力决定每个公司AI的迭代和落地效率2019-12-20
相关阅读
