“全面对标Vision Pro”，国产MR真有这么强？

克雷西 2024-06-28 14:24:48 来源：量子位

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

1X999元，国产XR厂商给出了一个不买Vision Pro的理由。

成立四年的初创公司——玩出梦想科技，发布了全新安卓系统空间计算机“玩出梦想MR”。

它拥有双目8K的超清显示屏，视觉感受十分逼真，而且VST延迟也仅有14毫秒。

这样的指标可以说与苹果Vision Pro十分接近，甚至几乎感觉不到差异。

高画质、低延迟，用来看电影是一个很不错的选择，而且还搭载了300多款游戏和应用，同时支持PC等设备的实时串流。

此外，玩出梦想科技更是打出了全面媲美Vision Pro的口号，那么玩出梦想MR究竟是怎样一款产品？

注：具体价格暂未公布

8K超高清画质，娱乐办公都覆盖

硬件上，玩出梦想MR搭载了高通第二代骁龙XR2+芯片、双目8K Micro-OLED屏幕和双3200万像素高清摄像机。

超高清的显示屏，用来观看电影是一个很容易想到的用途。

玩出梦想MR是IMAX和DTS全球首个空间计算与混合现实领域合作伙伴，在观影场景表现惊艳。

此外，在玩出梦想科技自研的影院模式下，支持在空间中1:1还原超千寸的IMAX级巨幕；

听觉上支持DTS定制空间混响音效，可模拟7.1声道的音响效果，带来真实沉浸的观影感受。在此基础之上，玩出梦想MR还能在播放影片的同时，将空间中的场景替换为电影院，体验上更有看电影的感觉了。

当然，花成千上万的价格买个电影播放器，再怎么沉浸也还是贵了一点点，所以，其他功能也是必不可少的。

比如空间游戏，目前玩出梦想MR支持MR游戏、VR游戏、大屏2D游戏类型，生态当中已有300余款游戏或应用，涵盖的类别也十分丰富——

一方面，有面向重度游戏玩家的FPS、动作类游戏（如《玩命特攻》）；另一方面，也有偏休闲益智类的游戏（如《梦境世界》），可以满足不同偏好的玩家。

在早期调查中，已经有《灭亡之后:凛冬》《梦境世界》等一些游戏拥有了一定的用户数量和粘性，并且很受玩家的喜欢，未来玩出梦想科技还将和更多厂商展开合作，引入爆款游戏。

除了游戏本身，交互方式也十分丰富，在AI技术的赋能下，设备既可以通过眼动、手势来操控，也可以用语音控制；

也可以拿起手柄，不仅能更加真切地感受到手中的重量，还能接受到来自手柄的拟真力反馈，让空间交互，特别是体感游戏，变得更加真实，同时在射击类、动作类游戏中让控制更加精准。

另外，利用设备上的双3200万像素高清摄像头，无需手持设备就能拍摄出真实的空间视频。

而且玩出梦想MR还加入了防抖算法，拍视频时不用再担心手抖了。

拍摄出的视频也无需后期处理，拍完就能直接看，其他设备拍摄的空间视频也能播放。

在这些娱乐功能之外，玩出梦想MR也可以运用在办公生产力场景。

除了与之相关的应用，也可以把电脑屏幕串流到空间之中，可使用的显示空间变得更大了，但操作习惯无需改变，像平常一样使用键鼠就可以在MR环境当中办公了。

当然，如果想要长时间使用，除了功能多多益善之外，佩戴的体验也至关重要。

玩出梦想MR佩戴起来十分舒适，它的重量分布经过专门分配设计，采用了3:2的均衡配重，可以减轻颈部和面部的佩戴压力，即使长时间佩戴也不易疲劳。

另外，12mm的超大眼盒设计，睫毛不容易触碰到镜片，还支持51-78mm的自动瞳距调节，适应不同用户的生理特点。

从增加应用场景到改善使用体验都可谓是效果拉满，而背后所应用的技术，可想而知是一个浩大工程。

技术细节充满AI

实现这样的效果，需要算法、硬件、光学等多个领域的技术积累。

玩出梦想科技团队有70%的成员都是技术研发人员，包括光学、硬件、软件、算法等全链路，全栈式的自研能力可以说是玩出梦想科技的重大优势。

其中，软件及算法研发工作主要围绕着三个方面进行——动作追踪（交互）、地图构建，以及光学（视觉）层面的优化。

其中，交互和视觉对于我们来说，是更容易直接感受的。

手眼语音多模态融合交互

交互方面，前面已经介绍，玩出梦想MR支持手柄、手势、眼动、语音等多种使用方式，这背后需要头部、手部、手柄、眼动等追踪能力。

• 头部追踪上，是由多个摄像头负责捕捉头部的运动信息，IMU提供角度变化信息，通过传感器融合算法将这两种数据结合，得到头部在空间中的精确位置和朝向。玩出梦想科技布局了头部6DoF追踪技术，可以实时捕捉用户头部的位置和朝向,实现头控视角的变换,提高MR体验的沉浸感。
• 手部追踪通过分析摄像头图像中手的形状、纹理等特征，估计手的位置、朝向以及每个关节的角度。这需要大量的训练数据和精细的模型设计。玩出梦想科技重点布局了手部26DoF追踪技术，不仅能识别手的位置和方向，还能检测每个手指关节的运动,实现更灵活、自然的手势交互。
• 眼动追踪则一般通过近眼摄像头和红外发射器实现。红外光照射眼睛，近眼摄像头捕捉眼睛对红外光的反射，通过分析反射光斑的位置，来估计眼球的转动、判断眼球注视点。在配备了高精度眼动追踪的同时，玩出梦想科技还探索将眼动追踪用于渲染优化、身份识别、 视线追踪等领域,以提高显示效果和交互体验。

需要注意的是，这些交互方式并非独立运用，实际过程中往往还需要将多种方法融合使用。

所以，除了分别在这三种追踪技术上进行布局外,玩出梦想科技也在将这些技术进行融合与协同。

利用传感器融合算法,玩出梦想科技将不同追踪技术的数据进行时间同步和语义理解,以准确解析用户意图。

例如，当用户看向一个物体并用手指指向它时，设备需要将眼动数据和手势数据结合，判断用户想要选中这个物体。

这就需要对不同传感器来源的数据进行时间同步和融合，并通过机器学习算法来理解用户的意图。

不难看出，在交互技术当中，机器学习的影子频繁出现，在MR的技术底层当中，AI已经深度融入。

双目8K Micro-OLED+显示屏幕逐台校准

再来看光学层面，VST是MR设备的核心功能之一，玩出梦想科技在这方面实现了14ms的超低延迟，基本与苹果Vision Pro持平。

这与其搭载的高通第二代骁龙XR2+芯片的算力当然密不可分，但研发团队还需要对算法进行优化，比如去除安卓系统中冗余的部分，才能充分利用芯片优势。

为了更快的响应速度，也为了双目8K的超高清晰度，玩出梦想科技选择了显示精度更高的8K Micro-OLED显示屏。

当然除了最核心的屏幕，玩出梦想科技自研的4片式超轻树脂Pancake光学方案也十分重要。

经过精密设计和计算，玩出梦想MR最大限度减少了光学系统引入的衍射和像差，让成像质量得以保证。

另外，为了实现更准确一致的显示效果，玩出梦想科技针对所有设备逐台进行了色彩标定和几何标定，确保显示偏色ΔE<3，双目合像误差小于0.01°，并且双屏色温、亮度高度一致。

AI给地图打上语义标签

另一个地图构建的模块，人们的感受可能就不那么直观了，但依然十分重要。

因为要实现虚实融合，设备不仅需要感知用户，还需要感知和理解周围的环境。

玩出梦想MR的地图模块可以快速通过传感器感知周围环境，并生成由点云、网格、语义标签三个要素组成的地图数据。

而语义地图的生成，需要同时使用几何信息和视觉信息，就像动作追踪模块一样，这个过程同样“AI含量满满”。

首先，设备通过三维重建算法生成环境的几何模型，并与摄像头拍摄的图像进行配准，给每个几何元附加上对应的颜色纹理。

接下来是语义理解的步骤。设备通过深度学习算法来分析每个像素点或者网格面片所属的物体类别，生成语义标签信息并附加到地图数据中。

除了地图本身，玩出梦想科技在存储、算法效率和数据组织上也都进行了优化，使得语义地图的生成和访问都非常高效，可以支持实时的应用需求。

借苹果的东风

在拥有大量技术积累的同时需要指出的是，实现产品的批量生产，只有这些技术是不够的。

因为在硬件上，特别是一些定制化组件，初创公司往往还面临着供应商不愿意专门生产定制化配件的窘境。

理由也很充分——定制化配件需要对生产线进行调整，而新物种的配件需求量无法保证，很难给供应商带来收益。

不过，头部玩家苹果的入局改变了这一局面——Vision Pro让供应商也看到了MR的未来，开始重新审视相关配件的利润点。

玩出梦想科技CMO朱然认为，苹果开启了空间计算时代的序幕——

苹果的入局，无论是针对市场教育程度、供应链的整合，还是内容CP厂商的积极性来说，都起到了快速助推的作用。

朱然还表示，小型创业公司没有苹果那么多营销资源去做大规模市场教育。

但在苹果进行了市场教育后，只要树立好自己的产品差异化和品牌差异化，就可以在细分市场上获得一席之地。

实际上，对于初创公司来说，借助头部选手的东风，建立起自己的产品体系，的确是一种潜在的发展思路。

不只是供应商，苹果Vision Pro也将空间计算的未来展现在了用户面前，让用户看到了MR设备并非花拳绣腿。

在这种趋势的带动下，XR终端保有量将会提高，内容生态闭环或将得到打破，涌现出一大批的优质应用，带来产业的繁荣。

最后再回到此次发布的玩出梦想MR，它将于今年下半年在国内外正式开售。