移动计算的未来:是什么在推动变革? | 幂集创新
升维和融合
一切技术创新周期,一切发明时代,其实都是幂集创新作用的时代。我们希望通过这一系列栏目提供一种尺度,丈量技术创新周期的尺度,从技术维度把握创新浪潮的演进路线。
这是量子位最新原创系列策划栏目「幂集创新」第四期,本期的主题是移动计算。
智能手机之后的下一块屏幕,到底会是什么?
AR隐形眼镜?可做到随时随地在眼球上完成图像计算,在直径不到2cm的镜片上,集成了图像处理芯片、显示控制和无线通信系统等。
AR眼镜的无线设计参考也来了,智能手机和 AR 眼镜之间可以对计算负载进行分配,二者的融合将会更为丝滑,不免让人对消费级AR眼镜抱有更多期待。
另一边,ARM for PC也逐渐成为行业共识。ARM架构的低功耗、低耗电优势被移植到PC端,从而打破移动PC“苦续航久矣”的局面。
不管是当下火热的元宇宙领域,还是上一代移动计算平台,似乎不约而同地向着一个趋势发展——
移动性高、低功耗、长续航,还希望兼顾高性能。
而这些特性,不正是智能手机所具备的?同时也是它在十几年内成为主流移动计算平台的最重要原因。
不知道什么时候开始,智能手机已经不是各种移动计算平台当中的唯一主角了——至少从技术底层涌动的潮水来看,已经再明显不过。
新型移动计算平台基于过往的升维和融合
我们确实已经来到移动计算发展的新节点。
从定义来看,移动计算的范畴覆盖了可移动设备各类型数据的产生、分享、显示等全链条过程,其中的数据可能来源于人机交互,也可能来自于设备感知等层面。
当下最普及的移动计算平台非手机这一形态莫属。
如今随着5G和AI技术普及,人机交互进一步革新,设备感知形式也逐渐发生变化,并进一步催生出新型移动计算形态,如XR硬件、传统PC更新。
首先来看5G,无论移动计算的平台形态如何迭代,通信技术都是不可或缺的一环,甚至会对网络连接提出更高质量要求。
回望过去从2G、3G再到4G的发展,其实都聚焦于手机这一载体的应用拓展。而来到5G,这种趋势已悄然发生了变化。
标准制定组织3GPP最新释出的5G功能,应用场景不仅仅局限于手机,而是更加多元化。
而底层AI能力,则是驱动移动计算发展的另一大因素,能保证移动设备在有限算力和电源的条件下,具备足够的数据处理能力,以应对多元化的场景,比如游戏、娱乐、拍照等与我们生活息息相关的功能。
在智能化、数字化的当下,AI无疑成为了各大平台厂商、芯片供应商争相竞逐的对象。
于是,移动计算随着5G和AI的自然拓展和迁移,并催生了具有更新、更好体验的全新平台,也就变得顺理成章了。
而如果将5G当做一种基础能力,以AI能力为划分,移动计算的发展方向大致还可以分成两类:
一类是升维,一类是融合。
先说升维,以基于XR设备的移动计算平台为典型。人类几千年传播信息的媒介,无外乎都是二维、平面的介质;而元宇宙的XR设备,直接将二维升成了三维。我们存在的整个空间都变成虚拟化和可计算。这对底层的算法、算力提出了更高的要求。
拿我们最能感知到的视觉算法来说,手机主要聚焦于二维拍照的场景,包括人脸检测、超分降噪、画质增强、超清人像等。
以高通这一底层玩家为例,骁龙平台的高通AI引擎屡屡在这方面进阶:目前的第七代高通AI引擎已经将面部特征识别点增加到了300个,人脸检测速度相比上一代提升300%,还有像多帧降噪、局部运动补偿等功能。
而来到XR设备端,一戴上即开始全场景实时计算,包括位置跟踪、3D对象跟踪、平面检测、空间映射和网格化、场景理解等;不仅算法从二维升阶到三维,还对真实性、低时延提出了更高的要求。
另一类则是融合,这一趋势又以基于PC的移动计算为典型。随着移动办公、远程办公的需求兴起,PC端市场在这几年中正在迎来前所未有的增长。去年一年,全球PC市场创下了近十年来最大出货量,达到3.41亿台。
值得注意的是,且不说一些芯片玩家开始ARM for PC,就是更多手机厂商、互联网厂商也纷纷在布局平板、笔记本产品,软件开发者们也开始在打破移动与PC之间的边界。
各种原因,其实不难理解,就是融合生态的优势。移动手机的发展如火如荼,PC价值又无法替代。不如两者打通、无缝切换,实现全场景的覆盖。
这一点已成为业界共识。比如为了更好的“融合”,一些厂商原本在手机端的一些算法,比如视频会议时的面部识别、语音识别以及端侧AI加速等逐渐迁移到了PC端,还有像多屏协同、通用控制等新兴功能,正在成为生产力必备。
综上不难看出,以AI为驱动的移动计算的发展演变,正从基于手机这种单一形态,走向基于手机、XR、新型移动PC等终端或平台的多融合、多场景,而且速度迅猛。以XR设备为例,根据Counterpoint今年1月的数据,预计2025年,XR头显出货量将达到1.05亿台,相较2021年的1100万台增长10倍。
但如何走怎么走,以及一些尚待解决的技术问题,比如算力、算法以及架构兼容等,都是企业不小的难题,也将影响着未来移动计算的发展迭代。
怎么看未来移动计算的发展迭代?
从外在形式来看,移动计算的当下与未来,似乎落在了智能手机、XR设、移动PC等表现形式各异的硬件上。
但无论用于移动计算的终端或平台形态如何变化,决定根本属性的要素依旧是芯片、底层软件和算法。
作为当下移动计算平台的代表,智能手机的技术路线已经发展成熟,且其移动计算能力也还在不断迭代升级。
由此一来,关于“移动计算下一步该如何走”的问题,便不再完全是以0为起点的技术开创,而更多是如何让已有技术实现跨界迁移。
具体该怎么做?
行业玩家高通给出了一种技术路线参考——
将始于智能手机的通用硬件架构和软件特性作为关键因素,逐步扩展至XR、PC等新型移动计算平上。
而这条路线的最底层能力,还要从5G和AI看起。
一方面,两者驱动下,手机端的人机交互方式不再局限于触摸屏幕。
如语音助手、手势交互等功能,他们基于NLP、CV技术,实现了更符合人类自然信息交流方式的人机交互,并激发出了很多前所未有的应用。如第七代高通AI引擎,可以实现通过分析用户声音判断其心情是否抑郁、身体是否健康。
但是这些大量AI应用数据要在移动计算平台上快速传输,这也就要求平台同时具备强大的5G通信能力。
而这些在智能手机上“锦上添花”的功能,放到XR设备上则可能会是刚需,对5G能力的要求也会进一步增强。
另一方面,海量算法加持让手机性能一再突破极限。
比如摄像方面,降噪、自动对焦、使用滤镜、8K HDR等功能都可在算法的加持下实现,这些成为了手机拍摄大片的关键。
游戏方面,利用深度学习超级采样技术(DLSS),手机上也能提取渲染场景的多维特征,并智能的组合多帧画面细节来构造高质量图像,实现超越传统渲染的性能,比如云渲染了解一下,这就对5G和AI有着更高维的技术要求。
还有信号稳定传输、电池续航等问题,也能通过AI来智能优化。
这些方法思路同样可以用在XR设备、移动PC上来提升性能。
实际上,以AI作为共通的底层能力,为智能手机、XR设备、移动PC提供技术驱动,是行业内已经认可的技术路线。
比如,基于“统一的技术路线图”,高通的AI能力已经逐步渗透到XR、PC等几乎所有类型的终端。
XR领域,Meta Oculus、微软Hololens、字节Pico、创维VR等几乎所有主流XR厂商的头显设备,都采用了骁龙XR系列平台。其中骁龙XR2是当前的代表方案之一,高通称这是首款将5G和AI结合的XR芯片。
它引入了七路摄像头支持和定制化计算机视觉处理器,实现了实时追踪用户头部、嘴唇和眼球,26点手部骨骼追踪等功能。
场景理解和3D重建能够将虚拟信息与物理世界更好融合,带来更为沉浸的交互体验。
但与此同时,设备还会感知用户所在的外部环境,可以通过AI识别出门铃、孩子哭声等声音,来提醒人们处理紧急事件。语音助手也会实时待命,并能在嘈杂环境中识别命令,基于5G信号的能力及时将消息发送至用户终端(移动计算平台)上。
近日高通还发布了最新的第一代骁龙XR2+平台,在带来续航和散热表现的大幅提升之外,还引入了全新图像处理管线,支持并行感知技术,包括头部、手势和手柄追踪、3D重建以及低时延视频透视;该平台的高像素密度能够支持PC级虚拟景观,并能够同时支持多个传感器和摄像头,为更逼真的虚拟人物赋予细致入微的面部表情。
Meta已经发布了基于该平台的首款产品Meta Quest Pro,与同样搭载骁龙平台的手柄结合,可通过多个嵌入式定位摄像头进行自追踪,并与头显之间实现超低时延;结合面部和眼球追踪时,能够在VR中为用户打造更加自然的虚拟形象。这同样不失为是一种以升维为核心的融合。
移动PC领域,高通也在尝试用5G和AI来提升移动办公的生产效率、保护终端隐私。
比如召开远程会议时,设备可以准确感知到主体的面部,即便是在人口嘈杂的街边咖啡店也可以实现精准聚焦,周围的路人也就不会出现在会议上。
在第三代骁龙8cx计算平台上,高通AI引擎可以提供29+ TOPS的加速能力,最高性能提升达3倍。云端部署、本地运行的方式,还能让轻薄本挑战高性能任务,并不占用过多资源。
除了自身应用落地外,高通还将这些底层AI能力集成到一个统一AI软件栈,实现移动计算底层“大一统”。最上游还是统一的AI框架和AI引擎Direct。随后通过不同的开发者服务、系统软件、操作系统,分发给不同的移动计算平台,比如,智能手机、XR、ACPC(Always Connected PC,即始终连接的PC)等都在其中。
其中高通还为开发者准备了一系列工具包,包括AI模型增效工具包、神经网络架构搜索、模型分析器等。
这样一来,它就能实现不同终端之间的应用开发互联互通,如手机到XR设备,以实现不同终端之间的能力打通。
以手机为始,拓展出XR和PC等新形态,最后再将其集成给开发者,构建多元的开放生态,是有点“一生二,二生三,三生万物”的感觉了。
而如果观察高通在5G和AI前沿技术上的探索,会发现他们对移动计算的想象还远不止于此。
高通的通信领导力自然不必多说。今年3月,高通发布了第五代5G基带及射频解决方案——“骁龙X70”。它不但是全球唯一支持从600MHz到41GHz全部5G商用频段的厂商,还全球首个集成了5G AI处理器,它可以利用AI优化Sub-6GHz、毫米波频段的5G链路,提升速度、网络覆盖、移动性、链路稳健性、能效,并降低时延。
而在AI的探索中,今年4月高通发表了一篇论文,介绍了一种用于全景分割的新型神经网络架构,基于对实例、语义关系的学习,它能像素级标记图像,有效识别事物特征并进行预测,同时还能自动关注重要的事物,并在所有基准测试中都达到了SOTA。
该研究可应用于自动驾驶、AR等场景下,目前已被CVPR 2022收录。
想象一下这项成果走向应用,那不就是Free Guy(科幻电影《失控玩家》)走进现实了吗?
未来移动计算还承载着人机交互变革
不可否认的是,包括高通乃至更多玩家都已经认识到以XR、ACPC为代表的新型移动计算平台催生出的新兴场景,有着前所未有的市场和价值。
用XR设备打开的元宇宙,可用于工业、娱乐、游戏、社交等一切可虚拟化的现实场景,在被广泛应用之后,未来几年足以撬动超8000亿美元市场规模。而随着以新型移动PC为代表的移动计算平台的更加通用,以及与其他计算平台的更加协同,更多场景与价值有待发掘……
如果说过去以手机延展出的场景,只是数以百计的垂直软件生态;那么来到新型计算时代,则是带来数以百计的横向产业拓展,进而带来数以千计、数以万计的开发者生态与企业机遇。
而这背后正是AI这一底层技术驱动,所引发的由点到线及面的幂集创新。
包括前面几期提到的汽车、物联网等场景,未来整个移动计算体系所承载着的,还有更为深远的人机交互变革。
纵览整个机器革命,每一次人机交互的革新,都给人类生活方式带来了巨大的改变。
以时间为轴,如今移动计算平台的革新,不正是当下正在发生的人机交互革命?
以传统PC为首的人机交互1.0,半导体技术飞跃进步推动个人计算机时代的到来。而像鼠标、键盘以及图形用户界面的发明,更是让计算机飞入寻常百姓家,即便那个家庭没有受到过专业训练。
当前,以智能手机为首的人机交互2.0,移动计算平台已经开始占据主导地位。
2007年前后以iPhone和各品牌安卓终端为主的触屏交互逐渐成为移动时代下的主流。人们用手指替代键盘,更多生活相关的应用,只需一部手机就可以搞定。因为其便携性,人人都可以拥有属于自己的人机交互设备。
而在可预见的未来,在5G和AI技术驱动下,由XR硬件等新型移动计算平台引领的人机交互3.0,更让随时随地交互成为可能,就像那个AR隐形眼镜,只需一睁开眼就能接收信息,动动嘴就能处理信息,一旦规模化普及开来,就是人机交互新时代的开始,如今只剩下最后的100米,要靠底层能力驱动。
在人机交互3.0时代,一些旧有的移动计算形态也在AI和5G连接等驱动下,带来新的价值创新,如更智能、便捷的新型移动PC体验。
但交互方式等体验上的改变仅仅是表象,技术的普及普惠,才是移动计算革新带来的根本上的深远影响。
从过去每个家庭拥有一台PC,到每个人都拥有一台智能手机,人机交互发生了巨大的变革;而在不远的未来,每个人将都可以随时随地开启各种全新形式的人机交互体验。当AI、5G等技术更加深入影响到我们每个个体当中,我们也可以如科幻电影主角那般,以更为多元的方式感知世界。
这从某种程度上也印证了,任何颠覆性的改变,不仅仅只有像高通这种位于AI、5G等基础技术顶端的赋能型企业能够感受到。其实,我们每个人都身处浪潮之中,能够亲身感受和丈量新的时代机遇,成为幂集创新的一份子。
论文链接:
https://arxiv.org/abs/2204.05370
- Ilya宣判后GPT-5被曝屡训屡败,一次训数月,数据要人工从头构建2024-12-22
- Sora开服被挤爆!支持中文/编剧模式/作品分享,145块就能玩2024-12-10
- 华为云又一数据中心开服:让算力像水电一样通用,青岛这步棋走对了2024-12-07
- 第一个国产中文o1来了,直接数学竞赛题伺候!2024-11-27