谷歌最新黑科技:裸眼3D视频通话,宛如真人面对面!Jeff Dean:魔镜啊魔镜
谷歌I/O大会2021亮点总结
晨 明敏 发自 凹非寺
量子位 报道 | 公众号 QbitAI
受疫情影响停办一年的谷歌I/O大会回来了,这一次是全程线上举办。
在会上,谷歌公布了一个秘密开发5年多的黑科技:
这个名为Starline的3D视频通话技术,让屏幕另一边的人看起来有体积、有深度和阴影,就像坐在你的面前一般真实。
而且是裸眼3D,不需要佩戴任何眼镜或者头盔。
连谷歌AI掌门人Jeff Dean都表示大受震撼,可以称作“魔镜”。
在疫情中,人与人的沟通方式受到挑战,隔离使分散的家人无法团聚,远程办公、在线教育成为新的热点。
Starline就是谷歌给出的答案。
已有大约100名谷歌员工在参与过内部测试,与普通的视频会议相比,这些员工表示使用Starline开会过后对细节能有更生动的回忆。
从会议中走出来时,感觉到确实与对方见过面。
光场显示屏
Starline用到的设备是一个65英寸的光场显示屏,以及在现场布置的十多个摄像头和传感器。
这些传感器从不同角度捕捉人的形象,使用深度学习进行实时压缩,传输到另一边再重建成3D影像播放出来。
这一切都是实时完成,并非事后渲染。
配合上空间音效,屏幕两端的人就可以即时交流。
数据传输与普通的视频会议一样基于WebRTC,独特的压缩算法使双向实时传输3D影像成为可能。
虽然演示用的两个展台网络是直接光纤连接的,但谷歌工程师坚称标准的办公环境网络就可以胜任。
《连线》杂志的记者进行了现场体验,他表示画面会以真实比例呈现,里面的人像在一个透明的盒子里。
不过如果在沙发上挪动位置太大,体积的感觉就会消失,变成了看普通的大屏幕电视。
此外,体验过程中还有将网页投放到光场显示屏上,让两人进行实时协作的环节。
开发历程
过去几年,谷歌在如何拉近人与人的距离上,下足了功夫。
谷歌眼镜、独立VR头盔,虽然在一定程度上实现了把人像呈现在眼前,但是能达到的效果都十分有限。
Google Glass与Daydream VR头盔在商业上都没有获得成功,目前都已停产。
Starline成了新的研究方向。
不用佩戴额外的装备,可以使技术的成分隐藏起来,人们能够把注意力集中到交流的对象上。
但是它什么时候能走入寻常百姓家,这还需要打一个大大的问号。
谷歌并没有透露Starline的造价有多少,反正不会很便宜。
目前,Starline还只是在谷歌内部小范围测试应用。
他们计划今年内在少数企业中进行测试,主要涉及云服务、远程医疗、媒体领域,但拒绝透露这些企业的名字。
不过其中用到的技术会很快应用到一般视频会议中,比如增强光照和阴影。
I/O大会其他亮点
除了让人眼前一亮的“魔镜”,今年谷歌I/O大会还发布了哪些新内容?
今年,谷歌正式发布了第四代TPU,并将在谷歌的数据中心运行。
第四代TPU的算力是第三代的2倍,一个pod(芯片集合)可以超过1个exaflop的运算能力,即每秒10的18次方次运算,较上一代提升10倍。
AI无疑是今年大会的重头戏,谷歌此次推出了两个算法模型。
LaMDA是一个基于 Transformer架构的对话模型,它能够在“听懂”人类指令的基础上,对答如流并保证逻辑、事实正确。
目前LaMDA还在实验阶段,不久的将来会提供给第三方进行测试。谷歌表示,LaMDA最终会应用在Google搜索、Google助手等功能中。
与此同时,谷歌还发布了一个全新的模型——MUM。
它是一个基于搜索结果的多任务统一模型,能同时处理文字、图片、视频等信息,最终得出一个具有参考价值的信息。
比如当被问道:“我已经成功登上了亚当斯山,明年想去登富士山,应该准备些什么呢?”
MUM可以通过人们提供的照片、视频、路线图等信息,结合当地的气候、地质情况,规划出一个最合理的攀登计划。不过现在它还处于实验阶段。
此外,谷歌首次展示了他们位于加州圣巴巴拉的量子AI园区,这个园区中设有量子数据中心、量子硬件研究实验室,以及谷歌自己的量子处理器芯片制造设施。
他们表示正在推进一个大计划:用100 万个物理量子比特建造一台有纠错能力的量子计算机。
这对于目前量子计算机的规模(少于100个量子比特)而言,是个巨大的突破。
最后当然,也少不了保留项目Android 12。
这一次Android 12引入全新的设计语言——Material You,Google强调“你”才应该是操作系统的创作者。
在全新的界面中,用户可以自由定义系统的色彩组合,而不仅仅是单独的颜色。
并且完全重写了一些底层交互逻辑,在增加流畅性的同时延长续航。
Android12的另一个重点是隐私保护。增加统一的隐私面板,隐私设置一目了然。
△小米:呵呵
另外在APP使用摄像头或话筒时,用户可以在通知栏获得提示,并且增加全局权限开关。
同时还引入了一个“私有计算核心”的概念。手机中所有基于AI运算得到的数据,都会被存储在特定的空间内,不会被外部窃取。
未来,Android 12还有计划加入数字车钥匙功能,已与宝马展开合作。
此外,Google宣布他们将联合三星和已经被Google收购的Fitbit,重新打造Wear OS。
Google I/O 线上参与地址:
https://events.google.com/io
参考链接:
[1]https://www.wired.com/story/google-project-starline/
[2]https://blog.google/technology/developers/io21-helpful-google/
- 第一批“AI原住民”小学生,正在用大模型搞开发2024-09-04
- AIGC的风口上,中国企业如何提升出海胜算?|出海大咖说2024-09-03
- 腾讯全球数字生态大会 大咖共解数字化新问2024-09-03
- 米哈游蔡浩宇新AI公司曝光,挖Llama 3科学家坐镇大模型2024-08-30