论唱歌还是服清华，「云」合唱献礼校庆，延时不到50ms

鱼羊 2020-05-13 18:27:35 来源：量子位

鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI

几个月没去KTV跟朋友嗨歌，在座各位麦霸是否已技痒难耐？

那么，你是否有过这样一种大胆的想法——

借助现下用户量蹭蹭蹭往上涨的视频会议软件，远程K歌？

就像这样：

那么，问题来了，就视频会议软件那延时，当一场视频会议里有人跟你在同一个办公室坐着，那双重混响谁用谁知道，K起歌来体验未免有些差劲。

但在清华校庆之际，清华教师阿卡贝拉小唱组的老师们，还真献上了上面这一场“云上实时合唱献礼清华校庆”活动。

并非事先各自录制，而后剪辑实现。这6位老师是在各自家中，利用普通网络和普通手机，同一时刻一起远程合唱。

不得不说，论唱歌还是服清华，前有李健水木年华高晓松等知名“音乐”校友，现在还通过技术实现云合唱。

那么这项技术，究竟有啥过人之处？

超低延时音视频互动技术

前面提到，视频通话、视频直播中尚可接受的几百毫秒延迟，对于实时合唱来说却是致命的。

如果双方的人声、伴奏延时高于100ms，唱的拍子就会合不上。

因此，在此前被众多网友称作“有生之年系列”的One World：Together At Home网络音乐会上，受限于歌手们时差、现场收录条件、网络条件的差异，为了保证演出效果，大部分合唱表演其实是提前录制好的。

正如著名音乐电台DJ，SoundArio音乐基金会创始人加菲众所评价：“0.17秒的延迟足以低效全世界顶级音乐人的现场功力。”

而清华老师们这场精彩的阿卡贝拉，即无伴奏合唱，对演唱者之间的相互配合要求极高，单向延时超过50ms，或者声音断断续续、忽大忽小，就会造成歌者之间的互相干扰。那就不是美妙和声，而是灾难现场了。

所以，这场表演是如何实现的？

老师们借助的，是超低延时音视频互动技术，能使单向音视频延迟低于50ms。

而技术的提供方，正是从清华园走出来的技术团队——清流鼎点（PowerInfo）。

音视频互动涉及编码、传输、转发、解码等多个环节，各个环节又分为多个模块和层次。清流鼎点的iLive方案将其视作一个整体，进行全栈综合优化。

其中的重点，是在音视频的编码和传输环节。

iLive方案建立了从评估、预测到调整的延时、流畅及质量三要素模型，并针对不同场景，进行基于大数据的算法和策略优化。

涉及的技术细节包括：

PTCP传输协议：基于UDP（用户数据报协议），在充分理解传输内容的基础上，实现的专门用于实时音视频的协议，具备优先级、jitter、RC、重传、FEC等多种控制手段。

ARRC：支持基于传输信道状态对编码及播放策略的控制，依据海量数据的分析，并根据不同场景QoE模型，采用不用的控制策略。

Multi-Path多径传输技术：在PTCP协议内部实现Multi-Path传输机制，支持主/从、并行等不同的传输策略，支持基于对不同信道状态实时监测的Packet粒度的动态选径策略。

也就是说，能够同时利用多个网络（比如WiFi和4G）传输数据，降低单个网络的传输不稳定性，从而降低卡顿率，提升音视频通讯体验。

目前，这一技术方案已实现在1%丢包率下，码率4Mbps音视频延迟最低达42ms，卡顿0.2次/分钟。

也就是说，普通家庭网络接入，只要丢包率不超过1%，就可以体验超低延时合唱啦。

并且，该技术已经在清流鼎点推出的直面app上应用。据官方介绍，可以满足线上教学、视频会议，乃至实时合唱、在线乐队排练等场景需求。

乐徽科技和腾讯合作运营的“全民K歌”线下体验店，同样应用这套技术方案，实现了异地实时卡拉OK合唱功能。

如此效果，也给未来的线上互动场景提供了更多可能性，比如在AR/VR游戏中的应用，在远程医疗领域的应用……

清流鼎点：生于清华，长于清华

最后，简单介绍一下清流鼎点。

清流鼎点的创始团队，全员毕业于清华计算机系。在视频编码及传输领域有近20年的持续积累，从事过国内首批电信级VOD、IPTV系统、广电级高质量视频编码器等开发工作。

其合作客户包括：央视、映客直播、Starmaker、dokidoki等等。

自2008年起，清流鼎点旗下公司累计为中国用户大规模地提供过3次奥运会网络直播、2次欧洲杯和1次世界杯的网络直播，以及4届央视春晚网络直播，在网络直播视频传输领域积累深厚。

— 完 —