近年来,视频通话需求不断增加,在线教育行业、家庭通话、在线协同工作都爆发出巨大的视频通话需求。人们越来越关注视频通话的清晰度和延时,希望以低成本获得高质量的通话体验。因此,视频通话技术正朝着高清、低延迟的方向快速发展。现在,480P(普通清晰度)的秒延迟和视频分辨率是最低要求。不同的地区有不同的网络条件。有些地方带宽低,连接不稳定。因此,在弱网络条件下降低视频通话时延成为一个难题。
中国移动的技术人员在视频通话技术领域进行了深入研究,提出了毫秒级性能优化,从而实现了350ms内720P(高清视频)视频通话的低延迟。
首先,视频通话的处理能力集中在客户端,也就是用户的手机上,这就需要尽可能优化算法,降低计算复杂度,让低端手机也能流畅通话。我们使用优化的VP8视频编码算法,以低延迟实现高压缩比。测试表明,在相同比特率下,vp8具有稳定的信噪比,但可以减少大量延迟时间,对网络传输友好。
其次,视频通话是一个实时性很高的应用,所以大多采用UDP不可靠传输技术。为了承载弱网络,会加入前向纠错技术,同时传输冗余图片。当丢包率达到50%时,通话仍然可以流畅。
第三,很多用户使用3G和4G移动网络,所以会尽可能降低流量消耗,采用高性能编码技术降低比特率。
第四,采用自适应传输技术。因为不同的用户有不同的网络条件,有的适合高清传输,有的适合低清晰度传输,所以必须增加自动识别网络条件的功能。
毫秒延时优化技术方案。
VP8插值滤波器优于H264,在移动设备上的性能也更好。中国移动的开发者对VP8的视频编码算法做了一系列的优化,比如提前结束搜索,将耗时的操作放入循环中,进行针对性的组装优化。目前已融入杭州研究院RTN视频加速系统,性能达到行业领先水平。
目前,航研开发了自主研发的视频通话SDK,支持点对点音视频通话和多人视频会议。在常见的网络条件下,高清视频通话的时延已经降低到350ms以内,可以很好地满足用户对低时延高清视频通话的需求。