根据下面两张图,你能分辨出哪个是短视频,哪个是电影画面吗?
如果你辨别有困难,不要怀疑自己。从技术参数上来说,右边西瓜视频的图像在画质上确实堪比院线大片。
不仅仅是西瓜视频,现在,字节跳动旗下的抖音、剪映也能实现电影级画质的视频制作和播放.这是怎么做到的?
#先了解HDR
视频质量有五个要素:分辨率、位深度、帧率、色域和亮度。其中,分辨率影响图像细节的精细度(即清晰度),位深度影响色彩层次的精细度,帧率反映视频动作的流畅度,色域显示视频能够表达的色彩范围,亮度显示人眼能够感知的最暗和最亮物体的差异范围。一般来说,这五个方面的技术参数越高,视觉表现力越好。
影响视频质量的五个因素
目前,分辨率、位深、色域、帧率等技术相对成熟,亮度成为决定视频表现力的关键因素。
不难理解,视觉图像是光影的艺术。过去,我们常常认为视频和图片不如真实的风景生动。主要原因是技术无法真实还原自然的真实光影。
目前业界普遍采用高动态范围成像(HDRI或HDR)技术来解决这一问题。
在计算机图形学和电影技术中,HDR是一组用于实现比普通数字图像技术更大的曝光动态范围(即更大的明暗差别)的技术。动态范围成像的目的是正确地表示从阳光直射到现实世界中最暗阴影的如此大范围的亮度。
与之前业界常用的SDR(标准动态范围)相比,
HDR图像能够呈现的明暗细节更多,色彩更丰富,能够最大程度地还原真实场景.
从iPhone12开始,HDR拍摄逐渐成为一种趋势。目前越来越多的设备(iOS、安卓、专业相机)开始支持HDR拍摄。
在回放方面,HDR视频得到了广泛应用。国外的YouTube和网飞,以及西瓜视频、抖音等国内平台都已经支持HDR。
播放视频。
然而,在创作层面,HDR视频的剪辑和合成仍然面临着不小的技术挑战。
#字节跳动如何实现全链路支持HDR
HDR标准中有很多协议,加上各种色域的影响。在不同格式视频混合的场景中,如果处理不小心,生成的视频颜色和亮度跳变会不协调。另外,在不支持HDR显示的硬件中,如果一般也采用HDR处理模式,会出现过曝的情况。即使对于HDR视频,由于技术差异,显示的图像质量也大不相同。例如,由于位深度不足,某些场景可能会出现明显的颜色渐变和分层。在短视频从编辑、发布到消费的整个环节过程中,如何根据硬件和视频条件还原原生HDR视频的色彩和亮度,是目前HDR视频处理的难点。让我们谈谈如何在字节跳动解决这些难题。
视频编辑环节:
与主要的HDR标准兼容
有很多HDR标准,也有很多扩展标准,适用于不同的应用场景。常见的主要有:
HLG:HLG的全称是混合原木。
Gamma是英国BBC和日本NHK电视台联合开发的高动态范围HDR标准。HLG不需要元数据,可以向后兼容SDR。与HDR10相比,即使在现有的SDR显示设备上,HLG图像也能呈现得明亮生动。
HDR10:HDR 10的全称是HDR 10媒体档案,由美国消费电子协会于2016年发布。本标准推荐使用2020色空间,感知量化(感性
量化器:PQ)和10位的位深度,本文用PQ表示。
杜比视觉:杜比
Vision的中文名是杜比视界,是美国杜比实验室推出的影像画质技术,通过提升亮度、扩展动态范围来提升影像效果。它可以提升视频信号保真度,从而让图像看起来非常逼真,但主要应用于影院场景。
这里介绍日常更容易接触到的HDR标准――HLG和PQ。
HLG和PQ的线性光曲线:
HLG视频一般亮度峰值在1000nits,而PQ的亮度峰值可达10000nits。对视频创作平台来说,只有兼容以上HDR标准的算法,才能够真正实现支持HDR视频创作。
上面介绍了主流的HDR标准,要进行高质量的HDR视频编辑还必须解决如下问题:
支持10bit位深的视频解码和渲染
HDR视频并不一定必须是10bit位深,但是10bit位深能让视频呈现出更好的色彩渐变精细度,尤其是在纯色的背景下更为明显。这需要将传统的8bit位深链路改造成10bit位深,打通全链路的10bit
HDR,令HDR视频在全链路编辑中没有精度的损失,保持最佳效果。
字节跳动智能创作团队通过 改造渲染链路,支持10bit位深的渲染 ,在视频处理的整个链路中,减少精度的丢失,最大程度还原真实的原视频效果。
8bit位深
10bit位深
8bit位深
支持色域
除了位深,为了兼容多种色域视频的混剪,字节跳动智能创作团队支持了更多的色域转换,如常见的BT709、Display P3、BT2020等。
支持Tone Mapping的转换
Tone Mapping的转换是HDR支持的关键点。显示HDR视频的主要流程如下:
由于HDR在亮度显示上是有要求的,而目前主流显示器大部分都无法达到显示HDR亮度的标准,需要通过Tone
Mapping算法,将超出的部分Mapping到对应显示器的范围,而不是直接丢弃。
Tone
Mapping算法对画面最终呈现的效果起到关键作用,如果算法兼容性差,就会产生色彩偏差、细节丢失等问题。字节跳动智能创作团队通过对各种场景的反复比对、调整,优化了Tone
Mapping的算法,实现不管是SDR转换成HDR还是HDR多种格式互转,最终都能呈现最接近原生相机的HDR效果。
原视频
字节跳动自研的ToneMapping效果
某App的ToneMapping效果
由于平台上的视频源有多种类型(如传统的SDR、HLG、PQ等),在做不同色域的视频混合编辑时,如果不去兼容不同的色域,就会出现如下情况:
原视频
未做兼容的混剪视频
兼容后视频
支持特效素材HDR
传统的素材基本上都是基于sRGB的色域设计的,在HDR视频场景,直接应用到BT2020的色域上,必然存在颜色不匹配的问题。
目前抖音、西瓜线上素材的种类非常繁多,但光采用上述的Tone
Mapping将SDR素材实时转换成HDR素材,也是没法完全解决所有素材的效果问题,甚至还会出现转换后效果不如之前。所以我们还采用了素材重新设计的方式,将Tone
Mapping效果不好的素材重新设计。 字节跳动智能创作团队
也是行业内第一家支持特效素材展示HDR效果。经过这些措施,大家就能在抖音、西瓜上添加特效的时候,看到最真实的HDR效果。
目前,西瓜视频、抖音和剪映已经较好地解决了上述HDR视频编辑的难题。以抖音为例,抖音的视频编辑能力无论是在多种不同色域视频混排、还是单一HDR视频显示效果、以及ToneMapping算法的调优方面,均达到行业领先水平:
经抖音编辑后的HDR效果
传统SDR
视频消费环节:
由于HDR视频的播放对屏幕所能支持的亮度有要求,在消费环节,最大的技术调整是兼容性。字节跳动通过ToneMapping的方式,可以让不支持HDR视频亮度的屏幕也能展示出较好的色彩。
HDR效果
不支持HDR的手机播放HDR
值得一提的是,目前,字节跳动已经行业首家实现同一套解决方案/代码在多个平台(Windows、MacOS、iOS、Android),西瓜、剪映、抖音(开放测试中)多个业务中同时全链路支持HDR视频。上述能力已免费面向用户开放。
Mac
Windows
伴随HDR视频序幕的拉开,相信在不远的将来,HDR直播也会实现普及。创作者可以用更接近真实的效果来展示自己的作品,为视频用户带来一个色彩斑斓的新世界。
# 字节跳动智能创作团队
智能创作团队是字节跳动音视频创新技术和业务中台,覆盖了计算机视觉、图形学、语音、拍摄编辑、特效、客户端、服务端工程等技术领域,在部门内部实现了前沿算法-
工程系统-产品全链路的闭环,旨在以多种形式向公司内部各业务线以及外部合作客户提供业界最前沿的内容理解、内容创作、互动体验与消费的能力和行业解决方案。
目前,智能创作团队已通过字节跳动旗下的火山引擎向企业开放技术能力和服务。