文/吴参毅 浙江宇视科技有限公司首席算法架构师

　　引言

　　超高清视频（Ultra High Definition Video/Ultra HDV/UHDV）视频不同于传统的高清视频（High Definition Video /HDV）或全高清视频（Full High Definition Video/FHDV）。超高清视频也不同于传统意义上的在低照度环境里，通过相机不同时间的多次曝光而实现的高动态范围（High Dynamic Range/HDR），虽然超高清视频领域也使用了高动态范围（HDR）这个术语，但他们的意义有显著差异。超高清视频领域的高动态范围HDR是对整个图像的动态范围（）进行扩展，而多次曝光实现的高动态范围是在整个图像的动态范围仍然是标准动态范围（Standard Dynamic Range/SDR）或者低动态范围（Low Dynamic Range/LDR）的前提下，对图像局部区域（过暗区域或者过亮区域）的对比度进行拉伸的一种技术。在图像整体动态范围没有发生变化，进行局部动态范围拉伸虽然看清了部分图像纹理细节，但是使得图像的整体效果感觉不真实，局部动态范围这一技术虽然在数字摄影领域实现了一种蒙太奇的梦幻效果，在对重于现实、还原现实视频监控领域来说并不是什么优势。

　　目前的视频监控应用中存在的两个弊端就是夜间图像成像质量差，以及夜间车辆大灯等灯光引起的图像过曝问题。超高清视频技术的出现为这些弊端的解决提供了技术手段。

　　超高清视频原理

　　由全高清视频过渡高超高清视频，不像当年的标清视频过渡到全高清视频一样，只是简单的图像分辨率增大，由720x576增大到1920x1080。高清相比于标清，只是扩展；但超高清相比于高清，涉及到5大方面的技术变化，如图1所示，可以说是一次真正的技术革新。这次技术革新，从目前的发布的技术标准来看，可以后向兼容于高清，也可以不后向兼容于高清。

　图1 超高清涉及的5大技术革新

　　由图1所示，超高清在5个维度对现有的高清技术进行革新。首先是空间分辨率继续按照全高清的宽高比（16:9）进行一倍和两倍的扩展，扩展到4K分辨率和8K分辨率，使得采集和显示画面的图像像素分辨率更大。更大分辨率的图像可以采集更清晰的图像质量，如图2所示[4]。更大分辨率的图像不仅仅需要显示器更多的像素点，同时对视频监控摄像机来讲，也需要更大尺寸更大面积的传感器靶面，同时又不能降低单个像素点的面积，由此需要对现有高清镜头进行升级。

　                                          　图2 分辨率越大，图像细节越清晰

　　在看的更大更清晰的前提下，是对运动画面看的更连贯，这就需要对帧率进一步提高。在高清视频支持的25fps/30fps和50fps/60fps的基础上进一步把帧率提高到100fps/120fps。如图3所示[4]，帧率越高的场景，可以采集到更多时刻的运动状态，所以运动更加平滑和自然。

　
　                                                                 图3 帧率越高运动越平滑

　                                                      　图4 色域扩展到BT.2020

　　如图4所示，在色彩空间方面，全高清使用的是ITU Rec.709（或者BT.709）,对全高清视频来讲，使用更宽的ITU Rec.2020（或者BT.2020）色域，或者更有限的DCI-P3色域。BT.2020使用纯波长的基色，而传统的标清视频和高清视频仍然使用基于淘汰的阴极摄像管（CRT）荧光粉的光发射的原始值。

　　在亮度动态范围（Dynamic Range）和传递函数（Transfer Function）方面，传统的标清视频和高清视频的动态范围只有100:1，一般的显示器可以显示的动态范围有1000:1。但是人眼视觉的可以感观的动态范围有1012:1，这一个动态范围远远大于目前摄像机输出视频信号的动态范围，如图5所示，但是新的超高清使用高动态范围可以达到105:1，甚至更高。

　　所以目前在电视机或者视频监视器上观看的视频大都不具有身临其境的真实感，原因之一就是图像在采集的时候为了使用传统的标准动态范围或者低动态范围，人为的对动态范围进行压缩，失去了真实性。现在随着视频图像显示和成像处理技术的发展，尤其是阴极摄像管显示器的淘汰，原来基于阴极摄像管显示而制定的许多显示成像技术和标准都需要进行改进。

　                                           　图5 各种动态范围对比

　　这里所说的动态范围，对显示器来说指的是其能够显示的最亮亮度和最暗亮度的比值。对成像摄像机来说，可以说是其传感器或者其ISP输出的数字图像中可以采集到的最高亮度和最暗亮度的比值。由此可见，对于不同的显示器，即便是具有相同的动态范围，由于发光材料和技术等原因，其能够显示的最亮亮度或者最暗黑色会有差异，随意具有同样动态范围的一幅图像显示效果会有差异。所以说，所谓的动态范围，其本质是指图像能够显示出来的亮度（或者灰度）的差异能力，如图6所示[4]。同样对负责图像采集的视频监控摄像机也是如此。只有摄像机的图像传感器和数字图像处理模块首先能够采集到高动态范围的图像，才有可能在高动态范围的显示器上显示出高动态范围图像效果。

　                                                 　图6 标准动态范围和高动态范围对比

　　仅仅使用传统的8比特的数字图像像素位宽，已经没有能力量化高动态范围亮度和宽色域的颜色空间，所以必须对摄像机内部传感器的模拟数字转换（ADC）开始，就需要高位宽的数字化，以及后续的图像信号处理（Image Signal Process）或者相机图像像素处理流水线（Camera Image Pixel Pipeline）中的各个处理模块以及其输出给图像视频编码器数字图像信号，同时视频编解码内部，图像编解码内部，以及视频图像解码器输出，都必须是高位宽像素值。根据短木板水桶理论，从采集成像端到显示端的整个过程中，有一个模块的处理像素位宽还是采用8比特，将导致整个系统不再是超高清的。

　　采用高位宽对图像信号进行采集、编解码和显示，能够表示更加丰富的颜色信息以及更高的亮度动态范围，如图7和图8所示[4]。样点位宽越高，亮度间的梯度阶跃越不明显，表示的颜色的细节量越丰富，颜色直接过渡越自然。并且能够表示更黑的黑色中的纹理细节以及更亮的亮度中细节纹理。

　                                        　图7 高位宽像素点没有颜色阶跃变化

　                                　图8 8比特、10比特、12比特位宽精度对比

　　伴随着超高清视频中的宽动态和高位宽色域，还必须使用新的传递函数（Transfer Function）。数字图像的目标是在显示器上精确的重构场景的相对亮度。场景中的绝对亮度值是不可能重构的。人眼只对场景中的相对亮度值比较敏感。所以在旧式的阴极摄像管CRT中，由于荧光粉的发光特性，荧光粉发出的亮度值和电压值的γ（γ≈2.5）次方成正比，所以摄像机被设计的输出电压值正比于场景亮度值的1/γ次方。在现有的标清电视、高清电视，以及适用于标清、高清图像显示和图像采集的流程中仍然使用这样的伽马（gamma）以及伽马校正（gamma correction）。随着阴极摄像管显示技术推出历史舞台，相应的技术以及标准（BT.709）已经不再适用于新显示技术以及新编解码和采集技术的发展。

　　所以在超高清视频中采用了新的传递函数曲线。如图9所示[3]，对超高清显示有两种电光转换函数（EOTF），同样的对超高清视频采集，也就有两种对应的逆电光转换函数（inverse EOTF），或者成为光电转换函数（OETF），如图10和11所示。

　　图9 三种EOTF对比（gamma、HLG、PQ）

　　图10 HLG OETF（线性光转换为非线性光）

　　图 11 PQ OETF（线性光转换为非线性光）

　　BBC建议的混合对数伽马（Hybrid Log Gamma /HLG）曲线EOTF被标准化为 ARIB STD-B67，杜比视觉（Dolby Vision）建议的感知量化（Perceptual Quantization）曲线EOTF被标准华为SMPTE ST.2084。由图9所示，HLG曲线支持后向兼容标准动态范围SDR，PQ曲线不能后向兼容标准动态范围SDR。HLG曲线能够对表示更大的亮度值，但是表示的暗度值和标准动态范围一样。PQ曲线表示的最高亮度值比标准动态范围和HLG更大，同时能对更黑的暗度值进行编码。

　　对着两种传递函数最终视频监控领域最终会采用哪种，还是两者会并行出现，现在还无法判断。但可以肯定的是，上下游芯片厂家都已经磨刀霍霍了，详细不久的将来会掀开面纱。

　　图12 SDR（gamma曲线）和HDR（PQ曲线）亮度动态范围以及数字编码值对比

　　由图12可见，传统的标准动态范围使用传统的gamma曲线，8比特数字化后的数字范围为[16,235]。PQ曲线的宽动态超高清视频采用10比特数字化后的数字范围为[64,940]。由图可见，PQ曲线对更亮的亮度区域以及更暗的黑度区域进行数字编码，带来显著的亮度范围提升，能够表示的亮度范围为[0.0005,10000]尼特（或cd/m2）。

　　超高清视频显示

　　由前面的HLG曲线或PQ曲线可知，目前的只支持BT.709的传统的gamma曲线的EOTF的显示是无法重构真正的超高清视频图像的，虽然超高清视频图像通过HDR到SDR转换可以在标准动态范围SDR的显示器上显示，但是已经失去了超高清视频所展示的逼真感以及身临其境感。所以要想真正的体验超高清带来的震撼效果，必须使用新型的支持超高清的电视机或者显示器，即经过超高清联盟（UHD Alliance[1]）发布的超高清超级（Ultra HD PremiumTM）认证的才可以重构超高清的效果。

　　超高清显示屏必须使用LED背光加LCD屏进行组合[4]（比如OLED屏），如图13所示，得到真正的超高清效果。

　　图13 超高清显示（OLED显示屏）

　　对于传统的标准动态范围的屏幕需要进行色调映射（tone mapping）创建出低动态范围图像进行显示。

　　超高清视频采集

　　对于超高清摄像机成像来说，传统的传感器sensor仍然实现线性光照度到线性电压的转换，但是在相机图像像素处理流水中（Camera Image Pixel Pipeline）中，至少把其中的gamma校正换成HLG曲线或者PQ映射曲线。同时输出给编码器（比如HEVC/H.265或AVC/H.264）的视频信号必须至少是10比特位宽。

　　浙江宇视科技有限公司的型号为HIC5681-L-U 的4K超高清枪机，型号为HIC6881-X22IR的4K超高清红外球机，型号为HIC8681F-V 的4K超高清防暴鱼眼半球，型号为HIC8681F-VIR的4K超高清红外防暴鱼眼半球，均已经支持超高清的4K分辨率如图14所示，同时也可以输出高比特位宽的图像以及高动态范围图像。

　　图 14浙江宇视科技有限公司的4K系列各种款型IPC

　　超高清视频编解码

　　超高清视频编解码器最好使用HEVC（又称为H.265），HEVC标准已经为高动态范围和宽色域的视频图像编解码，吸纳了多种算法，并对标准进行了多项扩展，如图15所示[5]。要想使用HEVC对超高清视频进行编码，首先需要一个预编码处理过程（pre-encoding processes），如图16所示。

　　图15 HEVC中的HDR/WCG Y¢CbCr 4:2:0视频使用PQ曲线的编码实践

　　图16 预处理过程

　　预处理过程实现把线性光照得到的4:4:4格式的RGB信号转换按照PQ曲线，并线性RGB信号转化为非线性的亮度信号Y’，已经两个色差信号Cb和Cr。其中的色度信号求取公式符合标准ST.2084。求取得到的非线性亮度信号和色度信号的位宽为10比特。

　　图17 后处理过程

　　后处理过程是预处理过程的反过程。即把非线性亮度信号和色度信号按照ST.2084中的规定，求出线性的RGB信号。如图17所示。

　　预处理和后处理过程之间的视频编码和解码过程至少采用HEVC Main 10 Profile,图片编码至少采用HEVC Main 10 still Profile。当然视频编解码也可以采用AVC高位宽profile，图片编解码也可以采用JPEG标准系列中的JPEG XR或者JPEG XT。

　　由于超高清视频标准有两种标准，所以除了视频码流之外，还需要传送给解码和显示端一些元数据（Metadata）信息，关于metadata信息的传输，可以在带外传输，也可以采用HEVC码流中的SEI语法元素传输。

　　上述以ST.2084标准中的PQ曲线为了说明了视频和图片的编解码流程。当然也可以采用HLG曲线进行视频图片编解码。如图18所示[2]，对同一个超高清源，可以采用PQ曲线进行OETF和EOTF变换（合起来称为OOTF）以及编解码，也可以采用HLG曲线进行进行OETF和EOTF变换以及编解码。

　　图 18 超高清采用PQ曲线编解码或HLG曲线编解码

　　对于采用HLG曲线进行超高清显示的屏幕，同时视频图像采用PQ曲线编码的超高清视频码流，在显示之前需要进行PQ曲线到HLG曲线的转换，如图19所示[2]。

　　图 19 PQ曲线转换为HLG曲线后再显示

　　对超高清源视频并使用HLG曲线进行视频图像编码的，同时显示设备只兼容传统的标准动态范围，在标准动态范围显示设备上显示之前，需要把超高清视频图像的动态范围按照色调映射（BT.1886）转换为标准动态范围再显示，如图20所示[2]。这样虽然高动态范围的显示器和标准动态范围的显示的动态范围虽然不同，但是在主观感观上类似，不至于有很大的差异性。

　　但对于输入源为标准动态范围，而编解码器是HLG曲线或者PQ曲线的情况，在编码之前，需要按照色调映射关系，把标准动态范围SDR视频图像转换为高动态范围HDR视频图像。

　　图20 HDR转换为SDR

　　浙江宇视科技有限公司的大屏显示控制器系列的A8 视频综合平台分为A8004和A8006两种型号，均已经支持超高清4K（Ultra HD 4k）,如图21所示，后续发布的款型必将支持超高清的高动态范围以及宽色域等各种技术。

　　图21 浙江宇视科技有限公司的A8系列大屏显空综合平台

　　总结

　　综上所述，超高清相关的各个技术环节，从采集成像、视频编码解码、图像编码解码，传输、显示、高动态范围和标准动态范围在采集端的相互转换，以及在显示端的相互转换，这些环节的技术都已经有了成熟方案，并逐步形成国际标准，同时超高清产业联盟[1]内部（视频监控上游芯片厂家海思也是其成员）的不少厂商都已经推出兼容“超高级超级”（Ultra HD Premium™，如图22

　　所示）的产品。同时美国消费电子协会（Consumer Electronics Association）也已经定义了“高动态兼容（HDR Compatible）”显示的技术标准。所以说超高清技术，已经非常成熟，即将进入各个应用领域，尤其是视频监控领域，超高清大幕即将拉开！

　　图 22 超高级超级logo

　　参考

　　[1] http://www.uhdalliance.org/

　　[2] Andrew Cotton & Matteo Naccari,BBC R&D, “Hybrid Log-Gamma HDR, Update for MPEG’s HDR/WCG AHG Vancouver Meeting”, January 2016

　　[3] http://www.mysterybox.us/blog/2016/10/18/hdr-video-part-1-what-is-hdr-video

　　[4] https://sites.google.com/site/marclevoylectures/schedule

　　[5] Jonatan Samuelsson，“Conversion and Coding Practices for HDR/WCG Video, Draft 1”, JCTVC-W1017, San Diego, USA, 19–26 February 2016

　　[6] onatan Samuelsson, Chad Fogg , Andrey Norkin, Andrew Segall, Jacob Ström, Gary Sullivan, Pankaj Topiwala, Alexis Tourapis, “Conversion and Coding Practices for HDR/WCG Y′CbCr 4:2:0 Video with PQ Transfer Characteristics (Draft 3)”, JCTVC-Y1017, 25th Meeting: Chengdu, 14–21 October 2016