摘要:H 265的出现能有效解决压缩码率问题，对当前一些监控厂家推出的4K分辨率前端，以及的720p、1080p高清设备同样有效，本文解析了4K及H 265在监控中完美的技术应用。
一、4K的引入
2013年深圳安防展上，一些监控厂家推出了4K分辨率前端，显控厂家也推出了配套大屏，非常热闹。何为4K？简单理解，所谓4K是只水平方向分别率接近4000或4096的超高清图像。要详细了解4K，必须要了解超高清电视（UltraHighDefinitionTelevision，即UltraHDtelevision，UHDTV,UHD），UHD包括4KUHD和8KUHD两种分辨率，这两种数字视频格式由日本NHK建议，并最终称为ITU国标标准（如图1所示）。同时于2012年10月消费电子联盟也把这两种UHD分辨率也作为显示分辨率。4KUHD分辨率为3840×2160（2160p，8.3Megapixels），4倍于1920×1080（1080p，2.1Megapixels）。8KUHD分辨率为7680×4320（4320p，33.2Megapixels），16倍于1080P。1080PHD、4K和8KUHD的纵横比均为16:9。除此之外，数字影院促进会还定义了另外一种4K分辨率4096×2160（8.8Megapixels，纵横比为17:9）。监控领域大多使用ITU定义的应用于电视领域的4KUHD。
图1 SDTV、HDTV、4KUHDTV、8KUHDTV分辨率对比
UHD相比于FHD（即HD，1920×1080），不仅仅分辨率加大，颜色空间和帧率也进行扩展。FHD的色彩空间定于Rec.709，而UHD的色彩空间定义于Rec.2020（2012年正式发布）当处理CIE1931颜色空间时，Rec.2020颜色空间可以覆盖到75.8%，但是Rec.709颜色空间只能覆盖到35.9%（如图2）。Rec.2020还允许帧率达到120fps，Rec.709最大只达到60fps。
图2 CIE1931颜色空间
说明：Rec.2020（UHD）颜色空间为外三角，Rec.709（HD）颜色空间为内三角，光源D65同时为两者的白点。
由此可见，4倍1080p的超高清分辨率，带来的最直观的好处就是清晰度更高，画面色彩鲜艳，文字清晰锐利，和1080p相比，同一画面下细节更清楚。图3是宇视1080p的IP摄像机的测试图像；图4是宇视4K的IP摄像机的测试图像。
图3 宇视1080p测试图像
图4 宇视4K测试图像
粗略看，好像差不多，但放大看细节就能看出明显的差别，图5是两者细节对比图。
由图5所示的细节对比图可以看出，4K带来的好处显而易见，很多关键的信息不丢失，颜色更丰富，不仅仅主观感觉图像效果不同，对智能分析应用准确率提高大有裨益。
图5 宇视4K和1080p细节对比图
但问题也显而易见，由于4K码率比较大，网上传输和存储需消耗很大的资源。举例说明，一路基于H.264的1080p码率大约是4Mbps，而基于H.264的4K码率大约是12Mbps，造成的后果是，如果要保存1路1080p的码流一个月，大约需要的存储空间是1.4T，而要存储1路4K的全帧率大约花费是1080p的3倍，约需要4.2T。这意味着要上一个4K系统，网络和存储上比1080p要付出非常多的代价。
如何解决既想通过4K看得清晰，又不需要在网络和存储上投入太巨大，就必须把码率降下来，而在目前已知的编码方式中，H.264相比MPEG2和MPEG4等压缩比已经是最高的。如何进一步提升压缩效率，解决重任就落在H.264的继任者俗称H.265的HEVC上了。可以这么说，HEVC就是专门为4K和8K的UHD而量身定做的。
二、HEVC
HEVC全称HighEfficiencyVideoCoding，是继H.264之后的新一代视频压缩格式。HEVC框架类似于H.264，由ISO/IECMPEG和ITU-TVCEG成立的视频编码联合协作小组JCT-VC合作开发完成。该新的视频压缩标准在ISO/IEC中的名称为ISO/IEC23008-2（即MPEG-Hpart2），在ITU-T中的名称为ITU-TH.265/H.HEVC。
HEVC的目标是与H.264HP相同级别图像质量的情况下只需其一半的码率，即压缩效率提升一倍。但是编码复杂度会增加数倍。压缩效率提升的好处显而易见，按照码率降50%来算，一个H.264的4K码流码率将变成6Mbps，只比原来的1080p多2Mbps，一路一月存储下来能省大约2.1个TB的空间，非常有经济效益。导致目前，很多互联网视频厂家，已经通过.265存储来省带宽和存储空间，如迅雷、优酷等均已宣称支持H.265。
1、HEVC的起源
在H.264的2005年1月份的会议上，ISO/IECMPEG和ITU-TVCEG成立了“KeyTechnicalAreas（KTA）”专题，同时KTA的参考软件基于H.264的参考软件JM实现，HEVC就是在KTA的基础上发展而来。
从2010年4月JCT-VC第一次会议召开，到2013年4月，历时4年HEVC终于成为国际标准。2014年4月13日，H.HEVC/H.265成为ITU-T的标准，在2013年11月25日，ISO/IEC23008-2（MPEG-HPart2）最终称为ISO/IEC的标准。HEVC包含了最近几年间的大量的视频编解码算法方面的最新研究成果，成为国际上代表了最高的视频压缩效率的新一代视频标准。
2、HEVC编码框架
HEVC视频编码器框图如图6所示。由此可见，HEVC类似于之前的图像视频编解码标准，仍然采用了预测+变换的“混合”架构。
图6 HEVC编码框架（注：其中紫色部分为解码器）
3、HEVC编码技术
HEVC相比于H.264，之所以编码效率提高一倍，主要得益于其采用了更大的图像分割尺寸。H.264中图像最大的图像分割单元（宏块MB）尺寸为16×16。HEVC中的CTU（CodingTreeUnit）又称为最大编码单元（LargestCodingUnit），其尺寸范围为64×64、32×32、16×16。实验表明CTU的尺寸越大压缩效率越高，其具体实验如表1所示。基于HEVC参考模型HM-8.0版本（截止2014年2月份，HEVC参考模型版本为HM13.0）测试，评价标准为客观评价指标PSNR。测试序列为JCT-VC中使用的4类测试序列。
表1 更小CTU尺寸导致更高比特率
对分辨率为2560×1600的A类测试序列来说，全部强制32×32的CTU比全部强制64×64时，比特率提高5.7%；全部强制16×16的CTU比全部强制64×64时，比特率提高28.2%。
对四类所有序列，图像中的CTU尺寸强制设置为32×32时的比特率要比强制设为64×64高2.2%，全部强制设为16×16的比特率要不全部强制设为64×64高11%。
表1所示的实验表明对高分辨率视频来说，采用更大尺寸的CTU对提高编码效率更加有益。同时这项实验还表明，全部采用16×16的CTU编码的解码时间要比全部采用64×64的CTU的解码时间要长60%。即采用更大尺寸的CTU也对降低解码时间有益，即在提高编码效率的同时降低编码时间。
HEVC采用四叉树的编码树单元架构，如图7和图8。CTU的尺寸可为64×64、32×32、16×16。编码树单元可以进一步按照四叉树结构细分，即一分为四个相同尺寸区域，同时每个区域还可以继续四叉树细分。不再细分的编码单元（CU）称为编码块（CB）。
图7 编码树单元架构
图8 递归四叉树细分得到的编码块（白色）和变换块（红色）
所谓的编码单元包含编码块和编码单元中块的细分层次等语法元素。HEVC之所以具有高压缩效率，其中就在于其采用的自适应的CTU尺寸，根据不同图像区域纹理内容的不同，采用不同尺寸的CTU。
对解码器来说，不同区域选择怎么样的CTU已经在码流中固定了，但是对编码器来说，如何理解图像内容，自适应采用不同尺寸的CTU以及CU将是一个艰巨的挑战。对同一段视频序列中同一帧的同一块区域来说，不同的HEVC编码器实现方案所采用的CTU尺寸或许不同，因此真正的编码效果和编码效率也不同。所以真正的核心在如何使用图像分析算法去理解图像纹理内容，快速高效的选择最佳编码模式。
CTU的最底层编码单元成为编码块（CB），编码块作为预测单元（PU）。预测单元可以进一步细分成不同尺寸的预测单元，最底层的预测单元成为预测块（PB）。预测单元的尺寸范围为64×64～4×4。考虑到解码过程中运动补偿时最坏情况下的内存带宽使用，帧间预测编码的预测单元的最小尺寸，在单向预测中，限制在8×4或4×8；在双向预测中限制在8×8。如图9所示，相比于H.264中的四叉树细分和1/2细分，HEVC还增加了1/3+2/3细分。从标准规范上涵盖了预测单元内图像纹理的各种可能情况，即HEVC的码流能够支持各种可能的纹理分割预测模式，相比H.264码流标准，提高了兼容性，相比于H.264解码器，复杂度增加不大。但是对编码器设计来讲，如何充分理解图像纹理内容，使用合理的图像分析算法，快速高效的找到最佳预测单元细分模式将是一项充满挑战的工作。
图9 预测单元划分模式
最底层的预测单元成为预测块，运动估计后的预测残差块形成变换单元（TU），变换单元可以进一步细分，最底层的变换单元成为变换块（TB）。一个变换块的尺寸可以是32×32、16×16、8×8、4×4。
就变换块尺寸来讲，HEVC对比H.264，增加了更大尺寸的32×32变换。
除了以上重要的技术，HEVC还有适合多核并行处理的瓦片机制和波阵面并行处理机制，还有熵编码、帧内预测、帧内预测、运动补偿、运动矢量预测、反变换、环路滤波、去块滤波器、样点自适应滤波器等各方面的全面改进。
4、HEVC颜色空间
HEVC标准支持的颜色空间有：NTSC、PAL、Rec.601、Rec.709、Rec.2020、SMPTE170M、SMPTE240M、sRGB、sYCC、vYCC等。这些颜色空间不仅包含表清和高清的颜色空间，还包含的4K和8K的颜色空间，在颜色丰富程度上充分支持了高清和超高清应用。
5、HEVC范围扩展
（1）HEVC不仅仅支持8bit位宽样点，还支持10bit、12bit、16bit位宽样点。
（2）HEVC还支持DPCM格式的无损压缩。
（3）除了4:2:0色度空间格式，HEVC还支持4:2:2和4:4:4色度空间格式。
（4）HEVC还支持图片压缩，其中的Mainstillprofile就是专门为图片压缩而设计。相比于JPEG和JPEG2000图片压缩格式，HEVC的图片压缩效率提高显著。如表2所示。
表2 基于PSNR和MOS的图片压缩效率对比
（5）HEVC去掉了H.264中的场模式。
6、HEVC编解码实现复杂度
从以上编码技术来看，HEVC的确比H.264提供更高级的算法。同时作为一个视频压缩标准，为更多的算法技术提供了更多的码流规范。视频编码标准作为一个规范，类似于监控中的平台互联互通中的国标或者DB33，它只提供接口，只在码流格式层面为高效压缩提供尽可能多的模式规范。但是对编码器设计来说，要想充分利用这种可能，则需要在上述的各个技术方面进行创新和突破，在充分理解视频图像的基础上，充分利用各种视频图像分析技术，寻找便捷快速算法，但又不能消耗过多的内存容量和内存交换带宽。
鉴于HEVC压缩标准才发布不久，上述的各种技术也是刚标准化。编码器的快速算法的研究实现还需要一段时间，可以预见在将来的一两年里将是这些快速算法的爆发期。等这些快速算法实现并成熟后，HEVC编码器的SOC方案才会真正的落地。
但是从解码器角度来看，HEVC其复杂度并不大，类似于H.264，可以在现有的各种平台上实现。故现在市面上首先发布的一些HEVC方案大都是HEVC解码器，有软件的，也有硬件的。
三、应用趋势分析
当然，H.265的出现不仅仅是对4K好，对目前的720p、1080p高清设备同样有效，采用H.265编码大约用1Mbps就能完成720p的传输，2Mbps完成1080p的传输。由于目前4G的普及，意味着我们通过手机端就能完成高清码流的看控存查。同样，随着码流的下降，高清设备所占用的存储空间大大下降。虽然H.265是大势所趋，但基于上面的介绍可以看出，H.265的真正落地还需要一段时间。主要原因是一是算法的复杂度高，至今没有芯片厂家推出SOC的编码方案，很多厂家是通过CPU或者多核DSP来提供H.265，效率低，价格高，也不实用。二是H.265的专利收费用问题，谷歌的开源的VP9进步明显，同样也会对H.265的落地造成一定影响。
（作者系浙江宇视研究开发部首席算法架构师）
