2019年4月23日，庆祝人民海军成立70周年海上阅兵活动在青岛及附近海空域隆重举行。中国人民解放军海军派出32艘舰艇，编为潜艇群、驱逐舰群、护卫舰群、登陆舰群、辅助舰船群、航母群6个群，与来自61个国家的海军代表团、来自13个国家的18艘舰艇，汇聚黄海，共贺中国海军华诞，并依次接受检阅。
央视新闻新媒体推出特别节目进行了直播报道。在直播中有个镜头（图一）——现场的直播设备，应用的是H.264格式编解码传输，这引起了笔者浓厚的兴趣，不由得深深感叹：原来H.264/H.265视频压缩不仅仅在音视频集成领域，在央视直播如此重要的场合也已经成为主流！由此，也引发了笔者对于编解码技术应用的一些思考……

（图一）央视新闻新媒体直播（图片来源：直播视频截图）

1

视频压缩算法

视频一直以来就存在一个矛盾——画质清晰度提升的需求和视频码率降低的需求。全高清（1080P）每幅画面200万像素，以8位色深，4:4:4计算，每帧达到达到49Mbit，60帧情况下每秒产生约3Gbit的数据；而4K画质将达到12G，这样的高码率用于传输和存储都是难以承受的。
视频压缩算法有很多种，常见的如H.265/H.264、MJPE、MPEG-2、VC-1等。当前在音视频集成领域中，比较常见的主要有两种类型的压缩算法：一种是以JPEG2000、VC-2为代表的浅度压缩，还有一种则是以H.264与H.265为代表的深度压缩。
所谓浅度与深度，其实指的是压缩程度。比如传输1080p@60Hz的画面，JPEG2000需要占用300～900M带宽，VC-2需要占用500～700M带宽。因此可以推算出浅度压缩的压缩率为10%～30%。而对于同样的1080p@60Hz画面，H.264能以5～8M带宽进行传输，H.265则仅需2～4M带宽即可，并且相对于H.264还能在一定程度上提升画质，使图像表现更加细腻。深度压缩的压缩率则达到了惊人的0.067%~0.134%——这就意味着深度压缩比浅度压缩节省了几百倍的带宽，大大减小了网络资源的占用。

（图二）1080p@60Hz视频在网络传输中，带宽占用对比（图片来源：网络 ）

越高清的视频，越高的帧率，对越优秀的压缩算法就越加依赖。优秀的压缩算法的基本思想，就是极大的减少相邻两帧图像之间没有变化或者极少变化部分的数据传输，只将变化那一部分传输即可。特别对计算机画面，监控等应用，因为绝大部分屏幕或者绝大部分背景静止不动，可以大大减少无用的信息传输。
从（图二）可看出，JPEG2000、VC-2浅度压缩算法在进行视频传输时，对于网络资源的浪费相当严重。并且在实际项目应用中，它并不能带来任何使用体验的提升，相反，对比H.265深度压缩算法，JPEG2000、VC-2浅度压缩算法还会给项目带来诸多的弊端，主要存在以下几点：
1、码率过大。JPEG2000、VC-2浅度压缩，仅传输一路1080p@60Hz的画面就需要占用300～900M带宽；
2、对网络要求极高，JPEG2000、VC-2浅度压缩算法多通过组播方式，组网极其复杂，即便使用万兆交换机，上行端口10G/40G，也只能同时使用10～40路左右的信号；
3、一个很现实的问题，那就是组播后多个交换机堆叠或者级联，很多交换机不支持。而由此造成的后果是：在较大规模项目中，当需要多路视频交互使用时，JPEG2000、VC-2浅度压缩算法无法进行互联互通应用。这对用户来说是难以接受的！而H.265算法就不存在这个问题。
4、相对于H.265，JPEG2000、VC-2浅度压缩的码率波动范围较大，编码码率与内容关系密切。在进行复杂画面编码时，网络在运行过程中极易遇到瓶颈，继而堵塞网络，引发网络风暴，造成视频卡顿、传输中断等情况。
5、JPEG2000、VC-2浅度压缩难以与其他H系列编解码系统平台直接对接。如安防平台，基本所有项目中都绕不开它。海康、大华安防平台都是采用H.264、H.265方式进行编解码。JPEG2000、VC-2浅度压缩算法不能与其直接对接，需要复杂转码或增加转码服务器才能实现对接。
6、JPEG2000、VC-2浅度压缩使用范围相对较小。比如JPEG2000，最初的标准是用于静态图像编码，在用于动态图像时，因系统内编解码设备各不相同，需要转码使用，使用极其不便。此外，此类算法技术更新速度缓慢，未来极易被淘汰，造成技术断层，使项目后续维护困难。而H.265却得到各大巨头及厂商的推广支持。
……
2
深度压缩带来更好视频观看体验
在音视频集成领域，将音视频用各类算法编码后用网络进行传输的方式受到越来越多客户的青睐。而以此为代表的分布式类产品，由于其系统架构的去中心化、灵活可扩展、功能强大等特点，在近几年受到广泛认可和推广应用。对于用网络去传输音视频，有这样一个问题经常被客户所关注，那就是——“延时”。这让笔者深感庆幸，因为“延时”这一问题终于被客户及用户所重（正）视了！回想起分布式产品刚兴起的前两年，不少商（厂）家误导客户和用户，宣称自家的分布式产品是“零延时”。这其实是赤裸裸的虚假宣传、伪命题！随着时间和实际应用效果的验证，这些虚假宣传终究不攻自破。众所周知，处理任何事情都有一个过程、都需要耗费时间，同样，编码、传输、解码也需要耗时。
视频延时，这里指的图像由产生到经过编解码设备，最终到显示端所需要的时间。 随着计算机技术与半导体技术的发展，使得芯片的处理能力越来越强、速度越来越快，得以以算法复杂性换来同等画质下的更低带宽，或者同等带宽下的更高画质；目前，部分厂商通过和FPGA配合，其H.265设备已经创新性的让延时降低到了31ms以内，并已经推出20ms以内的实验室验证产品。在延时方面，深度压缩已经完全达到了与浅度压缩相同甚至更低的延时。
科技的不断发展，人们对于视频的体验要求也变得越来越高。相较来说，H.264画质一般，颗粒感较重，低带宽条件下，延时较大等问题确实给用户带来一些困扰，在很多方面当前的H.264压缩标准已开始力不从心。如何突破 ? 幸好我们还有H.265——在提高压缩效率、错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等各个方面，H.265具有明显的优势，并且在相同带宽下，能带来更为清晰的画质。
视频压缩编码的历史，自1948年OLIVER提出了第一个编码理论到现在，大致经历了3个不同阶段：
第一代视频编码标准，主要有H.261、H.262、MPEG-1、MPEG-2，能将原始视频数据压缩到1/75；
二代视频编码标准，主要有H.264、MPEG-4、AVS，能将把原始视频数据压缩到1/300；
最新一代视频编码标准——H.265/HEVC，几乎能实现将原始视频数据压缩到1/600。现在，我们打开手机刷抖音视频，打开电脑观看各种高清直播，打开电视收看上百个频道的电视节目，这在很大程度上都要归功于几代科学家们在视频压缩技术上不懈努力所取得的成果——用不断降低占用的带宽，给用户带来更好的视频观看体验！

3
H.265技术势不可挡
今天，H.265技术已在各个领域遍地开花、势不可挡……
有这样一句话让笔者印象非常深刻——“H.264统治了过去的五年，而未来的五年甚至十年，H.265很可能将会成为主流……”如今，H.265已经毫无疑问的成为了主流。
2012年8月，ERICSSON推出了首款H.265编解码器，仅仅六个月之后，国际电联（ITU）就正式批准通过了HEVC/H.265标准。
2017 年 6 月 5 日，APPLE在WWDC 大会上宣布，将在 iOS11 支持 HEVC；SAMSUNG自2015年以来已在 Galaxy S6、S7、S8和S9 上支持 HEVC，APPLE加入角逐，标志着全球最大的两家智能手机厂商将支持 HEVC，这预示了强劲的市场趋势所向。

（图三）WWDC 2017苹果开发者大会(图片来源：网络)

2017年，第69届技术与工程艾美奖颁奖仪式上，高效视频编码（HEVC）荣获工程艾美奖（Engineering Emmy®）。HEVC Advance 首席执行官彼得-莫勒 (Peter Moller) 表示：“HEVC/H.265 技术展现了巨大成就，为消费类电子和娱乐行业创造了行业变革性价值，还为未来视频编解码器带来了又一项重要认可！”。

（图四）2017年，HEVC荣获工程艾美奖（图片来源：网络）

华为作为全球领先的信息与通信基础设施和智能终端提供商，拥有最多的H.265专利并积极推广这一技术；华为旗下海思半导体也一直专注于研发新一代HEVC / H.265。
2016年01月，在瑞士日内瓦召开的ITU-TSG12全会上，华为向Q13研究组提交《H.265视频直播质量模型U-vMOS》被大会接纳。会上华为先后提交多篇关于视频的观看场景、传输网络、编码格式H.265&264和头端发放等领域文档，致力于打造端到端的视频最佳体验。

（图五）华为固网研究部标准专家参加ITU-T会议 （图片来源：网络）

2018年9月5日，视频编码器测评领域享有盛誉的MSU视频编码器大赛成绩揭晓，华为自主研发的265软件编码器拔得头筹，并且按质量分数排名（图六），最佳编解码器前三名中有两名采用的是HEVC编码。

（图六）各类编码器质量分数（YUV-SSIM）排名（图片来源：网络）

4
诸多领域H.265已成宠儿
浏览器市场，Microsoft Explorer 10 支持 HEVC（采用适当的硬件可以达到超高清）。Apple Safari 的参与意味着第二大生态系统也将支持 HEVC；
在网络流媒体、电视广播以及卫星电视广播等领域，Roku 4、Amazon Fire TV以及 Xbox One 均在推广支持 HEVC。包括小米、华为、天猫等国内众多网络电视盒均已支持H.265；
对于服务提供商，随着 APPLE支持 HEVC 标准，开启了向智能手机、MAC 和 APPLE TV 用户分发 HEVC 视频的大门。Frost & Sullivan 预计市场上将有 20 亿台支持 HEVC 的设备；
而在国内，海康、大华等一批领先的视频产品提供及服务商，其主流产品均以H.265为主要编码协议；
曾任华为美国多媒体实验室主任兼视频标准首席科学家和全球项目负责人的刘杉博士在一次演讲中说到，265比264的压缩效率提升了 35-40%，主观感受测试上265比264可以提升。这些数据都显示 265对比264达到了一个压缩翻倍的目标。

（图七）音视频实验室杰出科学家刘杉博士（ 图片来源：网络）

在第五届柏林IEEE消费电子国际会议上，Dr. Dan Grois (IEEE 特邀讲师，HEVC 编解码技术高级研究员)， Dr. Detlev Marpe (弗劳恩霍夫研究所-视频与图像编码部门首席工程师)与Karsten Sühring(弗劳恩霍夫研究所-视频与图像编码&分析部门项目经理）均对HEVC / H.265&H.264 视频编码标准的高效性、低带宽、画质清晰等优点做了详细的分析与介绍。

（图八）第五届柏林IEEE消费电子国际会议（图片来源：网络）

5
深度压缩是必然趋势
在未来，平台融合是必然趋势。
随着AI、VR、AR技术的普及，视频数据流量将呈几何倍数的增加。5G时代的来临，能在一定程度以更低的单个比特成本解决更高的数据容量问题，但人们还是普遍要求将视频占用带宽进一步降低，借助H.265其超高的视频压缩率，更为宽广的宏块和并行处理速度，与AI、VR、AR技术进行融合，必将为我们带来更加完美的观看体验。我们已经看到，当前各种AI人脸检测抓拍网络监控摄像头，基本采用H265进行编码。可以预计到，在计算机视觉领域，如车牌识别、安防、人脸等技术方面，AI技术将越来越多的与H.265进行结合，以帮助机器在图像识别、图像分类、图像理解上提升准确率。对于VR而言，高清的视频源输入是保证后续用户体验的第一步，而众所周知当推流需要用到8M甚至10M以上的带宽时，很多网络情况便会捉襟见肘。所以H.265的推流势必将成为改善推流质量的一个利器，业内普遍达成共识：目前VR走向C端市场还不够成熟，主要体现在于过高的带宽成本。然而，这却不是死局，还好有H.265。与距离我们最近的安防领域，H.265显然走的更快，我们所熟悉的海康、大华，其主要的IPC摄像头及安防平台，早已支持H.265，并且已经实现大规模商业应用。在视频会议领域，包括华为、宝利通、Cisco、中兴、科达等视频会议终端，均采用H.265。在各大主流视频网站，YouTube、Netflix、Prime、Ateme、腾讯、爱奇艺、优酷均采用或支持H.265播放超高清视频。与我们生活息息相关智能电视和高清机顶盒，基本都已经开始支持或硬解H.265。

选择浅度压缩，是固步不前、短视的研究方向；
选择深度压缩，是以发展的眼光看问题，是相信技术会飞速发展、计算能力会呈几何提升的正确方向，也是全球顶尖科技企业的共同选择！