可适性视频编码

科技工作者之家 2020-11-17

可适性视频编码(Scalable Video Coding, SVC)是传统H.264/MPEG-4 AVC编码的延伸,可提升更大的编码弹性,并具有时间可适性(Temporal Scalability)、空间可适性(Spatial Scalability)及讯杂比可适性(SNR Scalability)三大特性,使视频传输更能适应在异质的网络带宽。

概述SVC的目标在于标准化已使编码的高品质的视频码流,可以独立拆分成一个或多个子比特流(subset bitstream)进行解码,可以自己用一个复杂和重建质量达到类似的利用现有的H.264/MPEG-4 AVC的设计与相同数量的数据码流中的一个子集。

一个子比特流(subset bitstream)可以代表一个空间或时间分辨率较低或品质较差的的视频信号(每个单独或组合)相比。

时间(帧速率)的可适性:由于一般视频压缩都会利用运动补偿的手段,纪录位移向量(motion vector)。在某些系统的应用上,可以跳过某几帧用其邻近帧的位移向量内插出该被跳过帧的结果。在解码端同样利用运动补偿算回该被跳过帧。

空间(图片大小)的可适性:图形(或视频压缩中的一帧)在压缩编码的时候即存下了多重大小(或分辨率)的结果。让解码端得以视需求解码回所需的图片大小(或分辨率),可能以较小的结果换取解码的效率。通常较小的图片即带有大图片一部分的特性,大图的存储上不需要重复记录这些重复的部分。

信噪比/质量/品质可适性:在压缩编码的时候将多重品质(qualities)的结果都存下来。让解码端得以视需求解码回所需的图片品质,可能以较低的品质换取解码的效率。通常品质较差的图片仍有一定的代表性,品质较佳的结果在存储上不需要重复记录重复的信息。

联合可适性(Combined scalability):结合上述三个扩展性。

例子

空间可适性与品质可适性的综合应用可以引用JPEG 2000视频压缩。JPEG 2000从递进性(Progressive)与可适性(Scaling)两个角度来看待:

从递进性的角度来看,解码的过程会先去截取前端低分辨率信息,先解得低分辨率图片;再一步步截取更多信息,逐步增进分辨率。这代表了用户可以视需求只解码部分而得到缩略图,节省计算量。

从可适性的角度来看,其编码内容可以在任意位置截断,从头至此的编码片段可被解码回一张较低分辨率的图片。编码片段越长,解码后的分辨率越高(或说放大到同样分辨率时,其峰值信噪比(PSNR)较佳)。这意味了当需要更高压缩率时,直接丢弃后方的编码数据即可达成。1

历史2003年10月:运动图像专家组(MPEG)发出了关于SVC技术的提案征集。

2004年4月:提交了14项提案; 12个基于小波压缩,2个是H.264 / MPEG-4 AVC的扩展。

2004年10月:由Heinrich-Hertz-Institute(HHI)的图像通信组提出的提案被MPEG选为其SVC标准化项目的起点。

2005年1月:MPEG和视频编码专家组(VCEG)确实同意将SVC项目标准化为H.264 / MPEG-4 AVC标准的修正案。

2007年7月:SVC项目获得最终批准。

配置文件和级别作为可扩展视频编码扩展的结果,该标准包含五个额外的可扩展配置文件:可扩展基线,可扩展高,可扩展高内部,可扩展约束基线和可扩展约束高配置文件。这些配置文件被定义为基础层的H.264 / MPEG-4 AVC配置文件(可扩展配置文件名称中的第二个字)和实现可扩展扩展的工具的组合:

1.可扩展的基线配置文件:主要针对会话,移动和监控应用程序。

符合可扩展基线简档的比特流包含符合H.264 / MPEG-4AVC的基线简档的受限版本的基本层比特流。

支持B切片,加权预测,CABAC熵编码和增强层中的8×8亮度变换(CABAC和8×8变换仅支持某些级别),尽管基础层必须符合受限制的基线轮廓,不支持这些工具。不包括隔行扫描源的编码工具。

空间可伸缩编码被限制在水平和垂直方向上的连续空间层之间的分辨率比率1.5和2以及宏块对齐的裁剪。

支持质量和时间可伸缩编码,没有任何限制。

2.可扩展的高配置文件:主要用于广播,流媒体,存储和视频会议应用程序。

符合可扩展高配置文件的比特流包含符合H.264 / MPEG-4 AVC的高配置文件的基本层比特流。

支持可伸缩视频编码扩展中指定的所有工具。

支持没有任何限制的空间可伸缩编码,即任意分辨率和裁剪参数。

支持质量和时间可伸缩编码,没有任何限制。

3.可扩展的高内部配置文件:主要用于专业应用程序。

仅使用瞬时解码器刷新(IDR)图片。可以在不参考先前帧的情况下解码IDR图片。

符合可扩展高帧内简档的比特流包含基本层比特流,其符合H.264 / MPEG-4AVC的高简档,仅允许IDR图像。

允许使用所有可伸缩性工具,如可扩展高配置文件,但在任何层中仅允许IDR图片。

4.可扩展的约束基线轮廓

5.可扩展的约束高配置文件

本词条内容贡献者为:

王伟 - 副教授 - 上海交通大学

科技工作者之家

科技工作者之家APP是专注科技人才,知识分享与人才交流的服务平台。