动态预测

科技工作者之家 2020-11-17

动态预测是一种透过运动矢量来描述一张2D图片是如何转换成另外一张2D图片的程序。

介绍动态预测是一种透过运动矢量来描述一张2D图片是如何转换成另外一张2D图片的程序。在视频处理时,图片指的就是邻近的画格。这些运动矢量可以想成是3D空间(2D+时域)投影到2D的结果。对一张图片而言,可以给每一个像素创建一个独特的运动矢量,也可以将邻近的像素聚集成一个区块,并只计算每一个区块的运动矢量。运动矢量的数学模型可以是单纯的平移也可以含括例如3D空间的的转动和缩放等几何运动方式来更妥当地模拟真实摄影机的动态。

算法用来找寻运动矢量的算法可以被分为基于像素值的“直接”算法和基于特征值的“间接”算法。两种方法都有其支持者,彼此曾在两篇论文中试图得到一个确切的结论。1

直接算法区块匹配算法

相位相关性和频域的算法

像素递归算法

光流法

间接算法间接算法则是透过一些特征,如角检测来对画格间做匹配,通常会透过一些数学式去对局部或全域的统计特性做估计,如此可以借由这些数学式来把不匹配实际运动模式的匹配滤除掉。

常用的统计数学式例如RANSAC。

额外注记每一种上述的方法都可以被说成是需要一些自己定义的匹配标准。差异在于是要先对同一个区域总计地进行比较(如基于特征的算法),或者是针对每一个像素进行比较(如基于区块和滤波器的算法)。一种新兴的比较标准是将一个区域作局部的转换如拉普拉斯变换再将该区域各pixel作比较。有一些比较标准则可以将一些看起来相似但实际上并不匹配的点滤除,达到更好的匹配效果。2

应用视频压缩

可以透过动态预测来做动态补偿,利用视频在时域上的相似性对下一个时间点的画格做预测。动态预测和动态补偿都是视频压缩中相当关键的技术,普遍地被运用在各视频压缩的标准之中,例如MPEG及较近期的HEVC。

相关词汇动态预测和光流法常常被互相混用。它同时也与图像配准和立体匹配有关。事实上上述几种词汇都是在找寻两张图片或视频画格间相对应的点。两图片或画格间相对应的点“通常”是该场景中的同一个点。然而,在作动态预测之前,我们必须定义相似性的比较标准。也就是说,我们需要一个尺度来测量两个点之间的相似程度。在相关领域的研究中,被定义了各种比较标准,像是SAD、MSE,随不同应用和优化需要常常会使用不同的比较标准。

本词条内容贡献者为:

任毅如 - 副教授 - 湖南大学

科技工作者之家

科技工作者之家APP是专注科技人才,知识分享与人才交流的服务平台。