【速览】CVPR | 基于判别式先验的盲图像去模糊

原创李乐仁瀚中国图象图形学学会CSIG

学会“成果速览”系列文章旨在将学会会员最新代表性成果进行传播，通过一页纸的短篇幅，让读者用母语快速了解相关学术动态，欢迎关注和投稿~

◆ ◆ ◆ ◆

基于判别式先验的盲图像去模糊

李乐仁瀚，潘金山，Lai Wei-Sheng，高常鑫，桑农，Yang Ming-Hsuan

IEEE Conference on Computer Vision and Pattern Recognition (2018), Poster

推荐理事：桑农

◆ ◆ ◆ ◆

导读现有的最优化方法在文本、人脸以及低光照图像上的盲图像去模糊效果不佳，主要受限于图像先验的手工设计属性。本文将图像先验表示为二值分类器，训练深度神经网络（CNN）来判别清晰和模糊图像。实验表明，该图像先验比目前先进的人工设计先验更具区分性，可实现更广泛场景的盲图像去模糊。

图1 一个去模糊的例子

简介

盲图像图模糊（blind image deblurring）是图像处理和计算机视觉领域中的一个经典问题，其目标是从模糊图像中估计并复原出潜在的清晰图像。当模糊由相机抖动造成时，其满足空间不变性，模糊过程可以用线性卷积模型进行建模：

B = I ⊗ k + n

其中⊗代表卷积算子， B、 I、 k和n分别表示模糊图像、清晰图像、模糊核以及随机噪声。因为I和 k均是未知，因此上式存在无数多个合理解，是典型的不适定问题。为此，需要在求解过程中添加关于模糊核以及图像的额外约束和先验知识。

最近的去模糊方法的成功主要来自于有效图像先验和边缘检测策略方面的研究进展。然而，基于边缘预测的方法常常会涉及到启发式的边缘选择步骤，当边缘不可预测的时候，这种方法表现不佳。为了避免启发式的边缘选择步骤，人们提出了很多基于自然图像先验的算法，包括稀疏性归一化（normalized sparsity）、L0 梯度和暗通道先验（dark channel prior）。这些算法在一般的自然图像上表现良好，但是并不适用于特殊的场景。然而，大多数先验都是手工设计的，它们主要是基于对特定图像统计的有限观察。这些算法不能很好地泛化以处理自然环境中的多种场景。所以，开发能够使用 MAP 框架来处理不同场景的图像先验是很有意义的。

为达到这个目的，我们将图像先验表示为能够区分清晰图像和模糊图像的二值分类器。具体来说，我们训练深度卷积神经网络来分类模糊图像（标记为 1）和清晰图像（标记为 0）。然而，使用学习到的图像先验去优化这个去模糊方法是很困难的，因为这里涉及到了一个非线性 CNN。因此，本文提出了一种基于半二次方分裂法（half-quadratic splitting method）和梯度下降算法的高效数值算法。这个算法在实际使用中可以快速地收敛，并且可以应用在不同的场景中。

本文贡献点如下：

提出了一种高效判别图像先验，它可以通过深度卷积神经网络学习到，用于盲图像去模糊。为了保证这个先验（也就是分类器）能够处理具有不同大小的输入图像，研究者利用全局平均池化和多尺度训练策略来训练这个卷积神经网络。
将学习到的分类器作为 MAP（最大后验）框架中潜在图像对应的正则化项，并且提出了一种能够求解去模糊模型的高效优化算法。
大量实验证明，与当前最佳算法相比，这个算法在广泛使用的自然图像去模糊基准测试和特定领域的去模糊任务中都具备有竞争力的性能。

二分类网络

我们的目标是通过卷积神经网络来训练一个二分类器。这个网络以图像作为输入，并输出一个标量数值，这个数值代表的是输入图像是模糊图像的概率。因为我们的目标是将这个网络作为一种先验嵌入到由粗到精的 MAP（最大后验）框架中，所以这个网络应该具备处理不同大小输入图像的能力。所以，我们将分类其中常用的全连接层用全局平均池化层代替 [21]。全局平均池化层在 sigmoid 层之前将不同大小的特征图转换成一个固定的大小。此外，全局平均池化层中没有额外的参数，这样就消除了过拟合问题。图 2 展示了整个网络架构。