一种基于卷积神经网络的图像超分辨率重建方法

• 摘要：

  本发明涉及一种基于卷积神经网络的图像超分辨率重建方法,通过数据集训练SRCNN卷积神经网络模型,得到浅层纹理特征信息;建立基于特征转移的八层端到端神经网络模型,将浅层纹理特征信息迁移至该神经网络模型的前四层,得到前四层的模型参数;得到该神经网络模型后四层的模型参数,增强学习到的特征;输入待重建的图像数据,预处理;得到Y通道的高分辨率图像;将Y通道的高分辨率图像、Cb通道图像和Cr通道图像进行融合,得到重建的图像.本发明提出的卷积神经网络模型取得了更佳的超分辨率结果,不管是在主观视觉上还是在客观评价指标上均有明显改善,图像清晰度和边缘锐度明显提高,收敛速度更快,在精细度方面具有更高的优势.

• 专利类型：

  发明专利

• 申请/专利号：

  CN201711417919.0

• 申请日期：

  2017.12.25

• 公开/公告号：

  CN109961396A

• 公开/公告日：

  2019-07-02

• 发明人：

  赵怀慈 刘明第 郝明国 王立勇 刘鹏飞 赵洋

• 申请人：

  中国科学院沈阳自动化研究所

• 主分类号：

  G06T3/40(2006.01),G,G06,G06T,G06T3

• 分类号：

  G06T3/40(2006.01),G06N3/04(2006.01),G,G06,G06T,G06N,G06T3,G06N3,G06T3/40,G06N3/04

• 主权项：

  1.一种基于卷积神经网络的图像超分辨率重建方法,其特征在于:包括以下步骤: 步骤1:通过数据集训练SRCNN卷积神经网络模型,得到浅层纹理特征信息; 步骤2:建立基于特征转移的八层端到端神经网络模型,将浅层纹理特征信息迁移至该神经网络模型的前四层,得到前四层的模型参数; 步骤3:通过数据集训练基于特征转移的八层端到端神经网络模型,得到该神经网络模型后四层的模型参数,增强学习到的特征; 步骤4:输入待重建的图像数据,并对该图像数据进行预处理,得到Y通道、Cb通道和Cr通道图像数据; 步骤5:将Y通道图像数据输入到步骤3训练后的基于特征转移的八层端到端神经网络模型,得到Y通道的高分辨率图像; 步骤6:对Cb通道和Cr通道的图像数据,根据双三次插值算法,得到高分辨率的Cb通道和Cr通道图像; 步骤7:将Y通道的高分辨率图像、Cb通道图像和Cr通道图像进行融合,得到重建的图像. 2.根据权利要求1所述的基于卷积神经网络的图像超分辨率重建方法,其特征在于:所述预处理包括: 将RGB通道的图像转换为YCbCr通道的图像,并将Y通道的图像数据作为输入. 3.根据权利要求1所述的基于卷积神经网络的图像超分辨率重建方法,其特征在于:使用线性修正单元ReLU代替Sigmoid作为激活函数. 4.根据权利要求1所述的基于卷积神经网络的图像超分辨率重建方法,其特征在于:所述数据集包括Set5,Set14和B100. 5.根据权利要求1所述的基于卷积神经网络的图像超分辨率重建方法,其特征在于:所述基于特征转移的八层端到端神经网络模型,包括八层卷积层和全连接层,且不包含池化层. 6.根据权利要求5所述的基于卷积神经网络的图像超分辨率重建方法,其特征在于:基于特征转移的八层端到端神经网络模型的全局参数设置为:学习率大小固定为0.0001,填充值为1,monmentum＝0.3,batch_size＝100. 7.根据权利要求5所述的基于卷积神经网络的图像超分辨率重建方法,其特征在于:所述八层卷积层的参数设置为:第一个卷积层卷积核大小为9x9,卷积核数量为64;第二个卷积层卷积核大小为3x3,卷积核数量是16;第三个卷积层卷积核大小为1x1,卷积核数量是32;第四个卷积层卷积核大小为5x5,卷积核数量是1;第五个卷积层卷积核大小为9x9,卷积核数量是64;第六个卷积层卷积核大小为3x3,卷积核数量是16;第七个卷积层卷积核大小为1x1,卷积核数量是32;第八个卷积层卷积核大小为5x5,卷积核数量为1. 8.根据权利要求1所述的基于卷积神经网络的图像超分辨率重建方法,其特征在于:所述将浅层纹理特征信息迁移至该神经网络模型的前四层为:将经SRCNN卷积神经网络模型训练后的权重参数w和偏置参数b迁移至基于特征转移的八层端到端神经网络模型的前四层. 9.根据权利要求8所述的基于卷积神经网络的图像超分辨率重建方法,其特征在于:对权重参数w和偏置参数b进行更新,首先进行初始化,从正态分布中随机取值,其正态分布服从均值是0,标准差等于其次使用随机梯度下降法完成更新. 10.根据权利要求1所述的基于卷积神经网络的图像超分辨率重建方法,其特征在于:在通过数据集训练基于特征转移的八层端到端神经网络模型的过程中,设置损失函数,该损失函数采用均方根误差: 其中,n表示训练样本的数量,Yi′为原始高分辨率图像块,Yi′为预测高分辨率图像块.