图像语义分割方法、系统及计算机存储介质

• 摘要：

  本发明公开了一种图像语义分割方法、系统及计算机存储介质,对输入图像进行预处理;使用卷积神经网络捕捉通用特征,并在其适当位置分别嵌入空间CNN和注意力模型;利用SCNN算法对所述的通用特征进行挖掘,获得深层次特征信息;通过注意力模型对得到的通用特征以及深层特征进行多尺度特征信息的提取;融合网络将SCNN算法与注意力模型得到的结果进行融合,生成最终预测的语义分割结果.该方法用于解决现有技术中存在的图像分辨率降低、难以正确识别和分割多尺度对象的问题,有利于提高语义分割网络的精确性.

• 专利类型：

  发明专利

• 申请/专利号：

  CN202010297870.5

• 申请日期：

  2020.04.16

• 公开/公告号：

  CN111523546A

• 公开/公告日：

  2020-08-11

• 发明人：

  张大方 范海博 刁祖龙

• 申请人：

  湖南大学

• 主分类号：

  G06K9/34(2006.01),G,G06,G06K,G06K9

• 分类号：

  G06K9/34(2006.01),G06K9/62(2006.01),G06N3/04(2006.01),G06N3/08(2006.01),G06T3/40(2006.01),G06T7/10(2017.01),G06T5/50(2006.01),G,G06,G06K,G06N,G06T,G06K9,G06N3,G06T3,G06T7,G06T5,G06K9/34,G06K9/62,G06N3/04,G06N3/08,G06T3/40,G06T7/10,G06T5/50

• 主权项：

  1.一种图像语义分割方法,其特征在于,包括以下步骤: 1)利用卷积神经网络获取预训练集图像的通用特征; 2)将所述通用特征输入空间卷积神经网络,获取深层次特征信息,即特征图; 3)将所述通用特征和所述特征图作为注意力模型的输入,得到权重图; 4)融合所述特征图和所述权重图,生成语义分割模型; 优选地,步骤4)之后,还包括: 5)训练所述语义分割模型,得到最终的语义分割模型. 2.根据权利要求1所述的图像语义分割方法,其特征在于,步骤1)之前,还进行如下操作,对所述训练集图像进行预处理;优选地,所述预处理包括:调整所述训练集图像的尺寸,并将每一幅调整后的训练集图像每一个像素点值减去该训练集图像的像素均值,得到预处理后的训练集图像. 3.根据权利要求1所述的图像语义分割方法,其特征在于,步骤2)中,获取所述特征图的具体实现过程包括: 2A)对所述通用特征按照设定方向进行卷积操作,提取所述特征图的深层特征,并获取所述设定方向的特征图; 2B)拼接步骤2A)获得的深层特征,得到最终的特征图; 其中,所述设定方向是指向下、向上、向右或向左中的一种或多种的组合,优选地,对所述通用特征依次按照向下、向上、向右和向左四个方向进行卷积操作; 优选地,步骤2A)的具体实现过程包括: I)将所述通用特征表示为张量形式,按照向下方向对表示为张量形式的通用特征进行切片操作,获得多个切片; II)对当前切片进行卷积操作,并将卷积操作后得到的结果输入激活函数,获得当前切片的输出结果; III)合并当前切片的输出结果与下一切片,对于合并后的切片,执行步骤II)和步骤III)的操作; IV)重复步骤III),直至所有切片执行完毕. 4.根据权利要求1所述的图像语义分割方法,其特征在于,步骤3)中,所述权重图的获取过程包括: 3A)获取所述特征图的多尺度特征信息和所述通用特征的多尺度特征信息; 3B)融合所述特征图的多尺度特征信息和所述通用特征的多尺度特征信息,得到所述权重图. 5.根据权利要求4所述的图像语义分割方法,其特征在于,步骤3A)中,获取所述通用特征的多尺度特征信息之前,还对所述通用特征进行卷积操作,并利用Relu激活函数对卷积操作后的结果施加非线性因素,得到施加非线性因素的通用特征; 优选地,步骤3B)的具体实现过程包括: A)连接所述通用特征的多尺度特征信息; B)拼接步骤A)的连接结果与所述特征图的多尺度特征信息; C)对步骤B)的拼接结果进行卷积操作,将卷积操作后的结果输入激活函数,得到所述权重图; 优选地,步骤A)中,连接所述通用特征的多尺度特征信息和所述施加非线性因素的通用特征. 6.根据权利要求1所述的图像语义分割方法,其特征在于,步骤4)的具体实现过程包括: 4A)将所述特征图与所述权重图相乘,相乘的结果与所述特征图相加; 4B)对步骤4A)得到的相加结果进行卷积操作,并对卷积操作后的结果进行正则化处理; 4C)对正则化处理后的结果进行卷积操作和上采样操作,得到语义分割模型. 7.根据权利要求1~6之一所述的图像语义分割方法,其特征在于,步骤5)的具体实现过程包括:利用反向传播算法更新步骤4)得到的所述语义分割模型的参数,同时计算所述语义分割模型与预先标注好的语义分割信息的交叉熵损失,当所述交叉熵损失满足预设的收敛条件时,固化满足所述收敛条件时的语义分割模型的参数,对应的语义分割模型即为最终的语义分割模型;优选地,利用F1-Mesure、准确率和mIoU衡量最终的语义分割模型的预测性能. 8.一种图像语义分割系统,其特征在于,包括: 卷积神经网络,用于获取训练集图像的通用特征; 空间卷积神经网络,用于利用所述卷积神经网络输出的通用特征获取深层次特征信息,即特征图; 注意力模型,用于利用所述卷积神经网络输出的通用特征和所述空间卷积神经网络输出的特征图得到权重图; 融合网络,用于融合所述特征图和所述权重图,生成语义分割模型; 优选地,还包括预处理模块,用于对所述训练集图像进行预处理; 优选地,还包括训练模块,用于对所述语义分割模型进行训练,得到最终的语义分割模型. 9.根据权利要求8所述的图像语义分割系统,其特征在于,所述注意力模型包括: 第一空洞卷积模块,用于提取所述空间卷积神经网络输出的特征图的多尺度特征信息; 第二空洞卷积模块,用于提取所述卷积神经网络输出的通用特征的多尺度信息; 残差模块,用于融合所述特征图的多尺度特征信息和所述通用特征的多尺度特征信息,得到所述权重图; 优选地, 所述第一空洞卷积模块包括多个第一空洞卷积层;第一个第二空洞卷积层的输入为所述通用特征,第一个所述第一空洞卷积层的输入为所述第一个第二空洞卷积层的输出和所述特征图;第二个第二空洞卷积层的输入为所述第一个第一空洞卷积层的输出,第二个第一空洞卷积层的输入为所述第二个第二空洞卷积层的输出和所述特征图;依此类推;其中,前N-1个第一空洞卷积层、所有的第二空洞卷积层连接构成所述第二空洞卷积模块;N≥2; 优选地,还包括输入模块,所述输入模块连接所述卷积神经网络和所述第二空洞卷积模块的第一个第二空洞卷积层,用于对所述通用特征进行卷积操作,并利用Relu激活函数对卷积操作后的结果施加非线性因素,得到施加非线性因素的通用特征,并将该施加非线性因素的通用特征输入所述第二空洞卷积模块和所述残差模块. 10.根据权利要求9所述的图像语义分割系统,其特征在于,所述残差模块包括: 连接单元,用于连接所述施加非线性因素的通用特征、所有第二空洞卷积层的输出和第二空洞卷积模块中最后一个第一空洞卷积层的输出,得到连接结果; 拼接单元,用于拼接所述连接结果和所有第一空洞卷积层的输出; 卷积单元,用于所述拼接单元输出的拼接结果进行卷积操作; 激活函数,用于对卷积单元输出的卷积结果进行映射操作,输出权重图. 11.根据权利要求9所述的图像语义分割系统,其特征在于,N个卷积核大小为K*K的第二空洞卷积层对应的采样率分别为[r1,…,ri,…,rn],,当i