基于强化学习多尺度神经网络的MRI分割方法

• 摘要：

  本发明公开了一种基于强化学习多尺度神经网络的MRI分割方法,解决了现有方法对多尺度、模糊和弥散MRI炎症区域易错分割和漏分割的问题.本发明采用根据体素值修改炎症区域标签值的体素约束策略,提升分割模型对体素值差异大炎症区域的分割效果;本发明针对形状尺寸差异大的炎症区域设计多尺度卷积模块GMS,提升分割模型对多尺度炎症区域的分割效果;针对分割模型对弥散模糊炎症区域难以识别的问题,本发明利用强化学习网络进行数据增强,提升分割模型对弥散模糊炎症区域的判别性能.本发明减小对多尺度、模糊弥散的炎症区域的错分割和漏分割,提升对MRI炎症区域的分割效果.可用于MRI炎症区域分割和定量分析自动化处理.

• 专利类型：

  发明专利

• 申请/专利号：

  CN202010591088.4

• 申请日期：

  2020.06.24

• 公开/公告号：

  CN111784652A

• 公开/公告日：

  2020-10-16

• 发明人：

  缑水平 卢云飞 刘宁涛 曹思颖 路凯 童诺 刘波 毛莎莎 焦昶哲

• 申请人：

  西安电子科技大学

• 主分类号：

  G06T7/00(2017.01),G,G06,G06T,G06T7

• 分类号：

  G06T7/00(2017.01),G06T7/11(2017.01),G,G06,G06T,G06T7,G06T7/00,G06T7/11

• 主权项：

  1.一种基于强化学习多尺度神经网络的MRI分割方法,其特征在于,包括有如下步骤: (1)划分训练、验证和测试样本集:获取AS病人的核磁共振影像MRI数据,构建训练样本集和测试样本集,将核磁共振影像MRI数据变换到同一空间分辨率,选择一个体素值分布均匀的MRI数据作为模板数据,对剩余MRI数据进行直方图匹配,减少数据之间的差异性;应用随机选择的方法按照3:1:1的比例划分MRI影像数据的MRI训练样本集,验证样本集和测试样本集; (2)设置MRI炎症区域标签值:采用体素约束策略,根据获取的MRI数据的体素值大小以反指数比例修改体素的炎症区域标签值,得到修改的炎症区域标签值; (3)搭建能够处理多尺度和弥散模糊炎症区域的基于强化学习多尺度神经网络的MRI分割模型LGR-Net:设计不同空洞率和不同尺寸卷积核构成的多尺度卷积模块GMS,用多尺度卷积模块GMS构建用于处理炎症区域形状尺寸差异大的多尺度分割子网络,构建能够处理弥散模糊炎症区域的基于强化学习的数据增强子网络,将构建好的多尺度分割子网络和数据增强子网络并行连接搭建成基于强化学习多尺度神经网络的MRI分割模型,简称分割模型; (4)网络训练:用MRI影像数据训练样本集和修改的炎症区域标签值训练分割模型,将训练后的网络参数保存在分割模型中,得到训练后的分割模型; (5)得到分割结果:将MRI测试样本集输入到训练后的分割模型中,得到所获取的MRI测试样本集的分割结果、分割精度和炎症区域的定量结果. 2.根据权利要求1所述的基于强化学习多尺度神经网络的MRI分割方法,其特征在于,步骤(2)中所述的体素约束策略是通过MRI数据的体素值修改炎症区域标签值,具体是将原始炎症区域标签值根据MRI数据的体素值进行修改: 根据MRI数据的体素值大小修改原始炎症区域标签值,其中yn为原始标签值,y′n为修改后的标签值,σ为加权值,pmax为当前MRI数据的最大体素值,pn为第n个MRI数据的体素的数值,ρ为超参数保证分母不为零. 3.根据权利要求1所述的基于强化学习多尺度神经网络的MRI分割方法,其特征在于,步骤(3)中所述的搭建基于强化学习多尺度神经网络的MRI分割模型LGR-Net,包括有如下步骤: (3.1)构建多尺度分割子网络:首先由9个不同空洞率和不同尺寸的卷积核并行连接,再与一个空间卷积核串行连接组成多尺度卷积模块GMS,把卷积神经网络中骨干网络3DResUNet最后两层编码层中的卷积层,替换成多尺度卷积模块GMS,构建成多尺度分割子网络; (3.2)构建数据增强子网络:首先搭建强化学习网络A3C,该强化学习网络的输入为多尺度分割子网络编码层的最后一层GMS模块的输出特征图,该网络的输出为数据增强方式,构建成能够处理弥散模糊炎症区域的数据增强子网络,输出对输入数据的增强方式; (3.3)完成分割模型的构建:由构建完成的多尺度分割子网络和数据增强子网络并行连接完成基于强化学习多尺度神经网络的MRI分割模型LGR-Net的构建,输入MRI数据,输出MRI数据的分割结果; (3.4)设置损失函数:设置强化学习多尺度神经网络的MRI分割模型LGR-Net的整体损失函数L,整体损失函数包括两部分,其中一个是多尺度分割子网络的损失函数Lseg,另一个是数据增强子网络的损失函数Lrl. 4.根据权利要求3所述的基于强化学习多尺度神经网络的MRI分割模型LGR-Net,其特征在于,步骤(3.1)中所述的构建多尺度分割子网络,包括有如下步骤: (3.1.1)将空洞率d＝2、4、6,卷积核大小为3*3*3、5*5*5的6种卷积核和空洞率为d＝1,卷积核大小为1*1*1、3*3*3、5*5*5的3种卷积核进行并行组合,再与一个1*1*1的卷积核串行组合,组成GMS模块; (3.1.2)将骨干网络3D ResUNet最后两层编码层中的卷积层,替换成GMS模块,完成多尺度分割子网络的构建. 5.根据权利要求3所述的基于强化学习多尺度神经网络的MRI分割模型LGR-Net,其特征在于,步骤(3.2)中所述的构建数据增强子网络,包括有如下步骤: (3.2.1)将从整图MRI数据中的取块MRI数据x输入到多尺度分割子网络,得到GMS模块的输出特征图s,输入到强化学习网络A3C,从强化学习网络的策略网络输出该取块MRI数据的增强方式a,包括旋转、平移、高斯噪声、伽马变换、对比度变化、亮度变化、不增强、选择新的样本,从强化学习网络的估计值函数网络输出对当前特征图的评价值估计v; (3.2.2)利用该增强方式a对取块MRI数据x进行增强,增强后的取块MRI数据x'输入到多尺度分割子网络继续训练网络; (3.2.3)设置强化学习子网络的奖励信号为数据增强取块MRI数据x分割结果的Dicet-1指标值与数据增强后的MRI数据x'的分割结果的Dicet指标值的差值: rt＝Dicet-1-Dicet (3.2.4)完成数据增强子网络的搭建. 6.根据权利要求3所述的基于强化学习多尺度神经网络的MRI分割模型LGR-Net,其特征在于,步骤(3.4)中所述的多尺度分割子网络的损失函数Lseg,其表示如下: Lseg＝Ldice+λ*Lwce 基于多尺度分割子网络的损失函数Lseg由dice损失函数Ldice和加权交叉熵损失函数Lwce两部分构成,其中,C表示最大标签类别数目,log为对数函数,N表示像素点总个数,c表示类别序号,n表示像素点序号,pcn表示第n个像素点属于第c类的概率值,gcn表示第n个像素点的真实标签,若第n个像素点属于第c类,则gcn＝1,否则gcn＝0,ε是常数,防止dice损失函数Ldice分母为0,一般取ε＝10-5,λ为比例系数,权衡两个损失函数的比例关系,这里取λ＝10. 7.根据权利要求3所述的基于强化学习多尺度神经网络的MRI分割模型LGR-Net,其特征在于,步骤(3.4)中所述的数据增强子网络的损失函数Lrl,其表示如下: Lrl＝LP+LV LP＝logπ(at|st;θp)(Rt-V(st;θv))+βH(π(at|st;θp)) LV＝(Rt-V(st;θv))2 其中,损失函数Lrl由LP和LV两部分构成,LP是数据增强子网络的策略网络的损失函数,LV是数据增强子网络的估计值网络的损失函数; π(at|st;θp)取值为0~1之间,表示数据增强子网络输出某种数据增强方式at的概率;V(st;θv)表示当前值估计网络模型对输入特征图st的评价值估计;at表示一种数据增强方式,取值空间为旋转、平移、高斯噪声、伽马变换、对比度变化、亮度变化、不增强、选择新的样本;st表示当前子网络的输入特征图,st+k表示t+k时刻子网络的输入特征图;θp表示数据增强子网络的策略网络的参数,θv表示数据增强子网络的估计值网络的参数;log表示对数计算方式; Rt表示从t到t+k的时间间隔内的估计折扣奖励,γ表示折扣因子,rt+i表示在t+i时刻数据增强子网络得到的奖励信号;V(st+k;θv)表示当前值估计网络模型对输入特征图st+k的评价值估计;H(π(at|st;θp))为决策的熵值;β因子控制着熵正则化项的比重.