基于形状约束的多尺度网络MRI胰腺轮廓定位方法

• 摘要：

  本发明公开了一种基于形状约束的多尺度网络MRI胰腺轮廓定位方法,主要解决现有技术在MRI图像对比度低和样本不均衡情况下对胰腺图像分割困难的问题.本发明的技术方案为:(1)生成训练集和标注集;(2)预训练U‑net网络;(3)构建多尺度网络;(4)训练形状约束网络;(5)构建形状约束的多尺度网络;(6)训练形状约束的多尺度网络;(7)对MRI图像中胰腺区域进行分割.本发明方法利用了胰腺图像的形状信息,并结合边界和区域信息进行图像分割,可以较好的定位MRI图像中胰腺区域,具有分割精度高的优点,可用于对人体腹部MRI图像中胰腺组织轮廓进行自动定位分割.

• 专利类型：

  发明专利

• 申请/专利号：

  CN202010594321.4

• 申请日期：

  2020.06.28

• 公开/公告号：

  CN111784653A

• 公开/公告日：

  2020-10-16

• 发明人：

  缑水平 陈姝喆 卢洁 刘波 马兰 黄陆光

• 申请人：

  西安电子科技大学

• 主分类号：

  G06T7/00(2017.01),G,G06,G06T,G06T7

• 分类号：

  G06T7/00(2017.01),G06T7/12(2017.01),G06N3/04(2006.01),G06N3/08(2006.01),G,G06,G06T,G06N,G06T7,G06N3,G06T7/00,G06T7/12,G06N3/04,G06N3/08

• 主权项：

  1.一种基于形状约束的多尺度网络MRI胰腺轮廓定位方法,其特征在于,构建U-net网络和基于形状约束的多尺度网络,利用生成的PET图像训练集和MRI图像训练集对U-net网络和基于形状约束的多尺度网络进行训练;该方法的具体步骤包括如下: (1)生成训练集和标注集: (1a)分别随机选取不少于80张的核磁共振MRI图像和不少于40张的正电子发射断层扫描PET图像,组成初始MRI训练集和初始PET训练集,每张图像均包含胰腺部位;勾画MRI训练集和PET训练集中每张图像中胰腺部位的轮廓,得到初始MRI标注集和初始PET标注集; (1b)分别对初始MRI训练集、初始MRI标注集、初始PET训练集、初始PET标注集中每张图像依次进行扩充和预处理,得到MRI训练集、MRI标注集、PET训练集和PET标注集; (2)预训练U-net网络: 将PET训练集和PET标注集中的每个图像分别输入到一个25层的U-net网络中,对U-net网络进行训练,保存训练好的U-net网络的权重; (3)构建多尺度网络: 搭建一个结构为两个分支采用交叉连接方式组成的多尺度网络并设置多尺度网络的每层参数;其中, 第一个分支的结构依次为:输入层→第1多尺度卷积层→第2多尺度卷积层→第3多尺度卷积层→第1特征提取层→第2特征提取层→第1融合层→第1激活函数层→第1反卷积层→第2融合层→第3特征提取层→第4特征提取层→第2反卷积层→第3融合层→第5特征提取层→第6特征提取层→第3反卷积层→第4融合层→第7特征提取层→第8特征提取层→输出层; 第二个分支的结构依次为:输入层→第1特征提取层→第2特征提取层→第1池化层→第3特征提取层→第4特征提取层→第2池化层→第5特征提取层→第6特征提取层; 所述两个分支的输入层均采用Input函数实现; 所述的每个多尺度卷积层由3个子模块采用交叉连接方式组成,第一个子模块的结构为:第1特征提取层→第2特征提取层;第二个子模块的结构为:第3特征提取层→第4特征提取层;第三个子模块的结构为:池化层→融合层→激活函数层; 所述每个特征提取层均由1个卷积层和1个激活函数层串联组成;每个卷积层均采用Conv2D函数实现,每个激活函数层均采用ReLU函数实现; 所述每个池化层均采用MaxPooling2D函数实现; 所述每个融合层均采用Merge函数实现; 所述输出层采用Sigmoid函数实现; (4)训练形状约束网络: 将PET标注集中的每个图像输入到一个13层的形状约束网络中,对形状约束网络进行训练,得到训练好的形状约束网络; (5)构建形状约束的多尺度网络: 将多尺度网络与形状约束网络进行集成,选择使用混合损失函数计算形状约束的多尺度网络的损失值,联合优化形状约束的多尺度网络使其快速收敛: U(S,S')＝αLD(S,S')+(1-α)LB(S,S')+λ1LC(E(S),E(S'))+λ2LD(S,D(S')) 其中,U(·)表示混合损失函数,S表示输入到多尺度网络的MRI训练集中的图像在MRI标注集中对应的图像,S'表示将MRI训练集中的图像输入到多尺度网络的输出图像,α表示初始值为1且随着网络训练递减的参数,LD表示Dice系数损失函数,LB表示边界损失函数,λ1表示取值为0.1的交叉熵损失函数的权重,LC表示交叉熵损失函数,E(S)表示将S输入训练好的形状约束网络中得到的第4层特征提取层的输出图像,E(S')表示将S'输入训练好的形状约束网络中得到的第4层特征提取层的输出图像,λ2表示取值为0.01的Dice系数损失函数的权重,D(S')表示将S'输入训练好的形状约束网络中得到的输出图像; 所述Dice系数损失函数如下: 其中,|·|表示取绝对值操作,∩表示取交集操作; 所述边界损失函数如下: LB＝∫ΩφG(p)sθ(p)dp 其中,∫Ω(·)表示关于集合Ω的不定积分,φG(p)表示点p∈Ω与在S的轮廓G上最近点间的垂直距离,sθ(p)表示输入点p到网络中得到的归一化指数函数值,sθ(p)取值为1时p∈S; 所述交叉熵损失函数如下: 其中,N表示MRI训练集中图像的个数,∑表示求和操作,Si表示输入到多尺度网络的MRI训练集中的第i张图像在MRI标注集中对应的图像,log表示以10为底取对数操作,Si'表示将MRI训练集中的第i张图像输入到多尺度网络的输出图像; (6)训练形状约束的多尺度网络: (6a)使用MSRA初始化方法对形状约束的多尺度网络的权重进行初始化,并将偏置初始值设置为0; (6b)将MRI训练集和MRI标注集中的每个图像输入到形状约束的多尺度网络中,输出MRI胰腺图像的分割结果; (6c)将训练好的U-net网络的第2层至第9层的权重迁移到形状约束的多尺度网络中第二分支的第2层至第9层中,且在训练过程中保持不变;利用混合损失函数,计算形状约束的多尺度网络的损失值;根据形状约束的多尺度网络的损失值,使用初始学习率为0.0001的Adam优化器对形状约束的多尺度网络第一分支的权重和偏置进行迭代更新,直到形状约束的多尺度网络的损失值接近于0时,得到训练好的形状约束的多尺度网络; (7)对MRI图像中胰腺区域进行分割: 将待分割的MRI图像输入到训练好的形状约束的多尺度网络中,对输入的MRI图像中胰腺组织轮廓进行自动定位. 2.根据权利要求1所述的基于形状约束的多尺度网络MRI胰腺轮廓定位方法,其特征在于,步骤(1b)中所述对初始MRI训练集、初始MRI标注集、初始PET训练集、初始PET标注集中每张图像依次进行扩充的具体步骤如下: 第一步,将初始MRI训练集、初始MRI标注集、初始PET训练集、初始PET标注集中每张图像沿水平中轴线上下翻转进行扩充,得到第二组图像; 第二步,将初始MRI训练集、初始MRI标注集、初始PET训练集、初始PET标注集中每张图像逆时针旋转90度进行扩充,得到第三组图像;再沿水平中轴线上下翻转进行扩充,得到第四组图像; 第三步,将初始MRI训练集、初始MRI标注集、初始PET训练集、初始PET标注集中每张图像逆时针旋转180度进行扩充,得到第五组图像;再沿水平中轴线上下翻转进行扩充,得到第六组图像; 第四步,将初始MRI训练集、初始MRI标注集、初始PET训练集、初始PET标注集中每张图像逆时针旋转270度进行扩充,得到第七组图像;再沿水平中轴线上下翻转进行扩充,得到第八组图像; 第五步,将扩充后得到的七组图像和扩充前的图像组成扩充后的MRI训练集、MRI标注集、PET训练集、PET标注集. 3.根据权利要求1所述的基于形状约束的多尺度网络MRI胰腺轮廓定位方法,其特征在于,步骤(1b)中所述的预处理是指对扩充后的MRI训练集、MRI标注集、PET训练集、PET标注集中的每张图像进行裁剪和归一化操作,具体步骤如下: 第一步,对扩充后的PET训练集和PET标注集中每张图像的上下左右各裁剪40个像素点,将裁剪后的图像尺寸调整为320*240;对扩充后的MRI训练集和MRI标注集中每张图像上下各裁剪136个像素点、左右各裁剪96个像素点,将裁剪后的图像尺寸调整为320*240; 第二步,按照下式,将裁剪后图像的图像灰度值归一化到区间[0,1]: 其中,Y表示输入图像进行归一化操作后图像的像素值,X表示输入图像的像素值,Xmin表示取值为0的输入图像中的最小像素值,Xmax表示取值为255的输入图像中的最大像素值. 4.根据权利要求1所述的基于形状约束的多尺度网络MRI胰腺轮廓定位方法,其特征在于,步骤(2)中所述25层的U-net网络的结构与参数如下: U-net网络的结构依次为:输入层→第1特征提取层→第2特征提取层→第1池化层→第3特征提取层→第4特征提取层→第2池化层→第5特征提取层→第6特征提取层→第3池化层→第7特征提取层→第8特征提取层→dropout层→第1反卷积层→第1融合层→第9特征提取层→第10特征提取层→第2反卷积层→第2融合层→第11特征提取层→第12特征提取层→第3反卷积层→第3融合层→第13特征提取层→第14特征提取层→输出层; 所述输入层采用Input函数实现; 所述每个特征提取层均由1个卷积层和1个激活函数层串联组成,每个卷积层均采用Conv2D函数实现,每个激活函数层均采用ReLU函数实现; 所述每个池化层采用MaxPooling2D函数实现; 所述每个融合层均采用Merge函数实现,第1融合层输出第1反卷积层和第6特征提取层的融合结果;第2融合层输出第2反卷积层和第4特征提取层的融合结果;第3融合层输出第3反卷积层和第2特征提取层的融合结果; 所述输出层采用Sigmoid函数实现; 设置U-net网络的每层参数如下: 将第1特征提取层、第2特征提取层、第13特征提取层、第14特征提取层中卷积层的卷积核个数均设置为64,每个卷积核大小设置为3*3; 将第3特征提取层、第4特征提取层、第11特征提取层、第12特征提取层中卷积层的卷积核个数均设置为128,每个卷积核大小设置为3*3; 将第5特征提取层、第6特征提取层、第9特征提取层、第10特征提取层中卷积层的卷积核个数均设置为256,每个卷积核大小设置为3*3; 将第7特征提取层和第8特征提取层中卷积层的卷积核个数均设置为512,每个卷积核大小设置为3*3; 将第1至第3池化层的每个卷积核大小均设置为2*2; 将dropout层中的概率值设置为0.5; 将第1至第3反卷积层中卷积核的个数依次设置为256、128、64,每个卷积核大小均设置为2*2. 5.根据权利要求1所述的基于形状约束的多尺度网络MRI胰腺轮廓定位方法,其特征在于,步骤(2)中所述对U-net网络进行训练的步骤如下: 第一步,使用MSRA初始化方法,对U-net网络的权重进行初始化,并将偏置初始值设置为0; 第二步,将PET训练集和PET标注集中的每个图像输入到U-net网络中,输出分割图像; 第三步,利用交叉熵损失函数,计算U-net网络的损失值;根据网络的损失值,使用初始学习率为0.0001的Adam优化器对U-net网络的权重和偏置进行迭代更新,直到U-net网络的损失值接近于0时,得到训练好的U-net网络. 6.根据权利要求1所述的基于形状约束的多尺度网络MRI胰腺轮廓定位方法,其特征在于,步骤(3)中所述多尺度网络的2个分支采用交叉连接方式如下: 第一分支中的第1特征提取层和第2特征提取层的输出通过第1融合层连接; 第一分支中的第1反卷积层和第3多尺度卷积层的输出分别与第二分支中的第6特征提取层的输出通过第2融合层连接; 第一分支中的第2反卷积层和第2多尺度卷积层的输出分别与第二分支中的第4特征提取层的输出通过第3融合层连接; 第一分支中的第3反卷积层和第1多尺度卷积层的输出分别与第二分支中的第2特征提取层的输出通过第4融合层连接; 所述每个多尺度卷积层由3个子模块采用交叉连接方式如下: 第一个子模块中的第2特征提取层和第2个子模块中第4特征提取层的输出分别与第三个子模块中池化层的输出通过融合层连接. 7.根据权利要求1所述的基于形状约束的多尺度网络MRI胰腺轮廓定位方法,其特征在于,步骤(3)中所述多尺度网络的每层参数如下: 将多尺度网络第一分支的第1特征提取层中卷积层的卷积核个数设置为512,每个卷积核大小设置为3*3;将第2特征提取层中卷积层的卷积核个数设置为512,每个卷积核大小设置为5*5;将第3至第8特征提取层中卷积层的卷积核个数依次设置为256、256、128、128、64、64,每个卷积核大小均设置为3*3;将第1至第3反卷积层中卷积核的个数依次设置为256、128、64,每个卷积核大小均设置为2*2; 将多尺度网络第二分支的第1至第6特征提取层中卷积层的卷积核个数依次设置为64、64、128、128、256、256,每个卷积核大小均设置为3*3;将第1至第3池化层的每个卷积核大小均设置为2*2; 将第1多尺度卷积层的第1至第4特征提取层中卷积层的卷积核个数均设置为64,每个卷积核大小依次设置为3*3、1*1、3*3、5*5;将池化层的每个卷积核大小均设置为2*2; 将第2多尺度卷积层的第1至第4特征提取层中卷积层的卷积核个数均设置为128,每个卷积核大小依次设置为3*3、1*1、3*3、5*5;将池化层的每个卷积核大小均设置为2*2; 将第3多尺度卷积层的第1特征提取层、第2特征提取层、第3特征提取层、第4特征提取层中卷积层的卷积核个数均设置为256,每个卷积核大小分别设置为3*3、1*1、3*3、5*5;将池化层的每个卷积核大小均设置为2*2. 8.根据权利要求1所述的基于形状约束的多尺度网络MRI胰腺轮廓定位方法,其特征在于,步骤(4)中所述13层的形状约束网络的结构与参数如下: 形状约束网络的结构依次为:输入层→第1特征提取层→第1池化层→第2特征提取层→第2池化层→第3特征提取层→第3池化层→第4特征提取层→第1反卷积层→第2反卷积层→第3反卷积层→第5特征提取层→输出层; 所述输入层采用Input函数实现; 所述每个特征提取层均由1个卷积层和1个激活函数层串联组成;每个卷积层均采用Conv2D函数实现,每个激活函数层均采用ReLU函数实现; 所述每个池化层均采用MaxPooling2D函数实现; 所述输出层采用Sigmoid函数实现; 设置形状约束网络的每层参数: 将第1至第5特征提取层中卷积层的卷积核个数依次设置为16、32、64、64、2,每个卷积核大小设置均为3*3; 将第1至第3池化层的每个卷积核大小均设置为2*2; 将第1至第3反卷积层中卷积核的个数依次设置为64、32、16,每个卷积核大小均设置为3*3. 9.根据权利要求1所述的基于形状约束的多尺度网络MRI胰腺轮廓定位方法,其特征在于,步骤(4)中所述对形状约束网络进行训练的步骤如下: 第一步,使用MSRA初始化方法,对形状约束网络的权重进行初始化,并将偏置的初始值设置为0; 第二步,将PET标注集中的每个图像输入到形状约束网络中,输出重建后的分割图像; 第三步,利用交叉熵损失函数,计算形状约束网络的损失值;根据网络的损失值,使用初始学习率为0.0001的Adam优化器对形状约束网络的权重和偏置进行迭代更新,直到网络的损失值接近于0时,得到训练好的形状约束网络.