• 基于多尺度迁移学习的MRI胰腺图像分割方法

    • 摘要:

      本发明公开了一种基于多尺度迁移学习的MRI胰腺图像分割方法,主要解决现有技术对MRI胰腺图像分割精确低的问题.其方案:从人体胰腺部位获取PET和MRI图像,并对其进行标记,得到对应的胰腺标签图像;对PET和MRI图像扩充并归一化,对胰腺标签图像扩充并转换为浮点型;建立的PET网络并对其训练,得到训练好的PET网络;建立一个包括两条支路的MRI网络,将训练好的PET网络中对应的结构和权重迁移到该网络的第二支路,并训练其第一支路,得到训练好的MRI网络;输入MRI图像到训练好的MRI网络,输出胰腺分割结果.本发明提升了工作效率,提高了MRI图像的胰腺分割准确度,可用于对MRI图像的处理.

    • 专利类型:

      发明专利

    • 申请/专利号:

      CN201910923449.8

    • 申请日期:

      2019.09.27

    • 公开/公告号:

      CN110751651A

    • 公开/公告日:

      2020-02-04

    • 发明人:

      缑水平 刘豪锋 陈姝喆 顾裕 焦昶哲 毛莎莎 焦李成 李阳阳

    • 申请人:

      西安电子科技大学

    • 主分类号:

      G06T7/10(2017.01),G,G06,G06T,G06T7

    • 分类号:

      G06T7/10(2017.01),G06T9/00(2006.01),G,G06,G06T,G06T7,G06T9,G06T7/10,G06T9/00

    • 主权项:

      1.一种基于多尺度迁移学习的MRI胰腺图像分割方法,其特征在于,包括如下: (1)使用正电子发射断层扫描PET设备对人体胰腺部位进行成像,得到PET图像序列,记为PET图像数据集X,使用磁共振成像MRI设备对人体胰腺部位进行成像,得到MRI图像序列,记为MRI图像数据集Y,其中,PET图像是三维全身成像,MRI是二维成像; (2)对PET图像数据集X中的胰腺部位进行标记,得到PET胰腺参考数据集XT,对MRI图像数据集Y中的胰腺部位进行标记,得到MRI胰腺参考数据集YT; (3)对PET图像数据集对{X,XT}进行扩充,得到扩充的PET图像数据集对{P,PT},对MRI图像数据集对{Y,YT}进行扩充,得到扩充的MRI图像数据集对{M,MT}; (4)对扩充的PET图像数据集对{P,PT}中P的每张PET图像和扩充的MRI图像数据集对{M,MT}中M的每张MRI图像进行归一化操作,即将Hu值映射到区间[0,1],对扩充的PET图像数据集对{P,PT}中PT的每张PET胰腺参考图像和扩充的MRI图像数据集对{M,MT}中MT的每张MRI胰腺参考图像进行灰度转换操作,即将二值图像转换成浮点数; (5)对扩充的PET图像数据集对{P,PT}和扩充的MRI图像数据集对{M,MT}中的每张PET图像和MRI图像及其对应的胰腺参考图像进行裁剪,得PET图像数据集对{DP,GP}和MRI图像数据集对{DM,GM}; (6)搭建基于PET图像的编码器-解码器网络N,并初始化: (6a)根据得到的PET图像数据集对{DP,GP},通过交叉验证搭建一个包括输入层、特征提取层、下采样层、反卷积层和输出层的25层网络,构成基于PET图像的编码器-解码器网络N,网络的输入为PET图像,输出为胰腺分割结果图像; (6b)用MSRA初始化方法初始化网络的权值W,并将网络的所有偏置b初始化为0; (7)使用PET图像数据集对{DP,GP},训练基于PET图像的编码器-解码器网络N,得到训练好的分割网络NT; (8)搭建基于多尺度迁移学习的编码器-解码器MRI分割网络M,并初始化: (8a)根据MRI图像数据集对{DM,GM},通过交叉验证搭建一个包括两条支路构成的基于多尺度迁移学习的编码器-解码器MRI分割网络M,其中,第一支路依次连接第一多尺度卷积层、第二多尺度卷积层、第三多尺度卷积层、第四多尺度卷积层、第一上采样层、第一特征提取层、第二上采样层、第二特征提取层、第三上采样层、第三特征提取层和输出层;将编码器-解码器网络NT中的第2层到第9层对应的结构和权重迁移到MRI分割网络M中,并在训练过程中保持不变,构成其第二支路;在上采样层,将多尺度卷积层提取的多尺度图像特征和第二支路中卷积层提取的图像特征融合输出,该网络的输入为MRI图像,输出为胰腺分割结果图像; (8b)用MSRA初始化方法初始化MRI分割网络M的权值W,并将MRI分割网络M的所有偏置b初始化为0; (9)使用MRI图像数据集对{DM,GM},训练基于多尺度迁移学习的编码器-解码器MRI分割网络M,得到训练好的MRI分割网络MT; (10)将一张完整的MRI图像XM输入到训练好的MRI分割网络MT中,经过该分割网络MT的前向传播,得到胰腺分割结果图像AT. 2.根据权利要求1所述的方法,其特征在于,(3)中对PET图像数据集对{X,XT}进行扩充,得到扩充的PET图像数据集对{P,PT},按如下步骤进行: (3a)对PET图像数据集X中PET图像x进行扩充,得到扩充的PET图像数据集P: (3a1)对PET图像x沿其水平中轴线上下翻转,得到第2张PET图像; (3a2)对PET图像x逆时针旋转90度,得到第3张PET图像;再沿水平中轴线上下翻转,得到第4张PET图像; (3a3)对PET图像x逆时针旋转180度,得到第5张PET图像;再沿其水平中轴线上下翻转,得到第6张PET图像; (3a4)对PET图像x逆时针旋转270度,得到第7张PET图像;再沿其水平中轴线上下翻转,得到第8张PET图像; (3b)对PET胰腺参考数据集XT进行扩充,得到扩充的PET胰腺参考数据集PT: (3b1)对胰腺参考图像xT沿其水平中轴线上下翻转,得到第2张胰腺参考图像; (3b2)对胰腺参考图像xT逆时针旋转90度,得到第3张胰腺参考图像;再沿水平中轴线上下翻转,得到第4张胰腺参考图像; (3b3)对胰腺参考图像xT逆时针旋转180度,得到第5张胰腺参考图像;再沿其水平中轴线上下翻转,得到第6张胰腺参考图像; (3b4)对胰腺参考图像xT逆时针旋转270度,得到第7张胰腺参考图像;再沿其水平中轴线上下翻转,得到第8张胰腺参考图像; (3c)重复操作(3a)和(3b),依次处理PET图像数据集{X,XT}中每一对PET图像x及其对应的胰腺参考图像xT,得到扩充的PET图像数据集对{P,PT}. 3.根据权利要求1所述的方法,其特征在于,(3)中对MRI图像数据集对{Y,YT}进行扩充,得到扩充的MRI图像数据集对{M,MT},按如下步骤进行: (3d)对MRI图像数据集Y中MRI图像y进行扩充,得到扩充的MRI图像数据集M: (3d1)对MRI图像y沿其水平中轴线上下翻转,得到第2张MRI图像; (3d2)对MRI图像y逆时针旋转90度,得到第3张MRI图像;再沿水平中轴线上下翻转,得到第4张MRI图像; (3d3)对MRI图像y逆时针旋转180度,得到第5张MRI图像;再沿其水平中轴线上下翻转,得到第6张MRI图像; (3d4)对MRI图像y逆时针旋转270度,得到第7张MRI图像;再沿其水平中轴线上下翻转,得到第8张MRI图像; (3e)对MRI胰腺参考数据集YT进行扩充,得到扩充的MRI胰腺参考数据集MT: (3e1)对胰腺参考图像yT沿其水平中轴线上下翻转,得到第2张胰腺参考图像; (3e2)对胰腺参考图像yT逆时针旋转90度,得到第3张胰腺参考图像;再沿水平中轴线上下翻转,得到第4张胰腺参考图像; (3e3)对胰腺参考图像yT逆时针旋转180度,得到第5张胰腺参考图像;再沿其水平中轴线上下翻转,得到第6张胰腺参考图像; (3e4)对胰腺参考图像yT逆时针旋转270度,得到第7张胰腺参考图像;再沿其水平中轴线上下翻转,得到第8张胰腺参考图像; (3f)重复操作(3d)和(3e),依次处理MRI图像数据集{Y,YT}中每一对MRI图像y及其对应的胰腺参考图像yT,得到扩充的MRI图像数据集对{M,MT}. 4.根据权利要求1所述的方法,其特征在于,(4)中对扩充的PET图像数据集对{P,PT}和扩充的MRI图像数据集对{M,MT}进行归一化和数值转换,其实现如下: (4a)将PET图像和MRI图像的灰度值归一化到[0,1],得到归一化后的图像X': 其中,X表示输入图像,min(X)表示输入的PET图像或MRI图像像素灰度值的最小值,max(X)表示输入的PET图像或MRI图像像素灰度值的最大值; (4b)将输入PET图像和MRI图像对应的胰腺参考图像的灰度值转换为浮点型. 5.根据权利要求1所述的方法,其特征在于,(5)中对每张PET图像和MRI图像及其对应的胰腺参考图像进行裁剪,实现如下: (5a)对PET图像集{P,PT}进行裁剪,即将PET图像及其对应的胰腺擦参考图像,裁剪其上下左右各40个像素点,再调整其尺寸为320*240; (5b)对MRI图像集{M,MT}进行裁剪,即将MRI图像及其对应的胰腺参考图像,裁剪其上下各136个像素点,左右各96个像素点,再调整其尺寸为320*240; (5c)重复(5a)和(5b),依次处理PET图像数据集{P,PT}和MRI图像数据集{M,MT}中每一对PET图像和每一对MRI图像,得到裁剪后的PET图像数据集{DP,GP}和MRI图像数据集{DM,GM}. 6.根据权利要求1所述的方法,其特征在于,(6a)中搭建的25层编码器-解码器网络N,其结构如下: 第1层是输入层,输入尺寸大小240*320*1的PET图像; 第2层至第3层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有64个卷积核,每个卷积核大小为3*3; 第4层是最大池化层,其卷积核的大小为2*2; 第5层至第6层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有128个卷积核,每个卷积核大小为3*3; 第7层是最大池化层,其卷积核的大小为2*2; 第8层至第9层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有256个卷积核,每个卷积核大小为3*3; 第10层是最大池化层,其卷积核的大小为2*2; 第11层至第12层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有512个卷积核,每个卷积核大小为3*3; 第13层是反卷积层,该卷积层含有256个卷积核,每个卷积核大小为2*2; 第14层是融合层,用于将第13层的反卷积结果和第9层的卷积结果融合输出; 第15层至第16层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有256个卷积核,每个卷积核大小为3*3; 第17层是反卷积层,该卷积层含有128个卷积核,每个卷积核大小为2*2; 第18层是融合层,用于将第17层的反卷积结果和第6层的卷积结果融合输出; 第19层至第20层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有128个卷积核,每个卷积核大小为3*3; 第21层是反卷积层,该卷积层含有64个卷积核,每个卷积核大小为2*2; 第22层是融合层,用于将第21层的反卷积结果和第3层的卷积结果融合输出; 第23层至第24层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有64个卷积核,每个卷积核大小为3*3; 第25层是输出层,含有一个卷积核大小为1*1的卷积层Conv和一个修正线性单元激活层Sigmoid. 7.根据权利要求1所述的方法,其特征在于,(7)中训练基于PET图像的编码器-解码器网络N,其实现如下: (7a)打乱{DP,GP}中图像对的顺序,依次从{DP,GP}中选择3对PET图像数据和对应的胰腺参考图像数据,记为一个训练批次其中是当前训练批次中第i张PET图像,为第i张PET图像对应的胰腺参考图像; (7b)将第i张PET图像输入到编码器-解码器网络N中,经过前向传播,得到该网络输出的胰腺分割结果 (7c)计算胰腺分割结果图像和胰腺参考图像之间的二值交叉熵,得到编码器-解码器网络N的整体损失值LN: 其中,m为训练批次大小,取值为3,表示当前训练批次中第i张PET图像对应的胰腺参考图像,表示当前训练批次中第i张PET图像经过分割网络N后输出的胰腺分割结果; (7d)根据编码器-解码器网络N的整体损失值LN,使用自适应矩估计优化器Adam对网络N的权值W和所有偏置b进行更新; (7e)重复(7a)到(7d),直到达到网络训练的最大迭代次数T=50,得到训练好的分割网络NT. 8.根据权利要求1所述的方法,其中(8a)搭建的基于多尺度迁移学习的编码器-解码器MRI分割网络M中的第一支路,其结构与参数如下: 所述第一多尺度卷积层、第二多尺度卷积层和第三多尺度卷积层具有相同的结构,即每层含有3条分支、一个融合层和一个激活层,其中 第1分支由依次连接的第1卷积层、修正线性单元激活层Relu、第2卷积层和修正线性单元激活层Relu组成,每个卷积层Conv的卷积核大小均为3*3; 第2分支由依次连接的第3卷积层、修正线性单元激活层Relu、第4卷积层和修正线性单元激活层Relu组成,其中,第3卷积层的卷积核大小为3*3,第4卷积层的卷积核大小为5*5; 第3分支包含1个池化层Pool,卷积核大小为2*2; 第一多尺度卷积层所含的每个卷积层Conv的卷积核个数为64; 第二多尺度卷积层所含的每个卷积层Conv的卷积核个数为128; 第三多尺度卷积层所含的每个卷积层Conv的卷积核个数为256; 所述第四多尺度卷积层含有2条分支、一个融合层和一个激活层,其中: 第1分支由依次连接的第1卷积层Conv和修正线性单元激活层Relu组成,该卷积层Conv含有大小为3*3的512个卷积核; 第2分支由依次连接的第2卷积层Conv和修正线性单元激活层Relu组成,该卷积层Conv含有大小为5*5的512个卷积核; 所述第一至第三上采样层均包括5个分支、1个融合层和一个修正线性单元激活层Relu,其中: 第一上采样层的第1分支由第三多尺度卷积层的第1卷积层组成,第2分支由第三多尺度卷积层的第3卷积层组成,第3分支由反卷积层组成,第4分支由插值上采样层组成,第5分支由第二支路的第6卷积层组成; 第二上采样层的第1分支由第二多尺度卷积层的第1卷积层组成,第2分支由第二多尺度卷积层的第3卷积层组成,第3分支由反卷积层组成,第4分支由插值上采样层组成,第5分支由第二支路的第4卷积层组成; 第三上采样层的第1分支由第一多尺度卷积层的第1卷积层组成,第2分支由第一多尺度卷积层的第3卷积层组成,第3分支由反卷积层组成,第4分支由插值上采样层组成,第5分支由第二支路的第2卷积层组成; 所述第一特征提取层、第二特征提取层和第三特征提取层具有相同的结构,即由依次连接的卷积层Conv、修正线性单元激活层Relu、卷积层Conv和修正线性单元激活层Relu组成,每个卷积核大小均为3*3,其中: 第一特征提取层中每个卷积层Conv有256个卷积核; 第二特征提取层中每个卷积层Conv有128个卷积核; 第三特征提取层中每个卷积层Conv有64个卷积核; 所述输出层含有1个卷积层和1个修正线性单元激活层Sigmoid,卷积层含有1个大小为1*1的卷积核; 上述各层中的融合层,其包含一个融合函数Merge,用于将第四层中第1分支和第2分支的结果融合输出; 上述各层中的激活层,其包含一个修正线性单元激活层Relu,用于将第四层中融合层的结果线性修正后输出. 9.根据权利要求1所述的方法,其中(9)中训练基于多尺度迁移学习的编码器-解码器MRI分割网络M,其实现如下: (9a)打乱{DM,GM}中图像对的顺序,依次从{DM,GM}中选择3对MRI图像数据和对应的胰腺参考图像,记为一个训练批次其中是当前训练批次中第i张MRI图像,第i张MRI图像对应的胰腺参考图像; (9b)将输入多尺度编码器-解码器MRI分割网络M中,经过前向传播,得到该分割网络输出的胰腺分割结果 (9c)计算胰腺分割结果与胰腺参考图像之间的二值交叉熵,得到MRI分割网络M的整体损失值LM; 其中,m为训练批次大小,取值为3,表示当前训练批次中第i张MRI图像对应的胰腺参考图像,表示当前训练批次中第i张MRI图像经过分割网络M后输出的胰腺分割结果; (9d)根据多尺度编码器-解码器MRI分割网络M的整体损失值LM,使用自适应矩估计优化器Adam对MRI分割网络M第一支路的权值W和所有偏置b进行更新,第二支路的权值W和所有偏置b与训练好的编码器-解码器网络NT中对应的权值W和偏置b相同,且在训练过程中保持不变; (9e)重复步骤(9a)到(9d),直到达到MRI分割网络训练的最大迭代次数T=100,得到训练好的MRI分割网络MT.