基于AR2 U-Net神经网络的快速磁共振成像方法
阅读：602发布：2020-05-12
专利汇可以提供基于AR2 U-Net神经网络的快速磁共振成像方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于AR2 U-Net神经网络的快速 磁共振成像 方法，对现有的R2U-Net 卷积神经网络 加以改进，在R2U-Net卷积神经网络的 基础 上，加入了注意 门 模 块 ，用AG训练的模型隐含地学习抑制输入图像中的不相关区域，同时突出显示对特定任务有用的显着特征，因此AR2 U-Net卷积神经网络在重建同 质量 图像的情形下，只需要少量的 训练数据 。对于优化损失函数在更新中存在摆动幅度过大的问题，本发明采用Adam优化 算法 来取代常规的SGD 优化算法 ，可进一步加快卷积网络的收敛速度，且能有效防止训练过早结束的问题，对于学习率的处理上，采用多项式衰减策略，使得学习能够平稳下降，且随着轮数的增加下降越快。，下面是基于AR2 U-Net神经网络的快速磁共振成像方法专利的具体信息内容。
1.基于AR2 U-Net神经网络的快速磁共振成像方法，其特征在于，该方法具体包括以下步骤：
步骤1：训练数据的准备
训练数据的准备包含2个步骤：全采样数据、填零重建；
步骤1-1：全采样数据
全采样的k空间数据用Sk(xk，yk)表示，其中，xk表示k空间频率编码FE方向的位置，yk表示在相位编码PE方向的位置，经过离散傅立叶反变换得到参考全采样图像Iref(x，y)：
Iref(x，y)＝IDFT(Sk(xk，yk)) [1]
对k空间数据进行模拟欠采样，在k空间的PE方向，每隔N行采集一行数据，其中N为大于
1的整数，实现两边均匀采集，而在k空间PE方向中心区域全采集，概率为全部行数的4％，在FE方向的数据都为全采集，用Su(xk，yk)表示采集到的欠采样k空间数据；用欠采样模板mask与全采样k空间数据矩阵Sk(xk，yk)进行点乘的方式获取模拟欠采样数据，用公式表示为：
Su(xk，yk)＝Sk(xk，yk).*mask(xk，yk) [2]
其中，欠采样模板mask矩阵大小和全采样k空间矩阵一样，即模板mask中的每一个点mask(xk，yk)对应矩阵Sk(xk，yk)中的每一个点，若需要采集k空间对应的点，则模板mask矩阵中的值表示为1，反之则表示为0：
步骤1-2：填零重建
对于欠采样数据Su(xk，yk)，进行傅里叶反变换，得到填零重建图像，用Iu(x，y)表示：
Iu(x，y)＝IDFT(Su(xk，yk)) [4]
到这里，就得到了一对训练数据，即全采样图像数据Iref(x，y)和欠采样图像数据Iu(x，y)；
步骤2：基于AR2 U-Net卷积神经网络模型的训练
此网络训练包含2个步骤：AR2 U-Net卷积神经网络的构建和卷积神经网络的训练；
步骤2-1：AR2 U-Net卷积神经网络构建
AR2 U-Net卷积神经网络构建包含3个步骤：U-Net卷积神经网络、递归残差模块、AG模块；
步骤2-1-1：U-Net卷积神经网络
U-Net卷积神经网络卷积层包括卷积、批标准化和激活三步操作；
其中卷积公式如下：
其中，*表示卷积， 表示卷积核，其大小为s×kn×kn×mn，s表示第n-1层特征子图数量，kn表示第n层滤波器的大小，mn表示第n层滤波器的数量， 表示第n层的偏置量，Cn表示经过卷积后的第n层输出，Cn-1表示第n-1层特征图；
其中批标准化公式如下：
其中BN表示批标准化，μ是批数据均值，T为批数据大小，是标准化输出，γ、β为经验参数， 是中间计算值；
其中激活公式如下：
其中，σ为激活函数， 表示为激活输出；
步骤2-1-2：递归残差模块
递归残差模块包含2个递归计算和1个残差计算，递归计算由卷积模块组成，每个卷积模块包含卷积、批标准化和激活函数三个单元，递归计算公式如下：
其中， 是第n个残差单元的输出，t表示递归次数；
残差计算公式如下：
和 分别是第n个残差单元的输入和输出，F表示残差， 表示输入 的恒
等映射， 表示残差和恒等映射的和；
步骤2-1-3：AG模块
在U-Net网络解码时，在对编码每个分辨率上的特征与解码中对应特征进行拼接之前，使用了一个AG模块，重新调整了编码的输出特征；AG模块生成一个门控信号，用来控制不同空间位置处特征，即对上采样后的特征图和同层下采样层的上一层的特征图进行了AG模块处理后再合并；
其公式如下：
其中，n表示第几层，i表示像素空间， 表示为通道1*1*1卷积计算线性变换，σ1表示为Relu激活函数，σ2表示为Sigmoid激活函数，Convl表示为1*1*1卷积，b。和 表示为偏置项，θatt表示为参数，最终得到Attention系数
σ1表示为Relu激活函数，其公式如下：
f(x)＝max(0，x) [11-1]
其中x表示输入值，f(x)表示最大值输出，max表示最大值；
σ2表示为Sigmoid激活函数，其公式如下：
f(x)＝1/(1+e-x) [11-2]
其中x表示输入值，f(x)表示输出；
2-2：网络训练
网络训练包含3个步骤：损失函数、循环条件、循环迭代；
2-2-1：损失函数
选取均方误差函数作为反向传播的损失函数，通过损失函数计算输出层的损失值loss；对于训练数据集 T表示批数据大小，上标i表示批数
据中第i个图像，i＝(1，2…T)，损失值用均方误差函数表示：
其中AR2Unet表示AR2 U-Net卷积神经网络，θ表示网络参数；
2-2-2：循环条件
设循环次数为n，计算损失值和损失阈值的差值DIF作为循环的判断条件：
DIF＝loss-τ [13]
其中τ表示损失阈值；
2-2-3：循环迭代
对于训练数据集 使用Adam算法进行参数优化，流程如
下：
其中θt表示优化后的参数，t表示时间步，i表示第几张图，θ表示网络参数， 表示参数(i) (i)
梯度，AR2Unet表示AR2 U-Net卷积神经网络，Iu(x，y) 表示第i张输入图像，Iref(x，y) 表示第i张参考全采样图像，β1表示一阶矩估计的指数衰减率，β2表示二阶矩估计的指数衰减率，mt表示gt的一矩阶估计，vt表示gt的二阶矩估计， 表示对β1的校正， 表示对β2的校正；lr表示学习率，用于控制模型的学习进度，采用多项式衰减方式下降，epoch表示学习轮数，max_epoc表示最大学习轮数，表示指数参数项， ∈表示防止分母为0的参数；当参数θ没有收敛时，循环迭代地更新各个部分；即时间步t加1，更新目标函数在该时间步上对参数θ所求的梯度、更新偏差的一阶矩估计和二阶原始矩估计，再计算偏差修正的一阶矩估计和偏差修正的二阶矩估计，然后再用以上计算出来的值更新模型的参数θ；
执行步骤2-2-2，若DIF大于等于0，继续到执行步骤2-2-3，若DIF小于0，或迭代次数达到设定次数n，迭代循环结束；通过网络的反向传播训练网络得到优化的网络参数θ；
步骤3：基于AR2 U-Net卷积神经网络的图像重建；
用已训练好的AR2 U-Net卷积神经网络对欠采样测试数据Itest(x，y)进行重建，重建结果用Ioutput(x，y)表示：
Ioutput(x，y)＝AR2Unet(Itest(x，y)，θ) [15]
结果Ioutput(x，y)经过离散傅立叶变换得到k空间数据，用Sp(xk，yk)表示，对于k空间中进行过数据采集的点用实际采集到的数据Su(xk，yk)替换Sp(xk，yk)中对应位置的数据，然后利用离散傅立叶反变换(IDFT)进行图像重建，用Irecon(x，y)表示最终的图像重建结果：
Irecon(x，y)＝IDFT(Su(xk，yk)+Sp(xk，yk)(1-mask(xk，yk))) [16]。
基于AR2 U-Net神经网络的快速磁共振成像方法
技术领域
背景技术
[0002] 1946年，磁共振成像(Magnetic Resonance Imaging，MRI)原理被两位美国科学家布洛赫和珀塞尔发现。MRI，因其具有较高的软组织分辨率，对人体没有电离辐射损伤等优点，应用范围日益广泛，已成为一项常规医学检查方法。但由于MRI在应用中常存在扫描速度慢的缺点，容易产生运动伪影，且难以满足实时成像的要求，因此如何加快MRI的成像速度是MRI领域的热点之一。
[0003] 以往研究员通常从三个方面来加速MRI的成像时间，一是提高MRI硬件的性能，但人体的生理效应限制了MRI硬件的磁场强度和磁场梯度的切换率，二是采用并行成像(Parallel Imaging，PI)技术，PI技术受限于线圈敏感度分布的准确测量，三是减少MRI频域空间(k-Space,k空间)的数据采集量，但是数据采集量的大量减少，会带来图像质量的显著下降，尽管研究员可通过多种重建算法提高欠采样图像重建的质量，但是往往需要较长的重建时间，难以满足实时成像的临床需求。
[0004] 近些年来，卷积神经网络(Convolutional Neural Network，CNN)在医学影像领域中，成了新的研究热点，是一种具有良好前景的MRI快速成像方法。
[0005] 目前已申请的基于卷积神经网络的MRI快速成像方面的专利有：磁共振成像方法和系统(申请号：CN201310633874.6)，基于深度网络模型来估计k空间中已采样点和未采样点之间的映射关系，从而估计出完整的k空间数据来重建磁共振图像，基于残差U-Net卷积神经网络的快速磁共振成像方法(申请号：CN 201910201305.1)，通过将残差模块加入U-Net卷积神经网络，可解决U-Net卷积神经网络的梯度消失、过拟合及收敛速度慢等问题，提高基于U-Net卷积神经网络的进行快速MRI成像的质量，基于递归残差U型网络的快速磁共振成像方法(申请号：CN201910304369.4)，通过将残差模块加入U-Net卷积神经网络(R2U-Net)，可解决U-Net卷积神经网络的梯度消失、过拟合及收敛速度慢等问题，提高基于U-Net卷积神经网络的进行快速MRI成像的质量，一种基于深度卷积神经网络的快速磁共振成像方法及装置(申请号：CN201580001261.8)，提出基于深度卷积神经网络来实现快速磁共振成像，一种磁共振成像方法及装置(申请号：CN201710236330.4)，提出基于多对比度的欠采和全采MRI图像来训练网络，一种基于卷积神经网络的多对比度磁共振图像重建方法(申请号：CN201711354454.9)，提出利用多对比度MRI图像来训练卷积神经网络，一种磁共振成像方法和系统(申请号：CN201611006925.2)，基于深度学习方法提高CS-MRI图像重建的质量和速度，基于机器学习的并行磁共振成像GRAPPA方法(申请号：CN201210288373.4)，提供一种基于机器学习的并行磁共振成像GRAPPA方法，基于深度卷积网的一维部分傅里叶并行磁共振成像方法(申请号：CN201710416357.1)和一种基于深度学习和凸集投影的磁共振重建方法(申请号：CN201810306848.5)，这两个专利将深度学习方法应用于磁共振并行成像领域，一种基于增强递归残差网络的磁共振图像超分辨重建方法(申请号：CN201810251558.5)，以反复递归的残差模块为基本单元建立递归残差网络，获得磁共振超分辨重建效果。
[0006] 目前已申请的基于Attention卷积神经网络深度学习专利有：基于BiLSTM-Attention深度神经网络的心搏分类方法(申请号：CN201910095804.7)，主要具有心电信号分类准确、有效对心电信号进行深度学习分类的优点，一种基于Attention机制和卷积神经网络的快速商标图像检索方法(申请号：CN201810750096.1)，用于商标特征提取，对待查询商标图像进行检索，并生成检索结果，一种基于Attention的循环神经网络模型的图分类方法(申请号：CN201810924561.9)，构建循环神经网络，通过循环神经网络的隐含层将机器之前观察过的图的局部信息整合起来，并用来辅助视角移动的决策和进行图分类，一种基于GAN和Self-Attention的图像局部信息迁移方法(申请号：201811368715.7)，具有避免局部迁移与图像全局像素的影响、解决图像局部迁移对整体图像的干扰因素等优点。目前还未能查询到任何基于AR2U-Net卷积神经网络的快速磁共振成像方法的授权发明专利或申请。
[0007] 国内外已发表的基于卷积神经网络深度学习的快速MRI成像方面的文章有：2016年，Wang S等人提出基于卷积神经网络进行快速磁共振图像重建(Wang S,et al.Accelerating magnetic resonance imaging via deep learning,in Proc.IEEE 13th Int.Conf.Biomedical Imaging,pp.514–517,2016.)。Yu S等人提出基于生成对抗网络的深度学习方法加速CS-MRI重建(Yu S,Dong H,Yang G,et al.Deep de-aliasing for fast compressive sensing MRI.arXiv preprint arXiv:1705.07137,2017.)。Yang Y等人提出在Generic-ADMM-Net网络的非线性转换层中加入广义运算算子构成Complex-ADMM-Net实现图像重建(Yang Y,et al.ADMM-Net:A deep learning approach for
compressive sensing MRI.arXiv:1705.06869v1,2017.)。2017年，Lee D等人提出深度伪影学习网络用于CS-MRI并行成像(Lee D,Yoo J,Ye J C.Deep artifact learning for compressed sensing and parallel MRI.arXiv preprint arXiv:1703.01120,2017.)，通过幅值网络和相位网络直接估计混叠伪影，可将欠采样重建的图像减去估计的混叠伪影来获得无混叠图像。Hammernik K等人提出一种深度变分网络并加速基于并行成像的MRI重建(Hammernik K et al.Learning a variational network for reconstruction of accelerated MRI data,Magn.Reson.Med.vol.79,no.6,pp.3055-3071,2017.)。
compressive sensing MRI.arXiv:1705.06869v1,2017.)。2017年，Lee D等人提出深度伪影学习网络用于CS-MRI并行成像(Lee D,Yoo J,Ye J C.Deep artifact learning for compressed sensing and parallel MRI.arXiv preprint arXiv:1703.01120,2017.)，通过幅值网络和相位网络直接估计混叠伪影，可将欠采样重建的图像减去估计的混叠伪影来获得无混叠图像。Hammernik K等人提出一种深度变分网络并加速基于并行成像的MRI重建(Hammernik K et al.Learning a variational network for reconstruction of accelerated MRI data,Magn.Reson.Med.vol.79,no.6,pp.3055-3071,2017.)。
[0008] 目前已发表的基于U-Net卷积神经网络的MRI快速成像方面的文章有：Jin K H等人(Jin K H,et al.Deep convolutional neural network for inverse problems in imaging.IEEE Transactions on Image Processing,2017,26(9):4509-4522.)提出基于滤波反投影的深度学习网络结构解决成像中的逆问题，其中的基础网络是U-Net网络结构。2018年，Yang G等人提出了以U-Net神经网络为基础的生成对抗网络DAGAN，用于CS-MRI成像(Yang G,et al.Dagan:Deep de-aliasing generative adversarial networks for fast compressed sensing MRI reconstruction.IEEE Transactions on Medical Imaging,2018,37(6):1310-1321.)。Hyun C M等人(Hyun C M,Kim H P,Lee S M,et al.Deep learning for undersampled MRI reconstruction[J].Physics in medicine and biology,2018.)为U-Net卷积神经网络MRI快速成像提供了数学理论依据。
[0009] 目前已发表的基于Attention卷积神经网络的方面的文章有：2018年，Ozan Oktay等人提出了一种新的医学图像注意门(attention gate)模型，该模型能自动学习聚焦不同形状和大小的目标结构(Ozan Oktay,Jo Schlemper,Loic Le Folgoc,Matthew Lee,Mattias Heinrich,et al.Attention U-Net:Learning Where to Look for the Pancreas[J].arXiv:1804.03999v1,2017.)。2019年，Man Yuan等人引入了一种新型的广域注意力单元(WRAU)，并将其整合到一个密集连接的U-Net架构中(Man Yuan,Liu Zhi,Wang Fan,et al.Using the wide-range attention U-Net for road segmentation[J].Remote Sensing Letters.2019.)。2018年，Sheng Lian等人提出了一个attention引导的虹膜分割模型(Sheng Lian Zhiming Luo Zhun Zhong Xiang Lin Songzhi Su Shaozi Li,et al.Attention guided U-Net for accurate iris segmentation[J].Journal of Visual Communication and Image Representation,2018。
[0010] 以上发表的基于卷积神经网络深度学习的快速MRI成像方面的文章或申请的发明专利，主要是基于一般的U-Net卷积神经网络深度学习方法来进行MRI快速成像或者是基于残差或者基于递归残差卷积神经网络(R2U-Net)的MRI快速成像。以上发表的基于卷积神经网络深度学习方面的快速MRI成像方面的文章或申请的发明专利，主要是基于一般的U-Net卷积神经网络深度学习方法来进行MRI快速成像或者是基于残差或者基于递归残差卷积神经网络(R2U-Net)的MRI快速成像；以上发表的基于attention的发明专利或文章主要是用于图像分类和分割的，没有出现过任何将attention与U-Net卷积神经网络相结合，并应用于MRI图像重建方面的专利或文章。
发明内容
[0011] 本发明针对现有R2U-Net卷积神经网络在磁共振快速成像方法上的不足，对现有的R2U-Net卷积神经网络加以改进，在R2U-Net卷积神经网络的基础上，加入了注意门(Attention Gates，AG)模块，用AG训练的模型隐含地学习抑制输入图像中的不相关区域，同时突出显示对特定任务有用的显着特征，因此AR2 U-Net卷积神经网络在重建同质量图像的情形下，只需要少量的训练数据(比R2U-Net卷积神经网络少500张训练图片)。对于优化损失函数在更新中存在摆动幅度过大的问题，本发明采用Adam(Adaptive Moment Estimation)优化算法来取代常规的SGD(Stochastic Gradient Descent)优化算法，可进一步加快卷积网络的收敛速度，且能有效防止训练过早结束的问题，对于学习率的处理上，采用多项式衰减策略，使得学习能够平稳下降，且随着轮数的增加下降越快。
[0012] 本发明包含三个步骤：训练数据准备、基于AR2 U-Net卷积神经网络模型的训练、基于AR2 U-Net卷积神经网络的图像重建。
[0013] 步骤1：训练数据的准备
[0014] 训练数据的准备包含2个步骤：全采样数据、填零重建。
[0015] 步骤1-1：全采样数据
[0016] 全采样的k空间数据用Sk(xk,yk)表示，其中，xk表示k空间频率编码FE(Frequency Encoding)方向的位置，yk表示在相位编码PE(Phase Encoding)方向的位置，经过离散傅立叶反变换(IDFT)得到参考全采样图像Iref(x,y)：
[0017] Iref(x,y)＝IDFT(Sk(xk,yk)) [1]
[0018] 对k空间数据进行模拟欠采样，在k空间的PE方向，每隔N(N为大于1的整数)行采集一行数据，实现两边均匀采集，而在k空间PE方向中心区域全采集，概率为全部行数的4％，在FE方向的数据都为全采集，用Su(xk,yk)表示采集到的欠采样k空间数据。用欠采样模板mask与全采样k空间数据矩阵Sk(xk,yk)进行点乘的方式获取模拟欠采样数据，可用公式表示为：
[0019] Su(xk,yk)＝Sk(xk,yk).*mask(xk,yk) [2]
[0020] 其中，欠采样模板mask矩阵大小和全采样k空间矩阵一样，即模板mask中的每一个点mask(xk,yk)对应矩阵Sk(xk,yk)中的每一个点，若需要采集k空间对应的点，则模板mask矩阵中的值表示为1，反之则表示为0：
[0021]
[0022] 步骤1-2：填零重建
[0023] 对于欠采样数据Su(xk,yk)，进行傅里叶反变换，得到填零重建图像，用Iu(x,y)表示：
[0024] Iu(x,y)＝IDFT(Su(xk,yk)) [4]
[0025] 到这里，就得到了一对训练数据，即全采样图像数据Iref(x,y)和欠采样图像数据Iu(x,y)。
[0026] 步骤2：基于AR2 U-Net卷积神经网络模型的训练
[0027] 此网络训练包含2个步骤：AR2 U-Net卷积神经网络的构建和卷积神经网络的训练。
[0028] 步骤2-1：AR2 U-Net卷积神经网络构建
[0029] AR2 U-Net卷积神经网络构建包含3个步骤：U-Net卷积神经网络、R2(递归残差)模块、AG模块。
[0030] 步骤2-1-1：U-Net卷积神经网络
[0031] U-Net卷积神经网络包含收缩路径(contracting path)，即下采样和扩展路径(expanding path)，即上采样，两条路径相互对称。收缩路径主要是用来捕捉图片中的上下文信息(context information)，而与之相对称的扩展路径则是为了对图片中所需要分割出来的部分进行精准定位(localization)。U-Net卷积神经网络卷积层包括卷积(Conv)、批标准化(Batch Normalization，BN)和激活(Activation)三步操作。
[0032] 其中卷积公式如下：
[0033]
[0034] 其中，*表示卷积， 表示卷积核，其大小为s×kn×kn×mn，s表示第n-1层特征子图数量，kn表示第n层滤波器的大小，mn表示第n层滤波器的数量， 表示第n层的偏置量，Cn表示经过卷积后的第n层输出，Cn-1表示第n-1层特征图。
[0035] 其中批标准化公式如下：
[0036]
[0037]
[0038] 其中BN表示批标准化，μ是批数据均值，T为批数据大小， 是标准化输出，γ、β为经验参数 是中间计算值。
[0039] 其中激活公式如下：
[0040]
[0041] 其中，σ为激活函数, 表示为激活输出。
[0042] 步骤2-1-2：R2(递归残差)模块
[0043] 递归残差模块包含2个递归(Recurrent)计算和1个残差(Residual)计算，递归计算由卷积模块组成,每个卷积模块包含卷积、批标准化和激活函数三个单元，递归计算公式如下：
[0044]
[0045]
[0046] 其中， 是第n个残差单元的输出，t表示递归次数。
[0047] 残差计算公式如下：
[0048]
[0049]
[0050] 和 分别是第n个残差单元的输入和输出，每个残差单元都重复公式[9-1]、[9-2]两次，F表示残差， 表示输入 的恒等映射， 表示残差和恒等映射的和。
[0051] 步骤2-1-3：AG模块
[0052] 在U-Net网络解码时，在对编码每个分辨率上的特征与解码中对应特征进行拼接之前，使用了一个AG模块，重新调整了编码的输出特征。AG模块生成一个门控信号，用来控制不同空间位置处特征，从编码部分提取的部分不是直接用于解码，而是加入了AG模块再进行解码，即对上采样后的特征图和同层下采样层的上一层的特征图进行了AG模块处理后再合并。
[0053] 其公式如下：
[0054]
[0055] 其中，n表示第几层，i表示像素空间， 表示为通道1*1*1卷积计算线性变换，σ1表示为Relu激活函数，σ2表示为Sigmoid激活函数，Conv1表示为1*1*1卷积，bg和 表示为偏置项，θatt表示为参数，最终得到Attention系数
[0056] σ1表示为Relu激活函数，是为了克服梯度消失的问题加快训练速度，其公式如下：
[0057] f(x)＝max(0,x) [11-1]
[0058] 其中x表示输入值，f(x)表示最大值输出，max表示最大值。
[0059] σ2表示为Sigmoid激活函数，其公式如下：
[0060] f(x)＝1/(1+e-x) [11-2]
[0061] 其中x表示输入值，f(x)表示输出。
[0062] 2-2：网络训练
[0063] 网络训练包含3个步骤：损失函数、循环条件、循环迭代。
[0064] 2-2-1：损失函数
[0065] 选取均方误差(Mean Squared Error，MSE)函数作为反向传播的损失函数，通过损失函数计算输出层的损失值loss。对于训练数据集 T表示批数据大小，上标i表示批数据中第i个图像，i＝(1,2…T)，损失值用均方误差函数表示：
[0066]
[0067] 其中AR2Unet表示AR2 U-Net卷积神经网络，θ表示网络参数。
[0068] 2-2-2：循环条件
[0069] 设循环次数为n，计算损失值和损失阈值的差值DIF作为循环的判断条件：
[0070] DIF＝loss-τ [13]
[0071] 其中τ表示损失阈值。
[0072] 2-2-3：循环迭代
[0073] 对于训练数据集 使用Adam算法进行参数优化，流程如下：
[0074]
[0075]
[0076]
[0077]
[0078]
[0079] 其中θt表示优化后的参数，t表示时间步，i表示第几张图，θ表示网络参数， 表示参数梯度，AR2Unet表示AR2 U-Net卷积神经网络，Iu(x,y)(i)表示第i张输入图像，Iref(x,y)(i)表示第i张参考全采样图像，β1表示一阶矩估计的指数衰减率(如0.9)，β2表示二阶矩估计的指数衰减率(如0.999)，mt表示gt的一矩阶估计，vt表示gt的二阶矩估计， 表示对β1的校正，表示对β2的校正，lr表示学习率,用于控制模型的学习进度,采用多项式衰减方式下降,epoch表示学习轮数，max_epoc表示最大学习轮数，表示指数参数项 学习率大则学习速度快，反之则慢，但学习率过大或者过小都不利于数据的训练，快刚开始训练时，学习率以0.01～0.001为宜，一定轮数过后学习率逐渐减缓，接近训练结束时，学习速率的衰减应该在100倍以上。∈表示防止分母为0的参数。当参数θ没有收敛时，循环迭代地更新各个部分。即时间步t加1,更新目标函数在该时间步上对参数θ所求的梯度、更新偏差的一阶矩估计和二阶原始矩估计，再计算偏差修正的一阶矩估计和偏差修正的二阶矩估计，然后再用以上计算出来的值更新模型的参数θ。
[0080] 执行步骤2-2-2，若DIF大于等于0，继续到执行步骤2-2-3，若DIF小于0，或迭代次数达到设定次数n，迭代循环结束。通过网络的反向传播训练网络得到优化的网络参数θ。
[0081] 步骤3：基于AR2 U-Net卷积神经网络的图像重建。
[0082] 用已训练好的AR2 U-Net卷积神经网络对欠采样测试数据Itest(x,y)进行重建，重建结果用Ioutput(x,y)表示：
[0083] Ioutput(x,y)＝AR2Unet(Itest(x,y),θ) [15]
[0084] 结果Ioutput(x,y)经过离散傅立叶变换得到k空间数据，用Sp(xk,yk)表示，对于k空间中进行过数据采集的点用实际采集到的数据Su(xk,yk)替换Sp(xk,yk)中对应位置的数据，然后利用离散傅立叶反变换(IDFT)进行图像重建，用Irecon(x,y)表示最终的图像重建结果：
[0085] Irecon(x,y)＝IDFT(Su(xk,yk)+Sp(xk,yk)(1-mask(xk,yk))) [16]
[0086] 采用本发明方法，即基于AR2 U-Net卷积神经网络的快速磁共振成像方法在下采样阶段使用残差网络提取特征，在下采样层同层和上采样层上一层的特征图中加入AG模块，再和上采样后的特征图进行合并。残差网络可有效防止梯度消失，且更容易训练。基于已训练好参数的AR2 U-Net卷积神经网络，在不同数据集和训练大小的同时，不断提高U-Net的预测性能，同时保持计算效率，AG模块在不需要多个CNN模块的情况下，采用不同大小的数据进行训练，一致地提高了参数的精度，提高了重建图像的质量。同时本发明具有以下特点：
[0087] 1)网络结构在每一层上采样层和同层下采样层的上一层的特征图中加入AG模块，隐含地学习抑制输入图像中的不相关区域，同时突出显示对特定任务有用的显着特征，不需要训练多个模型和大量额外的模型参数也可以得到质量较高的磁共振重建图。
[0088] 2)针对目前在神经网络中应用普遍的SGD算法在损失函数变化上的严重震荡问题，本发明采用Adam算法进行优化，使得损失函数变得平滑，有利于获得更好的优化参数。
[0089] 3)对学习率采用多项式衰减的方法，更有益于训练到最优参数，重建图像更为清晰。
[0091] 图1是采用本发明进行数据采集的示意图；
[0092] 图2是本发明的网络结构图；
[0093] 图3是本发明的AG模块图；
[0094] 图4是本发明训练中学习率衰减图；
[0095] 图5是图像重建实例的结果对比图；
具体实施方式
[0096] 本发明包含三个步骤：训练数据的准备、基于AR2 U-Net卷积神经网络模型的训练、基于AR2 U-Net卷积神经网络的图像重建。
[0097] 步骤1：训练数据的准备
[0098] 训练数据的准备包含3个步骤：全采样数据、填零重建。
[0099] 全采样的k空间数据用Sk(xk,yk)表示，其中，xk表示k空间频率编码FE(Frequency Encoding)方向的位置，yk表示在相位编码PE(Phase Encoding)方向的位置，经过离散傅立叶反变换(IDFT)得到参考全采样图像Iref(x,y)：
[0100] Iref(x,y)＝IDFT(Sk(xk,yk)) [1]
[0101] 对k空间数据进行模拟欠采样，在k空间的PE方向，每隔N(N为大于1的整数)行采集一行数据，实现两边均匀采集，而在k空间PE方向中心区域全采集，概率为全部行数的4％，在FE方向的数据都为全采集，用Su(xk,yk)表示采集到的欠采样k空间数据。用欠采样模板mask与全采样k空间数据矩阵Sk(xk,yk)进行点乘的方式获取模拟欠采样数据，如图1所示，(a)表示全采样k空间数据，(b)表示欠采样模板，(c)表示欠采样k空间数据，可用公式表示为：
[0102] Su(xk,yk)＝Sk(xk,yk).*mask(xk,yk) [2]
[0103] 其中，欠采样模板mask矩阵大小和全采样k空间矩阵一样，即模板mask中的每一个点mask(xk,yk)对应矩阵Sk(xk,yk)中的每一个点，若需要采集k空间对应的点，则模板mask矩阵中的值表示为1，反之则表示为0：
[0104]
[0105] 步骤1-2：填零重建
[0106] 对于欠采样数据Su(xk,yk)，其对应k空间中没有进行数据采集的点令其值为0，然后用离散傅立叶反变换进行图像重建，得到填零重建图像，用Iu(x,y)表示：
[0107] Iu(x,y)＝IDFT(Su(xk,yk)) [4]
[0108] 到这里，就得到了一对训练数据，即全采样图像数据Iref(x,y)和欠采样图像数据Iu(x,y)。
[0109] 步骤2：基于AR2 U-Net卷积神经网络模型的训练
[0110] 此网络训练包含2个步骤：AR2 U-Net卷积神经网络的构建和卷积神经网络的训练。
[0111] 步骤2-1：AR2 U-Net卷积神经网络构建
[0112] AR2 U-Net卷积神经网络构建包含3个步骤：U-Net卷积神经网络、R2(递归残差)模块、AG模块。
[0113] 步骤2-1-1：U-Net卷积神经网络
[0114] 如图2所示，基于AR2 U-Net卷积神经网络主要有两部分组成：下采样和上采样。两条路径相互对称。下采样路径主要是用来捕捉图片中的上下文信息(context information)，而与之相对称的上采样路径则是为了对图片中所需要分割出来的部分进行精准定位(localization)。U-Net卷积神经网络卷积层包括卷积(Conv)、批标准化(Batch Normalization，BN)和激活(Activation)三步操作。
[0115] 其中卷积公式如下：
[0116]
[0117] 其中，*表示卷积， 表示卷积核，其大小为s×kn×kn×mn，s表示第n-1层特征子图数量，kn表示第n层滤波器的大小，mn表示第n层滤波器的数量， 表示第n层的偏置量，Cn表示经过卷积后的第n层输出，Cn-1表示第n-1层特征图。
[0118] 其中批标准化公式如下：
[0119]
[0120]
[0121] 其中BN表示批标准化，μ是批数据均值，T为批数据大小， 是标准化输出，γ、β为经验参数 是中间计算值。
[0122] 其中激活公式如下：
[0123]
[0124] 其中，σ为激活函数, 表示为激活输出。
[0125] 步骤2-1-2：R2(递归残差)模块
[0126] 递归残差模块包含2个递归(Recurrent)计算和1个残差(Residual)计算，递归计算由卷积模块组成,每个卷积模块包含卷积、批标准化和激活函数三个单元，递归计算公式如下：
[0127]
[0128]
[0129] 其中， 是第n个残差单元的输出，t表示递归次数。
[0130] 残差计算公式如下：
[0131]
[0132]
[0133] 和 分别是第n个残差单元的输入和输出，每个残差单元都重复公式[9-1]、[9-2]两次，F表示残差， 表示输入 的恒等映射， 表示残差和恒等映射的和。
[0134] 步骤2-1-3：AG模块
[0135] 在U-Net网络解码时，在对编码每个分辨率上的特征与解码中对应特征进行拼接之前，使用了一个AG，重新调整了编码的输出特征。该模块生成一个门控信号，用来控制不同空间位置处特征，从编码部分提取的部分不是直接用于解码，而是加入了AG模块再进行解码，即对上采样后的特征图和同层下采样层的上一层的特征图进行了AG模块处理后再合并。如图2所示，将上采样层F4XH4XW4XD4与同层下采样层的上一层F3XH3XW3XD3进行了AG模块处理后得到串联形态的F3XH3XW3XD3，然后再与F4XH4XW4XD4上采样得到的F3XH3XW3XD3进行卷积操作得到F2XH3XW3XD3，接着继续进行下一步AG模块处理。
[0136] 其公式如下：
[0137]
[0138] 如图3所示，其中，n表示第几层，i表示像素空间， 表示为通道1*1*1卷积计算线性变换，σ1表示为Relu激活函数，σ2表示为Sigmoid激活函数，Conv1表示为1*1*1卷积，bg和表示为偏置项，θatt表示为参数，最终得到Attention系数
[0139] σ1表示为Relu激活函数，是为了克服梯度消失的问题加快训练速度，其公式如下：
[0140] f(x)＝max(0,x) [11-1]
[0141] 其中x表示输入值，f(x)表示最大值输出，max表示最大值。
[0142] σ2表示为Sigmoid激活函数，其公式如下：
[0143] f(x)＝1/(1+e-x) [11-2]
[0144] 其中x表示输入值，f(x)表示输出。
[0145] 2-2：网络训练
[0146] 网络训练包含3个步骤：损失函数、循环条件、循环迭代。
[0147] 2-2-1：损失函数
[0148] 选取均方误差(Mean Squared Error，MSE)函数作为反向传播的损失函数，通过损失函数计算输出层的损失值loss。对于训练数据集 T表示批数据大小，上标i表示批数据中第i个图像，i＝(1,2…T)，损失值用均方误差函数表示：
[0149]
[0150] 其中AR2Unet表示AR2 U-Net卷积神经网络，θ表示网络参数。
[0151] 2-2-2：循环条件
[0152] 设循环次数为n，计算损失值和损失阈值的差值DIF作为循环的判断条件：
[0153] DIF＝loss-τ [13]
[0154] 其中τ表示损失阈值。
[0155] 2-2-3：循环迭代
[0156] 对于训练数据集 使用Adam算法进行参数优化，流程如下：
[0157]
[0158]
[0159]
[0160]
[0161]
[0162] 其中θt表示优化后的参数，t表示时间步，i表示第几张图，θ表示网络参数， 表示参数梯度，AR2Unet表示AR2 U-Net卷积神经网络，Iu(x,y)(i)表示第i张输入图像，Iref(x,y)(i)表示第i张参考全采样图像，β1表示一阶矩估计的指数衰减率(如0.9)，β2表示二阶矩估计的指数衰减率(如0.999)，mt表示gt的一矩阶估计，vt表示gt的二阶矩估计， 表示对β1的校正，表示对β2的校正，lr表示学习率,用于控制模型的学习进度,采用多项式衰减方式下降,epoch表示学习轮数，max_epoc表示最大学习轮数，表示指数参数项 如图4所示，学习率大则学习速度快，反之则慢，但学习率过大或者过小都不利于数据的训练，快刚开始训练时，学习率以0.01～0.001为宜，一定轮数过后学习率逐渐减缓，接近训练结束时，学习速率的衰减应该在100倍以上。∈表示防止分母为0的参数。当参数θ没有收敛时，循环迭代地更新各个部分。即时间步t加1,更新目标函数在该时间步上对参数θ所求的梯度、更新偏差的一阶矩估计和二阶原始矩估计，再计算偏差修正的一阶矩估计和偏差修正的二阶矩估计，然后再用以上计算出来的值更新模型的参数θ。
[0163] 执行步骤2-2-2，若DIF大于等于0，继续到执行步骤2-2-3，若DIF小于0，或迭代次数达到设定次数n，迭代循环结束。通过网络的反向传播训练网络得到优化的网络参数θ。
[0164] 步骤3：基于AR2 U-Net卷积神经网络的图像重建。
[0165] 用已训练好的AR2 U-Net卷积神经网络对欠采样测试数据Itest(x,y)进行重建，重建结果用Ioutput(x,y)表示：
[0166] Ioutput(x,y)＝AR2Unet(Itest(x,y),θ) [15]
[0167] 结果Ioutput(x,y)经过离散傅立叶变换得到k空间数据，用Sp(xk,yk)表示，对于k空间中进行过数据采集的点用实际采集到的数据Su(xk,yk)替换Sp(xk,yk)中对应位置的数据，然后利用离散傅立叶反变换(IDFT)进行图像重建，用Irecon(x,y)表示最终的图像重建结果：
[0168] Irecon(x,y)＝IDFT(Su(xk,yk)+Sp(xk,yk)(1-mask(xk,yk)))[16]
[0169] 以下结合人体头部的MRI数据，对基于AR2 U-Net卷积神经网络快速磁共振成像方法进行实例说明。假设要采集的MRI图像Sref(xk,yk)的矩阵大小为xk×yk＝256×256，将采集到的数据进行傅里叶逆变换得到参考图像Iref(x,y)，在k空间的相位编码PE方向每隔N＝4行采集一行k空间数据，并在信息量集中的k空间中心区域进行全采样，共采集14行相位编码数据得到欠采样k空间数据Su(xk,yk)。接下来将采集到的欠采样数据Su(xk,yk)进行常规的填零傅立叶重建，重建后图像为Iu(x,y)，反复进行欠采样数据的填零重建得到训练集然后构建AR2U-Net卷积神经网络，网络结构中主要包含利
用卷积层提取特征、残差计算、AG模块处理、转置卷积及合并。网络构建好后对训练数据进行训练，当网络训练误差小于损失阈值或者训练次数达到n时训练结束，得到参数优化后的AR2 U-Net卷积神经网络。将训练好的网络用于测试图像的网络重建，得到输出图像Ioutput(x,y)，然后将输出图像进行矫正得到最终输出图像Irecon(x,y)。
用卷积层提取特征、残差计算、AG模块处理、转置卷积及合并。网络构建好后对训练数据进行训练，当网络训练误差小于损失阈值或者训练次数达到n时训练结束，得到参数优化后的AR2 U-Net卷积神经网络。将训练好的网络用于测试图像的网络重建，得到输出图像Ioutput(x,y)，然后将输出图像进行矫正得到最终输出图像Irecon(x,y)。
[0170] 如图5所示上下两层分别表示重建图和对应的差值图，图(a)是参考图，图(b)是填零重建图，图(c)是采用R2U-Net网络重建图，图(d)是采用本发明方法重建图，图(e)、图(f)和图(g)分别代表图(b)、图(c)和图(d)与图(a)的差值图，从差值图可以看出本发明方法的重建图质量优于填零重建图及R2U-Net网络重建图。
[0171] 本发明方法的重建图TRE误差比U-Net卷积神经网络和填重建的TRE误差都要低，其中填零重建TRE误差为0.0014，R2U-Net重建TRE误差为7.2289e-0.4，AR2U-Net重建TRE误差为3.3402e-0.4，TRE误差公式如下：
[0172]
[0173] 其中，I(x,y)表示重建图，Iref(x,y)表示参考图。
[0174] 实验所用显卡型号为GTX1080，显存8g，训练数据为1500脑部图像，每张图像大小为256*256，测试数据是200张脑部图像，训练时间约为1.8个小时。重建时间约为1s。而R2U-Net卷积神经网络训练时间则需要为2个小时。重建时间约为1.2s。
[0175] 可见本发明通过AR2 U-Net卷积神经网络进行MRI快速成像，相比R2U-Net卷积神经网络成像，本发明有更好的成像质量,训练和成像时间也比R2U-Net更短。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种实时表情捕捉方法和系统 | 2020-05-14 | 145 |
| 一种基于手绘网页图像的前端工程化代码生成方法 | 2020-05-15 | 638 |
| 一种节能照明智能控制方法及系统 | 2020-05-15 | 779 |
| 考虑气象因素的精细化短期负荷预测方法、装置及介质 | 2020-05-12 | 518 |
| 一种基于信息融合的野生动物监测系统及方法 | 2020-05-12 | 176 |
| 用于同步翻译的系统和方法 | 2020-05-14 | 636 |
| 基于AR2 U-Net神经网络的快速磁共振成像方法 | 2020-05-12 | 602 |
| 一种人体姿态估计方法 | 2020-05-14 | 869 |
| 异常交易检测的方法 | 2020-05-16 | 53 |
| 一种基于大数据的国防科技热词发现方法及系统 | 2020-05-11 | 394 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈