技术领域
[0001] 本
发明涉及模拟三维
核磁共振图像的生成方法，具体涉及一种生成模拟非均质柔性生物组织MR影像的模型及方法。
背景技术
[0002] 近年来，广泛用于医学图像合成的方法大致可以分为三类：1、自动
编码器，它能够把高维数据所展现的特征编码成低维向量，然后再把低维向量转换为原来数据所表示的高维向量，从而实现图像的生成；2、生成对抗网络，就是通过生成网络G(Generator)和判别网络D(Discriminator)不断博弈，进而使G学习到数据的分布，在训练完成后，G可以从一段随机数中生成逼真的图像；3、自动编码器与生成对抗网络的结合。
[0003] 对于自动编码器，Kommrusch S等人提出了名为LuNG的网络，它利用自动编码器作为生成模型，将训练图像作为输入训练具有
瓶颈层中的3个潜在特征神经元的自动编码器神经网络，自动编码器的输出经过清理
算法以增加生成可用于医学研究的图像的可能性。然而，LuNG网络的输入是51个
种子图像经过
修改变成816个图像作为训练集，也就是说该网络仍然需要大量医学图像作为训练集，而我们本来就是由于缺乏数据才生成的。此外，利用自动编码器对图像进行生成是一对一的，如果需要的数据比较多，该方法的成本就会相对较高。
[0004] Goodfellow等人提出了利用GAN进行图像合成的方法，直接从随机噪声向量合成数据，而不是将图像作为输入，一对一的输出。此后，GAN迅速发展，一直在不断改进。Li Z等人提出了结构增强型GAN(SEGAN)，用于在全局和局部范围内恢复失函数来计算被拆分成的patch之间的相关性，并提出一种新的生成器SU-Net，其在每层包括不同尺寸的卷积
滤波器，以便于捕获多尺度结构信息。尽管该方法在处理其目标任务方面取得了成功，但从随机噪声到生成图像的直接映射完全忽略了MR影像的合成任务之间固有的复杂性差异，因此合成任务遇到更大的挑战。
[0005] 考虑到任务复杂性的差异，J.-Y.Zhu等人提出了自编码器与GAN相结合的合成方法，该方法是一对多的图像生成。首先从一个已知分布中随机
采样隐编码z，生成器将输入图像和隐编码样本z映射到生成的输出样本。该方法以无监督方式训练，其中仅使用实际数据的编码及对应的图像。然而该方法难以捕获MRI的有意义的信息，因为与自然图像性比，医学图像更偏向于结构的连贯性，从而学习过程以模拟结构为主而不是纹理的分布。此外，如果
训练数据的数量有限，合成数据的种类仍然受到限制，因为该方法由于过度拟合这些编码而无法从随机输入生成“看不见的”数据。总而言之，现有方法难以合成具有足够多样性的MRI数据，其包含有意义的结构信息。
[0006] 尽管自动编码器和GAN都能生成图片，但MR影像结构复杂，不像一般的服装、人脸等图像，因此我们需要采用生成效果更好的方案。现有的GAN模型生成图像的针对性较强，即一组数据集就要对应一个模型，如果换另一个数据集也需要重新训练一个模型，因而，MR影像尚未找到可用的模型进行生成图片，我们根据GAN和自动编码器相结合的思想构建了一个可用于生成MR影像的模型。
发明内容
[0007] 本发明要解决的技术问题是针对以上不足，提供一种生成模拟非均质柔性生物组织MR影像的模型及方法，MR图像，即核磁共振图像。
[0008] 为解决以上技术问题，本发明采用以下技术方案：
[0009] 生成模拟非均质柔性生物组织MR影像的模型，包括分割模
块、自动编码模块和图像生成模块，所述分割模块用于将输入的全尺寸的真实MR图像x分割为若干个阵列子图像模块xa，所述自动编码模块包括编码器Fenc、
解码器Fdec和
鉴别器DJSD，所述编码器Fenc用于将阵列子图像模块转换为n个代码q(xa),a＝1,2,…n,所述解码器Fdec用于将每个代码q(xa)转换为对应的阵列伪子图像模块 所述鉴别器DJSD用于将代码q(xa)和随机噪声随机噪声p(xa)制作为新代码q′(xa)，其中a＝1,2,…n,所述图像生成模块包括生成器G和SpliceLayer模块，所述生成器G用于将每个新代码q′(xa)和阵列伪子图像模块 转化为对应的合成
补丁 所述SpliceLayer模块用于将合成补丁 拼接为全尺寸图像 所述即为模拟非均质柔性生物组织MR影像。
[0010] 生成模拟非均质柔性生物组织MR影像的方法，包括以下步骤：
[0011] 步骤S1：将输入的全尺寸的真实MR图像x分解为n个阵列子图像模块xa，a＝1,2，…n；
[0012] 步骤S2：将所有阵列子图像模块xa的阵列输入编码器Fenc，得到每个阵列子图像模块xa对应的代码q(xa)，a＝1,2,…n；
[0013] 步骤S3、将代码q(xa)输入解码器Fdec，得到阵列阵列伪子图像模块 将代码q(xa)和随机噪声p(xa)输，a＝1,2，…n输入鉴别器DJSD，得到新代码q′(xa)，a＝1,2，…n；
[0014] 步骤S4、将阵列伪子图像模块 和新编码q′(xa)，a＝1,2，…n输入生成器G，得到合成补丁 其中a＝1,2，…n；
[0015] 步骤S5、将合成补丁 输入SpliceLayer模块，SpliceLayer模块将n个合成补丁 连贯的缝合为一个全尺寸图像 所述 即为模拟非均质柔性生物组织MR影像。
[0016] 进一步的，所述SpliceLayer模块的缝合方法为，将每个合成图像单元 的标识符对应于每个原始阵列子图像模块xa的标识符，并根据图像单位的标识符确定合成图像单元 在该矩阵中
定位子图像的
位置，所述全尺寸图像 由n个相等大小的合成图像单元 组成。
[0017] 进一步的，所述鉴别器DJSD的计算公式为：
[0018]
[0019] 其中Ex～p(x)是对x的期望。
[0020] 进一步的，所述随机噪声p(xa)，a＝1,2,…n的向量长度设定为128。
[0021] 进一步的，所述生成器G的损失函数为 所述损失函数 为和 之和，所述 和 的计算公式为：
[0022]
[0023]
[0024] 其中 计算第a个子图像xa及其阵列伪子图像模块 之间的
像素级欧几里得距离的平均值，其中a＝1,2,…n，n为自然数。
[0025] 本发明的有益效果为：
[0026] 本发明通过原始的全尺寸的真实MR图像x中学习一个直接映射，然后利用这个映射和受约束的噪声向量来生成大量的MR影像，本发明提出了一种图像到图像的生成器，在生成对抗网络的结构
基础上进行改进，对生成器做了双输入结构，输入为随机的噪声和图像，提高了了生成图片的真实性。
附图说明
[0027] 图1为本发明总体示意图；
[0028] 图2为生成器G的结构示意图；
[0029] 图3为判别器D的结构示意图。
具体实施方式
[0030] 以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0031] 如图1所示，生成模拟非均质柔性生物组织MR影像的模型，包括分割模块、自动编码模块和图像生成模块，所述分割模块用于将输入的全尺寸的真实MR图像x分割为若干个阵列子图像模块xa，所述自动编码模块包括编码器Fenc、解码器Fdec和鉴别器DJSD，所述编码器Fenc用于将阵列子图像模块转换为n个代码q(xa),a＝1,2,…n,所述解码器Fdec用于将每个代码q(xa)转换为对应的阵列伪子图像模块 所述鉴别器DJSD用于将代码q(xa)和随机噪声随机噪声p(xa)制作为新代码q′(xa)，其中a＝1,2,…n,所述图像生成模块包括生成器G、SpliceLayer模块和判别器D，所述生成器G用于将每个新代码q′(xa)和阵列伪子图像模块 转化为对应的合成补丁 所述SpliceLayer模块用于将合成补丁 拼接为全尺寸图像 所述判别器D用于通过输入全尺寸的真实MR图像x和全尺寸图像 鉴别全尺寸图像 是真是还是假，所述 即为模拟非均质柔性生物组织MR影像。
[0032] 一种生成模拟非均质柔性生物组织MR影像的方法，包括以下步骤：
[0033] (1)将输入的全尺寸的真实MR图像x分解为n个阵列子图像模块xa，a＝1,2，…n；
[0034] (2)将所有阵列子图像模块xa的阵列输入编码器Fenc，得到代码q(xa)，a＝1,2,…n；
[0035] (3)将代码q(xa),a＝1,2,…n,输入解码器Fdec，得到阵列伪子图像模块[0036] 将代码q(xa)，a＝1,2,…n,和随机噪声p(xa)，a＝1,2,…n输入鉴别器DJSD，得到新代码q′(xa)，a＝1,2,…n；
[0037] 所述随机噪声p(xa),a＝1,2,…n的向量长度设定为128；
[0038] 为了能够根据噪声矢量而不是MRI编码生成合理的MR图像，我们将编码q(xa)的分布重构为预定义分布p(xa)，a＝1,2,…n。MRI数据分布位于128维流形上，表示为潜在空间，则通过最小化Jensen Shannon发散(即JSD)来计算重构分布q′(xa)，a＝1,2,…n的预定义的分布p(xa)，a＝1,2,…n和实际MRI编码分布q(xa),a＝1,2,…n之间的损失，使JSD值的最小化。因此，将q(xa)和p(xa)之间的JSD值计算公式为：
[0039]
[0040] 其中Ex～p(x)是对x的期望。
[0041] (4)将阵列伪子图像模块 和新编码q′(xa),a＝1,2,…n输入生成器G，得到合成补丁 其中a＝1,2，···n；
[0042] 如图2所示，生成器G采用了一种常用的编码器-解码器的策略以常规的方式引入新代码q′(xa),a＝1,2,…n,生成器G的编码器部分用作特征提取器，其中的多层结构生动地捕获了本地和更全局的数据表示形式。发生器中的每一层都由一个残差块组成，并且残差块的大小在图2的每一层上都有标记。128维噪声代码q′(xa)全连接到第一层。除非另有说明，否则生成器G和判别器D的所有层都使用4的
内核大小和2的步幅。生成器G和判别器D不涉及
池化层；
[0043] 所述生成器G的损失函数为 所述损失函数 为和 之和，所述 和 为：
[0044]
[0045]
[0046] 其中 计算第i个子图像xa及其伪子图像模块 之间的像素级欧几里得距离的平均值，其中a＝1,2,…n，n为自然数。
[0047] (5)将合成补丁 其中a＝1,2···n输入SpliceLayer模块，SpliceLayer将合成补丁 连贯的缝合为一个全尺寸图像
[0048] 生成器G会创建数量为n的相同大小的补丁 SpliceLayer模块将每个合成图像单元 的标识符对应于每个原始图像单元xa的标识符，并根据图像单位的标识符确定合成图像单元 在该矩阵中定位子图像的位置，以便将色块放入矩阵中拼接成完整的图像，所述全尺寸图像 由若干个相等大小的合成图像单元 组成。
[0049] (6)将全尺寸图像 和全尺寸的真实MR图像输入判别器D中确定合成图像的真伪,对模拟非均质柔性生物组织MR影像的真实性经验证，结论为模拟非均质柔性生物组织MR影像可以以假乱真。
[0050] 如图3所示，判别器D将Convolution-BatchNorm-LeakyRelu组件用作构建块，以确定新创建的完整图像是真还是假；
[0051] 所述判别器D的损失函数公式为：
[0052]
[0053] 自动编码器(autoencoder)是一种无监督的神经网络模型，它可以学校到输入数据的隐含特征，这称之为编码(coding)，在本发明中为编码器Fenc，通过编码器Fenc获取图像的编码；同时用学习到的新特征可以重构出原始输入数据，称之为解码(decoding),在本发明中为解码器Fdec，通过解码器Fdec将编码解码为图像。
[0054] 本发明通过原始的全尺寸的真实MR图像x中学习一个直接映射，然后利用这个映射和受约束的噪声向量来生成大量的MR影像。更具体地，原始图像由x表示，q(xa)表示受约束的噪声向量，通过模仿图像形成过程，令G： 表示将原始图像x和噪声代码p(xa)作为输入的图像生成过程，并产生输出图像 噪声代码的长度设定为128，鉴于图像形成过程的复杂性，生成器通常是一个相当复杂的功能，尽管如此，通过采用强大的GAN
深度学习框架和自动编码器的灵活性，完成一种端到端(图像到图像)的图像合成器。
[0055] 以上所述为本发明最佳实施方式的举例，其中未详细述及的部分均为本领域普通技术人员的公知常识。本发明的保护范围以
权利要求的内容为准，任何基于本发明的技术启示而进行的等效变换，也在本发明的保护范围之内。
