技术领域
[0001] 本
发明涉及医学影像处理技术领域，尤其涉及一种基于深度学习神经网络的胸片虚拟双能去骨方法及系统。
背景技术
[0002] 在医学领域，X-Ray胸部(DR)检查是目前最普遍的
肺部
疾病影像诊断方式，如：肺癌、气胸、肺气肿等。然而胸部检查的诊断极易受图像内的干扰噪声影像，其中高
亮度的骨头(肋骨、
锁骨、肩胛骨)是最主要的干扰噪声，这些干扰极大的增加了医生阅片的难度。相关论文表明，95％的漏诊病灶是由于骨头遮挡引起。
[0003] 为了解决这个问题，医疗设备
硬件设备厂商推出了三维成像的CT以及双能减影DR设备，排除了骨头对诊断的干扰，然而这些设备更加昂贵，
辐射剂量更高，同时便携性与移动性较差，无法取代普通DR的地位。因此亟需一种基于普通DR的虚拟双能去骨技术。
发明内容
[0004] 针对
现有技术存在的问题，本发明
实施例提供一种基于深度学习神经网络的胸片虚拟双能去骨方法及系统。
[0005] 第一方面，本发明实施例提供一种基于深度学习神经网络的胸片虚拟双能去骨方法，包括以下步骤：
[0006] 步骤S1：接收DR胸片图像，并对其进行坐标空间和灰度空间的规范化处理；
[0007] 步骤S2：将规范化处理后的图像输入构建好的深度学习神经网络，输出去骨图像和胸廓图像。
[0008] 进一步地，步骤S1中，对DR胸片图像进行坐标空间和灰度空间的规范化处理包括以下步骤：
[0009] 步骤S11：对DR胸片图像重
采样到最接近原始尺寸的2的指数次幂大小尺寸；
[0010] 步骤S12：输入图像的灰度按图像最大最小值平均归一化到[0，1]。
[0011] 进一步地，步骤S2中，构建好的深度学习神经网络包括：
[0012]
编码器，其对输入图像通过卷积网络和
下采样进行高层次抽象特征的提取，并把图像编码为尺寸原图1/2的特征图；
[0013]
解码器，其把编码器输出的特征图通过卷积网络和上采样解码，并输出与原尺寸相同的图像；
[0014] 跳跃连接，其将编码器中较浅层的高
分辨率特征与解码器中较高层的低分辨率特征直接相连，并最终输出包括去骨图像与胸廓图像的双通道图像。
[0015] 进一步地，步骤S2中，构建好的深度学习神经网络使用小批量双能DR胸片图像进行训练具体包括以下步骤：
[0016] 使用双能DR胸片图像中的胸骨图与去骨图加权
叠加的方法做为训练样本的增广方法；
[0017] 使用图像的仿射变换、翻转变换、网格形变变换、弹性形变变换做为训练样本的增广方法；
[0018] 使用均方根误差、图像多尺度相似度、生成对抗网络做为神经网络的训练loss；
[0019] 使用图像金字塔分解原图像，在不同图像尺度分别进行去骨训练，最终进行频域融合，并输出最终结果；
[0020] 结合骨组织和软组织的知识图谱做为先验信息，增强神经网络模型的训练，加强神经网络模型识别肺纹理与胸骨的结构信息。
[0021] 进一步地，增强神经网络模型的训练的具体方法为预先分割出胸骨区域mask和胸腔区域mask，在loss训练与神经网络模型中的注意
力模
块中引入所述胸骨区域mask和胸腔区域mask，引导并加强神经网络模型对本征特征的学习。
[0022] 进一步地，步骤S2中，输出去的骨图像和胸廓图像为双通道图像。
[0023] 第二方面，本发明实施例提供一种基于深度学习神经网络的胸片虚拟双能去骨系统，包括：
[0024] 胸片规范化处理模块：用于接收DR胸片图像，并对其进行坐标空间和灰度空间的规范化处理；
[0025] 图像输出模块：用于将规范化处理后的图像输入构建好的深度学习神经网络，输出去骨图像和胸廓图像。
[0026] 第三方面，本发明实施例提供一种
电子设备，包括
存储器、处理器及存储在存储器上并可在处理器上运行的
计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于深度学习神经网络的胸片虚拟双能去骨方法的步骤。
[0027] 第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于深度学习神经网络的胸片虚拟双能去骨方法的步骤。
[0028] 本发明实施例提供的一种基于深度学习神经网络的胸片虚拟双能去骨方法及系统直接对普通DR胸片进行处理，采用一个模型同时输出去骨图与胸廓图，使得肺部纹理正常显示，无骨残余，且肺腔外全保留，从而获得比双能DR更好的去骨效果。
附图说明
[0029] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030] 图1为本发明实施例提供的基于深度学习神经网络的胸片虚拟双能去骨方法
流程图；
[0031] 图2为本发明实施例提供的方法中步骤S1的对DR胸片图像进行坐标空间和灰度空间的规范化处理流程图；
[0032] 图3为本发明实施例提供的方法中深度学习神经网络的结构
框图；
[0033] 图4为本发明实施例提供的方法步骤S2中使用小批量的双能DR胸片进行神经网络的训练的流程图；
[0034] 图5本发明实施例提供的基于深度学习神经网络的胸片虚拟双能去骨系统的原理图；
[0035] 图6本发明实施例提供的一种电子设备的实体结构图。
具体实施方式
[0036] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0037] 图1为本发明实施例提供的一种基于深度学习神经网络的胸片虚拟双能去骨方法流程图，如图1所示，该方法包括：
[0038] 步骤S1：接收DR胸片图像，并对其进行坐标空间和灰度空间的规范化处理；
[0039] 其中，DR胸片图像可来源于任意DR设备，任意图像尺寸和
对比度，输入DR图像在坐标空间和灰度空间规范化后做为神经网络输入。
[0040] 本发明实施例基于深度学习神经网络的胸片虚拟双能去骨方法直接对普通DR胸片图像进行处理，获得双能DR的显示效果，一个模型同时输出去骨图与胸廓图,同时具有比双能DR更好的去骨效果，这是因为传统双能DR获取的图像由于两次曝光中的肺组织运动，肺部纹理会呈现浮雕状，同时双能DR的图像重建物理模型的因射线吸收系数估计误差会使得去骨效果不完善，经常存在骨残余，特别是骨边缘及肺尖。而本发明直接针对普通DR胸片图像，从物理原理上不存在此缺点。
[0041] 如图2所示，本发明实施例的步骤S1中，对DR胸片图像进行坐标空间和灰度空间的规范化处理包括以下步骤：
[0042] 步骤S11：对DR胸片图像重采样到最接近原始尺寸的2的指数次幂大小尺寸；
[0043] 步骤S12：输入图像的灰度按图像最大最小值平均归一化到[0，1]；
[0044] I＝(I-Imin)/(Imax-Imin)。
[0045] 本发明实施例基于深度学习神经网络的胸片虚拟双能去骨方法在训练模型过程中采用大量针对性的增广方式，包括灰度空间增广和
像素空间增广，使得模型具有非常强的泛化能力。
[0046] 步骤S2：将规范化处理后的图像输入构建好的深度学习神经网络，输出去骨图像和胸廓图像；
[0047] 如图3所示，本发明实施例的步骤S2中，构建好的深度学习神经网络包括：
[0048] encoder(编码器)：对输入图像通过卷积网络和下采样进行高层次抽象特征的提取，把图像编码为尺寸只有原图1/2的featuremap(特征图)。
[0049] decoder(解码器)：把编码器输出的特征图通过卷积网络和上采样解码，输出与原尺寸相同的图像。
[0050] skip connection(跳跃连接)：将编码器中较浅层的高分辨率特征与解码器中较高层的低分辨率特征直接相连，解决高层特征中细节(高分辨率)信息丢失的问题，并最终输出包括去骨图像与胸廓图像的双通道图像。
[0051] 本发明实施例基于深度学习神经网络的胸片虚拟双能去骨方法使用深度学习方法，并利用编码器-解码器及跳跃连接的网络结构，能学习到高分辨率图像的全局信息和细节信息。
[0052] 本发明实施例的步骤S2中，构建好的深度学习神经网络使用小批量双能DR胸片图像进行训练，能识别并分离出肺纹理组织成分与胸廓骨组织成分，再经过图像后处理，最终输出已经去除肋骨锁骨的图像(去骨图像)和保留所有胸廓骨组织而没有肺纹理组织的图像(胸廓图像)。其中，如图4所示，使用小批量的双能DR胸片进行神经网络的训练，以保证模型的泛化能力，具体包括以下步骤：
[0053] 使用双能DR胸片图像中的胸骨图与去骨图加权叠加的方法做为训练样本的增广方法；
[0054] I＝αIsoft+(1-α)I，α∈[0,1]。
[0055] 使用图像的仿射变换、翻转变换、网格形变变换、弹性形变变换做为训练样本的增广方法；
[0056] 使用均方根误差(MSE)、图像多尺度相似度(SSIM)、生成对抗网络(Gan)做为神经网络的训练loss，保证图像的信息不失真；本发明实施例基于深度学习神经网络的胸片虚拟双能去骨方法使用多种loss，提升了神经网络模型对高频细节、整体信息的保持能力。
[0057] 使用图像金字塔分解原图像，在不同图像尺度分别进行去骨训练，最终进行频域融合，输出最终结果，保证去骨后的DR胸片图像的低频信息和高频信息完整；
[0058] 结合骨组织和软组织的知识图谱做为先验信息，增强神经网络模型的训练，加强神经网络模型识别肺纹理与胸骨的结构信息。增强神经网络模型的训练的具体方法为预先分割出胸骨区域mask、胸腔区域mask，在loss训练与神经网络模型中的注意力模块中引入这两种mask，引导并加强模型对本征特征的学习。本发明实施例基于深度学习神经网络的胸片虚拟双能去骨方法使用胸腔及胸骨的医学结构信息做为先验知识图谱，强化网络的学习能力，使得训练收敛更快，效果更好。
[0059] 本发明实施例的步骤S2中，输出去的骨图像和胸廓图像为双通道图像。
[0060] 基于上述任一实施例，图5为本发明实施例提供的一种基于深度学习神经网络的胸片虚拟双能去骨系统的原理图，该系统包括：
[0061] 胸片规范化处理模块：用于接收DR胸片图像，并对其进行坐标空间和灰度空间的规范化处理；
[0062] 图像输出模块：用于将规范化处理后的图像输入构建好的深度学习神经网络，输出去骨图像和胸廓图像。
[0063] 综上所述，本发明实施例提供的基于深度学习神经网络的胸片虚拟双能去骨方法及系统直接对普通DR胸片进行处理，采用一个模型同时输出去骨图与胸廓图，使得肺部纹理正常显示，无骨残余，且肺腔外全保留，从而获得比双能DR更好的去骨效果。
[0064] 图6为本发明实施例提供的一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)301、通信
接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，
通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储在存储器303上并可在处理器301上运行的计算机程序，以执行上述各实施例提供的方法，例如包括：
[0065] 接收DR胸片图像，并对其进行坐标空间和灰度空间的规范化处理；
[0066] 将规范化处理后的图像输入构建好的深度学习神经网络，输出去骨图像和胸廓图像。
[0067] 此外，上述的存储器303中的逻辑指令可以通过
软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，
服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动
硬盘、
只读存储器(ROM，Read-Only Memory)、
随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0068] 本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
[0069] 接收DR胸片图像，并对其进行坐标空间和灰度空间的规范化处理；
[0070] 将规范化处理后的图像输入构建好的深度学习神经网络，输出去骨图像和胸廓图像。
[0071] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0072] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0073] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行
修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
