技术领域
[0001] 本
发明属于
深度学习和放疗技术领域，涉及一种结合2D多分类U型神经网络与3D二分类U型神经网络对医学影像中人体器官进行分割的方法、设备和存储介质。
背景技术
[0002] 众所周知，人体包含了多种细长器官，例如血管在分割时通常面临一些难题：相同患者的同一套CT影像中，血管的HU值大体相近，但不同区域的血管又有不同的名称，这就为血管的
图像分割带来了麻烦。(1).如果不进行数据增强很容易引起器官间数据的
不平衡；(2).各器官对应不同区域的HU值接近，彼此差异性不大，很容易将三者混淆、分割错；(3).如果进行数据增强则会破坏Z轴(其中Z轴指的是医学影像的上下层，例如某人身高170cm，拍CT时如果CT片子间对应的层厚为5mm，则该人总共会有1700/5＝340张CT，这里的340就对应着Z轴的信息)的信息，使用3D的U型神经网络在粗
定位之后进行精细分割的想法就会落空，同时现有的人体粗定位多分类网络又不能实现血管起始层与结束层的精确定位。
发明内容
[0003] 本发明的目的在于为克服
现有技术的
缺陷而提供一种基于神经网络对医学影像中人体器官进行分割的方法、设备和存储介质。
[0004] 为实现上述目的，本发明采用以下技术方案：
[0005] 一种基于神经网络对医学影像中人体器官进行分割的方法，适于在计算设备中执行，包括如下步骤：
[0006] (1)粗定位待勾画目标器官所在的医学影像层；所述的待勾画目标器官包含若干器官；
[0007] (2)使用3D二分类U型网络确定所有待勾画器官作为一个整体时的起始层与结束层；
[0008] (3)将起始层与结束层的
中间层输入2D的多分类U型网络，确定各个待勾画器官对应的起始层和结束层。
[0009] 本发明进一步优选地，所述的待勾画器官包括血管。
[0010] 步骤(1)进一步包括如下步骤：
[0011] (1a)将医学影像中的器官按照其所处的高低
位置依次划分成若干类；
[0012] (1b)基于上述分类方式训练用于对人体医学影像进行粗分类的深度学习神经网络，使医学影像输入到粗分类深度学习神经网络后判断出其所属的分类类别；
[0013] (1c)将待分类的医学影像输入到训练好的粗分类深度学习神经网络进行粗分类，输出包含感兴趣器官的医学影像层。步骤(1a)中，将人体医学影像中的器官从上到下或从下倒上依次分类为十类，分别为从第一张开始到头顶、从头顶到眼睛上顶层、从眼睛上顶层到眼睛下顶层、从眼睛下顶层到小脑下顶层、从小脑下顶层到下颌最后一层、从下颌最后一层到
肺顶层、肺顶层到胃顶层、胃顶层到肾底、肾底到膀胱顶、膀胱顶到脚。
[0014] 所述的粗分类神经网络为2D多分类
卷积神经网络。
[0015] 训练3D二分类U型神经网络时，将所有待勾画器官的初始训练标签合并为一个标签作为
训练数据，这样就保留了所有要勾画器官原始的3D空间分布信息，从而在预测时就能确定所有待勾画器官作为一个整体时的起始层与结束层。
[0016] 训练2D多分类U型神经网络时，对起始层与结束层之间要勾画器官的医学影像数据实行数据增强，使不同标签下对应的数据量相同或大体相同。
[0017] 步骤(3)中，所述的数据增强方式包括随机抖动、左右随机旋转、扭曲。
[0018] 本发明还提供一种计算设备，包括：
[0019] 一个或多个处理器；
[0020]
存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，所述的一个或多个程序包括用于执行上述基于神经网络对医学影像中人体器官进行分割的方法的指令。
[0021] 本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述的一个或多个程序包括指令，所述指令适于由存储器加载并执行上述基于神经网络对医学影像中人体器官进行分割的方法。
[0022] 本发明具有以下有益效果：
[0023] 本发明使用3D网络以确定多器官作为一个整体时的起始层与结束层，使用2D网络以解决起始层与结束层中间的各器官间数据不平衡问题，通过结合现有3D网络与2D网络的优点，解决了现有技术中对HU值相近的多器官分割问题。
附图说明
[0024] 图1为上下主动脉及主动脉弓的解剖结构示意图；
[0025] 图2为同时包含升、降主动脉的CT图。
[0026] 图3为本发明一个示例
实施例中人体从上到下分类(共10类)示意图。
[0027] 图4为本发明一个示例实施例中主动脉弓起始层的分割效果图，该步由3D二分类U型神经网络得到。
[0028] 图5为本发明一个示例实施例中主动脉弓结束层的分割效果图，该步由2D多分类U型神经网络得到。
[0029] 图6为本发明一个示例实施例中升主动脉起始层的分割效果图，该步由2D多分类U型神经网络得到。
[0030] 图7为本发明一个示例实施例中升主动脉结束层的分割效果图，该步由2D多分类U型神经网络得到。
[0031] 图8为本发明一个示例实施例中降主动脉起始层的分割效果图，该步由2D多分类U型神经网络得到。
[0032] 图9为本发明一个示例实施例中降主动脉结束层的分割效果图，该步由3D二分类U型神经网络得到。
具体实施方式
[0033] 以下结合附图和实施例进一步说明本发明。
[0034] 实施例1
[0035] 一种基于神经网络对医学影像中人体器官进行分割的方法，适于在计算设备中执行，包括如下步骤：
[0036] (1)粗定位待勾画目标器官所在的医学影像层；所述的待勾画目标器官包含若干器官；优选地进一步包括如下步骤：
[0037] (1a)将医学影像中的器官按照其所处的高低位置依次划分成若干类；
[0038] 在如图1和表1所示的示例实施例中，将人体医学影像中的器官从上到下或从下倒上依次分类为十类，分别为从第一张开始到头顶、从头顶到眼睛上顶层、从眼睛上顶层到眼睛下顶层、从眼睛下顶层到小脑下顶层、从小脑下顶层到下颌最后一层、从下颌最后一层到肺顶层、肺顶层到胃顶层、胃顶层到肾底、肾底到膀胱顶、膀胱顶到脚。
[0039] 表1
[0040]
[0041] (1b)基于上述分类方式训练用于对人体医学影像进行粗分类的深度学习神经网络，使医学影像输入到粗分类深度学习神经网络后判断出其所属的分类类别；
[0042] (1c)将待分类的医学影像输入到训练好的粗分类深度学习神经网络进行粗分类，输出包含感兴趣器官的医学影像层；
[0043] 其中上述粗分类神经网络可选地为2D多分类卷积神经网络。
[0044] (2)使用3D二分类U型网络确定全部待勾画器官作为一个整体时的起始层与结束层；
[0045] 在一个示例实施例中，训练3D二分类U型神经网络时，将待勾画多器官包括的多个初始训练标签合并为一个标签作为训练数据，不进行数据增强从而保留所有要勾画器官原始的3D空间的分布信息，得到的训练模型用来预测所有待勾画器官作为一个整体时的起始层与结束层；
[0046] (3)将起始层与结束层的中间层输入2D的多分类U型网络，进行精细勾画分割，确定各待勾画目标器官对应的起始层和结束层；
[0047] 本实施例进一步优选地，训练2D多分类U型神经网络时，对起始层与结束层之间要勾画器官的医学影像数据实行数据增强，使不同标签下对应的图像数据量相同或大体相同；进一步优选地，数据增强方式包括随机抖动、左右随机旋转、扭曲。
[0048] 实施例2
[0049] 在一个示例的实施例中，例如在进行医学影像的器官分割尤其是像血管这种细长型器官的分割时，不同名称对应的区域往往长度不一，训练时很容易引起类别间数据的不平衡，例如升主动脉、主动脉弓和降主动脉这三个血管(器官)它们处在同一根血管上(见图1)，因为所在区域位置不同而有不同的名称，这三个血管分别位于人体多分类定位网络的第【7,8,9】层(如表1所示)，降主动脉最长，升主动脉次之，主动脉弓最短。具体地，以某患者CT为例，当Z轴间距(spacing)为3mm，即CT的层厚为3mm时，升主动脉有23张，主动脉弓有10张，降主动脉有70张，并且有升主动脉出现的CT必有降主动脉(如图2所示)，即23张包含在
70张中。其中第【7,8,9】层的总层数为101层，故背景层数为101-10-70＝21层。因此面临的技术难题为：现有的人体多分类定位网络又不能实现血管起始层与结束层的精确定位，在进行血管的CT影像分割时，如果不进行数据增强很容易引起类别间数据的不平衡；如果进行数据增强则会破坏器官整体的Z轴信息。
[0050] 为解决上述问题，本实施例提供一种基于神经网络对医学影像中人体器官进行分割的方法，适于在计算设备中执行，包括如下步骤：
[0051] (1)粗定位待勾画目标器官所在的医学影像层；其中待勾画目标器官包含升主动脉、主动脉弓和降主动脉这三个器官；(具体步骤与实施例1中的步骤相同)得到升主动脉、主动脉弓、降主动脉分别位于人体多分类定位网络的第【7,8,9】层；
[0052] (2)确定所有待勾画目标器官作为一个整体时的起始层与结束层；
[0053] 在一个示例实施例中，使用3D二分类U型神经网络定位所有待勾画目标器官作为一个整体时的起始层与结束层，训练3D二分类U型神经网络时，将所有待勾画器官的初始训练标签合成一个标签作为训练数据，保留所有要勾画器官原始的3D空间分布信息，从而确定所有待勾画器官作为一个整体时的起始层与结束层；在本实施例中将升主动脉、主动脉弓、降主动脉这三个器官的训练标签合成为一个标签；
[0054] (3)将起始层与结束层的中间层输入2D的多分类U型网络，进行精细勾画分割，确定各待勾画目标器官对应的起始层和结束层。
[0055] 其中，在训练2D的多分类U型网络时，优选地在第【7,8,9】层中进行数据增强；对起始层与结束层之间要勾画的器官实行数据增强，使不同标签下各类间的数据量相同或大体相同；进一步优选地，数据增强方式包括随机抖动、左右随机旋转、扭曲。本实施例中由于有升主动脉的CT就包含降主动脉，故将升主动脉与降主动脉合并为同一类，关键是分割出主动脉弓，主动脉弓一经分出则上面部分就是升主动脉，下面部分就是降主动脉了。考虑到各个器官所占层数的比例，将主动脉弓进行六倍的数据增强，即变为60张；升主动脉与降主动脉保持不变，合在一起后共为70张；背景类三倍数据增强变为63张。使用2D的多分类U型神经网络网络进行分割训练，利用多分类中类别间的相互竞争性以解决升降主动脉、主动脉弓之间由于HU值接近，彼此差异性不大，而容易分割错的问题。
[0056] 本实施例中升主动脉、主动脉弓、降主动脉的分割结果示意图如图4-9所示。其中，主动脉弓分割后的起始层如图4所示，结束层如图5所示；升主动脉分割后的起始层如图6所示，结束层如图7所示；降主动脉分割后的起始层如图8所示，结束层如图9所示。
[0057] 实施例3
[0058] 本发明还提供一种计算设备，包括：
[0059] 一个或多个处理器；
[0060] 存储器；以及
[0061] 一个或多个程序，其中上述一个或多个程序存储在上述存储器中并被配置为由一个或多个处理器执行，上述的一个或多个程序包括用于执行基于神经网络对医学影像中人体器官进行分割的方法的指令，该方法包括如下步骤：
[0062] (1)粗定位待勾画目标器官所在的医学影像层；所述的待勾画目标器官包含若干器官；
[0063] (2)确定所有待勾画目标器官作为一个整体时的起始层与结束层；
[0064] (3)将起始层与结束层的中间层输入2D的多分类U型网络，进行精细勾画分割，确定各待勾画目标器官对应的起始层和结束层。
[0065] 实施例4
[0066] 本发明还提供一种存储一个或多个程序的计算机可读存储介质，上述的一个或多个程序包括指令，上述指令适于由存储器加载并执行上述基于神经网络对医学影像中人体器官进行分割的方法，该方法包括如下步骤：
[0067] (1)粗定位待勾画目标器官所在的医学影像层；所述的待勾画目标器官包含若干器官；
[0068] (2)确定所有待勾画目标器官作为一个整体时的起始层与结束层；
[0069] (3)将起始层与结束层的中间层输入2D的多分类U型网络，进行精细勾画分割，确定各待勾画目标器官对应的起始层和结束层。
[0070] 应当理解，这里描述的各种技术可结合
硬件或
软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如
软盘、CD-ROM、
硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被该机器执行时，该机器变成实践本发明的设备。
[0071] 以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模
块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据
信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
[0072] 本领域的技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本
说明书(包括伴随的
权利要求、
摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0073] 如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
[0074] 此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0075] 上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种
修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。
