技术领域
[0001] 本
发明涉及
图像处理领域、
深度学习领域、医疗领域，尤其是一种基于深度语义分割网络的自动识别鼻咽癌原发肿瘤方法。
背景技术
[0002] 在医学领域，调强适形
放射治疗技术能够大大提高癌症患者的生存率及
生活质量。但是，这种先进的治疗方法需要对目标肿瘤的轮廓进行准确的判断，放射
治疗方案的制定需要花费放疗科医生数小时时间。。同时，可以预期在接下来的十年中，癌症发病率上升将继续主导全球医疗保险负担的加重。尤其在中国及东南亚地区，根据统计，每年可以记录多达60000个新的鼻咽癌病例。由于鼻炎毗邻颅底，60％～70％的患者在就诊时即出现颅底骨质的破坏，18％的患者甚至伴有颅内及或海绵窦的侵犯，手术困难。同时85％的患者伴有颈部或咽喉淋巴结的转移，不适合手术。世卫组织将鼻咽癌分为三种类型：
角化鳞状细胞癌、非角化癌、未分化癌。在中国及东南亚地区，95％的鼻咽癌为未分化癌，剩下的5％中绝大多数为非角化癌，对
放射治疗具有中度敏感性，放射治疗是鼻咽癌的主要治疗方法。为保证在有限的医疗治疗资源下，使更多的患者能够接受及时有效的放射治疗，简化放疗医生的工作流程、提高放疗方案的制定效率至关重要。
[0003] 近年来，人们对探索
人工智能辅助医生进行
疾病的诊断产生了浓厚的兴趣，并在某些领域利用AI
算法建立了表现优于人类专家的数学模型。其中，在自动描绘鼻咽癌原发性肿瘤的初步研究中，可以发现人工智能(AI)作为一种强有
力的方法，在正常组织分割任务中表现出相当的优势。因此有理由相信，采用深度学习构建一个基于AI的肿瘤轮廓绘制工具，在放射治疗计划工作流程中实施AI辅助的轮廓加工方法，能有效提高医疗工作者的工作效率。在对放射治疗的需求不断增加的背景下，对缺乏放射治疗资源的中低收入国家尤其具有吸引力。同时该方法可以扩展适用于所有其他癌症类型，对未来改变放射治疗的工作流程带来实质性的推进。
发明内容
[0004] 本发明的目的在于克服
现有技术的不足，提供一种基于深度语义分割网络的自动识别鼻咽癌原发肿瘤方法。
[0005] 为解决上述技术问题，本发明采用的技术方案是：
[0006] 一种基于深度语义分割网络的自动识别鼻咽癌原发肿瘤方法，包括以下步骤：
[0007] S1：采集患者的磁共振三维图像，并对所述磁共振三维图像进行初步的数据预处理；
[0008] S2：对数据预处理后的磁共振三维图像进行灰度偏差场的纠正处理，使同一图像中相同组织内的灰度值更加均匀；
[0009] S3：利用改进的直方图匹配算法对磁共振三维图像进行处理，通过训练一个灰度映射函数，使图像的直方图与预先挑选的模板图像的直方图进行匹配，使不同图像中相同组织内的灰度值更加相近；
[0010] S4：截取磁共振三维图像的ROI区域，并分割为2*2个有重叠的patch作为模型的输入；
[0011] S5：构建并训练深度语义分割网络对原发肿瘤进行识别；
[0012] S6：将多个patch输入至已训练的深度语义分割网络进行原发肿瘤的识别；
[0013] S7：将输出的多个patch的识别结果合并，得到最终的原发肿瘤识别结果；
[0014] S8：利用平均场
迭代算法对原发肿瘤识别结果进行后处理。
[0015] 优选地，在步骤S1中，所述磁共振三维图像包括四个不同的数据序列T1、T1C、T1FSC、以及T2，每个序列的数据均为一个三维图像，并对这四个三维图像利用下
采样、规范化进行预处理。
[0016] 优选地，所述步骤S2具体为：
[0017] 把灰度偏差场纠正建模为以下问题：
[0018] v(x)＝u(x)+f(x)
[0019] 其中v为给定的图像，u为纠正后的图像，f为偏差场，x为图像的
像素坐标；该问题通过以下迭代过程进行求解：
[0020]
[0021] 其中 为第n次迭代后输出的纠正图像； 为第n次迭代过程中的偏差场估计；S{.}是平滑算子，用B样条曲线拟合； 为根据上一次迭代过程输出的纠正图像给出当前纠正图像的期望值；通过n次迭代后，若 已收敛，则计算结束，取 为纠正后的图像，否则继续进行迭代。
[0022] 优选地，所述步骤S3具体包括以下步骤：
[0023] S31：在大量患者中挑选其中一个患者的图像作为模板进行后续的直方图匹配，挑选的原则为图像的灰度值分布比较平均；
[0024] S32：计算图像的直方图和模板图像的直方图，到两个图像的灰度值分布情况；
[0025] S33：通过动态规划求解最优的灰度值映射函数来匹配两个图像的灰度值分布，使图像的灰度值能映射至模板图像的灰度值。
[0026] 优选地，所述步骤S4具体包括以下步骤：
[0027] S41：以20为
阈值把磁共振三维图像转化为二值图；
[0028] S42：计算二值化后的磁共振三维图像在z轴上每个二维图像的所有像素的总和，并绘制曲线；
[0029] S43：将ROI区域在xy平面分割为2*2个有重叠的patch作为深度网络的输入。
[0030] 优选地，所述步骤S5具体包括以下步骤：
[0031] S51：构件网络结构，所述网络结构包括
编码器、
解码器以及跳跃连接；
[0032] 编码器：对输入图像通过卷积网络和
下采样进行高层次抽象特征的提取，把图像编码为尺寸只有原图1/16的特征图；
[0033] 解码器：把编码器输出的特征图通过卷积网络和上采样解码，输出与原尺寸相同的三维图像，其像素值表示该像素属于原发肿瘤区域的概率；
[0034] 跳跃连接：将编码器中较浅层的高
分辨率特征与解码器中较高层的低分辨率特征直接相连，解决高层特征中高分辨率信息丢失的问题；
[0035] S52：将大量患者的磁共振三维图像经所述步骤S5处理后的图像训练深度语义分割网络，深度语义分割网络的输入为磁共振三维图像，输出的磁共振三维图像尺寸与输入相同，像素值范围在[0,1]，表示该像素属于原发肿瘤区域的概率。
[0036] 优选地，所述步骤S8具体包括以下步骤：
[0037] S81：初始化阶段，把每个像素点属于原发肿瘤的概率初始化为深度语义分割网络的输出结果：
[0038]
[0039] xi∈L，L＝{0:不属于GTV，1:属于GTV}
[0040] 其中i为像素点坐标
位置，xi为该像素点的标签，Qi(xi)为该像素的标签为xi的概率，zi为归一化因子， 为深度语义分割网络的输出结果；
[0041] S82：信息传递阶段，对每个像素根据其周围的像素点计算m个高斯特征：
[0042]
[0043]
[0044] 其中 为针对标签l计算的第i个像素的第m个高斯特征，Qj(l)为该像素周围第j个像素标签为l的概率，fi为第i个像素的
特征向量；km(fi,fj)为第m个高斯核，用于衡量不同像素点特征向量间的相似性，Λm为高斯核的参数；
[0045] S83：信息整合阶段，将信息传递阶段计算的特征进行整合：
[0046]
[0047] 其中u(xi,xj)＝[xi≠xj]，表示标签间的兼容性，wm为第m个高斯特征的权重；
[0048] S84：更新阶段，通过下式更新每个像素属于原发肿瘤的概况值，并进行归一化，使概率的范围在[0,1]；
[0049]
[0050]
[0051] S85：若Qi(xi)已收敛，则计算结束，否则继续进行迭代。
[0052] 在本技术方案中，一次完整的迭代过程包括上述的初始化阶段、信息传递阶段、信息整合阶段和更新阶段。通过n次迭代后，若Qi(xi)已收敛，则计算结束，否则继续进行迭代。
[0053] 与现有技术相比，本发明的有益效果是：
[0054] (1)本发明利用患者的多个磁共振三维序列，并进行灰度偏差场纠正、直方图匹配等数据预处理步骤，能有效提高输入数据的质量，从而提高深度模型的预测效果。
[0055] (2)本发明使用深度学习方法，并利用编码器-解码器及跳跃连接的网络结构，能学习到高分辨率图像的全局信息和细节信息，结合平均场迭代的后处理方法，能有效提高预测的准确度和模型的泛化能力。
[0056] (3)本发明在放射治疗计划工作流程中实施AI辅助的轮廓加工方法，能有效提高医疗工作者的工作效率，在对放射治疗的需求不断增加的背景下，对缺乏放射治疗资源的中低收入国家尤其具有吸引力。同时该方法可以扩展适用于所有其他癌症类型，对未来改变放射治疗的工作流程带来实质性的推进。
附图说明
[0057] 图1为本发明一种基于深度语义分割网络的自动识别鼻咽癌原发肿瘤方法的步骤
流程图；
[0058] 图2为本发明一种基于深度语义分割网络的自动识别鼻咽癌原发肿瘤方法的深度网络结构图；
[0059] 图3为本发明一种基于深度语义分割网络的自动识别鼻咽癌原发肿瘤方法的patch结示意图。
具体实施方式
[0060] 下面结合具体实施方式对本发明作进一步的说明。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本
专利的限制；为了更好地说明本发明的
实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0061] 本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0062] 实施例
[0063] 参照图1，一种基于深度语义分割网络的自动识别鼻咽癌原发肿瘤方法，包括以下步骤：
[0064] A：采集患者的磁共振三维图像，并对所述磁共振三维图像进行初步的数据预处理；
[0065] B：对数据预处理后的磁共振三维图像进行灰度偏差场的纠正处理，使同一图像中相同组织内的灰度值更加均匀；
[0066] C：利用改进的直方图匹配算法对磁共振三维图像进行处理，通过训练一个灰度映射函数，使图像的直方图与预先挑选的模板图像的直方图进行匹配，使不同图像中相同组织内的灰度值更加相近；
[0067] D：截取磁共振三维图像的ROI区域，并分割为2*2个有重叠的patch作为模型的输入；
[0068] E：构建并训练深度语义分割网络对原发肿瘤进行识别；
[0069] F：将多个patch输入至已训练的深度语义分割网络进行原发肿瘤的识别；
[0070] G：将输出的多个patch的识别结果合并，得到最终的原发肿瘤识别结果；
[0071] H：利用平均场迭代算法对原发肿瘤识别结果进行后处理。
[0072] 本发明的一种基于深度语义分割网络的自动识别鼻咽癌原发肿瘤方法的一个具体实施例的工作流程包括：
[0073] S1、准备输入数据并进行初步预处理；
[0074] 步骤S1具体包括以下步骤：
[0075] S11、收集患者的磁共振三维图像，包括四个不同的数据序列T1、T1C、T1FSC、T2；
[0076] S12、采用下采样、灰度值规范化等初步的预处理步骤处理；
[0077] S13、把经上述步骤处理后的四个序列数据合并，构成一个具备四个通道的三维图像(类似二维自然图像的RGB三个通道)。
[0078] S2、对初步预处理后的三维图像进行灰度偏差场的纠正处理；
[0079] 步骤S2具体为：
[0080] S21、把灰度偏差场纠正建模为以下问题：
[0081] v(x)＝u(x)+f(x)
[0082] 其中v为给定的图像，u为纠正后的图像，f为偏差场，x为图像的像素坐标。
[0083] S22、初始化 循环次数n＝1，和控制点集P；
[0084] S23、计算
[0085] S24、更新
[0086] S25、若 已收敛，则计算结束，否则，令n＝n+1，并回到步骤S23。
[0087] 其中 为第n次迭代后输出的纠正图像； 为第n次迭代过程中的偏差场估计；S{.}是平滑算子，用B样条曲线拟合； 为根据上一次迭代过程输出的纠正图像给出当前纠正图像的期望值。S由下式计算：
[0088]
[0089] 其中符号 为向下取整。nx为x方向控制点的个数，ny为y方向控制点的个数，nz为z方向控制点的个数。P为控制点集，B为B样条曲线。
[0090] S3、对经过灰度偏差场纠正后的三维图像进行改进的直方图匹配处理；
[0091] 步骤S3具体包括以下步骤：
[0092] S31、在大量患者中挑选其中一个患者的图像作为模板进行后续的直方图匹配，挑选的原则为图像的灰度值分布比较平均；
[0093] S32、计算图像的直方图和模板图像的直方图，得到两个图像的灰度值分布情况；
[0094] S33、通过动态规划求解最优的灰度值映射函数来匹配两个图像的灰度值分布，使图像的灰度值能映射至模板图像的灰度值。最优的灰度值映射函数满足使如下的整体惩罚函数达到最小值：
[0095] D(0，0)＝0
[0096] D(i，j)＝∞(i≤0，j≤0,(i，j)≠(0，0))
[0097]
[0098] 其中D(m，n)为图像A直方图中前m个灰度值与图像B直方图中前n个灰度值匹配的整体惩罚函数，dk，l(m，n)为一个k-to-l映射的局部惩罚函数，即图像A直方图中第m-k+1个灰度值至第m个灰度与图像B直方图中第n-l+1个灰度值至第n个灰度匹配的局部惩罚函数，由下式表示：
[0099]
[0100] 其中 和 分别代表图像A和B(模板图像)中第m和第n个灰度值出现的
频率，和 分别代表累计频率。
[0101] S4、对直方图匹配处理后的三维图像截取ROI(region of interest)区域，并分割为多个patch；
[0102] 步骤S4具体包括以下步骤：
[0103] S41、以20为阈值把三维图像转化为二值图；
[0104] S42、计算二值化后的三维图像在z轴上每个二维图像(单个切片)的所有像素的总和，并绘制曲线；
[0105] S43、取曲线中的第一个极小值点作为人体颈部的分割线，并取颈部以上的图像作为ROI区域；
[0106] S44、参照图3，将ROI区域在xy平面分割为2*2个有重叠的patch(三维图像)作为深度网络的输入。图中展示了单个切片(xy平面)的原始尺寸为512*512，中间为GTV的轮廓曲线，分别以四个尺寸为320*320的patch
覆盖此平面，patch间有重叠，尤其是在GTV区域。
[0107] S5、构建一种深度语义分割网络对GTV进行识别，并进行训练；
[0108] 步骤S5具体包括以下步骤
[0109] S51、构建网络结构，包括：
[0110] 编码器：对输入图像通过卷积网络和下采样进行高层次抽象特征的提取，把图像编码为尺寸只有原图1/16的特征图。
[0111] 解码器：把编码器输出的特征图通过卷积网络和上采样解码，输出与原尺寸相同的三维图像，其像素值表示该像素属于GTV区域的概率。
[0112] 跳跃连接：将编码器中较浅层的高分辨率特征与解码器中较高层的低分辨率特征直接相连，解决高层特征中高分辨率信息丢失的问题。
[0113] S52、通过大量患者的经上述预处理步骤处理后的图像训练深度语义分割网络。网络的输入为三维图像，输出的三维图像尺寸与输入相同，像素值范围在[0，1]，表示该像素属于GTV区域的概率。
[0114] S6、对上述预处理步骤后的多个patch输入已训练的深度语义分割网络进行鼻咽癌原发肿瘤的识别；
[0115] 步骤S6具体包括以下步骤：
[0116] S61、把该患者的多个patch输入已训练的深度语义分割网络进行鼻咽癌原发肿瘤的识别。
[0117] S62、将输出的多个patch的识别结果通过求均值(即若一个像素同时属于多个patch，则该像素的预测值为这几个patch在该像素的预测值的均值)进行合并，得到最终的GTV识别结果。
[0118] S7、对深度网络输出的识别结果应用平均场迭代算法进行后处理；
[0119] 步骤S7具体包括以下步骤：
[0120] S71、初始化阶段，把每个像素点属于GTV的概率初始化为深度语义分割网络的输出结果：
[0121]
[0122] xi∈L，L＝{0:不属于GTV，1:属于GTV}
[0123] 其中i为像素点坐标位置，xi为该像素点的标签，Qi(xi)为该像素的标签为xi的概率，zi为归一化因子， 为深度语义分割网络的输出结果。
[0124] S72、信息传递阶段，对每个像素根据其周围的像素点计算m个高斯特征：
[0125]
[0126]
[0127] 其中 为针对标签l计算的第i个像素的第m个高斯特征，Qj(l)为该像素周围第j个像素标签为l的概率，fi为第i个像素的特征向量，可以是位置特征、
颜色特征或经过深度网络编码的特征等。km(fi，fj)为第m个高斯核，用于衡量不同像素点特征向量间的相似性，Λm为高斯核的参数。
[0128] S73、信息整合阶段，将信息传递阶段计算的特征进行整合：
[0129]
[0130] 其中u(xi，xj)＝[xi≠xj]，表示标签间的兼容性，wm为第m个高斯特征的权重。
[0131] S74、更新阶段，通过下式更新每个像素属于GTV的概况值，并进行归一化，使概率的范围在[0，1]。
[0132]
[0133]
[0134] S75、若Qi(xi)已收敛，则计算结束，并回到步骤S72继续进行迭代。
[0135] 显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的
基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明
权利要求的保护范围之内。
