用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统
阅读：319发布：2020-05-11
专利汇可以提供用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种用于辅助 青光眼 筛查的 眼底 图像 视杯视盘分割方法及系统，涉及图像信息处理技术领域，本发明包括采集若干幅眼底图像，对眼底图像进行预处理，得到训练图像样本集和验证图像样本集；利用训练图像样本集对构造的W-Net-Mcon全 卷积神经网络 进行训练，得到最佳W-Net-Mcon全卷积神经网络；将待分割眼底图像预处理后输入最佳W-Net-Mcon全卷积神经网络，得到预测目标结果图；利用极坐标反变换和椭圆拟合对预测目标结果图进行处理，得到最终分割结果，进而得到杯盘比，最后得出青光眼初步筛查结果，本发明可以有效的多尺寸提取图像语义信息，并将不同层次的特征进行融合，全局特征与细节特征相融合，鼓励特征复用，提升了梯度的反向传播，提高了图像的分割 精度 。，下面是用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统专利的具体信息内容。
1.用于辅助青光眼筛查的眼底图像视杯视盘分割方法，其特征在于，包括如下步骤：
S1：采集若干幅眼底图像，对每幅眼底图像进行预处理，分别得到训练图像样本集和验证图像样本集；
S2：利用训练图像样本集对构造的W-Net-Mcon全卷积神经网络进行训练，并且每一训练周期利用验证图像样本集对W-Net-Mcon全卷积神经网络进行评估，当达到预设的训练周期，输出最佳W-Net-Mcon全卷积神经网络；
S3：将待分割眼底图像进行预处理后，输入最佳W-Net-Mcon全卷积神经网络，得到预测目标结果图；
S4：利用极坐标反变换和椭圆拟合对预测目标结果图进行处理，得到最终分割结果，基于最终分割结果计算得到杯盘比，将杯盘比与预设的阈值作比较得出青光眼初步筛查结果。
2.根据权利要求1所述的一种用于辅助青光眼筛查的眼底图像视杯视盘分割方法，其特征在于，所述S1中对眼底图像进行预处理，具体为：
S1.1：在每幅眼底图像中对视盘和视杯两个目标结构进行标示，得到对应的目标结果图；
S1.2：利用视盘定位法确定眼底图像中的视盘中心，以视盘中心为截取中心，分别在眼底图像和其对应的目标结果图中截取相同范围的感兴趣区域图像；
S1.3：分别对两感兴趣区域图像进行极坐标变换；
S1.4：由眼底图像截取的感兴趣区域图像与其对应的目标结果图截取的感兴趣区域图像构成一对训练图像样本，由多对训练图像样本构成训练图像样本集；
S1.5：由眼底图像截取的感兴趣区域图像构成验证图像样本集。
3.根据权利要求2所述的一种用于辅助青光眼筛查的眼底图像视杯视盘分割方法，其特征在于，所述S1.3中，对感兴趣区域图像进行极坐标变换，具体是：在极坐标系统下，将视杯和视盘的几何约束转换为空间关系，使得视杯、视盘和背景呈现有序层结构。
4.根据权利要求1所述的一种用于辅助青光眼筛查的眼底图像视杯视盘分割方法，其特征在于，所述W-Net-Mcon全卷积神经网络包括多尺度输入层、W型编解码卷积网络和侧输出层，其中多尺度输入层用于构造图像金字塔输入以丰富原始语义信息；W型编解码卷积网络用于学习图像中所包含的不同层次特征中的强区分度特征中的强区分度特征；侧输出层作为早期分类器以生成局部预测输出并实现不同网络深度层次的输出监控。
5.根据权利要求4所述的一种用于辅助青光眼筛查的眼底图像视杯视盘分割方法，其特征在于，所述W型编解码卷积网络包括级联的前U-Net网络和后U-Net网络，其中前U-Net网络与多尺度输入层连接，为后U-Net网络提供浅层语义表达，后U-Net网络与侧输出层连接，对前U-Net网络提供的浅层语义表达进行语义抽象与增强，前U-Net网络和后U-Net网络之间跳跃连接，实现深浅层次特征融合；所述前U-Net网络和后U-Net网络均包括编码路径、解码路径和卷积核，所述编码路径与卷积核执行卷积层产生编码器特征映射，解码路径利用卷积层输出解码器特征图。
6.根据权利要求5所述的一种用于辅助青光眼筛查的眼底图像视杯视盘分割方法，其特征在于，所述W型编解码卷积网络还包括残差多尺度卷积模块，所述残差多尺度卷积模块与前U-Net网络和后U-Net网络的编码路径和解码路径相结合，用于提取高层次的语义特征映射，所述残差多尺度卷积模块的结构为：输入层分别连接1×1卷积单元、第一3×3卷积单元、第二3×3卷积单元和1×7卷积单元，其中第二3×3卷积单元连接第三3×3卷积单元，1×7卷积单元连接7×1卷积单元，然后1×1卷积单元、第一3×3卷积单元、第三3×3卷积单元和7×1卷积单元的输出连接跳跃连接模块，跳跃连接模块的输出连接第四3×3卷积单元，第四3×3卷积单元的输出与输入层进行残差连接。
7.根据权利要求5所述的一种用于辅助青光眼筛查的眼底图像视杯视盘分割方法，其特征在于，所述侧输出层包括多标签分类卷积层以及总体损失函数，所述多标签分类卷积层的输入为前U-Net网络的两个输出、后U-Net网络的两个输出以及前U-Net网络和后U-Net网络的四个输出的平均值，每一多标签分类卷积层分别对应有层损失函数，总体损失函数由层损失函数以及对应的权重系数构成。
8.根据权利要求7所述的一种用于辅助青光眼筛查的眼底图像视杯视盘分割方法，其特征在于，所述层损失函数为Dice损失函数Dloss和Focal loss损失函数Floss的和，计算式为：
Ls＝Dloss+Floss (1)
其中，Ls表示层损失函数，gi表示专家标记的金标准，pi表示分割预测图，ε,α,γ为常值系数，K表示总类别数，N表示侧输出层的数量。
9.根据权利要求8所述的一种用于辅助青光眼筛查的眼底图像视杯视盘分割方法，其特征在于，所述总体损失函数计算式为：
其中， 表示第n层的层损失函数，αn表示第n层的权重系数。
10.用于辅助青光眼筛查的眼底图像视杯视盘分割系统，其特征在于：包括预处理模块、W-Net-Mcon全卷积神经网络和比较输出模块，
预处理模块：对采集的若干幅眼底图像进行预处理，得到训练图像样本集和验证图像样本集；
W-Net-Mcon全卷积神经网络：利用训练图像样本集对W-Net-Mcon全卷积神经网络进行训练，输出最佳W-Net-Mcon全卷积神经网络，利用最佳W-Net-Mcon全卷积神经网络对预处理后的待分割眼底图像进行分割，得到预测目标结果图；
比较输出模块：利用极坐标反变换和椭圆拟合对预测目标结果图进行处理，得到最终分割结果，基于最终分割结果计算得到杯盘比，将杯盘比与预设的阈值作比较得出青光眼初步筛查结果。
用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统
技术领域
[0001] 本发明涉及图像信息处理技术领域，更具体的是涉及一种用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统。
背景技术
[0002] 青光眼是全世界第二大致盲原因(仅次于白内障)，也是造成不可逆失明的首要原因。由于青光眼造成的视力损伤是不可逆的，所以早期对于青光眼的筛查与诊断是至关重要的。眼底图像由于其成本较低并容易获得等优点，已经成为医生进行青光眼诊断的重要参考信息，在记录青光眼病变过程、诊断青光眼疾病、评估治疗效果、预防某些潜在青光眼病变等方面发挥着巨大作用。当下一种主流的青光眼筛查技术是用眼底图像中的视神经头来评估，采用一个二分类来判断是否患有青光眼疾病。在临床上，医生主要采用杯盘比(CDR)来评估视神经头。在彩色眼底图像中，视盘呈现亮黄色且形状接近椭圆，可分为两个明显的区域：中间明亮区(视杯)和外围区(视神经网膜边缘)。杯盘比CDR是指垂直杯径与垂直盘径的比。通常情况下，CDR值越大，则患青光眼的几率越大。因此，准确的分割出视杯视盘是评估CDR的关键。
[0003] 医生需阅览大量眼底图像并做出诊断，是一个耗时繁琐的过程，容易受到主观经验和疲劳程度的影响。医生在疲倦时遗漏眼底图像中的某些细节信息的风险会增加，从而造成漏诊、误诊的情况发生，且仅仅依靠医生来进行判断不适用于大规模的青光眼筛查。
[0004] 随着医学图像数量的快速增长，基于计算机的自动医学图像分割成为现代医学影像学的主要研究方向之一。青光眼筛查计算机辅助诊断系统首先会给出医学图像中可能的病变位置，医生可以根据系统提醒，有针对性的对较大概率病变的组织结构进行更加全面与细致的分析，有助于提高诊断的准确性。因此，青光眼计算机辅助诊断系统有助于降低医生阅片负担、提高诊断准确率以及降低漏诊和误诊的比例。与此同时，眼底图像分割算法是青光眼筛查计算机辅助诊断系统进行青光眼诊断的核心功能。
[0005] 传统的眼底图像分割算法在复杂场景中的分割效果并不理想，对于对比度较低和图像质量较差的眼底图像无法获得较高分割精度以实现计算机辅助系统做出准确判断。主要是由于传统图像分割方法看待问题和应对的分割场景并不十分全面。随着计算机技术的发展和“大数据时代”的到来，以数据驱动、自动提取强区分度特征的全卷积深度神经网络在眼底图像分割中取得了不错的分割效果，有利于实现青光眼计算机辅助诊断系统的建立和推广到大规模的青光眼筛查中。
[0006] 现有的医学图像分割方法主要分为两大类：传统的图像分割方法和基于深度学习的图像分割方法。传统的图像分割方法主要包括了基于边缘的图像分割、基于阈值的图像分割、基于区域的图像分割、基于图论的图像分割以及基于主动轮廓模型的图像分割。传统的图像分割方法很受被分割图像的浅层视觉特征的影响，如边缘、条纹、亮度、对比度等。而忽视许多图像内部的深层次特征。此外，传统的方法一般需要利用手工来构造特征从而获得分割结果，这就导致很难为不同的应用程序设计具有代表性的特征和对某一种类型图像效果很好的手工构造特征在另一类型的图像中效果很差，从而缺乏通用的特征构造方法，其泛化性能不高。
[0007] 随着卷积神经网络(CNN)在图像领域的发展，基于深度学习的自动特征提取算法已经成为了医学图像分割的可行方法。基于深度学习的医学图像分割方法是基于像素分类的学习方法，与传统手工构造特征的像素或超像素分类方法不同，深度学习自动学习特征，克服手工特征的局限性。早期的深度学习方法大多是基于图像块的，它的主要缺点是基于图像块的滑动窗口会导致冗余计算和网络无法学习到全局特征。为了解决这些问题，一种端到端的全卷积神经网络出现了Ronneberger等人提出了用于生物医学图像分割的U型网络(U-Net)，它在许多种类的医学图像分割中取得了较高的分割精度，已经成为生物医学图像分割任务中一种流行的神经网络体系结构。对于不同的医学图像分割任务，U-Net已经有了不同程度的变形。Fu等人提出了一个M型网络(M-Net)来用于医学图像中的眼底图像的视杯视盘联合分割。但是U-Net及其改进网络的一个共同的限制是对于语义信息的层次不足，深、浅层次特征融合的不足，导致视杯视盘分割效果不佳。
发明内容
[0008] 本发明的目的在于：为了解决现有的网络结构对于眼底图像语义信息的层次不足，深浅层次特征融合不足，导致视杯视盘分割效果不理想的问题，本发明提供一种用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统，能够提高眼底图像视杯视盘分割的精度以得到准确的杯盘比，进而为青光眼自动筛查提供有利辅助。
[0009] 本发明为了实现上述目的具体采用以下技术方案：
[0010] 用于辅助青光眼筛查的眼底图像视杯视盘分割方法，包括如下步骤：
[0011] S1：采集若干幅眼底图像，对每幅眼底图像进行预处理，分别得到训练图像样本集和验证图像样本集；
[0012] S2：利用训练图像样本集对构造的W-Net-Mcon全卷积神经网络进行训练，并且每一训练周期利用验证图像样本集对W-Net-Mcon全卷积神经网络进行评估，当达到预设的训练周期，输出最佳W-Net-Mcon全卷积神经网络；
[0013] S3：将待分割眼底图像进行预处理后，输入最佳W-Net-Mcon全卷积神经网络，得到预测目标结果图；
[0014] S4：利用极坐标反变换和椭圆拟合对预测目标结果图进行处理，得到最终分割结果，基于最终分割结果计算得到杯盘比，将杯盘比与预设的阈值作比较得出青光眼初步筛查结果。
[0015] 进一步的，所述S1中对眼底图像进行预处理，具体为：
[0016] S1.1：在每幅眼底图像中对视盘和视杯两个目标结构进行标示，得到对应的目标结果图；
[0017] S1.2：利用视盘定位法确定眼底图像中的视盘中心，以视盘中心为截取中心，分别在眼底图像和其对应的目标结果图中截取相同范围的感兴趣区域图像；
[0018] S1.3：分别对两感兴趣区域图像进行极坐标变换；
[0019] S1.4：由眼底图像截取的感兴趣区域图像与其对应的目标结果图截取的感兴趣区域图像构成一对训练图像样本，由多对训练图像样本构成训练图像样本集；
[0020] S1.5：由眼底图像截取的感兴趣区域图像构成验证图像样本集。
[0021] 进一步的，所述S3中对待分割眼底图像进行预处理，步骤为：
[0022] S3.1：利用视盘定位法确定待分割眼底图像的视盘中心，以视盘中心为截取中心，在待分割眼底图像中截取相应的感兴趣区域图像；
[0023] S3.2：对S3.1截取的感兴趣区域图像进行极坐标变换。
[0024] 进一步的，由于眼底图像中，存在一个有效的几何约束，即视杯包含于视盘之中，但是这种包含关系很难在笛卡尔坐标系中体现出来，因此所述S1.3中，对感兴趣区域图像进行极坐标变换，具体是：在极坐标系统下，将视杯和视盘的几何约束转换为空间关系，使得视杯、视盘和背景呈现有序层结构，方便引入其先验知识。具体来说，在分割预测图生成阶段的视杯分割结果中，视杯像素不可能存在于预测标注图像的下方1/2处，因此可直接将其设置为背景部分，同理，在视盘分割的预测标注图像的下方1/3处可以直接将其设置为背景部分。
[0025] 进一步的，所述W-Net-Mcon全卷积神经网络包括多尺度输入层、W型编解码卷积网络和侧输出层，其中多尺度输入层用于构造图像金字塔输入，实现不同尺度和光学性质的原始语义信息输入，极大丰富语义信息；W型编解码卷积网络用于学习图像中所包含的不同层次特征中的强区分度特征；侧输出层作用早期分类器以生成局部预测输出并实现不同网络深度层次的输出监控，通过侧输出层使得梯度信息反向回传到前层，有效抑制神经网络的梯度消失和有利于网络的训练学习。
[0026] 进一步的，所述W型编解码卷积网络包括级联的前U-Net网络和后U-Net网络，其中前U-Net网络与多尺度输入层连接，为后U-Net网络提供浅层语义表达，后U-Net网络与侧输出层连接，对前U-Net网络提供的浅层语义表达进行进一步的语义抽象与增强，前U-Net网络和后U-Net网络之间跳跃连接，实现深浅层次特征融合；所述前U-Net网络和后U-Net网络均包括编码路径、解码路径和卷积核，所述编码路径与卷积核执行卷积层产生编码器特征映射，解码路径利用卷积层输出解码器特征图。将解码器特征图输入到侧输出层中，通过分类器结合Sigmoid激活函数生成预测概率图，实现像素级分类，本发明中，输出视杯、视盘和背景三个通道的概率预测图，预测的概率映射对应于在每个像素处具有最大概率的类别。通过两个U-Net网络的级联，可以加深神经网络的深度，从而使得网络能在训练过程中学习到更多深层结构信息和更加抽象的语义信息，再加之网络中的跳跃连接，可以实现网络中同一尺度深、浅不同层次之间的语义信息融合和减少不同语义之间的语义鸿沟，来指导网络提取深层的可分性语义表示。浅层特征可以最大程度保留图像原始的结构信息，而深层特征则包含更多抽象结构信息，两者进行融合是有利于在最后的卷积通道中恢复目标中的空间维数和结构细节，进而提高分割精度。采用这种结构设计，网络可以提取更加丰富的语义特征，并通过跳跃连接，鼓励特征复用，丰富语义信息，实现多层次的特征融合，增强梯度的反向传播，可以缓解梯度消失问题。
[0027] 进一步的，所述W型编解码卷积网络还包括残差多尺度卷积模块，所述残差多尺度卷积模块与前U-Net网络和后U-Net网络的编码路径和解码路径相结合，用于提取高层次的语义特征映射，在通常情况下，具有大感受野的卷积核可以对大目标提取和产生丰富的抽象特征，而小的感受野卷积核则更适合于小目标和细节的特征提取，因此，所述残差多尺度卷积模块的结构为：输入层分别连接1×1卷积单元、第一3×3卷积单元、第二3×3卷积单元和1×7卷积单元，其中第二3×3卷积单元连接第三3×3卷积单元，1×7卷积单元连接7×1卷积单元，然后1×1卷积单元、第一3×3卷积单元、第三3×3卷积单元和7×1卷积单元的输出连接跳跃连接模块，跳跃连接模块的输出连接第四3×3卷积单元，第四3×3卷积单元的输出与输入层进行残差连接。通过1×1卷积单元、第一3×3卷积单元、第二3×3卷积单元和1×7卷积单元四条卷积通道进行特征映射后，再通过跳跃连接和经过第四3×3卷积单元来进行降维和非线性激励，能够提升网络的表达能力，在编解码路径使用残差多尺度卷积，是由于其可以生成多个不同大小的感受野，并把这些多尺度的特征映射组合起来进行特征融合，尽可能保留图像的空间特征，细化分割结果和边缘信息，提取丰富的特征并高效利用。
此外，残差连接结构可以帮助模块更好的学习映射函数，提升网络性能。
此外，残差连接结构可以帮助模块更好的学习映射函数，提升网络性能。
[0028] 进一步的，所述侧输出层包括多标签分类卷积层以及总体损失函数，所述多标签分类卷积层的输入为前U-Net网络的两个输出、后U-Net网络的两个输出以及前U-Net网络和后U-Net网络的四个输出的平均值，每一多标签分类卷积层分别对应有层损失函数，总体损失函数由层损失函数以及对应的权重系数构成。
[0029] 进一步的，所述层损失函数为Dice损失函数Dloss和Focal loss损失函数Floss的和，计算式为：
[0030] Ls＝Dloss+Floss (1)
[0031]
[0032]
[0033] 其中，Ls表示层损失函数，gi表示专家标记的金标准，pi表示分割预测图，ε,α,γ为常值系数，K表示总类别数，N表示侧输出层的数量。
[0034] 进一步的，所述总体损失函数计算式为：
[0035]
[0036] 其中， 表示第n层的层损失函数，αn表示第n层的权重系数。
[0037] 进一步的，所述S2中，利用训练图像样本集对构造的W-Net-Mcon全卷积神经网络进行训练，具体为：
[0038] S2.1：初始化W-Net-Mcon全卷积神经网络；
[0039] S2.2：将训练图像样本集中的训练图像样本输入S2.1中初始化的W-Net-Mcon全卷积神经网络，利用式(1)、式(2)和式(3)计算层损失函数，然后再代入式(4)计算总体损失函数；
[0040] S2.3：按照随机梯度递减的方式极小化总体损失函数，然后计算梯度并反向传播来更新W-Net-Mcon全卷积神经网络的网络参数，每一训练周期利用验证图像样本集的验证图像样本对W-Net-Mcon全卷积神经网络进行测试；
[0041] S2.4：反复执行S2.2-S2.3，直至达到预设的训练周期，保存训练周期中验证图像样本集总体损失函数最小的网络模型作为最佳W-Net-Mcon全卷积神经网络。
[0042] 基于上述分割方法，本发明还提供一种用于辅助青光眼筛查的眼底图像视杯视盘分割系统，包括预处理模块、W-Net-Mcon全卷积神经网络和比较输出模块，[0043] 预处理模块：对采集的若干幅眼底图像进行预处理，得到训练图像样本集和验证图像样本集；
[0044] W-Net-Mcon全卷积神经网络：利用训练图像样本集对W-Net-Mcon全卷积神经网络进行训练，输出最佳W-Net-Mcon全卷积神经网络，利用最佳W-Net-Mcon全卷积神经网络对待分割眼底图像进行分割，得到预测目标结果图；
[0045] 比较输出模块：利用极坐标反变换和椭圆拟合对预测目标结果图进行处理，得到最终分割结果，基于最终分割结果计算得到杯盘比，将杯盘比与预设的阈值作比较得出青光眼初步筛查结果。
[0046] 本发明的有益效果如下：
[0047] 1、本发明可以有效的多尺寸提取图像语义信息，并将其不同层次的特征进行融合，将全局特征与细节特征相融合，鼓励特征复用，提升了梯度的反向传播，在不增加网络参数的前提下更多的提取出有用特征，从而有效提高了眼底图像视杯视盘的分割精度。
[0048] 2、本发明的W-Net-Mcon全卷积神经网络的多尺度输入层相较于U-Net加深了网络宽度以提供丰富的原始语义信息，同时相较于M-Net又减少了原始语义信息中的重复、冗余信息；同时不同网络深度的侧输出层实现网络的各层的深度监督，指导网络学习特征信息；通过引入跳跃连接，将同一尺度不同深、浅层次的特征信息融合，有利于减少网络参数和网络梯度反向传播，可避免梯度消失问题。
[0049] 3、本发明的W型编解码卷积网络还包括残差多尺度卷积模块，残差多尺度卷积具有不同尺度的感受野来提取网络中不同层次的特征，丰富语义信息，同时本发明将不同尺度的特征映射连接起来进行特征融合，再加之跳跃连接构成残差学习进而使得网络更加容易训练、有效抑制梯度消失问题和网络退化问题。附图说明
[0050] 图1是本发明具体实施方式的方法流程示意图。
[0051] 图2是本发明具体实施方式的W-Net-Mcon全卷积神经网络的结构示意图。
[0052] 图3是本发明具体实施方式的残差多尺度卷积模块的结构示意图。
[0053] 图4是本发明具体实施方式的各网络分割效果比较图。
具体实施方式
[0054] 为了本技术领域的人员更好的理解本发明，下面结合附图和以下实施例对本发明作进一步详细描述。
[0055] 实施例1
[0056] 如图1和图2所示，本实施例提供一种用于辅助青光眼筛查的眼底图像视杯视盘分割方法，包括如下步骤：
[0057] S1：采集若干幅眼底图像，对每幅眼底图像进行预处理，分别得到训练图像样本集和验证图像样本集，具体的：
[0058] S1.1：在每幅眼底图像中对视盘和视杯两个目标结构进行标示，得到对应的目标结果图；
[0059] S1.2：利用视盘定位法确定眼底图像中的视盘中心，以视盘中心为截取中心，分别在眼底图像和其对应的目标结果图中截取相同范围的感兴趣区域图像；
[0060] S1.3：分别对两感兴趣区域图像进行极坐标变换；
[0061] S1.4：由眼底图像截取的感兴趣区域图像与其对应的目标结果图截取的感兴趣区域图像构成一对训练图像样本，由多对训练图像样本构成训练图像样本集；
[0062] S1.5：由眼底图像截取的感兴趣区域图像构成验证图像样本集；
[0063] 由于眼底图像中，存在一个有效的几何约束，即视杯包含于视盘之中，但是这种包含关系很难在笛卡尔坐标系中体现出来，因此所述S1.3中，对感兴趣区域图像进行极坐标变换，具体是：在极坐标系统下，将视杯和视盘的几何约束转换为空间关系，使得视杯、视盘和背景呈现有序层结构，方便引入其先验知识。具体来说，在分割预测图生成阶段的视杯分割结果中，视杯像素不可能存在于预测标注图像的下方1/2处，因此可直接将其设置为背景部分，同理，在视盘分割的预测标注图像的下方1/3处可以直接将其设置为背景部分；同时极坐标变换还能够平衡杯盘比，在原始的眼底图像中，视杯视盘与背景的像素分布有很大的偏差，即使截取到的感兴趣区域图形中，视杯区域仅占4％左右，这种极不平衡的结构区域极容易造成神经网络在训练过程中的偏差与过拟合，大大影响视杯、视盘的分割精度；极坐标变换是基于视盘中心的图像平坦化，可以通过插值来扩大视杯在图像中的比例。经过极坐标变换的视杯区域比率比感兴趣区域部分高23.4％，能有效提高杯盘比，平衡数据集，可有效防止过拟合和提高分割精度；
[0064] S2：利用训练图像样本集对构造的W-Net-Mcon全卷积神经网络进行训练，并且每一训练周期利用验证图像样本集对W-Net-Mcon全卷积神经网络进行评估，当达到预设的训练周期，输出最佳W-Net-Mcon全卷积神经网络；
[0065] 如图2所示，分割网络即为所述W-Net-Mcon全卷积神经网络，包括多尺度输入层、W型编解码卷积网络和侧输出层，其中多尺度输入层用于构造图像金字塔输入，实现不同尺度和光学性质的原始语义信息输入，极大丰富语义信息；W型编解码卷积网络为网络主体结构，用于学习图像中所包含的不同层次特征中的强区分度特征；侧输出层作用早期分类器以生成局部预测输出并实现不同网络深度层次的输出监控，通过侧输出层使得梯度信息反向回传到前层，有效抑制神经网络的梯度消失和有利于网络的训练学习；
[0066] 具体的，所述W型编解码卷积网络包括级联的前U-Net网络和后U-Net网络，其中前U-Net网络与多尺度输入层连接，为后U-Net网络提供浅层语义表达，后U-Net网络与侧输出层连接，对前U-Net网络提供的浅层语义表达进行进一步的语义抽象与增强，前U-Net网络和后U-Net网络之间跳跃连接，实现深浅层次特征融合；所述前U-Net网络和后U-Net网络均包括编码路径、解码路径和卷积核，所述编码路径与卷积核执行卷积层产生编码器特征映射，解码路径利用卷积层输出解码器特征图。将解码器特征图输入到侧输出层中，通过分类器结合Sigmoid激活函数生成预测概率图，实现像素级分类，本实施例中，输出视杯、视盘和背景三个通道的概率预测图，预测的概率映射对应于在每个像素处具有最大概率的类别。通过两个U-Net网络的级联，可以加深神经网络的深度，从而使得网络能在训练过程中学习到更多深层结构信息和更加抽象的语义信息，再加之网络中的跳跃连接，可以实现网络中同一尺度深、浅不同层次之间的语义信息融合和减少不同语义之间的语义鸿沟，来指导网络提取深层的可分性语义表示。浅层特征可以最大程度保留图像原始的结构信息，而深层特征则包含更多抽象结构信息，两者进行融合是有利于在最后的卷积通道中恢复目标中的空间维数和结构细节，进而提高分割精度。采用这种结构设计，网络可以提取更加丰富的语义特征，并通过跳跃连接，鼓励特征复用，丰富语义信息，实现多层次的特征融合，增强梯度的反向传播，可以缓解梯度消失问题；
[0067] 同时，本实施例的W型编解码卷积网络还包括如图3所示的残差多尺度卷积模块，所述残差多尺度卷积模块与前U-Net网络和后U-Net网络的编码路径和解码路径相结合，用于提取高层次的语义特征映射，在通常情况下，具有大感受野的卷积核可以对大目标提取和产生丰富的抽象特征，而小的感受野卷积核则更适合于小目标和细节的特征提取，因此，所述残差多尺度卷积模块的结构为：输入层分别连接1×1卷积单元、第一3×3卷积单元、第二3×3卷积单元和1×7卷积单元，其中第二3×3卷积单元连接第三3×3卷积单元，1×7卷积单元连接7×1卷积单元，然后1×1卷积单元、第一3×3卷积单元、第三3×3卷积单元和7×1卷积单元的输出连接跳跃连接模块，跳跃连接模块的输出连接第四3×3卷积单元，第四3×3卷积单元的输出与输入层进行残差连接。通过1×1卷积单元、第一3×3卷积单元、第二
3×3卷积单元和1×7卷积单元四条卷积通道进行特征映射后，再通过跳跃连接和经过第四
3×3卷积单元来进行降维和非线性激励，能够提升网络的表达能力，在编解码路径使用残差多尺度卷积，是由于其可以生成多个不同大小的感受野，并把这些多尺度的特征映射组合起来进行特征融合，尽可能保留图像的空间特征，细化分割结果和边缘信息，提取丰富的特征并高效利用。此外，残差连接结构可以帮助模块更好的学习映射函数，提升网络性能；
3×3卷积单元和1×7卷积单元四条卷积通道进行特征映射后，再通过跳跃连接和经过第四
3×3卷积单元来进行降维和非线性激励，能够提升网络的表达能力，在编解码路径使用残差多尺度卷积，是由于其可以生成多个不同大小的感受野，并把这些多尺度的特征映射组合起来进行特征融合，尽可能保留图像的空间特征，细化分割结果和边缘信息，提取丰富的特征并高效利用。此外，残差连接结构可以帮助模块更好的学习映射函数，提升网络性能；
[0068] 所述侧输出层包括多标签分类卷积层以及总体损失函数，所述多标签分类卷积层的输入为前U-Net网络的两个输出、后U-Net网络的两个输出以及前U-Net网络和后U-Net网络的四个输出的平均值，如图2所示，前U-Net网络的两个输出为第一层和第三层，后U-Net网络的两个输出为第二层和第四层，每一多标签分类卷积层分别对应有层损失函数，总体损失函数由层损失函数以及对应的权重系数构成，具体的：
[0069] 所述层损失函数为Dice损失函数Dloss和Focal loss损失函数Floss的和，计算式为：
[0070] Ls＝Dloss+Floss (1)
[0071]
[0072]
[0073] 其中，Ls表示层损失函数，gi表示专家标记的金标准，pi表示分割预测图，K表示总类别数，N表示侧输出层的数量，ε,α,γ为常值系数，本实施例中设置ε＝0.9,α＝0.5,γ＝2；
[0074] 所述总体损失函数计算式为：
[0075]
[0076] 其中， 表示第n层的层损失函数，αn表示第n层的权重系数；
[0077] 利用训练图像样本集对构造的W-Net-Mcon全卷积神经网络进行训练，具体为：
[0078] S2.1：初始化W-Net-Mcon全卷积神经网络；
[0079] S2.2：将训练图像样本集中的训练图像样本输入S2.1中初始化的W-Net-Mcon全卷积神经网络，利用式(1)、式(2)和式(3)计算层损失函数，然后再代入式(4)计算总体损失函数；
[0080] S2.3：按照随机梯度递减的方式极小化总体损失函数，然后计算梯度并反向传播来更新W-Net-Mcon全卷积神经网络的网络参数，每一训练周期利用验证图像样本集的验证图像样本对W-Net-Mcon全卷积神经网络进行测试；
[0081] S2.4：反复执行S2.2-S2.3，直至达到预设的训练周期，保存训练周期中验证图像样本集总体损失函数最小的网络模型即训练精度最好的网络模型作为最佳W-Net-Mcon全卷积神经网络；
[0082] 本实施例中，训练阶段W-Net-Mcon全卷积神经网络输出的是优化参数的网络模型，测试阶段W-Net-Mcon全卷积神经网络输出的是分割预测图；
[0083] S3：然后将待分割眼底图像进行预处理后，输入最佳W-Net-Mcon全卷积神经网络，得到对应的分割预测图即预测目标结果图；
[0084] 对待分割眼底图像进行预处理的步骤与S1中的预处理步骤相似，具体是：
[0085] S3.1：利用视盘定位法确定待分割眼底图像的视盘中心，以视盘中心为截取中心，在待分割眼底图像中截取相应的感兴趣区域图像；
[0086] S3.2：对S3.1截取的感兴趣区域图像进行极坐标变换；
[0087] S4：利用极坐标反变换和椭圆拟合对预测目标结果图进行处理，得到最终分割结果，基于最终分割结果计算得到杯盘比，将杯盘比与预设的阈值作比较得出青光眼初步筛查结果，根据医学常识，一般来讲，杯盘比大于0.65，就可能被认定为患有青光眼，因此本实施例中将预设的阈值设定为0.65。
[0088] 基于上述分割方法，本实施例还提供一种用于辅助青光眼筛查的眼底图像视杯视盘分割系统，包括预处理模块、W-Net-Mcon全卷积神经网络和比较输出模块，[0089] 预处理模块：对采集的若干幅眼底图像进行预处理，得到训练图像样本集和验证图像样本集；
[0090] W-Net-Mcon全卷积神经网络：利用训练图像样本集对W-Net-Mcon全卷积神经网络进行训练，输出最佳W-Net-Mcon全卷积神经网络，利用最佳W-Net-Mcon全卷积神经网络对待分割眼底图像进行分割，得到预测目标结果图；
[0091] 比较输出模块：利用极坐标反变换和椭圆拟合对预测目标结果图进行处理，得到最终分割结果，基于最终分割结果计算得到杯盘比，将杯盘比与预设的阈值0.65作比较得出青光眼初步筛查结果。
[0092] 为了验证本实施例对于医学图像分割的优越性能，我们通过一组彩色眼底图像进行了相关实验，进行视杯视盘结构的分割，以计算杯盘比来进行青光眼筛查，视杯视盘标注区域由6位临床专家进行标记；为了验证分割预测图与金标准的相似程度，引入如下几个评价标准来进行预测分割的优劣，评价标准分别为精确度(PA)、平均精确度(MA)、平均交并比(MIoU)、加权交并比(FWIoU)，以及重叠误差(OE)，其中：
[0093]
[0094]
[0095]
[0096]
[0097]
[0098] 其中，ncl表示类别数目，t＝∑iti表示所有像素的数目，ti＝∑inij表示属于第i类的像素数目；nji表示实际类别为第i类却错分为第j类的像素数目。
[0099] 本实施例与当前最先进的方法进行了对比，包括了U-Net、M-Net以及基于它们的一些改进模型，为了验证所提出的残差多尺度卷积模块相较于标准卷积模块的优越性能，使用U-Net，M-Net作为主体框架，将其中的普通卷积单元替换为残差多尺度卷积单元，分别称之为U-Net-Mcon和M-Net-Mcon，再与本实施例所提出的W-Net为主体框架的模型分别以普通卷积单元(W-Net)和残差多尺度卷积单元(W-Net-Mcon)进行比较，如图4所示为各网络的分割效果比较图，其中(a)为眼底图像原图，(b)为标签，(c)为U-Net分割结果，(d)为M-Net分割结果，(e)为U-Net-Mcon分割结果，(f)为M-Net-Mcon分割结果，(g)为W-Net分割结果，(h)为W-Net-Mcon分割结果。通过定量分析ACC、MA、MIoU、FWIoU以及OE等五个评价指标，分别评估提出的W-Net-Mcon全卷积神经网络在视杯、视盘的分割性能，评价结果如表一所示：
[0100] 表一
[0101]
[0102] 由表一可以看出，U-Net、M-Net和W-Net进行比较，W-Net各项指标均高于另外两组数据，尤其是在视盘OD和视杯OC的OE指标表现优异，这表明本实施例提出的W-Net网络结构表现优于其他网络。主要原因有三点：(1)W-Net的多尺度输入层相较于U-Net加深了网络宽度以提供丰富的原始语义信息，同时相较于M-Net又减少了原始语义信息中的重复、冗余信息；(2)W-Net中不同网络深度的侧输出层实现网络的各层的深度监督，指导网络学习特征信息；(3)引入跳跃连接，将同一尺度不同深、浅层次的特征信息融合，有利于减少网络参数和网络梯度反向传播，可避免梯度消失问题；
[0103] 将U-Net、U-Net-Mcon，M-Net、M-Net-Mcon和W-Net、W-Net-Mcon两两分别对比。在U-Net框架中，除了OD中MA指标略低，U-Net-Mcon的各项指标均高于原始U-Net；在M-Net中，除OD中ACC指标略低，M-Net-Mcon的其他指标均比M-Net好；对于W-Net结构，使用残差多尺度卷积模块的W-Net-Mcon所有指标均比W-Net的结果好。通过实验结果的比较，在相同的网络框架下，使用带残差多尺度卷积模块的网络性能明显优于普通卷积单元，这是因为残差多尺度卷积具有不同尺度的感受野来提取网络中不同层次的特征，丰富的语义信息。同时，将不同尺度的特征映射连接起来进行特征融合，再加之外面的跳跃连接构成残差学习进而使得网络更加容易训练、有效抑制梯度消失问题和网络退化问题，故W-Net虽加深了网络，但其性能并未退化，使得分割效果有所提高；
[0104] 最后，将残差多尺度卷积模块和W-Net深度神经网络框架进行结合，即得到W-Net-Mcon全卷积神经网络。该组相较于其他组实验，在所有评价指标均最好。这是因为W-Net通过了易于实现的级联方式，拓展了网络的深度使得网络提取到更深层次的语义信息。同时为了解决网络加深可能导致的网络退化和梯度消失问题，引入了跳跃连接和深度监督。一方面，可以使网络在梯度反向传播时更容易到达浅层的神经层。另一方面，可以鼓励特征复用，加强特征传播，实现不同深浅层次的特征融合，进而能抑制梯度消失并减少训练参数的数量。
[0105] 经过上述的分析，我们可以得出W-Net-Mcon全卷积神经网络的结构是明显优于原始的U-Net和M-Net的，重叠误差OE在OD、OC分别降至0.0665和0.1780，实现了最精准的分割效果。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于深度学习的轨道扣件缺陷识别算法 | 2020-05-08 | 967 |
| 一种基于扩张点卷积空间金字塔池化的点云语义分割方法 | 2020-05-08 | 856 |
| 混合模式智能手机应用开发框架系统 | 2020-05-08 | 309 |
| 一种信息物理融合系统拓扑关系建模方法及装置 | 2020-05-11 | 987 |
| 一种基于概率本体的安卓软件风险评估方法 | 2020-05-12 | 90 |
| 高动态范围图像HDR实现方法及相关产品 | 2020-05-12 | 327 |
| 一种结合深度网络特征和机器学习模型的乳腺癌数据分类方法 | 2020-05-08 | 709 |
| 一种识别数字串读法的方法及装置 | 2020-05-08 | 845 |
| 一种基于神经网络的中文关系抽取方法 | 2020-05-11 | 636 |
| 一种基于复杂网络二分图的软件系统耦合度度量方法 | 2020-05-11 | 486 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈