技术领域
[0001] 本
发明涉及
深度学习算法在医疗影像分析领域的应用，特别是一种融合W-net和条件生成对抗网络的视网膜血管分割算法。
背景技术
[0002] 糖尿病视网膜病变、心
血管疾病、
高血压、动脉硬化等多种疾病对视网膜血管产生不同影响，可通过分析视网膜
眼底图像中血管的长度、宽度、
角度、弯曲度和分支形式等特征来诊断。为获得更精准的病理诊断，须从眼底图像中精准分割出视网膜血管，而人工分割视网膜血管是一项繁琐、复杂和专业性极强的工作，且分割标准主观性强。为提高医生的诊断效率和降低误诊率，需借助
计算机辅助诊断系统，其核心是设计先进的分割算法，以实现快速自动化视网膜血管分割。
[0003] 目前国内外有很多研究人员提出了多种眼底图像视网膜血管分割算法，传统的
机器学习算法有模型训练速度快等优点，但需要根据实验手动选择特征，不利于自动化实现，且能否正确选取具有高识别率的血管独立特征对分割
精度有很大的影响。近年来，深度学习取得长足的进步与发展，各种优异的算法和网络结构被广泛运用于眼底图像视网膜血管分割，尽管准确率和灵敏度有较大提升，但现有的深度学习算法仍存在因错误学习血管特征、微血管特征提取不足、
鉴别微血管特征能
力弱而导致分割准确率和灵敏度较低的问题。
发明内容
[0004] 本发明的目的是针对现有的视网膜血管分割算法普遍存在灵敏度偏低、微血管分割不足或过分割等问题，提出一种融合W-net和条件生成对抗网络的视网膜血管分割方法。
[0005] 本发明的技术方案：一种融合W-net和条件生成对抗网络的视网膜血管分割方法，包括以下步骤：
[0006] 步骤A01，数据集预处理：
[0007] 首先，对数据集采用自适应伽
马矫正、多尺度形态学滤波和通道加权灰度图方法进行图像增强，减小噪声和提升血管与背景的整体
对比度，从而有利于血管的提取；对数据集采用旋转、增加噪声和48×48的滑动窗口裁剪手段进行数据扩充，提高网络对血管不同尺度的灵敏度和降低过拟合；
[0008] 步骤A02，构建视网膜血管分割模型：
[0009] 首先，通过跳跃连接将U型网络(U-net)拓展为W型网络(W-net)，以及高效地恢复由于下
采样而丢失的细节信息，从而有利于跳跃连接层的微血管信息传递和
加速网络收敛，学习到更多的微血管特征；其次，使用深度可分离卷积(Depthwise Separable Convolutions)代替标准卷积，拓宽网络的同时减少参数量，提高参数利用率，同时引入残差模
块(Residual Block)缓解梯度消失和梯度爆炸；然后，每个跳跃连接均跟随
挤压激励SE(Squeeze-and-Excitation)模块，通过学习特征通道相互依赖关系，避免权重分散，使浅层特征和深层特征得到有效结合；最后，使用W-net作为条件生成对抗网络CGAN(Conditional Generative Adversarial Nets)的生成器，同时定义CGAN的判别器，并对CGAN损失函数进行
修改，使其在博弈学习模式下具有较强的全局惩罚能力，达到整体分割性能最优。
[0010] 所述的构建视网膜血管分割模型包括W-net生成器、Image判别器和CGAN视网膜血管分割三部分：
[0011] A02.1，W-net生成器部分：
[0012] W-net网络结构由13个叠堆单元(stacked unit)组成，其中unit1-7组成U-net_1，unit7-13组成U-net_2，并去掉两个U-net之间的输入
输出层，共用同一个unit，每个U-net的叠堆单元由典型的9个减少到7个，降低网络的复杂度，节省计算资源开销，以达到实时辅助专家医疗的
水平；一方面，将U-net_1的解码结构与U-net_2的编码结构进行跳跃连接(skip connection)，在加深网络的同时使U-net_1提取的特征更快地传递到U-net_2的编码结构进行学习；另一方面，对U-net_1与U-net_2内部的长连接(long connection)进行跳跃连接，使U-net_1提取的特征更快地传递到U-net_2的解码结构进行解析；通过跳跃连接，使网络既注重U-net的编码结构，强调网络的上下文信息学习能力和浅层特征提取能力，又注重U-net的解码结构，强调网络的信息
定位能力和特征解析能力；W-net能充分发挥U-net跳跃连接的优势，将跳跃连接层保留的微血管信息和血管边缘信息及时传递到更深层的网络中学习，有利于网络信息的流通，在降低网络训练的成本和加快网络的收敛的同时，能分割出较多的微血管；利用CGAN对网络的强惩罚力，让网络自适应地加强编码或解码能力；
[0013] 对W-net的每一个unit进行详细定义，用深度可分离卷积代替标准的卷积层，将通道和空间区域分开考虑，用3×3的卷积核在独立通道上学习特征，再用1×1的卷积核进行通道特征融合，实现拓宽网络宽度，减少参数量，加快计算速度；
[0014] 为缓解由于网络的加深而带来的梯度消失和梯度爆炸，对每个unit内部使用短连接(short connection)构成残差模块，每个深度可分离卷积后紧跟批规范化BN(Batch Normalization)和泄露修正线性单元Leaky ReLU(Leaky Rectified Linear Unit)，防止梯度消失，加快网络收敛；由1×1卷积、BN和Leaky ReLU组成
瓶颈层模块以规范网络的通道数；空间失活(SpatialDropout)函数可使神经元按区域随机失活，防止过拟合，降低局部特征的相互赖性，提高模型的泛化性，在编码结构中采用最大
池化层以整合提取到的血管特征，提高特征图感受野，减少后续训练的参数，在解码结构中采用反卷积操作，恢复特征图的尺寸并学习不同级别的细节信息；
[0015] 每个跳跃连接都跟随一个SE模块，对每个特征通道的重要程度自适应选择，解决网络权重分散问题，使网络专注于血管特征提取，尤其是微血管特征，减少病灶等噪声影响；首先，采用全局平均池化层进行空间信息挤压映射生成通道描述符(Channel Descriptor)，该描述符具有全局感受野；然后，通过两次全连接层FC(Fully Connected Layers)和Leaky ReLU以限
制模型的复杂度和提高模型的泛化性；最后通过Sigmoid函数和比例Scale操作捕获通道之间的非线性作用和相互依赖关系，将描述符激励映射到一组具有特定权重的通道上，从而实现对原始特征的重标定；通过SE模块，能够增强有用特征抑制无用特征，从而提升网络的血管特征提取能力和收敛速度；
[0016] A02.2，Image判别器部分：
[0017] 为能准确鉴别出图像来源是生成器生成还是专家手工分割，在图像级别上定义CGAN的判别器，Image判别器由典型重复的卷积块、全局平均池化层和全卷积层组成；
[0018] A02.3，CGAN视网膜血管分割部分：
[0019] 生成对抗网络GAN(Conditional Generative Adversarial Nets)由生成器G和判别器D组成，G的目标是尽可能地生成接近真实数据分布的样本，而D的目标是尽可能地区分真实数据和G生成的数据，GAN的优化过程是G和D的相互对抗的过程，直到两者达到纳什平衡；GAN能够训练出更好地拟合真实数据的网络模型，其结果在空间上更具有一致性，有利于降低过拟合；CGAN在GAN的
基础上通过引入条件向量如数据标签，引导GAN对数据分布的拟合，解决学习特征不可控问题；在视网膜图像血管分割任务中，可使用金标准作为条件向量，使用W-net作为CGAN的生成器，使用Image判别器判来断数据的来源；
[0020] 条件生成对抗网络的损失函数为：
[0021] LCGAN(D,G)＝Ex,y～Pdata(x,y)[logD(x,y)]+Ex,G(x)～Pdata(x,G(x))[log(1-D(x,G(x)))] (1)[0022] 其中，x为输入的视网膜眼底图像，G(x)为生成器分割结果，y为专家分割的金标准，D(x,G(x))和D(x,y)分别表示视网膜血管图像来源于生成器分割和专家分割的概率,x,y～Pdata(x,y)代表y符合真实图像的统计分布Pdata(x,y)，x,G(x)～Pdata(x,G(x))代表G(x)符合生成图像的统计分布Pdata(x,G(x))，E表示求期望，在CGAN的训练过程中，优化目标函数可写成：
[0023]
[0024] 判别器先最大化LCGAN(D,G)，然后生成器最小化LCGAN(D,G)，即判别器在输入为{x,y}时，D(x,y)尽可能接近于1；在输入为{x,G(x)}时，D(x,G(x))尽可能接近于0，从而正确区分出数据来源；生成器在金标准y的指导下可能生成接近于y的G(x)，以至于判别器做出错误的判断；当判别器做出正确判断时，可进一步优化判别器，当判别器做出错误判断时，生成器结
合金标准进行网络优化，判别器和生成器两者相互博弈，直到纳什平衡，从而得到最优的生成器网络G*；加入交叉熵损失函数和L2正则项以惩罚y与G*的距离，同时防止过拟合：
[0025] Lseg(G)＝Ex,y～Pdata(x,y)[-y·logG(x)-(1-y)·log(1-G(x))] (3)
[0026] Ll2(G)＝Ex,y～Pdata(x,y)[||y-G(x,y)||2] (4)
[0027] 将生成对抗损失函数、交叉熵损失函数和L2正则项进行结合，得到最终的目标函数为：
[0028]
[0029] 其中λ1和λ2用于平衡目标函数，采用Adam算法优化目标函数，最后由Softmax激活函数对血管图像精分割。
[0030] 所述Image判别器一共有五个卷积块和一个全连接层，前四个卷积块后跟随一个2×2的最大池化层，最后一个卷积块跟随一个全局平均池化层，每个卷积块由两组3×3标准卷积、BN和修正线性单元ReLU(Rectified Linear Unit)组成。
[0031] 本发明不需要按照文献“基于多特征融合的有监督视网膜血管提取[J]，梁礼明等，计算机学报，2018,41(11):2566-2580”进行后处理步骤即可得到较精细的血管图像。
[0032] 本发明较好地解决分割灵敏度偏低和微小血管分割不足的问题，在网络的参数利用率、信息流通性和特征解析力上取得较大的进步，有助于主血管完整分割和微血管精细分割，且血管交叉处不易断裂，病灶与视盘不易误分割为血管。本发明在较低复杂度的情况下融合多种网络模型，在DRIVE数据集上整体分割性能表现优异，其灵敏度和准确率分别为87.18％和96.95％，ROC曲线值达到98.42％，可用于医疗领域的计算机辅助诊断，实现快速自动化视网膜血管分割。
附图说明
[0033] 图1为DRIVE数据集中02_test视网膜灰度图像。
[0034] 图2为本发明对图1视网膜灰度图像采用自适应伽马矫正、多尺度形态学滤波和通道加权灰度图方法进行增强后的效果图。
[0035] 图3为本发明48×48的滑动窗口裁剪的效果图。
[0036] 图4为本发明W-net生成器完整结构图。
[0037] 图5为本发明Image判别器完整结构。
[0038] 图6为本发明条件生成对抗网络视网膜血管分割
框架图。
[0039] 图7为本发明最终的分割结果图。
[0040] 图8为本发明的DRIVE数据集ROC曲线图。
具体实施方式
[0041] 本发明将U-net拓展为W-net，同时在W-net中使用深度可分离卷积和残差模块，避免由于网络过深而导致梯度消失，引入SE模块，对各个通道进行权重的分配，从而确保充分学习重要特征，避免学习无用特征，并将W-net与条件生成对抗网络进行融合，能充分利用W-net对微血管特征的强学习能力和CGAN对微血管特征的强鉴别能力，在保证主血管提取完整的情况下尽可能多地提取微血管。本发明具有视网膜血管分割准确率高和模型复杂度低的优点，可作为计算机辅助诊断系统，提高医生的诊断效率和降低误诊率，节省患者宝贵时间。
[0042] 实验说明：实例数据来自于DRIVE数据集的02_test视网膜图像。
[0043] 下面结合具体实施方式，进一步阐述本发明。
[0044] 步骤A01，数据集预处理：
[0045] 实验对象为公开数据集DRIVE(Digital Retinal Images for Vessel Extraction)，该数据集包括40张
分辨率为565×584彩色眼底图像，其中7张为病变图像，33张为健康图像，此外数据集还包含第一专家和第二专家人工分割的视网膜血管图像。其中后20张用作训练集，前20张用作测试集，第一专家人工分割的视网膜血管图像为训练标签，第二专家人工分割的视网膜血管图像为测试参考标准；
[0046] 如图1所示，视网膜眼底图像是通过瞳孔拍照采集，存在
不平衡光照、伪影和畸变的情况，因此对数据集采用自适应伽马矫正、多尺度形态学滤波和通道加权灰度图方法进行图像增强，减小噪声和提高图像的动态范围，提升血管与背景的整体对比度，增加微血管的清晰度，从而有利于血管的提取，图像增强效果如图2所示；
[0047] 使用深度学习的方法进行血管分割前需要进行数据扩充，尤其是条件生成对抗网络的生成器需要大量的真实数据作为
训练数据来降低过拟合，同时由于增加了血管尺度的多样性，有助于提高网络对血管不同尺度的灵敏度；故采用旋转和增加噪声的手段将训练集的20张眼底图像扩增到900张，并采用48×48的滑动窗口对眼底图像和金标准进行裁剪，从中选取信息熵最高的5000个图像块，以确保网络能够学习到更多的目标特征信息，裁剪效果如图3所示；
[0048] 步骤A02，构建视网膜血管分割模型：
[0049] A02.1 W-net生成器部分：
[0050] W-net一共由13个unit组成，其中unit1-7组成U-net_1，unit7-13组成U-net_2，深度可分离卷积的卷积核大小为3×3，最大池化层和反卷积的卷积核大小为2×2，Leaky ReLU和SpatialDropout的alpha值设置为0.3，具体网络构建为：
[0051] 首先，用深度可分离卷积代替标准的卷积层，将通道和空间区域分开考虑，用3×3的卷积核在独立通道上学习特征，再用1×1的卷积核进行通道特征融合，实现拓宽网络宽度，减少参数量，加快计算速度；
[0052] 其次，为缓解由于网络的加深而带来的梯度消失和梯度爆炸，对每个unit内部使用短连接构成残差模块，每个深度可分离卷积后紧跟BN和Leaky ReLU，用来降低模型训练中的协变转移，防止因视网膜图像存在病理性造成梯度消失，并且降低网络对初始参数选择的敏感性，加快网络收敛；
[0053] 再次，由1×1卷积、BN和Leaky ReLU组成瓶颈层模块减少特征映射的数量和规范网络的通道数，从而提高计算效率和利于跳跃连接的特征图合并，同时使用SpatialDropout将神经元按区域随机失活，防止过拟合，降低局部特征的相互赖性，提高模型的泛化性，在编码结构中采用最大池化层以整合提取到的血管特征，提高特征图感受野，减少后续训练的参数，在解码结构中采用反卷积操作，恢复特征图的尺寸并学习不同级别的细节信息；
[0054] 接着，将U-net_1的解码结构与U-net_2的编码结构进行跳跃连接(skip connection)，在加深网络的同时使U-net_1提取的特征更快地传递到U-net_2的编码结构进行学习，对U-net_1与U-net_2内部的长连接(long connection)进行跳跃连接，使U-net_
1提取的特征更快地传递到U-net_2的解码结构进行解析；
[0055] 最后，每个跳跃连接都跟随一个SE模块，对每个特征通道的重要程度自适应选择，增强有用特征抑制无用特征，从而提升网络的血管特征提取能力和收敛速度；一是采用全局平均池化层进行空间信息挤压映射生成通道描述符，该描述符具有全局感受野；二是通过两次全连接层和Leaky ReLU以限制模型的复杂度和提高模型的泛化性；三是通过Sigmoid函数和Scale操作捕获通道之间的非线性作用和相互依赖关系，将描述符激励映射到一组具有特定权重的通道上，从而实现对原始特征的重标定，如图4所示，为W-net生成器完整结构图；
[0056] A02.2 Image判别器部分：
[0057] Image判别器由典型重复的卷积块、全局平均池化层和全卷积层组成；具体地，判别器一共有五个卷积块和一个全连接层，前四个卷积块后跟随一个2×2的最大池化层，最后一个卷积块跟随一个全局平均池化层，每个卷积块由两组3×3标准卷积、BN和Relu组成，如图5所示；
[0058] A02.3 CGAN视网膜血管分割部分：
[0059] CGAN在GAN的基础上通过引入条件向量如数据标签，引导GAN对数据分布的拟合，解决学习特征不可控问题；在视网膜图像血管分割任务中，可使用金标准作为条件向量，使用W-net作为CGAN的生成器，使用Image判别器判来断数据的来源；
[0060] 条件生成对抗网络的损失函数为：
[0061] LCGAN(D,G)＝Ex,y～Pdata(x,y)[logD(x,y)]+Ex,G(x)～Pdata(x,G(x))[log(1-D(x,G(x)))] (1)[0062] 其中，x为输入的视网膜眼底图像，G(x)为生成器分割结果，y为专家分割的金标准，D(x,G(x))和D(x,y)分别表示视网膜血管图像来源于生成器分割和专家分割的概率,x,y～Pdata(x,y)代表y符合真实图像的统计分布Pdata(x,y)，x,G(x)～Pdata(x,G(x))代表G(x)符合生成图像的统计分布Pdata(x,G(x))，E表示求期望，在CGAN的训练过程中，优化目标函数可写成：
[0063]
[0064] 判别器先最大化LCGAN(D,G)，然后生成器最小化LCGAN(D,G)，即判别器在输入为{x,y}时，D(x,y)尽可能接近于1，在输入为{x,G(x)}时，D(x,G(x))尽可能接近于0，从而正确区分出数据来源；生成器在金标准y的指导下可能生成接近于y的G(x)，以至于判别器做出错误的判断；当判别器做出正确判断时，可进一步优化判别器，当判别器做出错误判断时，生成器结合金标准进行网络优化，判别器和生成器两者相互博弈，直到纳什平衡，从而得到最优的生成器网络G*；加入交叉熵损失函数和L2正则项以惩罚y与G(x)的距离，同时防止过拟合：
[0065] Lseg(G)＝Ex,y～Pdata(x,y)[-y·logG(x)-(1-y)·log(1-G(x))] (3)
[0066] Ll2(G)＝Ex,y～Pdata(x,y)[||y-G(x,y)||2] (4)
[0067] 将生成对抗损失函数、交叉熵损失函数和L2正则项进行结合，得到最终的目标函数为：
[0068]
[0069] 其中λ1和λ2用于平衡目标函数，Image判别器结构和CGAN视网膜血管分割框架如图6所示；
[0070] 采用Adam算法优化目标函数，Adam优化器的beta1动量设置为0.5，批大小设置为1，学习率设置为0.0001，最后经过Softmax激活函数得到输入图像的真假概率判定值，不需要进一步的后处理即可得到分割完整且精细的视网膜血管图像，最终分割结果如图7所示。
[0071] 本发明首先采用新型的W-net网络作为条件生成对抗网络的生成器，并对W-net进行优化，即使用深度可分离卷积代替标准卷积，拓宽网络的同时减少参数量，引入残差模块缓解梯度消失和梯度爆炸，每个跳跃连接均跟随SE模块，通过学习特征通道相互依赖关系，浅层特征和深层特征得到有效结合，从而使得W-net具有参数利用率高，信息流通性强，以及特征学习能力和解析力强的优点。然后，对条件生成对抗网络的损失函数进行修改，使其在博弈学习模式下具有较强的全局惩罚能力，达到整体分割性能最优。最后，在经过图像增强和数据扩充的DRIVE数据集上进行实验，分割灵敏度为87.18％，特异性和准确率分别为98.19％和96.95％，整体性能保持优异水平，灵敏度优于现有算法。
[0072] 受试者工作特征(ReceiverOperatingCharacteristic,ROC)曲线能够体现算法总体性能，其值越接近于1，说明算法越优越，本发明的ROC曲线图如图8所示，ROC曲线值达到98.42％，已达到现在医疗实际应用要求水准。
