一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法专利检索-眼底图像眼底照相机医疗设备专利检索查询-专利查询网

一种基于Frangi增强和注意力机制UNet的 眼底图像血管分割方法

阅读：1019发布：2020-06-28

专利汇可以提供一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法专利检索，专利查询，专利分析的服务。并且本发明涉及一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，首先，对输入图像提取绿色分量，并利用对比度受限直方图均衡化方法在提取绿色分量后的基础上进行对比度调整；计算出调整对比度后的图像中每个像素点的Hessian矩阵；利用Hessian矩阵的特征值，在尺度因子为的条件下构造Frangi血管相似性函数，并得到最大响应；将输入图像的每个像素点的RGB三个同道的像素值分别减去最大响应值与增强因子factor的乘积；然后，将经过frangi增强的图像进行灰度变换，将每个像素值进行零均值归一化操作到[0,1]之间。最后，将得到的训练图像块和标签图像块输入到注意力机制UNet网络中，进行训练。并通过测试获得分割结果。本发明，提高了模型的泛化能力。，下面是一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法专利的具体信息内容。

权利要求

1.一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：包括以下步骤：
步骤S1：提供RGB眼底图像作为输入图像，对所述输入图像提取绿色分量，并利用对比度受限直方图均衡化方法在提取绿色分量后的图像上进行对比度调整；
步骤S2：计算出步骤S1调整对比度后的图像中每个像素点的Hessian矩阵，得到Hessian矩阵的特征值；
步骤S3：利用Hessian矩阵的特征值，在尺度因子为σ的条件下构造Frangi血管相似性函数，并得到最大响应；
步骤S4：将步骤S1中的输入图像的每个像素点的RGB三个通道的像素值分别减去最大响应值与增强因子factor的乘积，用以获得最终的血管增强并得到经过frangi增强的图像；
步骤S5：将经过Frangi增强的图像进行灰度变换，将每个像素值进行零均值归一化操作到[0,1]之间；训练时，采用一个48×48大小的采样框随机选择中心，对归一化后的图像进行重采样，每次采样生成一个训练图像块，共生成1万个训练图像块；将训练图像的标签进行与训练图像块相同的重采样分块操作，获得标签图像块；测试时，如果测试图像长宽不是48的整数倍，则将其扩充成48的整数倍，扩充部分的像素值为0，并将测试图像平均分成多个48x48的测试图像块；
步骤S6：将步骤S5中得到的训练图像块和标签图像块输入到带有注意力模型的注意力机制UNet网络中，进行训练；测试时，将步骤S5中得到的测试图像块输入到带有注意力模型的注意力机制UNet网络中进行像素点预测，网络输出即是测试图像块的分割结果；随后将所有预测后的测试图像块进行重新拼接成测试图像，并删除其中扩充的像素，即得到了测试图像的最终分割结果。
2.根据权利要求1所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：所述步骤S1提取绿色通道的计算公式如下：
I＝a*IR+b*IG+c*IB
其中I表示输入图像，IR、IG、IB分别代表I的三个通道值，a、b、c代表各个通道的权重，其值a＝0,c＝0,b＝1。
3.根据权利要求1所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：所述步骤S2的具体内容为：
令步骤S1调整对比度后的图像中的一点为P(x,y)，则该点的Hessian矩阵的表达式为：
其中，fxx、fxy、fyx和fyy分别表示该像素点P的四个高斯二阶偏导数；令矩阵H的两个特征值为λ1，λ2，且|λ1|＜|λ2|则特征值计算如下：
式中
4.根据权利要求1所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：所述步骤S3中所述Frangi血管相似性函数为：
上式中， ||H||F表示矩阵的范数；C为矩阵最大范数的一半；当尺度
因子σ与血管宽度相近时，血管相似性函数获得最大响应。
5.根据权利要求3所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：所述获得最大响应的具体内容为：通过调整σ的大小，使σ接近血管宽度时能够获得最大响应；将σ限制在[σmin，σmax]之间，均分为N个不同尺度，σ逐级增大，求出每个σ下的每个像素点的输出响应，最后用最大值法求出最大响应，如下公式：
v(p)为P点处的血管相似性函数最大输出响应。
6.根据权利要求1所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：所述步骤S4中获得最终的血管增强的具体公式为：
上式中，lR,G,B为原图每个像素点的RGB三个通道值；L为增强后的像素值，factor为增强因子。
7.根据权利要求1所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：所述步骤S5中零均值归一化公式如下：
其中，u和σ分别为数据的平均值与标准差；z为归一化后图像；x为灰度变换后的像素。
8.根据权利要求1所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：步骤S6中所述UNet网络包含4层编码层和4层解码层；编码层每一层主要由两个3*3的卷积层，一个BN层以及一个步数为2的2*2的池化层组成；在进行完每一个卷积操作之后，通过Relu函数进行激活，最后进行池化操作；解码层的每一层与收缩网络层次相对应，每一层扩张网络由两个3*3的卷积层，一个BN层以及一个步数为2的2*2的池化层组成，在进行每一层进行卷积之前，需要进行一次跳跃连接操作，除第一层外将来自编码层的特征与来自解码层特征传入注意力模型，并将将注意力模型的输出与解码层的特征采用特征层拼接方法进行拼接融合；最后，网络的输出通过一个1×1大小的sigmiod函数进行分类。
9.根据权利要求6所述的一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，其特征在于：步骤S6中所述注意力模型的输入分别是门控信号矢量g和特征图为获得输出，定义像素点i的门控系数为通过生成一个注意系数α∈[0,1]重新调整输入特征的大小，即和α，具体公式：
式中，为sigmoid激活函数，Wx、Wg、bg和为线性变换参数；门控信号
g和输入特征图分别卷积后逐点相加；之后，经过非线性变换函数relu、1×1×1的卷积sigmoid函数以及上采样获得每个像素点的注意力系数。

说明书全文

一种基于Frangi增强和注意力机制UNet的 眼底图像血管分割

方法

技术领域

[0001] 本发明涉及图像分析和深度学习技术领域，特别是一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法。

背景技术

[0002] 眼底血管是人体血液循环系统中唯一可以非侵入直接观察的部分。研究表明眼底血管异常与冠心病、高血压、糖尿病，动脉粥样硬化和肾病等的存在和严重程度相关，如局限性视网膜动脉缩窄好转率与高血压控制程度密切相关。眼底图像中血管的提取和测量对于与之相关疾病的辅助检测和量化分析具有重要的临床意义，而血管的精确分割是上述工作的前提。由于存在个体的差异，眼底成像之后眼底图像亮度和色彩上存在差别，血管在末端与背景难以区分，使得整个眼底血管网络难以完成分割；而且在眼底血管异常的图像上伴有视网膜病变，除了新生血管之外，还伴微动脉瘤，硬性渗出、出血等小动脉病变，这些病变有的临近血管网络，有的在颜色与形状上和血管相似，给血管网络的分割带来较大的干扰。因此眼底图像中的血管分割技术一直以来都是图像分析领域的难点和热点。

[0003] 近年来眼底图像中的血管分割的研究主要集中在监督学习方法领域。监督学习的方法总体上要优于无监督的方法，但在分割精度、效率等问题上仍然有待改进。随着深度学习方法的发展，在血管特征分析中，可以直接从输入数据中自动学习复杂的特征层次，许多深度学习模型应用到眼底图像血管分割中，比如FCN，UNet，ResNet(残差网络)，GANs(生成对抗网络)等。但目前方法依然存在以下几个局限性：(1)容易受到眼底图像当中存在的非血管因素的影响，如噪声、病变和光照，导致血管分割效果不佳；(2)血管分割模型泛化能力不佳，一些模型在单个数据集有较好表现，但在多个数据集或者不同数据集之间进行测试时分割效果不佳。

[0004] 对于眼底图像的血管分割而言，主要存在两个方面的问题：一方面，由于图像中往往存在眼底成像时因光线不足造成的各种成像伪像，例如模糊，噪声，不均匀照明等，另外还有眼底图像的病理性因素的影响，造成了血管分割的困难，尤其使细小血管的分割难度增加；另一方面，现有深度模型大多仅在单个或者两个数据集上进行算法设计，模型泛化能力有限。

发明内容

[0005] 有鉴于此，本发明的目的是提出一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，通过使用Frangi增强对图像中的血管进行预处理等，有效增强眼底血管，有利于细小血管的分割，提高血管分割的灵敏度；在UNet神经网络中引入注意力模型，既能消除Frangi增强带来的血管误检，又可以较好地抑制了眼底图像中非血管区域的噪声及病变对血管分割的影响，提高了模型的泛化能力。

[0006] 本发明采用以下方案实现：一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，包括以下步骤：

[0007] 步骤S1：提供RGB眼底图像作为输入图像，对所述输入图像提取绿色分量，并利用对比度受限直方图均衡化方法在提取绿色分量后的图像上进行对比度调整；

[0008] 步骤S2：计算出步骤S1调整对比度后的图像中每个像素点的Hessian矩阵，得到Hessian矩阵的特征值；

[0009] 步骤S3：利用Hessian矩阵的特征值，在尺度因子为σ的条件下构造Frangi血管相似性函数，并得到最大响应；

[0010] 步骤S4：将步骤S1中的输入图像的每个像素点的RGB三个同道的像素值分别减去最大响应值与增强因子factor的乘积，用以获得最终的血管增强并得到经过Frangi增强的图像；

[0011] 步骤S5：将经过Frangi增强的图像进行灰度变换，将每个像素值进行零均值归一化(Z-Score Normalization)操作到[0,1]之间；训练时，采用一个48×48大小的采样框随机选择中心，对归一化后的图像进行重采样，每次采样生成一个训练图像块，共生成1万个训练图像块；并将训练图像的标签进行与训练图像块相同的重采样分块操作，获得标签图像块；测试时，如果测试图像长宽不是48的整数倍，则将其扩充成48的整数倍，扩充部分的像素值为0，并测试图像平均分成多个48x48的测试图像块；

[0012] 步骤S6：将步骤S5中得到的训练图像块和标签图像块输入到带有注意力模型的注意力机制UNet网络中，进行训练；测试时，将步骤S5中得到的测试图像块输入到带有注意力模型的注意力机制UNet网络中进行像素点预测，网络输出即是测试图像块分割结果；随后将所有预测后的测试图像块进行重新拼接成测试图像，并删除其中扩充的像素，即得到了测试图像的最终分割结果。

[0013] 进一步地，所述步骤S1提取绿色通道的计算公式定义如下：

[0014] I＝a*IR+b*IG+c*IB

[0015] 其中I表示输入图像，IR、IG、IB分别代表I的三个通道值，a、b、c代表各个通道的权重，其值a＝0,c＝0,b＝1。

[0016] 进一步地，所述步骤S2的具体内容为：

[0017] 令步骤S1调整对比度后的图像中的一点为P(x,y)，则该点的Hessian矩阵的表达式为：

[0018]

[0019] 其中，fxx、fxy、fyx和fyy分别表示该像素点P的四个高斯二阶偏导数；令矩阵H的两个特征值为λ1，λ2，且|λ1|＜|λ2|则特征值计算如下：

[0020]

[0021] 式中

[0022] 进一步地，所述步骤S3中所述Frangi血管相似性函数为：

[0023]

[0024] 上式中， ||H||F表示矩阵的范数；C为矩阵最大范数的一半；当尺度因子σ与血管宽度相近时，血管相似性函数获得最大响应。

[0025] 进一步地，所述获得最大响应的具体内容为：通过调整σ的大小，使σ接近血管宽度时能够获得最大响应；将σ限制在[σmin，σmax]之间，均分为N个不同尺度，σ逐级增大，求出每个σ下的每个像素点的输出响应，最后用最大值法求出最大响应，如下公式：

[0026]

[0027] v(p)为P点处的血管相似性函数最大输出响应。

[0028] 进一步地，所述步骤S4中获得最终的血管增强的具体公式为：

[0029]

[0030] 上式中，lR,G,B为原图每个像素点的RGB三个通道值；L为增强后的像素值，factor为增强因子。

[0031] 进一步地，所述步骤S5中零均值归一化公式如下：

[0032]

[0033] 其中，u和σ分别为数据的平均值与标准差，z为归一化后图像，x为灰度变换后的像素。

[0034] 进一步地，步骤S6中所述UNet网络包含4层编码层和4层解码层；编码层每一层主要由两个3*3的卷积层，一个BN(Batch Normalization)层以及一个步数为2的2*2的池化层组成；在进行完每一个卷积操作之后，通过Relu函数进行激活，最后进行池化操作；解码层的每一层与收缩网络层次相对应，每一层扩张网络由两个3*3的卷积层，一个BN层以及一个步数为2的2*2的池化层组成，在进行每一层进行卷积之前，需要进行一次跳跃连接(Skip Connection)操作，除第一层外将来自编码层的特征与来自解码层特征传入注意力模型，并将注意力模型的输出与解码层的特征采用特征层拼接(concatenate)方法拼接融合；最后，网络的输出通过一个1×1大小的sigmiod函数进行分类。

[0035] 进一步地，步骤S6中所述的注意力模型其特征在于：注意力模型的输入分别是门控信号矢量g和特征图为获得输出，定义像素点i的门控系数为通过生成一个注意系数α∈[0,1]重新调整输入特征的大小，即和α，具体公式：

[0036]

[0037]

[0038] 式中，为sigmoid激活函数，Wx、Wg、bg和为线性变换参数；

[0039] 门控信号g和输入特征图分别卷积后逐点相加；之后，经过非线性变换函数relu、1×1×1的卷积 sigmoid函数以及上采样获得每个像素点的注意力系数。

[0040] 与现有技术相比，本发明有以下有益效果：

[0041] 本发明准确率高，泛化能力强，能够在不同类型的眼底图像中获得精准的血管分割结果。通过使用Frangi增强算法，提高了血管的对比度，增加了血管之间的连续性和完整性，较大程度上提高血管分割的精度。附图说明

[0042] 图1为本发明实施例的流程图。

[0043] 图2为本发明实施例的增强过程示意图，其中(a)为原图，(b)为绿色通道，(c)为CLAHE，(d)为血管最大响应，(e)为增强结果。

[0044] 图3为本发明实施例的图像分快结果图。

[0045] 图4为本发明实施例的注意力机制UNet网络结构图。

[0046] 图5为本发明实施例的注意力模型图。

具体实施方式

[0047] 下面结合附图及实施例对本发明做进一步说明。

[0048] 如图1所示，本实施例提供了一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法，包括以下步骤：

[0049] 步骤S1：提供RGB眼底图像作为输入图像，对所述输入图像提取绿色分量，并利用对比度受限直方图均衡化方法(CLAHE)在提取绿色分量后的图像上进行对比度调整；

[0050] 步骤S2：计算出步骤S1调整对比度后的图像中每个像素点的Hessian矩阵，得到Hessian矩阵的特征值；

[0051] 步骤S3：利用Hessian矩阵的特征值，在尺度因子为σ的条件下构造Frangi血管相似性函数，并得到最大响应；

[0052] 步骤S4：将步骤S1中的输入图像每个像素点的RGB三个同道的像素值分别减去最大响应值与增强因子factor的乘积，用以获得最终的血管增强并得到经过Frangi增强的图像；

[0053] 步骤S5：将经过Frangi增强的图像进行灰度变换，将每个像素值进行零均值归一化(Z-Score Normalization)操作到[0,1]之间；训练时，采用一个48×48大小的采样框随机选择中心，对归一化后的图像进行重采样，每次采样生成一个训练图像块，共生成1万个训练图像块；并将训练图像的标签进行与训练图像块相同的重采样分块操作，获得标签图像块；测试时，如果测试图像长宽不是48的整数倍，则将其扩充成48的整数倍，扩充部分的像素值为0，并测试图像平均分成多个48x48的测试图像块，如图3所示。

[0054] 随后，将图像块送入注意力机制UNet网络，网络结构如图4。

[0055] 步骤S6：将步骤S5中得到的训练图像块和标签图像块输入到带有注意力模型的注意力机制UNet网络中，进行训练。测试时，将步骤S5中得到的测试图像块输入到带有注意力模型的注意力机制UNet网络中进行像素点预测，网络输出即是测试图像块的分割结果。随后将预测后的测试图像块进行重新拼接成测试图像，并删除其中扩充的像素，这就得到了测试图像的最终分割结果。

[0056] 在本实施例中，所述步骤S1中，提取绿色通道的计算公式定义如下：

[0057] I＝a*IR+b*IG+c*IB

[0058] 其中I表示输入图像，IR、IG、IB分别代表I的三个通道值，a、b、c代表各个通道的权重，其值a＝0,c＝0,b＝1。

[0059] 在本实施例中，所述步骤S2的具体内容为：

[0060] 令步骤S1调整对比度后的图像中的一点为P(x,y)，则该点的Hessian矩阵的表达式为：

[0061]

[0062] 其中，fxx、fxy、fyx和fyy分别表示该像素点P的四个高斯二阶偏导数；令矩阵H的两个特征值为λ1，λ2，且|λ1|＜|λ2|则特征值计算如下：

[0063]

[0064] 式中

[0065] 在本实施例中，所述步骤S3中所述Frangi血管相似性函数为：

[0066]

[0067] 上式中， ||H||F表示矩阵的范数；C为矩阵最大范数的一半；当尺度因子σ与血管宽度相近时，血管相似性函数获得最大响应。

[0068] 在本实施例中，所述获得最大响应的具体内容为：通过调整的大小，使接近血管宽度时可获得最大响应。本实施例将限制在[σmin，σmax]之间，均分为N个不同尺度，σ逐级增大，求出每个σ下的每个像素点的输出响应，最后用最大值法求出最大响应，如下公式：

[0069]

[0070] v(p)为P点处的血管相似性函数最大输出响应。

[0071] 在本实施例中，所述步骤S4中获得最终的血管增强的具体公式为：

[0072]

[0073] 上式中，lR,G,B为原图每个像素点的RGB三个通道值；L为增强后的像素值，factor为增强因子。图2结果所使用的参数：σ为[2,6]，N＝9，factor＝128,c＝15，其中(a)原图(b)绿色通道(c)CLAHE(d)血管最大响应(e)增强结果。

[0074] 在本实施例中，所述步骤S5中零均值归一化公式为：

[0075]

[0076] 其中，u和σ分别为数据的平均值与标准差，z为归一化后图像，x为灰度变换后的像素。

[0077] 在本实施例中，步骤S6中所述UNet网络包含4层编码层和4层解码层；编码层每一层主要由两个3*3的卷积层，一个BN(Batch Normalization)层以及一个步数为2的2*2的池化层组成；在进行完每一个卷积操作之后，通过Relu函数进行激活，最后进行池化操作；解码层的每一层与收缩网络层次相对应，每一层扩张网络由两个3*3的卷积层，一个BN层以及一个步数为2的2*2的池化层组成，在进行每一层进行卷积之前，需要进行一次跳跃连接(Skip Connection)操作，除第一层外将来自编码层的特征与来自解码层特征传入图5的注意力模型，并将注意力模型的输出与解码层的特征采用特征层拼接(concatenate)方法进行拼接融合；最后，网络的输出通过一个1×1大小的sigmiod函数进行分类。

[0078] 在本实施例中，注意力模型如图5所示，注意力模型的输入分别是门控信号矢量g和特征图为获得输出，定义像素点i的门控系数为通过生成一个注意系数α∈[0,1]重新调整输入特征的大小，即和α，具体公式：

[0079]

[0080]

[0081] 式中，为sigmoid激活函数，Wx、Wg、bg和为线性变换参数；

[0082] 门控信号g和输入特征图分别卷积后逐点相加；之后，经过非线性变换函数relu、1×1×1的卷积 sigmoid函数以及上采样获得每个像素点的注意力系数。

[0083] 以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

标题	发布/更新时间	阅读量
多任务的眼底图像分类方法和设备	2020-05-16	854
眼底图像血管分割方法	2020-05-12	85
一种图像引导式眼底相机	2020-05-17	207
眼底图像获取方法和装置、眼底相机	2020-05-11	301
眼底图像处理装置以及眼底图像处理方法	2020-05-14	45
眼底图像绘制装置	2020-05-13	408
眼底图像的采集装置	2020-05-13	121
眼底图像血管影像分割方法及设备	2020-05-16	43
一种眼底图像质量评价方法	2020-05-17	741
眼底图像捕获	2020-05-11	59

一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法

一种基于Frangi增强和注意力机制UNet的眼底图像血管分割

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：