眼底图像的配准方法、眼底图像中视盘神经、血管的测量方法及眼底图像的拼接方法
技术领域
[0001] 本
发明涉及一种眼底图像的配准方法、眼底图像中视盘神经和血管的测量方法及眼底图像的拼接方法，属于眼底
图像处理技术领域。
背景技术
[0002] 随着科技的飞速发展，
电子、印刷、医药、食品等领域中越来越广泛地应用到了
机器视觉技术。需要提及的是，尽管机器视觉技术应用于医学
图像分析的时间已很久，并有许多成功的应用范例，但是，机器视觉技术应用于眼科图像的研究到目前为止还是处于起步阶段，相当不完善。
[0003] 目前，眼科图像研究主要是针对眼底图像的配准、眼底图像中的视盘神经和血管的测量以及眼底图像的拼接。
[0004] 已有的配准方法主要有基于灰度的配准方法、基于边缘的配准方法、基于轮廓的配准方法。从实践中可以发现，基于灰度的配准方法只能容忍拍摄眼底时的线性光照变化以及刚体变换，而基于边缘或轮廓的配准方法存在一个主要
缺陷，即需要提取图像中的眼底边缘，而这就导致了目标识别只能适用于非常小范围的光照变化，如果降低眼底图像的
对比度，提取的边缘点就会越来越少，图像中的遮掩就会越来越多，因而在低对比度的眼底图像中便可能会找不到目标物体，而由于眼底图像的特性，特别是存有
白内障的眼底图像，其对比度一般会比其他图像的对比度更低。总之，当面对眼底图像中的遮掩、几何畸变、模糊、严重非线性光照变化等干扰时，这些已有的配准方法便束手无策，或者，配准结果很不理相
[0005] 而眼底图像中的视盘神经和血管的测量以及眼底图像的拼接是基于眼底
图像配准来实现的，因此，目前也没有出现可精确测量眼底图像中的视盘神经和血管的方法以及进行眼底图像之间的准确拼接的方法。
发明内容
[0006] 本发明的目的在于提供一种眼底图像的配准方法、眼底图像中视盘神经和血管的测量方法及眼底图像的拼接方法，该配准方法配准速度快、准度与
精度高，基于该配准方法实现的视盘神经和血管的测量方法得到的测量结果精确度高，基于该配准方法实现的拼接方法可对多眼底图像进行精确拼接。
[0007] 为了实现上述目的，本发明采用了以下技术方案：
[0008] 一种眼底图像的配准方法，其特征在于，它包括步骤：
[0009] 步骤I :确定模板眼底图像和需要配准的待配准眼底图像；
[0010] 步骤2 :在该模板眼底图像上
选定一个感兴趣区域；
[0011] 步骤3 :对构成该待配准眼底图像内血管的所有边缘点进行遍历，在遍历过程中，结合该感兴趣区域，对遍历到的各个该边缘点计算评价相似度的全局显性度量值Sg ；[0012] 步骤4 :对于该待配准眼底图像中的血管的该边缘点，若存在全局显性度量值Sg大于等于设定配准
阈值的边缘点，则表明该待配准眼底图像与该模板眼底图像配准成功，若不存在全局显性度量值Sg大于等于设定配准阈值的边缘点，则表明该待配准眼底图像与该模板眼底图像配准失败。
[0013] 在所述步骤3中，所述待配准眼底图像中血管的每个所述边缘点对应的全局显性度量值Sg的求取步骤为：
[0014] 设定选定的所述感兴趣区域内的血管所具有边缘点的个数为n，所述感兴趣区域内的每个该边缘点的坐标为（r” Ci), i=l, 2,. . .，η,所述感兴趣区域内的每个该边缘点的邻域均具有k个邻域点；
[0015] 设定所述待配准眼底图像中血管的任一所述边缘点坐标为（r，c)；
[0016] 通过将所述待配准眼底图像中血管的各个所述边缘点坐标代入下式I)和2)中，计算出所述待配准眼底图像中血管的每个所述边缘点对应的全局显性度量值Sg ：
[0019] 在式I)中，#*为所述模板眼底图像中的所述感兴趣区域内血管的第i个边缘点的第j个邻域点的横纵坐标基于广义
霍夫变换构建的R-Table空间下归一化的梯度方向，j=l, 2，. . .，k，
[0020] 一种基于所述的眼底图像的配准方法实现的眼底图像中视盘神经的测量方法，其特征在于，它包括步骤：
[0021] 通过所述的眼底图像的配准方法找到与模板眼底图像配准成功的待配准眼底图
[0022] 对该待配准眼底图像中的视盘神经进行测量，包括如下步骤：
[0023] 将该待配准眼底图像等分成N个扇区；
[0024] 在每个扇区中，利用二维度量模型，沿视盘方向寻找视盘神经的外轮廓和内轮廓的边缘，然后，在每个边缘
位置用最小二乘法进行
位姿的亚
像素测量，从而完成对视盘神经的测量。
[0025] 一种基于所述的眼底图像的配准方法实现的眼底图像中血管的测量方法，其特征在于，它包括步骤：
[0026] 通过所述的眼底图像的配准方法找到与模板眼底图像配准成功的待配准眼底图
[0027] 对该待配准眼底图像中的血管进行测量，包括如下步骤：
[0028] 在该待配准眼底图像中，通过动脉血管、静脉血管的
颜色与背景颜色的差别，以及利用直线的同极性特征，结合血管边缘梯度的变化，通过高斯模型与血管剖面的匹配，利用最小二乘法对血管边缘进行亚像素逼近，从而测量出血管的直径。
[0029] 一种基于所述的眼底图像的配准方法实现的眼底图像的拼接方法，其特征在于，它包括步骤：
[0030] 通过所述的眼底图像的配准方法找到与模板眼底图像配准成功的多个待配准眼 底图像，该多个待配准眼底图像分别为从不同方位对一个人的眼球进行拍摄后得到的眼底图像；
[0031] 将该多个待配准眼底图像映射到同一个空间中，并进行几何校正；
[0032] 通过极性不同性特征，对每个该待配准眼底图像中的血管分
支点进行
定位；
[0033] 通过定位好的血管分支点对该多个待配准眼底图像进行拼接，形成眼底整体图像。
[0034] 本发明的优点是：
[0035] 本发明眼底图像的配准方法利用广义hough (霍夫）变换和多尺度空间的不变特征实现了对模板眼底图像与待配准眼底图像间的配准，并且，当模板眼底图像与待配准眼底图像之间存在
分辨率不同、尺寸不同、几何畸变等干扰，待配准眼底图像中存在遮挡、模糊等干扰时，本发明眼底图像的配准方法也能很好地完成配准工作，且配准速度快、准度与精度高。另外，K-NN最近邻分类法与随机抽样一致性可实现配准样本的筛选，提高了配准准度。
[0036] 基于本发明眼底图像的配准方法实现的眼底图像中视盘神经的测量方法、眼底图像中血管的测量方法可以分别很好地实现对视盘神经、血管亚像素测量，测量结果精确度闻。
[0037] 基于本发明眼底图像的配准方法实现的眼底图像的拼接方法可精确地将一个人的各个不同方位
角度的眼底图像进行拼接，且该拼接为一种带几何校正的拼接，是一种无缝拼接，拼接效果好。
附图说明
[0038] 图I是本发明眼底图像的配准方法的实现
流程图；
[0039] 图2是本发明配准方法的第一
实施例中模板眼底图像的示意图；
[0040] 图3是本发明配准方法的第一实施例中待配准眼底图像的示意图；
[0041] 图4是本发明配准方法的第一实施例中模板眼底图像中选定感兴趣区域的示意图；
[0042] 图5是本发明配准方法的第一实施例中在待配准眼底图像上示出图4中感兴趣区域内血管的分布示意图；
[0043] 图6是本发明配准方法的第二实施例中模板眼底图像的示意图；
[0044] 图7是本发明配准方法的第二实施例中待配准眼底图像的示意图；
[0045] 图8是本发明配准方法的第二实施例中模板眼底图像中选定感兴趣区域的示意图；
[0046] 图9是本发明配准方法的第二实施例中在待配准眼底图像上示出图8中感兴趣区域内血管的分布示意图；
[0047] 图10是对某个人的多个待配准眼底图像拼接后形成的一张眼底整体图像示意[0048] 图11是对某个人的多个待配准眼底图像拼接后形成的眼底整体图像进行颜色融合后得到的图像示意图。
具体实施方式
[0049] 如图I所示，本发明眼底图像的配准方法包括如下步骤：
[0050] 步骤I :确定模板眼底图像和需要配准的待配准眼底图像；
[0051] 步骤2 :在该模板眼底图像上选定一个感兴趣区域；
[0052] 步骤3 :对构成该待配准眼底图像内血管的所有边缘点进行遍历（对于该待配准眼底图像内血管边缘点的确定与选取为公知技术，可根据实际要求来确定和选取，不在这里详述)，在遍历过程中，结合该感兴趣区域，对遍历到的各个该边缘点计算评价相似度的全局显性度量值Sg ；
[0053] 步骤4 :对于该待配准眼底图像中的血管的该边缘点，若存在全局显性度量值Sg大于等于设定配准阈值的边缘点，则表明该待配准眼底图像与该模板眼底图像配准成功，即该待配准眼底图像与该模板眼底图像为同一个人的眼底图像，若不存在全局显性度量值Sg大于等于设定配准阈值的边缘点，则表明该待配准眼底图像与该模板眼底图像配准失败，即该待配准眼底图像与该模板眼底图像不是同一个人的眼底图像。
[0054] 在本发明配准方法中，需要说明的是，例如，模板眼底图像可以是某个人多年前拍摄的一张眼底图像，而待配准眼底图像是该人现在拍摄的一张眼底图像，两张眼底图像可能不是对眼球同一方位进行的拍摄，而且相对于多年前拍摄的那张眼底图像而言，现在拍摄的这张眼底图像可能因某些外在或内在的原因发生了刚体变换、扭曲、遮挡，或者变得模糊、不清晰，或者图片分辨率发生了变化、图片尺寸发生了变化等。
[0055] 在步骤2中，该感兴趣区域为对配准有帮助的区域，一般来讲，只要不是仅包含少许血管的区域即可作为感兴趣区域，对该感兴趣区域的大小、形状是没有限制的。在实际中，可将整个模板眼底图像作为感兴趣区域。较佳地，该感兴趣区域中的血管应具有明显分布特点，以提高配准效率。在实际实施中，对于本发明配准方法，只要按上述要求选定一个感兴趣区域，即可得到准度与精度高的配准结果。当然，选定多个感兴趣区域也是可以的。
[0056] 为了能够很好地理解求取待配准眼底图像中血管的每个边缘点对应的全局显性度量值Sg的计算过程，下面先介绍一下存在刚体变换的两个眼底图像(模板图像与配准图像）间的配准。
[0057] 首先，对于模板图像和配准图像，利用
边缘检测结果来表示各自图像上具有的血管，图像上的血管目标只包括轮廓，这样，只要配准图像中存在任何灰度变化，就能将其表示为一个目标。
[0058] 然后，在模板图像上选定一个感兴趣区域。
[0059] 设定选定的该感兴趣区域内的血管具有η个边缘点,η为正整数,每个该边缘点的坐标为（A, Ci), i=l, 2, ... ,Ii0设定配准图像中血管的任一边缘点的坐标为（r, C)。
[0060] 于是，便可通过下式3)来进行配准：
[0062] 公式3)为配准图像中血管的边缘点（（r, c)为边缘点的坐标）对应的度量函数,在公式3)中，(r, c)为变量，根据公式3)即可求出配准图像中血管的各个边缘点的S值。
[0063] 在式3)中〃为模板图像中的感兴趣区域内血管的第i个边缘点的横纵坐标基于
广义霍夫变换（GHT)构建的R-Table空间下归一化的梯度方向，为基于模板图像中的感兴趣区域内血管的第i个边缘点，配准图像中血管的边缘点的点方向向量，
的欧几里德范数。
[0064] 对于配准图像中血管的边缘点，若存在S值大于等于设定值的边缘点，则表明配准成功，反之，则配准失败。S值是一个介于O与I之间的数值，其中的设定值可根据配准要求而定，例如为O. 6。
[0065] 上述式3)示出的度量函数对非线性光照变化、局部遮挡和混乱具有很好的兼容性与不变性，理由如下：
[0066] 第一，模板图像中的边缘点集与配准图像中的稠密梯度向量场相比较，即使有比较大的非线性光照变化，其梯度的幅值与方向向量的误差是一样的，而且一个滞后的阈值或非极值化抑制会完全消除任何光照变化带来的负面影响。
[0067] 第二，配准图像中随机梯度方向的局部遮挡、噪声、混乱等虽会对度量函数的最大值产生轻微影响，但并不会使其位置发生偏移，因此，度量函数取值的意义就是模板图像中边缘点集配准成功的一个比率。
[0068] 但是，在实际应用中，除了刚体变换，还存在很多其他非线性变换等。例如，扭曲形变可以看作是一个特殊、复杂的非线性变换。刚体变换只是扭曲形变的特例，是一个全局性的变换。上述度量函数无法适用于可能发生各种各样变化的配准图像与模板图像之间的配准工作。
[0069] 因此，本发明配准方法采用了如下度量函数，具体为：
[0070] 在步骤3中，待配准眼底图像中血管的每个边缘点对应的全局显性度量值Sg的求取步骤为：
[0071] 设定选定的该感兴趣区域内的血管所具有边缘点的个数为η (对于该感兴趣区域内血管边缘点的确定与选取为公知技术，不在这里详述)，η为正整数，该感兴趣区域内的每个该边缘点的坐标为（r” Ci), i=l, 2,. . .，η,该感兴趣区域内的每个该边缘点的邻域均具有k个邻域点，k为正整数；
[0072] 设定该待配准眼底图像中血管的任一边缘点坐标为（r，c);
[0073] 由此，通过将该待配准眼底图像中血管的各个边缘点坐标代入下式I)和2)中，计算出该待配准眼底图像中血管的每个边缘点对应的全局显性度量值Ss ：[0074]
[0075]
[0076] 对于公式1)，S1 (r, c, i)为针对模板眼底图像中感兴趣区域内血管的第i个边缘点，待配准眼底图像中血管的边缘点（（r, c)为边缘点的坐标）对应的允许形变的局部隐性度量函数。对于公式2)，sg(r，c)为待配准眼底图像中血管的边缘点（（r，c)为边缘点的坐标）对应的全局显性度量函数。在公式I)和2)中，r、c为变量，根据公式I)和2)即可求出待配准眼底图像中血管的各个边缘点的Sg值。Sg为模板眼底图像上所有点局部贡献之和。sg值是一个介于O与I之间的数值。
[0077] 在式I)中，为该模板眼底图像中的该感兴趣区域内血管的第i个边缘点的第j个邻域点的横纵坐标基于广义霍夫变换（GHT)构建的R-Table空间下归一化的梯度方向，j = 1，2，. . .，k，为基于该模板眼底图像中的该感兴趣区域内血管的第i个边缘点进行的欧几里德变换，该待配准眼底图像中血管的边缘点的点方向向量，Tc为作用于模板眼底图像中感兴趣区域内血管的边缘点邻域的欧几里德变换。该欧几里德变换包括各种形式的变化，如刚体变换、扭曲、遮挡、模糊、不清晰、分辨率变化、图片尺寸变化
等，其属于公知技术。在公式I)中
为d:与
柳的点积，
为d与
的欧几里德范数。
[0078] 对于公式1)，其允许每一点的独立作用，即使整体发生了形变，模板眼底图像上的每一个点以及邻域并不会跟着发生相同的非线性形变，而且每一个点的变化可以通过一个局部欧几里德变换来近似。
[0079] 在实际实施中，该设定配准阈值是根据配准要求而设定的，例如可为O. 5,0. 7等。
[0080] 在实际实施中，在步骤4中：
[0081] 若针对各个边缘点对应求出的全局显性度量值Sg中的最大值大于等于O且小于设定配准阈值，则说明待配准眼底图像与模板眼底图像配准失败，不匹配；
[0082] 若针对各个边缘点对应求出的全局显性度量值Sg中的最大值大于等于设定配准阈值且小于1，则说明待配准眼底图像与模板眼底图像配准成功，但不完全匹配，待进一步确定；
[0083] 若针对各个边缘点对应求出的全局显性度量值Sg中的最大值等于1，则说明待配准眼底图像与模板眼底图像配准成功，且完全匹配。
[0084] 在实际实施中，在所有的边缘点对中，或多或少会存在误配准的情况，因此，在步骤4中，对于待配准眼底图像中的血管的边缘点，若没有全局显性度量值Sg等于I的边缘点且全局显性度量值Sg大于等于设定配准阈值的边缘点的个数大于等于I，则通过K-NN最近邻分类法(公知技术）与随机抽样一致性(公知技术）对Sg值大于等于设定配准阈值的边缘点进行筛选，筛除掉Ss值计算错误的边缘点，然后再进行如下判断：[0085] 对于待配准眼底图像中的血管的边缘点，若筛选后存在全局显性度量值Sg大于等于设定配准阈值的边缘点，则表明待配准眼底图像与模板眼底图像配准成功，即该待配准眼底图像与该模板眼底图像为同一个人的眼底图像，若筛选后不存在全局显性度量值Sg大于等于设定配准阈值的边缘点，则表明该待配准眼底图像与该模板眼底图像配准失败，即该待配准眼底图像与该模板眼底图像不是同一个人的眼底图像。这种通过K-NN最近邻分类法与随机抽样一致性进行的筛选做法进一步保证了配准的
稳定性、准度与精度。
[0086] 同时，为了提高速度及保证边缘检测
算法的稳定性，本发明配准方法还可引入多尺度不变空间，实行金字塔的搜索模式，这样可大大降低运算率，且由于多尺度不变空间的引入，可对不同强度的边缘都有一个很好的兼容。
[0087] 在本发明配准方法中，需要提及的是，当待配准眼底图像中存在遮挡时，模板眼底图像中选定的感兴趣区域的面积至少为待配准眼底图像中的遮挡部分面积的2倍，这样才可保证配准结果的准度与精度。
[0088] 若待配准眼底图像与模板眼底图像配准成功，且当待配准眼底图像中存在遮挡时，便可找到待配准眼底图像中的遮挡部分在模板眼底图像中的对应部分，从而对待配准眼底图像中的遮挡部分中的血管进行补全。
[0089]举例一：
[0090] 图2为一模板眼底图像，图3为待配准眼底图像，图3中的眼底图像的拍摄角度与图2不同，相对图2而言，图3发生了透视变换，并且，图3中还存在模糊。根据配准要求，将设定配准阈值定为O. 9。
[0091] 通过本发明配准方法，选定感兴趣区域，如图4，白色长方形框示出的即为感兴趣区域，感兴趣区域内的血管边缘用白色线条表示。
[0092] 对于图3，求出其存在Sg值为O. 98的边缘点，O. 98大于设定配准阈值O. 9，因此，图2示出的模板眼底图像与图3示出的待配准眼底图像为同一个人的眼底图像，如图5，图4中感兴趣区域中的血管在图5中的分布被清晰示出。
[0093]举例二 ：
[0094] 图6为一模板眼底图像，图7为待配准眼底图像，相对图6而言，图7中的眼底图像发生了扭曲且有黑色遮挡。根据配准要求，将设定配准阈值定为O. 8。
[0095] 通过本发明配准方法，选定感兴趣区域，如图8，白色长方形框示出的即为感兴趣区域，感兴趣区域内的血管边缘用白色线条表示。
[0096] 对于图7，求出其存在Sg值为O. 8的边缘点，O. 8等于设定配准阈值O. 8，因此，图6示出的模板眼底图像与图7示出的待配准眼底图像为同一个人的眼底图像。由于图7示出的待配准眼底图像中存在黑色遮挡，因此，通过本发明配准方法找到图7中遮挡部分在图6中的对应部分，对图7中的遮挡部分内的血管进行补全，遮挡部分内补全后的血管分布如图9所示。
[0097] 由此可见，对于发生了刚体变换、扭曲、遮挡，或者变得模糊、不清晰，或者图片分辨率发生了变化、图片尺寸发生了变化等的待配准图像而言，通过本发明配准方法均能很好地进行配准工作。
[0098] 本发明还提出了一种基于上述眼底图像的配准方法实现的眼底图像中视盘神经的测量方法，它包括如下步骤：[0099] 通过上述的眼底图像的配准方法找到与模板眼底图像配准成功的待配准眼底图
[0100] 对该待配准眼底图像中的视盘神经进行测量，包括如下步骤：
[0101] 将该待配准眼底图像等分成N个扇区（N为大于I的正整数，一般N为6);
[0102] 在每个扇区中，利用二维度量模型(公知技术)，沿视盘方向寻找视盘神经的外轮廓和内轮廓的边缘，然后，在每个边缘位置用最小二乘法进行位姿的亚像素测量，从而完成对视盘神经的测量。
[0103] 本发明还提出了一种基于上述的眼底图像的配准方法实现的眼底图像中血管的测量方法，它包括如下步骤：
[0104] 通过上述的眼底图像的配准方法找到与模板眼底图像配准成功的待配准眼底图
[0105] 对该待配准眼底图像中的血管进行测量，包括如下步骤：
[0106] 在该待配准眼底图像中，通过动脉血管、静脉血管的颜色与背景颜色的差别，以及利用直线的同极性特征，结合血管边缘梯度的变化，通过高斯模型(公知技术）与血管剖面的匹配，利用最小二乘法对血管边缘进行亚像素逼近，从而测量出血管的直径。
[0107] 在实际实施上述两个本发明测量方法中，由于测量中不可避免地存在误差，因此可对某些测量进行修正，实现测量的准确性与稳定性。
[0108] 另外，本发明还提出了一种基于上述的眼底图像的配准方法实现的眼底图像的拼接方法，它包括如下步骤：
[0109] 通过上述的眼底图像的配准方法找到与模板眼底图像配准成功的多个待配准眼底图像，该多个待配准眼底图像分别为从不同方位对一个人的眼球进行拍摄后得到的眼底图像；
[0110] 将该多个待配准眼底图像映射到同一个空间中，并进行几何校正，该几何校正可消除因角度带来的畸变；
[0111] 通过极性不同性特征，对每个该待配准眼底图像中的血管分支点进行定位；
[0112] 通过定位好的血管分支点对该多个待配准眼底图像进行拼接，形成眼底整体图像。
[0113] 在实际实施中，对拼接后得到的眼底整体图像可进行颜色融合(公知技术)，以消除拼接前各个待配准眼底图像的边界带来的阴影所造成的影响。
[0114] 图10示出的是对某个人的多个待配准眼底图像拼接后形成的一张眼底整体图像，而图11示出的是对某个人的多个待配准眼底图像拼接后形成的一张眼底整体图像进行颜色融合后得到的图像。
[0115] 在本发明中，配准方法、测量方法、拼接方法不仅可以用于人的眼底图像，还可用于动物的眼底图像。
[0116] 本发明的优点是：
[0117] 本发明眼底图像的配准方法利用广义hough (霍夫）变换和多尺度空间的不变特征实现了对模板眼底图像与待配准眼底图像间的配准，并且，当模板眼底图像与待配准眼底图像之间存在分辨率不同、尺寸不同、几何畸变等干扰，待配准眼底图像中存在遮挡、模糊等干扰时，本发明眼底图像的配准方法也能很好地完成配准工作，且配准速度快、准度与精度高。另外，K-NN最近邻分类法与随机抽样一致性可实现配准样本的筛选，提高了配准准度。
[0118] 基于本发明眼底图像的配准方法实现的眼底图像中视盘神经的测量方法、眼底图像中血管的测量方法可以分别很好地实现对视盘神经、血管亚像素测量，测量结果精确度闻。
[0119] 基于本发明眼底图像的配准方法实现的眼底图像的拼接方法可精确地将一个人的各个不同方位角度的眼底图像进行拼接，且该拼接为一种带几何校正的拼接，是一种无缝拼接，拼接效果好。
[0120] 上述是本发明的较佳实施例及其所运用的技术原理，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案
基础上的等效变换、简单替换等显而易见的改变，均属于本发明保护范围之内。
