基于便携式数字化眼底照相机的视网膜血管三维重建方法
阅读：0发布：2020-08-26
专利汇可以提供基于便携式数字化眼底照相机的视网膜血管三维重建方法专利检索，专利查询，专利分析的服务。并且本 发明 属于医学 图像处理 及应用领域，提供了一种基于便携式数字化 眼底 照相机 的 视网膜 血管 三维重建 方法。本发明首先使用便携式数字化 眼底图像 ，利用照相机位移拍摄两幅眼底图像，要求两幅图像都包含视网膜视神经盘结构，并产生一定的偏移量；然后对视网膜血管进行分割并进行特征点的提取，并用本发明的基于视网膜血管解剖层次特征点匹配与三维血管重建模型对视网膜血管进行三维重建。本发明的方法能够对现有的基于二维的眼底血管观察和分析提供一种新的补充。，下面是基于便携式数字化眼底照相机的视网膜血管三维重建方法专利的具体信息内容。
1.一种基于便携式数字化眼底照相机的视网膜血管三维重建方法，其特征在于，其包括以下步骤：
步骤101、利用便携式数字化眼底照相机获取同一眼球的两幅偏移眼底图像并记录数字眼底镜成像的相关参数，两幅偏移眼底图像都包含视网膜视神经盘结构，并产生一定的偏移量；
步骤102、通过图像处理方法对所获得的两幅偏移眼底图像进行预处理操作；
步骤103、对预处理后获得的图像的局部熵的纹理进行提取，利用FCM算法对图像中的视网膜血管进行分割；
步骤104、利用基于距离约束的水平集演化方法对图像中眼底视神经盘进行自动分割，将分割后视网膜血管与视神经盘的二值图像进行掩模操作，获得视网膜血管的起始点，追踪出主要的血管树结构；
步骤105、对视网膜血管的起始点进行标定，追踪分割血管骨架，计算血管骨架的拓扑层次，并对血管树上的交叉点进行标定；
步骤106、利用血管解剖定义模型对血管骨架上的分叉点进行标定，对同一层次的血管特征点进行配对，获得计算三维变换矩阵的血管点集；
步骤107、通过标定的血管点匹配，并由便携式眼底照相机的成像参数计算出三维变换矩阵。
2.如权利要求1所述的视网膜血管三维重建方法，其特征在于，在步骤102中，对采集到的偏移眼底图像提取绿色通道，再进行灰度转换，然后利用非下采样的离散小波变换方法对获得的视网膜图像进行增强以获得视网膜灰度图像。
基于便携式数字化眼底照相机的视网膜血管三维重建方法
技术领域
背景技术
[0002] 眼底视网膜微血管是人体的血管循环系统的一部分，由于可以通过眼底镜直接进行观察，对于临床许多影响心血管系统的疾病如糖尿病、高血压等的早期诊断与预后评判具有重要意义。传统的眼底检查模式是由眼科医师在患者散瞳后直接检查眼底进行观察，但是对眼底的改变不能进行有效的记录。近年来随着数字化技术不断发展，数字照相可以对图像进行方便的获取、保存和传输。数字眼底照相机因为可以对眼底图像进行数字化采集，广泛应用于临床和社区的眼底检查，对于眼部已经全身的疾病监测具有重要意义[0003] 但是国内外现有的眼底影像仪器一般只能得到眼底的二维图像，眼科读片人员基于该二维的眼底图像上的结构和异常进行观察和分析。而眼球本身是三维的球形结构，形成的投影二维图像难以准确的反映血管的定量改变。因此，如果能在现有的数字眼底镜基础上将眼底重要的血管结构三维重建出来，具有重要的意义。目前，国内外对眼底图像三维重建的研究尚未开展。
[0004] 庞云阶等【傅晓烨，田景成，庞云阶.一种眼底图象的三维重建方法[J].中国图象图形学报1997,2(7):509-511】，根据二维图像构造中间几何图素，用传统的计算机图形学技术绘制了眼底的三维示意图，开始了基于眼底图像三维重建的研究。这种方法对逆投影重建具有一定的参考价值，但是它仅使用中间几何图素代表血管的粗细和走向，因此不能真实重建正常的眼底，也不能重现眼底的疾病改变，因此实际临床意义不大。
[0005] Corona等【Corona,E.,Mitra,S.,Wilson,M.,etal.Digital stereo image analyzer forgeneratingautomated 3-D measures ofopticdisc deformation inglaucoma[J].IEEE Transactions on MedicalImaging,2002,21(10):1244-1253.】研究了青光眼视盘畸形的局部三维图像重建，采用眼底相机的偏心角采集得到眼底视盘的立体观测图像，结合功率倒谱和零均值归一化互相关算法得到视盘的深度信息。
[0006] Deguchi等【Deguchi,K.,Kawamata,D.,Mizutani,K.,etal.3D fundus shape reconstructionanddisplayfrom stereo fundus images[J].IEICE Transactions onInformation andSystems,2000,E83D(7):1408-1414.】将接触式放大镜与眼底相机的透镜组用单个透镜模型代替，计算得到透镜模型参数，采用眼底相机转动微小角度拍摄得到立体眼底图像组，三维恢复并显示了眼底图像。
[0007] 李超等【李超,梁斌,陈武凡,吴德正.由二维眼底正投影图像向三维曲面逆投影成像的重建算法[J].中国生物医学工程学报,2002,21(4):346-350.】认为，如果在底片上清晰成像，那么眼底必位于焦点上，提出了中心扩散逆投影方法，先找出眼底图像上黄斑区的中心，直接定位于三维曲面的中心位置，然后按照对应关系把黄斑中心周围的点定位于曲面上相应位置。
[0008] 陈骥等【陈骥,彭承琳.眼底图像的三维重建[J].生物医学工程学杂志,2008,25(01):177-181.】将眼球分为正常眼球与屈光异常眼，采用投影逆变换方法，正常眼球模拟为圆球，半径采用经验值，屈光异常眼模拟为椭球体，长短轴采用眼科超声检查仪测量得到。
[0009] Espinosa—Romero等【Espinosa-Romero,A.,Martinez-Perez,M.E.Optical 3D reconstruction of retinalblood vessels from asequenceof views[C].8th InternationalSymposiumonLaser Metrology,Merida,Mexico，2005:605-612.】提出采用相机白校准的方法获得眼底三维坐标，并进行了改进，提出使用改进的相机.眼球的自校准方法获得眼底三维坐标。在拍摄过程中，通过旋转眼底相机获得患者眼底不同部位的图像，为了获得较大的重叠区域，要求相机视轴的旋转角度不能超过眼底相机视场角的1/4，采用2组各10幅图恢复眼底三维模型。
发明内容
[0010] 本发明针对现有技术存在的问题和不足，提供一种基于便携式数字化眼底照相机的视网膜血管三维重建方法。
[0011] 本发明是通过下述技术方案来解决上述技术问题的：
[0012] 本发明提供一种基于便携式数字化眼底照相机的视网膜血管三维重建方法，其特点在于，其包括以下步骤：
[0013] 步骤101、利用便携式数字化眼底照相机获取同一眼球的两幅偏移眼底图像并记录数字眼底镜成像的相关参数，两幅偏移眼底图像都包含视网膜视神经盘结构，并产生一定的偏移量；
[0014] 步骤102、通过图像处理方法对所获得的两幅偏移眼底图像进行预处理操作；
[0015] 步骤103、对预处理后获得的图像的局部熵的纹理进行提取，利用FCM算法对图像中的视网膜血管进行分割；
[0016] 步骤104、利用基于距离约束的水平集演化方法对图像中眼底视神经盘进行自动分割，将分割后视网膜血管与视神经盘的二值图像进行掩模操作，获得视网膜血管的起始点，追踪出主要的血管树结构；
[0017] 步骤105、对视网膜血管的起始点进行标定，追踪分割血管骨架，计算血管骨架的拓扑层次，并对血管树上的交叉点进行标定；
[0018] 步骤106、利用血管解剖定义模型对血管骨架上的分叉点进行标定，对同一层次的血管特征点进行配对，获得计算三维变换矩阵的血管点集；
[0019] 步骤107、通过标定的血管点匹配，并由便携式眼底照相机的成像参数计算出三维变换矩阵。
[0021] 在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
[0022] 本发明的积极进步效果在于：
[0024] 图1为本发明方法的流程图；
[0025] 图2为本发明方法的数字眼底照相机拍摄原理图；
[0026] 图3为本发明方法的眼底图像的分割结果，其中A为原始眼底图像，B为A对应的分割结果；
[0027] 图4为本发明方法的视神经盘分割结果，其中A为原始眼底图像；B为A视神经盘分割结果；
[0028] 图5为本发明方法的血管特征点的提取结果，其中左图为分割血管树；中图为本方法获得的血管起始点；右图为本方法追踪到的血管树特征点；
[0029] 图6为本发明方法的主要血管树的识别结果，其中左图为追踪得到的主要血管树；右图为主要血管树在原图上的显示结果；
[0030] 图7为本发明方法的在一个血管树上的血管特征点标定结果，其中A图为分割出的血管；B图为A图血管骨架与血管特征点标定结果；
[0031] 图8为本发明方法的视网膜血管特征点的匹配示意图；
[0032] 图9为本发明方法的重建的3D视网膜血管图像。
具体实施方式
[0033] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0034] 本发明结合同一被拍摄对象的视网膜血管具有相同的解剖学结构特点，没有采用的传统的基于图像角点提取与极线约束得到匹配特征点的计算方法，而是提出了一种基于眼底血管解剖学特点的特征点匹配方法并对获得的双幅眼底图像进行了三维重建。
[0035] 方法的流程图见图1，具体通过以下步骤实现：
[0036] 步骤101、使用便携式数字化眼底照相机获取同一眼球的两幅偏移眼底图像并记录数字眼底镜成像的相关参数，两幅偏移眼底图像都包含视网膜视神经盘(optic disk，OD)结构，并产生一定的偏移量。
[0037] 首先，利用便携式数字化眼底照相机(苏州康捷公司，型号KJ25)拍摄要用于重建的视网膜图像。数字化眼底照相机是一个CCD相机，带有一个低倍显微镜摄像头和照明装置，它用来拍摄眼睛的内表面，包括视网膜、视盘、黄斑和其他结构。尽管眼睛和眼底相机是复杂的，但是，在这里描述的分析中，他们作为一个单镜头被结合和简化。拍摄时相机和眼睛的距离通过镜桶拍摄装置保持近似恒定。成对图像的采集原理如图2，平移便携式数字眼底照相机，并拍摄眼底图像，此时眼球的相对位移和旋转变化的图像与数字眼底照相机系统的成像参数一同被记录下来进行后续操作。
[0038] 步骤102、通过图像处理方法对所获得的两幅偏移眼底图像进行预处理操作，以提高视网膜血管的对比度。
[0039] 为了提高视网膜血管的对比度，对采集到的RGB眼底图像(即偏移眼底图像)提取绿色通道，然后进行灰度转换，再利用非下采样的离散小波变换(Undecimated discrete wavelet transform，UDWT)方法对获得的视网膜图像进行增强以获得视网膜灰度图像。
[0040] 采用非下采样离散小波变换【Kui Jiang,Zhixing Zhou,Xingyun Geng,Xiaofeng Zhang,Lemin Tang,Huiqun Wu,Jiancheng Dong.Isotropic undecimated wavelet transform fuzzy algorithm for retinal blood vessel segmentation.Journal of Medical Imaging and Health Informatics.2015,5(7):1524-1527.】对二维图像信号进行分解。小波变换通过平移基本小波(母小波)可获得信号的时间信息，而通过缩放小波的尺度可获得信号的频率特性。对基本小波(母小波)的缩放和平移操作是为了计算小波的系2
数，这些系数代表小波和局部信号之间的相互关系。本实验中，设定小波母函数:ψ(t)∈L(R)，其傅里叶变换Ψ(ω)满足如下的允许条件：
数，这些系数代表小波和局部信号之间的相互关系。本实验中，设定小波母函数:ψ(t)∈L(R)，其傅里叶变换Ψ(ω)满足如下的允许条件：
[0041]
[0042] 根据视网膜血管纹理自身的特点，本实验中主要用二维离散小波，将图像信号分解成沿行和列的一维问题来处理。离散小波变换针对尺度参数a、平移参数b进行离散化，离散小波变换(DWT)的定义为：
[0043] 任意L2(R)空间中的x(t)DWT为： 其中，获得信号的时间信息，而通过缩放小波的尺度可获得信号的频率特性。对基本小波(母小波)的缩放和平移操作是为了计算小波的系数，这些系数代表小波和局部信号之间的相互关系。二维离散小波可以提取眼底图像的低频系数、水平高频系数、垂直高频系数和对角高频系数，但在传统的离散小波变换在每次计算小波系数的过程中会丢弃前一步的尺度和小波结果，形成类金字塔样分解。而UWT在计算DWT过程中，使用一个N×N环形平移的矩阵TX来代替原来的X矩阵。如果X矩阵是一维的矢量X＝[X0；X1；...；XN-2；XN-1]，则[0044] TX＝[Xn-1；X0；X1；…；Xn-2],T-1X＝[X1；X2；…；Xn-2；X0]
[0045] 然后DWT计算一次X，再计算一次TX，并将各自得到的DWT系数进行融合来形成UWT的小波系数【D.B.Percival,A.T.Walden.Wavelet Methods for Time Series Analysis.Cambridge University Press,Cambridge(2000)】。然后，通过对小波系数的重构得到不同尺度下的视网膜图像。
[0046] 本实验中，通过UWT得到了视网膜图像不同尺度的小波系数，然后根据不同的目的对小波系数进行相应的处理，然后再对处理后的小波系数进行图像重构从而完成图像的处理。重构后的眼底图像就得到了增强。视网膜血管与视网膜图像背景的对比度明显增强。
[0047] 步骤103、对该视网膜灰度图像的局部熵的纹理进行提取，利用FCM算法对视网膜血管进行分割。
[0049] 采用基于模糊C-均值聚类分类器的视网膜血管像素分类。模糊聚类分析就是把一个模糊的不确定的没有类别标记的样本按照某种准则划分为若干个子群集，让相似的样本尽可能归为一类，而把不相似的样本划分到不同的类中。是一种无监督模式识别。模糊聚类算法是一种基于函数最优方法的聚类算法，需要使用微积分计算技术求最优代价函数，在基于概率算法的聚类方法中使用概率密度函数。
[0050] 模糊集合最根本的方法是其所包含元素及其相应的隶属度用函数表示出来，模糊集合的数学定义[13]如下:
[0051] 称A是给定论域U上的一个模糊子集的含义是：对任何u∈U都对应一个唯一的实数μA(u)∈[0，1]，有序对集合{u，μA(u)|u∈U}均可作为U上的模糊集，μA(u)表示u对A的隶属度。这表明构造了一个映射：
[0052] μA(u):U→[0,1],u→μA(u)
[0053] 这个映射称为模糊集A的隶属度函数。一个定义在空间X＝{x}上的隶属度函数就定义了一个模糊集合A，或者叫定义在论域X＝{x}上的模糊子集 对于有限个对象x1，x2，……，xn模糊集合～A可以表示为：
[0054] 模糊C-均值聚类(FCM)的核心思想是寻求合适的隶属度和聚类中心，使得聚类内代价函数的方差和迭代误差最小，代价函数的值是像素到聚类中心L2测度的加权累积和，表达形式为：
[0055]
[0056] J(U，V)表示区域的像素到聚类中心加权距离的平方和。uik表示xi属于第k类区域的隶属度。m为模糊指数，m∈[1,∞]，表示控制分类矩阵U的模糊程度，是隶属度的加权指数，决定分类结果的模糊程度，其值越大分类越模糊。同时满足约束条件: 求解此类极小值的问题，可以通过拉格朗日乘数法来求解。首先，由于矩阵u中各列独立，则有：
[0057]
[0058] 求解极小值问题则转化为求解 的极小值，且在约束条件假设拉格朗日函数F为: 通过求解偏导数
可得出，在约束条件下，其隶属函数和聚类中心的更新依赖于以下两个函数：
可得出，在约束条件下，其隶属函数和聚类中心的更新依赖于以下两个函数：
[0059]
[0060] 由这两个公式得出最佳模糊分类矩阵和聚类中心，这一过程可以通过迭代方法实现。
[0061] 根据需要，设定FCM的类别数为2，隶属度的加权指数m取2。最大迭代次数为100次，判别误差为1e-5，提取眼底图像中属于血管的像素点(图3)。经过测试，本血管分割方法具有较高的灵敏度(0.82)，算法运行迭代至函数收敛次数平均为50次左右，实现分割的平均时间13.4s。
[0062] 步骤104、利用基于距离约束的水平集演化方法对眼底视神经盘进行自动分割。
[0063] 由于要获得眼底血管的起始点位置信息，本发明需要对眼底的视神经盘结构进行分割，针对视网膜神经盘通常为圆盘状结构，而且亮度以中心向四周渐变的特点，首先构造一个各项同性的傅里叶平滑滤波器如下(1)：
[0064]
[0065] 通过获得眼底上的滤波器得到的系数可以获得初步的视神经盘信息，并以此得到视神经盘的初始中心。在此基础上构造一个以初始中心为中心，长度大于视神经盘直径的方形区域作为感兴趣区域。在此区域内首先构造一个时间相关的水平集模型：
[0066]
[0067] 然后利用基于距离约束的水平集演化方法对眼底视神经盘进行自动分割(图4)。[C.Li,C.Xu,C.Gui and M.D.Fox,Distance regularized level set evolution and its application to image segmentation,IEEE Trans.Image Process.19(2010),3243–
3254.]
3254.]
[0068] 将分割后视网膜血管与视神经盘的二值图像进行掩模操作，可以获得视网膜血管的起始点(图5)，并由此可以追踪出主要的血管树结构(图6)。
[0069] 步骤105、对起始血管点进行标定，追踪分割血管骨架，计算血管骨架的拓扑层次，并对血管树上的交叉点进行标定；
[0070] 如图2所示，本发明首先按照图像4邻域法则，识别出眼底血管网络上的特征点如分叉点和终末点。然后根据建立的特征点，并根据图2的层次标定方法，对眼底血管骨架网络进行重新标定，标定的结果如图3所示。本方法提出了一种基于解剖学特征的血管树的分支的编号方法，该方法首先依据视网膜的解剖学特点通常由按照部位和血管性质的不同可以分为颞侧上动脉(SRTA)、颞侧下动脉(IRTA)、颞侧上静脉(SRTV)、颞侧下静脉(IRTV)，鼻侧上动脉(NRTA)、鼻侧下动脉(NRIA)、鼻侧上静脉(NRTV)、鼻侧下静脉(NRIV)主要的血管树。以视神经盘作为视网膜树发出的起点作为一支血管树的根节点，所有的血管树上的分叉子节点都是由根节点派生出来的。节点是按由上往下，由根节点到子节点顺序编号，首先将根编号发出的分支编号为1；然后根节点向下发出的子节点的分支编号+1，以此类推，并由此对一个分割出的血管树上的特征点建立索引号，并将对应的索引号命名规则定义为SRTA.n.m,其中SRTA表示解剖学结构，n表示拓扑层次，m表示该层次下第几个特征点。比如SRTA.2.1表示为分割的颞侧上动脉的第2拓扑层次的第1个分叉点，由此完成对分割的血管树进行标定(图7)。
[0071] 步骤106、利用匹配后的并用血管解剖定义模型对血管骨架上的分叉点进行标定，对同一层次的血管特征点进行配对。
[0072] 将同一索引号的血管特征点进行配对，获得下一步计算三维变换矩阵的血管点集。
[0073] 步骤107、通过标定的血管点匹配，并由便携式眼底照相机的成像参数计算出三维变换矩阵(图8)。
[0074] 依靠从2D图像重建3D的理论，通过3×3的单数矩阵(基本矩阵A)来表现的2张单一场景的图像是由极线几何所连续的。基本矩阵A得到了2张图像上所有的几何信息，并且必须马上为重建做评估。一个标准线性相机配准矩阵K有以下项：
[0075]
[0076] f是像素的焦距，δ是宽高比，(u0,v0)是主点坐标，s是倾斜因素(矩阵像素倾斜为0)。根据部分实验测试结果，为了获得基本矩阵F，最少需要7个相应的基准点。事实上，越多的点越精细。每个点的3D坐标，Xi能被计算出来。为了获得一个平滑的重建，血管分段中的相应点可以用立方函数被平滑和插入。采用一种迭代特征线性方法(Iterative-Eigen)来进行3D点的三角测量，等式可以被写成：
[0077]
[0078] piT和p′iT是P和P’各自的第i行，wi，j和w′i，j是重要的因素在重复的第j步中：
[0079] wi，j＝p3TXi，j-1，w′i，j＝p′3TXi，j-1
[0080] 在wi，0和w′i，0开始重复时被建为1为了找到Xi，0最初的解法。
[0081] 由此对血管树上的所有点进行三维变换，得到了三维重建后的视网膜血管(图9)。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于半监督协同训练的模拟电路早期故障诊断方法 | 2020-06-01 | 1 |
| 一种图像降噪方法及系统 | 2020-07-05 | 1 |
| 一种基于联合稀疏和先验约束的压缩感知图像重构方法 | 2021-06-16 | 0 |
| 一种基于视频数据的物像增强方法 | 2021-09-17 | 2 |
| 使用过程变量传感器信号的过程装置诊断 | 2022-07-05 | 2 |
| 一种磁共振参数匹配方法、装置及医疗图像处理设备 | 2020-12-30 | 2 |
| 设备状态检测装置 | 2021-06-06 | 2 |
| 基于小波域多尺度Markov网模型的图像分割方法 | 2021-10-15 | 2 |
| 一种基于小波变换的图像主观视觉效果增强方法 | 2020-07-23 | 2 |
| 便携式无创血糖检测设备及方法 | 2020-08-15 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈