首页 / 专利库 / 地热能 / 裂隙网络 / 基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置

基于深度神经网络膜病图像序列化特征提取与分类方法及装置

阅读:497发布:2020-05-20

专利汇可以提供基于深度神经网络膜病图像序列化特征提取与分类方法及装置专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于 深度神经网络 的 角 膜 病 图像序列 化特征提取与分类方法及装置。包括如下步骤:1)把角膜病裂隙灯图像按照眼表-角膜的自然界域进行区域标注的结果作为 训练数据 集,并利用滑动窗口对角膜图像中病变主体区域 采样 ,形成区域子 块 集合;2)对每张角膜图像中所有区域子块,通过DenseNet模型提取其特征,获取区域向量化特征表示;3)将特征提取结果序贯链接组合,保留区域子块之间空间结构关系,并利用LSTM(长短时记忆模型)对其处理,形成角膜图像特征,并进行分类。本发明将深度序列学习模型应用于角膜 疾病 分类诊断。相比一般图像分类 算法 ,本发明对角膜病诊断中区别性关键信息进行建模,有效保留角膜病特征空间结构。,下面是基于深度神经网络膜病图像序列化特征提取与分类方法及装置专利的具体信息内容。

1.一种基于深度神经网络膜病图像序列化特征提取与分类方法,其特征在于,包括如下步骤:
1)把角膜病裂隙灯图像按照眼表-角膜的自然界域进行区域标注的结果作为训练数据集,并利用滑动窗口对角膜图像中病变主体区域进行采样,形成区域子集合;
2)对每张角膜图像中的所有区域子块,通过DenseNet模型进行特征提取,获取区域的向量化特征表示;
3)将特征提取结果进行序贯链接组合,从而保留区域子块之间的空间结构关系,并利用长短时记忆模型对特征序列进行处理,形成角膜图像特征,并进行分类。
2.如权利要求1所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法,其特征在于,所述的步骤1)具体包括以下子步骤:
101)将角膜病裂隙灯图像的病变主体区域用多边形进行标识,勾勒出角膜病图像病变区域轮廓,以形成训练数据集;轮廓由顶点集C={c0,c1,…,cn-1}表示,其中ci=(xi,yi),(xi,yi)为顶点ci的坐标,i=0,1,2,…,n-1;相邻两个顶点构成一条边界ei,边界集合E=(e0,e1,…,en-1)通过顶点表示为以下形式:
102)对于图像中每个像素点,利用射线法判断其是否在病变主体内部;其具体方法是,令图像高度为h,宽度为w,对于待测像素点(xi,yk),xi∈[0,h),yk∈[0,w),作一条从该待测像素点到图像边缘的线段lik=((x0,yk),(xi,yk)),计算线段lik对表示病变主体边界的多边形边界集合E的穿越次数;生成与图像相等大小的掩膜M,若穿越次数为奇数,则点(xi,yk)属于病变主体区域,掩膜M上对应(xi,yk)位置像素点值记为1;反之,若穿越次数为偶数,则点(xi,yk)处于病变主体区域外,掩膜M上对应(xi,yk)位置像素点值记为0;若该点在多边形边界集合上,则直接判定其在多边形内部;
103)对于每张图像中的病变主体区域,首先计算得到其外接矩形的中心位置,再以中心位置为圆心,得到Ks+1个半径为Ri=i*r,i∈[0,Ks]的同心圆;在每个同心圆上通过边长为lw的滑动窗口对病变主体区域进行采样,得到一系列描述病变主体区域的图像子块;对于位于半径为Ri的同心圆上的子块pij,将其归入子块集合Si当中;第i个从同心圆得到的子块集合包含ni个子块,表示为 针对所有的同心圆得一系列子块集

3.如权利要求1所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法,其特征在于,所述的步骤2)具体包括以下子步骤:
201)使用基于DenseNet深度残差神经网络模型对图像病变区域中的子块进行建模,对每个子块pij,网络输出端输出一个kp维特征向量vij;则对于每个从同心圆得到的子块集合对应地得到一个向量集合 对于子块集合
对应地得到一系列子块特征向量集合
202)对于每个从同心圆得到的子块集合所对应向量集合 对该
集合中所有向量进行最大池化(Max-pooling)计算,得到描述该同心圆的特征向量vlayeri;
从病变主体区域的圆心出发,由内向外序贯链接每个同心圆所对应特征向量,得到描述角膜病图像病变主体区域的特征向量序列 该特征向量保留
了病变主体区域中子块之间所固有的空间结构。
4.如权利要求1所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法,其特征在于,所述的步骤3)具体包括以下子步骤:
301)将保留了病变主体区域中子块之间所固有空间结构的特征向量序列S={Vlayer0,Vlayer1,…,VlayerK_s}输入循环神经网络LSTM进行建模,网络输出层输出一个ks维特征向量vs,特征向量vs用于作为角膜病图像病变主体区域的序列化特征向量;
302)利用全连接分类器对向量vs进行建模,得到维度为kN维的分类向量化表示,其中kN为待预测角膜病的类别数目,并通过Softmax函数进行归一化操作,使输出对应每个角膜病分类结果的概率值;
303)将交叉熵损失函数作为网络训练的损失函数,损失函数的定义如下:
x表示输入的图像病变主体区域序列化特征向量,class
表示该角膜病图像所标注的类别标签,j表示第j种角膜病类别;通过最小化损失对网络进行训练,使得网络对角膜病类型预测值接近真实值,训练完毕后得到用于识别图像中角膜病的分类模型。
5.一种基于深度神经网络的角膜病图像序列化特征提取与分类装置,其特征在于,包括:
采样模块,用于把角膜病裂隙灯图像按照眼表-角膜的自然界域进行区域标注的结果作为训练数据集,并利用滑动窗口对角膜图像中病变主体区域进行采样,形成区域子块集合;
特征提取模块,用于对每张角膜图像中的所有区域子块,通过DenseNet模型进行特征提取,获取区域的向量化特征表示;
分类模块,用于将特征提取结果进行序贯链接组合,从而保留区域子块之间的空间结构关系,并利用长短时记忆模型对特征序列进行处理,形成角膜图像特征,并进行分类。
6.如权利要求1所述的基于深度神经网络的角膜病图像序列化特征提取与分类装置,其特征在于,所述的采样模块包括:
边界获取子模块:用于将角膜病裂隙灯图像的病变主体区域用多边形进行标识,勾勒出角膜病图像病变区域轮廓,以形成训练数据集;轮廓由顶点集C={c0,c1,…,cn-1}表示,其中ci=(xi,yi),(xi,yi)为顶点ci的坐标,i=0,1,2,…,n-1;相邻两个顶点构成一条边界ei,边界集合E=(e0,e1,…,en-1)通过顶点表示为以下形式:
掩膜获取子模块:用于对于图像中每个像素点,利用射线法判断其是否在病变主体内部;其具体方法是,令图像高度为h,宽度为w,对于待测像素点(xi,yk),xi∈[0,h),yk∈[0,w),作一条从该待测像素点到图像边缘的线段lik=((x0,yk),(xi,yk)),计算线段lik对表示病变主体边界的多边形边界集合E的穿越次数;生成与图像相等大小的掩膜M,若穿越次数为奇数,则点(xi,yk)属于病变主体区域,掩膜M上对应(xi,yk)位置像素点值记为1;反之,若穿越次数为偶数,则点(xi,yk)处于病变主体区域外,掩膜M上对应(xi,yk)位置像素点值记为0;若该点在多边形边界集合上,则直接判定其在多边形内部;
子块集合获取子模块:对于每张图像中的病变主体区域,首先计算得到其外接矩形的中心位置,再以中心位置为圆心,得到Ks+1个半径为Ri=i*r,i∈[0,Ks]的同心圆;在每个同心圆上通过边长为lw的滑动窗口对病变主体区域进行采样,得到一系列描述病变主体区域的图像子块;对于位于半径为Ri的同心圆上的子块pij,将其归入子块集合Si当中;第i个从同心圆得到的子块集合包含ni个子块,表示为 针对所有的同心圆
得一系列子块集合
7.如权利要求1所述的基于深度神经网络的角膜病图像序列化特征提取与分类装置,其特征在于,所述的特征提取模块包括:
子块特征向量集合获取子模块:用于使用基于DenseNet深度残差神经网络模型对图像病变区域中的子块进行建模,对每个子块pij,网络输出端输出一个kp维特征向量vij;则对于每个从同心圆得到的子块集合 对应地得到一个向量集合
对于子块集合 对应地得到一系列子块特征向量集

特征向量序列获取子模块:用于对于每个从同心圆得到的子块集合所对应向量集合对该集合中所有向量进行最大池化(Max-pooling)计算,得到描述
该同心圆的特征向量vlayeri;从病变主体区域的圆心出发,由内向外序贯链接每个同心圆所对应特 征向 量 ,得 到描 述角膜 病图 像病变 主体区 域的 特征向 量序 列该特征向量保留了病变主体区域中子块之间所固有的空
间结构。
8.如权利要求1所述的基于深度神经网络的角膜病图像序列化特征提取与分类装置,其特征在于,所述的分类模块包括:
LSTM建模子模块:用于将保留了病变主体区域中子块之间所固有空间结构的特征向量序列S={Vlayer0,Vlayer1,…,VlayerK_s}输入循环神经网络LSTM进行建模,网络输出层输出一个ks维特征向量vs,特征向量vs用于作为角膜病图像病变主体区域的序列化特征向量;
角膜病分类子模块,用于利用全连接分类器对向量vs进行建模,得到维度为kN维的分类向量化表示,其中kN为待预测角膜病的类别数目,并通过Softmax函数进行归一化操作,使输出对应每个角膜病分类结果的概率值;
网络训练子模块,用于将交叉熵损失函数作为网络训练的损失函数,损失函数的定义如下: x表示输入的图像病变主体区域序列化特征向量,
class表示该角膜病图像所标注的类别标签,j表示第j种角膜病类别;通过最小化损失对网络进行训练,使得网络对角膜病类型预测值接近真实值,训练完毕后得到用于识别图像中角膜病的分类模型。
9.一种基于深度神经网络的角膜病图像序列化特征提取与分类装置,其特征在于,包括存储器和处理器;
所述存储器,用于存储计算机程序
所述处理器,用于当执行所述计算机程序时,实现如权利要求1~4任一项所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1~4任一项所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法。

说明书全文

基于深度神经网络膜病图像序列化特征提取与分类方法

及装置

技术领域

[0001] 本发明涉及医疗图像辅助诊断领域,尤其涉及一种提取保持了角膜病病变区域子空间约束关系的序列化特征,完成角膜病图像类型分类的方法。

背景技术

[0002] 利用计算机视觉辅助进行医学图像特征分析与疾病诊断是具有实际应用意义的一项关键技术,也是计算机视觉技术应用落地的关键领域。角膜病是全球特别是发展中国家发病率高、失明率高的眼科主要疾病,全国有逾1000万角膜病患者,其中400万人因此失明或导致严重视障碍。利用机器学习技术对疾病图片进行分析诊断,能够辅助临床医生对疾病做出快速准确的诊断,提高各级医院各层级医生的诊断平,可以帮助基层医院与上级医院构建成可靠的网络,达到同质化的诊疗水平,还可以改善诊断流程,改变传统的医学教育模式,因此,计算机视觉辅助的医学图像特征分析与疾病诊断已成为计算机科学与医学学科交叉领域的热点。
[0003] 在传统基于深度学习的图像分类算法,一般利用卷积神经网络对图像特征进行提取和特征压缩,将提取得到的特征映射到一个高维空间当中,形成特征向量,再利用分类算法对特征向量进行分类。但是,这种分类方法忽视了图像视觉信息对疾病进行表示的内蕴空间模式,并且在对图像进行特征提取和特征压缩过程中,容易忽视不同疾病种类辨析过程中重要的、但又是微妙的局部细微信息。因此难以取得令人满意的分类精度,且无法对分类结果提供合理解释。
[0004] 利用序列化特征学习方法能够有效弥补上述传统图像分类模型的不足。

发明内容

[0005] 本发明的目的是克服现有计算机视觉辅助医学图像特征分析与分类技术的不足,提出一种基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置,它能够提取保持了角膜病病变区域子块空间约束关系的序列化特征,完成角膜病图像类型分类的方法。本发明具体采用的技术方案如下:
[0006] 一种基于深度神经网络的角膜病图像序列化特征提取与分类方法,其包括如下步骤:
[0007] 1)把角膜病裂隙灯图像按照眼表-角膜的自然界域进行区域标注的结果作为训练数据集,并利用滑动窗口对角膜图像中病变主体区域进行采样,形成区域子块集合;
[0008] 2)对每张角膜图像中的所有区域子块,通过DenseNet模型进行特征提取,获取区域的向量化特征表示;
[0009] 3)将特征提取结果进行序贯链接组合,从而保留区域子块之间的空间结构关系,并利用长短时记忆模型(Long short-term memory,LSTM)对特征序列进行处理,形成角膜图像特征,并进行分类。
[0010] 在上述方案基础上,各步骤可以采用如下优选的具体方式实现。
[0011] 所述的步骤1)可以具体包括以下子步骤:
[0012] 101)将角膜病裂隙灯图像的病变主体区域用多边形进行标识,勾勒出角膜病图像病变区域轮廓,以形成训练数据集;轮廓由顶点集C={c0,c1,…,cn-1}表示,其中ci=(xi,yi),(xi,yi)为顶点ci的坐标,i=0,1,2,…,n-1;相邻两个顶点构成一条边界ei,边界集合E=(e0,e1,…,en-1)通过顶点表示为以下形式:
[0013]
[0014] 102)对于图像中每个像素点,利用射线法判断其是否在病变主体内部;其具体方法是,令图像高度为h,宽度为w,对于待测像素点(xi,yk),xi∈[0,h),yk∈ [0,w),作一条从该待测像素点到图像边缘的线段lik=((x0,yk),(xi,yk)),计算线段lik对表示病变主体边界的多边形边界集合E的穿越次数;生成与图像相等大小的掩膜M,若穿越次数为奇数,则点(xi,yk)属于病变主体区域,掩膜M上对应 (xi,yk)位置像素点值记为1;反之,若穿越次数为偶数,则点(xi,yk)处于病变主体区域外,掩膜M上对应(xi,yk)位置像素点值记为0;若该点在多边形边界集合上,则直接判定其在多边形内部;
[0015] 103)对于每张图像中的病变主体区域,首先计算得到其外接矩形的中心位置,再以中心位置为圆心,得到Ks+1个半径为Ri=i*r,i∈[0,Ks]的同心圆;在每个同心圆上通过边长为lw的滑动窗口对病变主体区域进行采样,得到一系列描述病变主体区域的图像子块;对于位于半径为Ri的同心圆上的子块pij,将其归入子块集合Si当中;第i个从同心圆得到的子块集合包含ni个子块,表示为 针对所有的同心圆得一系列子块集合
[0016] 所述的步骤2)可以具体包括以下子步骤:
[0017] 201)使用基于DenseNet深度残差神经网络模型对图像病变区域中的子块进行建模,对每个子块pij,网络输出端输出一个kp维特征向量vij;则对于每个从同心圆得到的子块集合 对应地得到一个向量集合 对于子块集合 对应地得到一系列子块特征向量集合
[0018] 202)对于每个从同心圆得到的子块集合所对应向量集合对该集合中所有向量进行最大池化(Max-pooling)计算,得到描述该同心圆的特征向量vlayer i;从病变主体区域的圆心出发,由内向外序贯链接每个同心圆所对应特征向量,得到描述角膜病图像病变主体区域的特征向量序列 该特征向
量保留了病变主体区域中子块之间所固有的空间结构。
[0019] 所述的步骤3)可以具体包括以下子步骤:
[0020] 301)将保留了病变主体区域中子块之间所固有空间结构的特征向量序列 S={Vlayer 0,Vlayer 1,…,Vlayer K_s}输入循环神经网络LSTM进行建模,网络输出层输出一个ks维特征向量vs,特征向量vs用于作为角膜病图像病变主体区域的序列化特征向量;
[0021] 302)利用全连接分类器对向量vs进行建模,得到维度为kN维的分类向量化表示,其中kN为待预测角膜病的类别数目,并通过Softmax函数进行归一化操作,使输出对应每个角膜病分类结果的概率值;
[0022] 303)将交叉熵损失函数作为网络训练的损失函数,损失函数的定义如下:x表示输入的图像病变主体区域序列化特征向量,class
表示该角膜病图像所标注的类别标签,j表示第j种角膜病类别;通过最小化损失对网络进行训练,使得网络对角膜病类型预测值接近真实值,训练完毕后得到用于识别图像中角膜病的分类模型。
[0023] 本发明的另一目的在于提供一种基于深度神经网络的角膜病图像序列化特征提取与分类装置,其包括:
[0024] 采样模块,用于把角膜病裂隙灯图像按照眼表-角膜的自然界域进行区域标注的结果作为训练数据集,并利用滑动窗口对角膜图像中病变主体区域进行采样,形成区域子块集合;
[0025] 特征提取模块,用于对每张角膜图像中的所有区域子块,通过DenseNet模型进行特征提取,获取区域的向量化特征表示;
[0026] 分类模块,用于将特征提取结果进行序贯链接组合,从而保留区域子块之间的空间结构关系,并利用长短时记忆模型对特征序列进行处理,形成角膜图像特征,并进行分类。
[0027] 在上述方案基础上,各模块可以采用如下优选的具体方式实现。
[0028] 所述的采样模块可以包括:
[0029] 边界获取子模块:用于将角膜病裂隙灯图像的病变主体区域用多边形进行标识,勾勒出角膜病图像病变区域轮廓,以形成训练数据集;轮廓由顶点集 C={c0,c1,…,cn-1}表示,其中ci=(xi,yi),(xi,yi)为顶点ci的坐标,i=0,1,2,…,n-1;相邻两个顶点构成一条边界ei,边界集合E=(e0,e1,…,en-1)通过顶点表示为以下形式:
[0030]
[0031] 掩膜获取子模块:用于对于图像中每个像素点,利用射线法判断其是否在病变主体内部;其具体方法是,令图像高度为h,宽度为w,对于待测像素点 (xi,yk),xi∈[0,h),yk∈[0,w),作一条从该待测像素点到图像边缘的线段 lik=((x0,yk),(xi,yk)),计算线段lik对表示病变主体边界的多边形边界集合E的穿越次数;生成与图像相等大小的掩膜M,若穿越次数为奇数,则点(xi,yk)属于病变主体区域,掩膜M上对应(xi,yk)位置像素点值记为1;反之,若穿越次数为偶数,则点(xi,yk)处于病变主体区域外,掩膜M上对应(xi,yk)位置像素点值记为0;若该点在多边形边界集合上,则直接判定其在多边形内部;
[0032] 子块集合获取子模块:对于每张图像中的病变主体区域,首先计算得到其外接矩形的中心位置,再以中心位置为圆心,得到Ks+1个半径为Ri=i*r,i∈ [0,Ks]的同心圆;在每个同心圆上通过边长为lw的滑动窗口对病变主体区域进行采样,得到一系列描述病变主体区域的图像子块;对于位于半径为Ri的同心圆上的子块pij,将其归入子块集合Si当中;第i个从同心圆得到的子块集合包含ni个子块,表示为 针对所有的同心圆得一系列子块集合
[0033] 所述的特征提取模块可以包括:
[0034] 子块特征向量集合获取子模块:用于使用基于DenseNet深度残差神经网络模型对图像病变区域中的子块进行建模,对每个子块pij,网络输出端输出一个kp维特征向量vij;则对于每个从同心圆得到的子块集合 对应地得到一个向量集合对于子块集合 对应地得到一系列子块特征向量集

[0035] 特征向量序列获取子模块:用于对于每个从同心圆得到的子块集合所对应向量集合 对该集合中所有向量进行最大池化(Max-pooling) 计算,得到描述该同心圆的特征向量vlayer i;从病变主体区域的圆心出发,由内向外序贯链接每个同心圆所对应特征向量,得到描述角膜病图像病变主体区域的特征向量序列
该特征向量保留了病变主体区域中子块之间所固有的空
间结构。
[0036] 所述的分类模块可以包括:
[0037] LSTM建模子模块:用于将保留了病变主体区域中子块之间所固有空间结构的特征向量序列S={Vlayer 0,Vlayer 1,…,Vlayer K_s}输入循环神经网络LSTM进行建模,网络输出层输出一个ks维特征向量vs,特征向量vs用于作为角膜病图像病变主体区域的序列化特征向量;
[0038] 角膜病分类子模块,用于利用全连接分类器对向量vs进行建模,得到维度为kN维的分类向量化表示,其中kN为待预测角膜病的类别数目,并通过Softmax 函数进行归一化操作,使输出对应每个角膜病分类结果的概率值;
[0039] 网络训练子模块,用于将交叉熵损失函数作为网络训练的损失函数,损失函数的定义如下: x表示输入的图像病变主体区域序列化特征向量,class表示该角膜病图像所标注的类别标签,j表示第j种角膜病类别;通过最小化损失对网络进行训练,使得网络对角膜病类型预测值接近真实值,训练完毕后得到用于识别图像中角膜病的分类模型。
[0040] 本发明的另一目的在于提供一种基于深度神经网络的角膜病图像序列化特征提取与分类装置,其包括存储器和处理器;
[0041] 所述存储器,用于存储计算机程序
[0042] 所述处理器,用于当执行所述计算机程序时,实现如前述任一方案项所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法。
[0043] 进一步的,该装置中还可以包括把角膜病裂隙灯图像拍摄设备,拍摄图像存储于存储器中,用于进行角膜病的分类。
[0044] 本发明的另一目的在于提供一种计算机可读存储介质,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如前述任一方案项所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法。
[0045] 本发明将深度序列学习模型应用于角膜疾病的分类诊断。相比一般的图像分类算法,本发明对角膜病诊断中区别性关键信息进行了建模,有效保留了角膜病特征的空间结构。本发明首次运用深度学习模型针对角膜病裂隙灯图像对应的角膜病进行分类诊断,与其它在医学诊断上尝试过的分类模型相比较,本发明在算法和运用上都有自己的独创性和独特性,而且对区别微妙差异的性能更加优越;将本发明的模型算法性能与大规模人类医生的测试水平进行比较,算法取得的诊断准确率超过绝大多数人类医生,达到了高水平眼科专家的诊断水平。附图说明
[0046] 图1是基于深度神经网络的角膜病图像序列化特征提取与分类方法流程示意图。
[0047] 图2为基于深度神经网络的角膜病图像序列化特征提取与分类装置示意图。

具体实施方式

[0048] 下面结合附图和具体实施方式对本发明做进一步阐述和说明。
[0049] 如图1所示,一种基于深度神经网络的角膜病图像序列化特征提取与分类方法,其包括如下步骤:
[0050] 1)把角膜病裂隙灯图像按照眼表-角膜的自然界域进行区域标注的结果作为训练数据集,训练数据集中包含足量的角膜图像样本。利用滑动窗口对每张角膜图像中病变主体区域进行采样,形成区域子块集合。
[0051] 2)对每张角膜图像中的所有区域子块,通过DenseNet模型进行特征提取,获取区域的向量化特征表示。
[0052] 3)将特征提取结果进行序贯链接组合,从而保留区域子块之间的空间结构关系,并利用长短时记忆模型对特征序列进行处理,形成角膜图像特征,并进行分类。
[0053] 基于前述构建的训练数据集可以训练该分类模型,然后可以将测试数据输入训练完成后得到的分类模型中,以评价其分类准确性。实际待分类的角膜病图像也可以输入该模型中,以输出角膜病分类诊断结果,辅助医生进行诊断。
[0054] 其中,步骤1)可具体通过以下子步骤实现:
[0055] 101)利用图像标注软件将角膜病裂隙灯图像的病变主体区域用多边形进行标识,勾勒出角膜病图像病变区域的大致轮廓,以形成训练数据集。病变区域轮廓由顶点集C={c0,c1,…,cn-1}表示,其中ci=(xi,yi),(xi,yi)为顶点ci的坐标, i=0,1,2,…,n-1;相邻两个顶点构成一条边界ei,边界集合E=(e0,e1,…,en-1)通过顶点表示为以下形式:
[0056]
[0057] 102)对于图像中每个像素点,利用射线法判断其是否在病变主体内部。射线法的具体判断过程如下:令图像高度为h,宽度为w,对于待测像素点 (xi,yk),xi∈[0,h),yk∈[0,w),作一条从该待测像素点到图像边缘的线段 lik=((x0,yk),(xi,yk)),计算线段lik对表示病变主体边界的多边形边界集合E的穿越次数。由此可以生成与图像相等大小的掩膜M,掩膜中的像素点取值由穿越次数决定:若穿越次数为奇数,则点(xi,yk)属于病变主体区域,掩膜M上对应(xi,yk)位置像素点值记为1;反之,若穿越次数为偶数,则点(xi,yk)处于病变主体区域外,掩膜M上对应(xi,yk)位置像素点值记为0;若该点在多边形边界集合上,则直接判定其在多边形内部,无需计算。
[0058] 103)对于每张图像中给定的病变主体区域,首先计算得到其外接矩形的中心位置,再以中心位置为该病变主体区域的圆心,得到Ks+1个半径为Ri=i*r,i∈[0,Ks]的同心圆;在每个同心圆上通过边长为lw的滑动窗口对病变主体区域进行采样,得到一系列描述病变主体区域的图像子块;对于位于半径为Ri的同心圆上的子块pij,将其归入子块集合Si当中。假如第i个从同心圆得到的子块集合包含ni个子块,则其子块集合可表示为因此,针对所有的同心圆即可得一系列子块集合
[0059] 步骤2)可具体通过以下子步骤实现:
[0060] 201)使用基于DenseNet深度残差神经网络模型对图像病变区域中的子块进行建模,对每个子块pij,网络输出端均输出一个kp维特征向量vij。由此,对于每个从同心圆得到的子块集合 可以对应地得到一个向量集合同理,对于子块集合 可以对应地得到一系列子块
特征向量集合
[0061] 202)对于每个从同心圆得到的子块集合所对应向量集合对该集合中所有向量进行最大池化(Max-pooling)计算,得到描述该同心圆的特征向量vlayer i。从病变主体区域的圆心出发,由内向外序贯链接每个同心圆所对应特征向量,即可得到描述角膜病图像病变主体区域的特征向量序列 这一
特征向量保留了病变主体区域中子块之间所固有的空间结构。
[0062] 步骤3)可具体通过以下子步骤实现:
[0063] 301)将保留了病变主体区域中子块之间所固有空间结构的特征向量序列 S={Vlayer 0,Vlayer 1,…,Vlayer K_s}输入循环神经网络LSTM进行建模,网络输出层输出一个ks维特征向量vs,该特征向量vs用于作为角膜病图像病变主体区域的序列化特征向量。
[0064] 302)利用全连接分类器对向量vs进行建模,得到维度为kN维的分类向量化表示,其中kN为待预测角膜病的类别数目,并通过Softmax函数进行归一化操作,使输出对应每个角膜病分类结果的概率值。
[0065] 303)将交叉熵损失函数作为网络训练的损失函数,损失函数的定义如下:x表示输入的图像病变主体区域序列化特征向量,class
表示该角膜病图像所标注的类别标签,j表示第j种角膜病类别;通过最小化损失对网络进行训练,使得网络对角膜病类型预测值尽可能接近真实值。训练完毕后得到用于识别图像中角膜病的分类模型。
[0066] 上述方法的各步骤中的具体参数可以根据实际进行调整。
[0067] 本发明的方法模仿医学专家诊断逻辑,重点提取角膜病病变区域细节信息特征,为了保留病变区域空间约束关系对特征进行序列化处理。相比于一般的图像分类算法,本发明强调了细节特征在角膜病分类中的作用,还进一步根据疾病发病规律,模仿人类逻辑进行模型构建,使得模型结构更加合理,该模型能够进一步提升分类诊断准确率。
[0068] 在本发明中,上述基于深度神经网络的角膜病图像序列化特征提取与分类方法可以用于医院的辅助医疗诊断,辅助临床医生对疾病做出快速准确的诊断,提高医生的诊断水平。当然,该方法也可以用于非诊断目的,例如用于作为医学教育、科研用途,利用该方法的分类诊断结果进行辅助教学或者研究。
[0069] 如图2所示,在另一实施例中提供了一种基于深度神经网络的角膜病图像序列化特征提取与分类装置,其包括:
[0070] 采样模块,用于把角膜病裂隙灯图像按照眼表-角膜的自然界域进行区域标注的结果作为训练数据集,并利用滑动窗口对角膜图像中病变主体区域进行采样,形成区域子块集合;
[0071] 特征提取模块,用于对每张角膜图像中的所有区域子块,通过DenseNet模型进行特征提取,获取区域的向量化特征表示;
[0072] 分类模块,用于将特征提取结果进行序贯链接组合,从而保留区域子块之间的空间结构关系,并利用长短时记忆模型对特征序列进行处理,形成角膜图像特征,并进行分类。
[0073] 其中,采样模块包括:
[0074] 边界获取子模块:用于将角膜病裂隙灯图像的病变主体区域用多边形进行标识,勾勒出角膜病图像病变区域轮廓,以形成训练数据集;轮廓由顶点集 C={c0,c1,…,cn-1}表示,其中ci=(xi,yi),(xi,yi)为顶点ci的坐标,i=0,1,2,…,n-1;相邻两个顶点构成一条边界ei,边界集合E=(e0,e1,…,en-1)通过顶点表示为以下形式:
[0075]
[0076] 掩膜获取子模块:用于对于图像中每个像素点,利用射线法判断其是否在病变主体内部;其具体方法是,令图像高度为h,宽度为w,对于待测像素点 (xi,yk),xi∈[0,h),yk∈[0,w),作一条从该待测像素点到图像边缘的线段 lik=((x0,yk),(xi,yk)),计算线段lik对表示病变主体边界的多边形边界集合E的穿越次数;生成与图像相等大小的掩膜M,若穿越次数为奇数,则点(xi,yk)属于病变主体区域,掩膜M上对应(xi,yk)位置像素点值记为1;反之,若穿越次数为偶数,则点(xi,yk)处于病变主体区域外,掩膜M上对应(xi,yk)位置像素点值记为0;若该点在多边形边界集合上,则直接判定其在多边形内部;
[0077] 子块集合获取子模块:对于每张图像中的病变主体区域,首先计算得到其外接矩形的中心位置,再以中心位置为圆心,得到Ks+1个半径为Ri=i*r,i∈ [0,Ks]的同心圆;在每个同心圆上通过边长为lw的滑动窗口对病变主体区域进行采样,得到一系列描述病变主体区域的图像子块;对于位于半径为Ri的同心圆上的子块pij,将其归入子块集合Si当中;第i个从同心圆得到的子块集合包含ni个子块,表示为 针对所有的同心圆得一系列子块集合
[0078] 其中,特征提取模块包括:
[0079] 子块特征向量集合获取子模块:用于使用基于DenseNet深度残差神经网络模型对图像病变区域中的子块进行建模,对每个子块pij,网络输出端输出一个kp维特征向量vij;则对于每个从同心圆得到的子块集合 对应地得到一个向量集合对于子块集合 对应地得到一系列子块特征向量集

[0080] 特征向量序列获取子模块:用于对于每个从同心圆得到的子块集合所对应向量集合 对该集合中所有向量进行最大池化(Max-pooling) 计算,得到描述该同心圆的特征向量vlayer i;从病变主体区域的圆心出发,由内向外序贯链接每个同心圆所对应特征向量,得到描述角膜病图像病变主体区域的特征向量序列
该特征向量保留了病变主体区域中子块之间所固有的空
间结构。
[0081] 其中,分类模块包括:
[0082] LSTM建模子模块:用于将保留了病变主体区域中子块之间所固有空间结构的特征向量序列S={Vlayer 0,Vlayer 1,…,Vlayer K_s}输入循环神经网络LSTM进行建模,网络输出层输出一个ks维特征向量vs,特征向量vs用于作为角膜病图像病变主体区域的序列化特征向量;
[0083] 角膜病分类子模块,用于利用全连接分类器对向量vs进行建模,得到维度为 kN维的分类向量化表示,其中kN为待预测角膜病的类别数目,并通过Softmax 函数进行归一化操作,使输出对应每个角膜病分类结果的概率值;
[0084] 网络训练子模块,用于将交叉熵损失函数作为网络训练的损失函数,损失函数的定义如下: x表示输入的图像病变主体区域序列化特征向量,class表示该角膜病图像所标注的类别标签,j表示第j种角膜病类别;通过最小化损失对网络进行训练,使得网络对角膜病类型预测值接近真实值,训练完毕后得到用于识别图像中角膜病的分类模型。
[0085] 另外,在另一实施例中,本发明提供了一种基于深度神经网络的角膜病图像序列化特征提取与分类装置,它包括存储器和处理器;
[0086] 其中存储器,用于存储计算机程序;
[0087] 处理器,用于当执行所述计算机程序时,实现前述实施例中的基于深度神经网络的角膜病图像序列化特征提取与分类方法。
[0088] 需要注意的是,存储器可以包括随机存取存储器(Random Access Memory, RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程阵列(Field-Programmable Gate Array, FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。当然,还装置中还应当具有实现程序运行的必要组件,例如电源、通信总线等等。
[0089] 另外,在上述装置中,还可以进一步集成角膜病裂隙灯图像获取设备,获取诊断对象的角膜病裂隙灯图像后,可以存储在存储器中,然后通过处理器对其进行分类处理,直接输出诊断结果。
[0090] 在另一实施例中,本发明提供了一种计算机可读存储介质,该存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现前述实施例中的基于深度神经网络的角膜病图像序列化特征提取与分类方法。
[0091] 下面利用前述实施例中的基于深度神经网络的角膜病图像序列化特征提取与分类方法,通过一个具体的应用实例来展示本发明分类方法的具体效果。具体的方法步骤如前所述,不再赘述,下面仅展示其具体效果。
[0092] 实施例
[0093] 本实施例在浙江大学医学院附属邵逸夫医院眼科提供的角膜病图像数据集上进行测试。该方法主要对三种发病率最高、识别价值最大的角膜疾病进行分类识别:细菌性角膜炎、真菌性角膜炎和病毒性角膜炎,将非上述三类的其它角膜疾病归并为一类,于是算法将每幅角膜病图像识别为细菌性角膜炎、真菌性角膜炎、病毒性角膜炎和其它角膜病这四个类别中一个类别。
[0094] 算法训练和测试中,对867名角膜病患者相关数据进行了整理。每位病患者对应数据包括个人基本信息、疾病病因依据,诊断结论、所拍摄得到的若干裂隙灯拍照图像及病变体区域掩膜标注,以及结构化的主诉信息。此外,在整理过程中,对于患病情况过于严重而导致无法诊断的图像或质量不佳的拍摄图像由医学团队审查并加以剔除。最终得到了2284幅角膜病图像,每幅患病图像仅对应细菌性角膜炎、真菌性角膜炎、病毒性角膜炎和其它角膜病这四个类别中一个类别。
[0095] 2284幅角膜病图像包括473幅细菌性角膜炎图像、616幅真菌性角膜炎图像、 439幅病毒性角膜炎图像和756幅其它角膜疾病。这756幅角膜病图像包括棘阿米巴性角膜炎、泡性角结膜炎、角膜遗传性变性、角膜退行性病变、角膜肿瘤、角膜外伤、眼表烧伤等等病种。
[0096] 为了客观评估本算法的性能,使用四种角膜病诊断正确结果的平均值与各个角膜病诊断结果准确率(Accuracy)对该方法进行评价。
[0097] 所得实验结果如表1所示,结果表明,本发明的分类方法具有较高的分类诊断准确率。
[0098] 表1不同角膜病的识别结果准确率
[0099]
[0100] 以上所述的实施例只是本发明的一种较佳的方案,然其并非用以限制本发明。有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈