基于眼底图像的糖尿病视网膜病变识别系统专利检索-眼底照相机医疗设备专利检索查询-专利查询网

基于 眼底图像的糖尿病视网膜病变识别系统

阅读：334发布：2020-06-23

专利汇可以提供基于眼底图像的糖尿病视网膜病变识别系统专利检索，专利查询，专利分析的服务。并且本发明提供了一种基于眼底图像的糖尿病视网膜病变识别系统，包括：图像采集装置，其用于采集眼底图像，眼底图像包括来自于同一个人的目标眼底图像和参考眼底图像；自动识别装置，其利用深度学习方法对来自于图像采集装置的眼底图像进行处理，自动判断眼底图像是否存在病变并输出判断结果。在本发明中，其利用深度学习方法对眼底图像进行自动判定并输出判断结果，因此，能够辅助医生对眼底图像进行病变识别的诊断，大幅度地提高识别效率，而且特别适用于大范围的眼底病变筛查。，下面是基于眼底图像的糖尿病视网膜病变识别系统专利的具体信息内容。

权利要求

1.一种基于眼底图像的糖尿病视网膜病变识别系统，其特征在于，
包括：
图像采集装置，其用于采集眼底图像，所述眼底图像包括来自于同一个人的目标眼底图像和参考眼底图像；以及
自动识别装置，其利用深度学习方法对来自于所述图像采集装置的所述眼底图像进行处理，自动判断所述眼底图像是否存在病变并输出判断结果。
2.根据权利要求1所述的糖尿病视网膜病变识别系统，其特征在于：
还包括根据所述判断结果输出分析报告的输出装置。
3.根据权利要求1所述的糖尿病视网膜病变识别系统，其特征在于：
所述图像采集装置为手持式眼底照相机。
4.根据权利要求1所述的糖尿病视网膜病变识别系统，其特征在于：
所述自动识别装置布置在云端服务器，
所述图像采集装置与所述自动识别装置之间基于网络通信方式进行交互。
5.根据权利要求1所述的糖尿病视网膜病变识别系统，其特征在于：
所述自动识别装置包括：
预处理模块，其用于对所述目标眼底图像和所述参考眼底图像分别进行预处理；
第一神经网络，其用于从所述目标眼底图像产生第一高级特征集；
第二神经网络，其用于从所述参考眼底图像产生第二高级特征集；
特征组合模块，其用于将所述第一高级特征集与所述第二高级特征集进行融合而形成特征组合集；以及
第三神经网络，其用于根据所述特征组合集产生对病变的诊断结果。
6.根据权利要求5所述的糖尿病视网膜病变识别系统，其特征在于：
所述目标眼底图像与所述参考眼底图像相同。
7.根据权利要求5所述的糖尿病视网膜病变识别系统，其特征在于：
所述目标眼底图像与所述参考眼底图像分别属于不同眼睛的眼底图像。
8.根据权利要求5所述的糖尿病视网膜病变识别系统，其特征在于：
所述第一神经网络与所述第二神经网络相同。
9.根据权利要求5所述的糖尿病视网膜病变识别系统，其特征在于：
所述预处理模块包括：用于检测所述目标眼底图像和所述参考眼底图像的规定眼底区域的区域检测单元；用于对所述目标眼底图像和所述参考眼底图像进行剪裁和尺寸调整的调整单元；以及对所述目标眼底图像和所述参考眼底图像进行归一化的归一化单元。
10.根据权利要求5所述的糖尿病视网膜病变识别系统，其特征在于：
所述第三神经网络根据所述特征组合集和患者信息来产生对病变的判断结果。

说明书全文

基于眼底图像的糖尿病视网膜病变识别系统

技术领域

[0001] 本发明涉及一种基于眼底图像的糖尿病视网膜病变识别系统。

背景技术

[0002] 近年，以深度学习为代表的人工智能技术得到了显著的发展，其在医学影像诊断领域等应用也越来越得到关注。深度学习利用了多层人工神经网络，其通过组合低层特征来形成更加抽象的高层特征，以发现数据的分布式特征表示。深度学习能够更好地反映数据的本质特征，其效果明显优于专家系统等人为设计的特征。目前，深度学习等已经在乳腺癌病理检查、肺癌检测、心血管成像等医学成像领域得到了广泛的研究。

[0003] 众所周知，医学影像包含了丰富的身体结构或组织的诸多细节，通过识别和理解医学影像中的这些细节，能够帮助医生等进行相关的诊断。以医学影像中的眼底图像为例，在眼底图像中包括丰富的玻璃体、视网膜和脉络膜等的细节，如果眼底发生相关病变，则会在所获取的眼底图像中呈现出微血管瘤、出血、硬性渗出等病变。例如，糖尿病性视网膜(DR)病变属于常见的眼底病变，已成为工作年龄段的成年人致盲的主要原因之一。如果能够尽早对DR患者进行早期诊断和治疗，则能够有效防止视觉的损失以及失明。

[0004] 然而，例如眼底图像(例如糖尿病视网膜病变)识别方式需要通过眼底照相机获取眼底图像后，由眼科医生依靠肉眼观察来作出诊断，工作量甚大，这种识别方式不利于大规模地推广，例如，目前世界上超过50％糖尿病患者并没有接受或者没有机会接受任何形式的眼部检查。因此，在眼底图像的病变识别的临床上，提供能够降低医生工作量，辅助医生帮助完成眼底图像判断的自动识别系统也变得极为迫切。

发明内容

[0005] 本发明针对上述现有状况，其目的在于提供一种易于推广且能够提高筛查率和准确率的基于眼底图像的糖尿病视网膜病变识别系统。

[0006] 为此，本发明提供了一种基于眼底图像的糖尿病视网膜病变识别系统，其特征在于，包括：图像采集装置，其用于采集眼底图像，所述眼底图像包括来自于同一个人的目标眼底图像和参考眼底图像；以及自动识别装置，其利用深度学习方法对来自于所述图像采集装置的所述眼底图像进行处理，自动判断所述眼底图像是否存在病变并输出判断结果。

[0007] 在本发明所涉及的基于眼底图像的糖尿病视网膜病变识别系统中，其利用深度学习方法对眼底图像进行自动判定并输出判断结果，因此，能够辅助医生对眼底图像进行病变识别的诊断，大幅度地提高识别效率，而且特别适用于大范围的眼底病变筛查。

[0008] 另外，在本发明所涉及的糖尿病视网膜病变识别系统中，还可以包括根据所述判断结果输出分析报告的输出装置。在这种情况下，能够让医生或患者等迅速地了解病变结果，并将符合规定标准的报告提供给患者。

[0009] 另外，在本发明所涉及的糖尿病视网膜病变识别系统中，可选地，所述图像采集装置为手持式眼底照相机。在这种情况下，能够方便医生或操作员等采集患者的眼底图像(照片)。

[0010] 另外，在本发明所涉及的糖尿病视网膜病变识别系统中，可选地，所述自动识别装置可以布置在云端服务器，所述图像采集装置与所述自动识别装置之间基于网络通信方式进行交互。在这种情况下，将图像采集装置与所述自动识别装置经由网络通信方式来交互，因此有利于靠近图像采集装置侧的医生或操作员等与自动识别装置进行交互。

[0011] 另外，在本发明所涉及的糖尿病视网膜病变识别系统中，可选地，所述自动识别装置可以包括：预处理模块，其用于对所述目标眼底图像和所述参考眼底图像分别进行预处理；第一神经网络，其用于从所述目标眼底图像产生第一高级特征集；第二神经网络，其用于从所述参考眼底图像产生第二高级特征集；特征组合模块，其用于将所述第一高级特征集与所述第二高级特征集进行融合而形成特征组合集；以及第三神经网络，其用于根据所述特征组合集产生对病变的诊断结果。在这种情况下，由于自动识别装置模拟医生的诊断过程，参考了来自同一个人的其他眼底图像对目标图像进行判断，从而有利于提高对眼底图像病变的判断准确率。

[0012] 另外，在本发明所涉及的糖尿病视网膜病变识别系统中，可选地，所述目标眼底图像与所述参考眼底图像相同。在这种情况下，即使使用一幅眼底图像，也能够获得有效的病变判断结果。

[0013] 另外，在本发明所涉及的糖尿病视网膜病变识别系统中，可选地，所述目标眼底图像与所述参考眼底图像分别属于不同眼睛的眼底图像。

[0014] 另外，在本发明所涉及的糖尿病视网膜病变识别系统中，可选地，所述第一神经网络与所述第二神经网络相同。在这种情况下，能够控制神经网络的参数数量，提高神经网络的训练效率，并且有利于抑制过拟合(overfitting)。

[0015] 另外，在本发明所涉及的糖尿病视网膜病变识别系统中，可选地，所述预处理模块包括：用于检测所述目标眼底图像和所述参考眼底图像的规定眼底区域的区域检测单元；用于对所述目标眼底图像和所述参考眼底图像进行剪裁和尺寸调整的调整单元；以及对所述目标眼底图像和所述参考眼底图像进行归一化的归一化单元。由此，能够对目标眼底图像和参考眼底图像进行有效的预处理，提高后续各个神经网络对图像特征的提取的准确度，从而改善对眼底图像病变的判断效果。

[0016] 另外，在本发明所涉及的糖尿病视网膜病变识别系统中，可选地，所述第三神经网络根据所述特征组合集和患者信息来产生对病变的判断结果。由此，能够更加接近医生实际诊断过程，从而能够提高判断的准确率。

[0017] 根据本发明，能够提供一种可以提高筛查率和准确率的基于眼底图像的糖尿病视网膜病变识别系统。附图说明

[0018] 图1示出了本发明的第1实施方式所涉及的眼底图像的病变状态的示意图，其中，图1(a)示出了正常状态的眼底图像的示例图，图1(b)示出了异常眼底的眼底图像的示例图。

[0019] 图2示出了本发明的第1实施方式所涉及的具有眼底病变的糖尿病视网膜病变眼底图像的示例图。

[0020] 图3示出了本发明的第1实施方式所涉及的基于眼底图像的病变识别系统的示意图；

[0021] 图4示出了本发明的第1实施方式所涉及的用于识别眼底图像病变的人工神经网络的示意图。

[0022] 图5示出了本发明的第1实施方式所涉及的人工神经网络的眼底图像的预处理模块的框图。

[0023] 图6示出了图5的预处理模块的变形例的示意图。

[0024] 图7示出了本发明的第1实施方式所涉及的人工神经网络的网络结构示例的示意图。

[0025] 图8示出了图7中的人工神经网络中所采用的卷积核的示例的示意图。

[0026] 图9示出了本发明的第1实施方式所涉及的人工神经网络识别眼底图像病变的方法的流程图。

[0027] 图10示出了本发明的第2实施方式所涉及的人工神经网络的框图。

[0028] 图11示出了本发明的第2实施方式所涉及的第三神经网络的示例图。

[0029] 图12示出了本发明的第2实施方式所涉及的人工神经网络的预处理模块的框图。

具体实施方式

[0030] 以下，参考附图，详细地说明本发明的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。

[0031] 需要说明的是，本发明中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0032] 另外，在本发明的下面描述中涉及的小标题等并不是为了限制本发明的内容或范围，其仅仅是作为阅读的提示作用。这样的小标题既不能理解为用于分割文章的内容，也不应将小标题下的内容仅仅限制在小标题的范围内。

[0033] 本发明涉及能够提高眼底病变筛查率和准确率的基于眼底图像的病变识别系统。在本发明中，采用了目标眼底图像与参考眼底图像(以下有时也将“目标眼底图像和参考眼底图像”称为“眼底图像对”)分别独立作为输入信息，也即对于“目标眼底图像”的眼底病变的识别，同时参考了来自于同一个人的“参考眼底图像”，因此能够准确且全面地评价眼底病变的状况。这里，“目标眼底图像”是指需要诊断是否存在病变或者存在什么病变的眼底图像；而“参考眼底图像”是指与“目标眼底图像”同样来自于同一个人的眼底图像，在本发明中同时使用目标眼底图像和参考眼底图像可以模拟医生的实际诊断过程，从而可以提高眼底病变判断的准确度。

[0034] [第1实施方式]

[0035] (病变识别系统)

[0036] 图1示出了本实施方式所涉及的眼底图像的病变状态的示意图，其中，图1(a)示出了正常状态的眼底图像的示例图，图1(b)示出了异常眼底的眼底图像的示例图。图2示出了本实施方式所涉及的具有糖尿病视网膜病变的眼底图像的示例图。

[0037] 在本实施方式中，病变识别系统S能够判断是否有病变的眼底图像的能力。另外，在本实施方式中，病变识别系统S也可以判断是哪种病变并进行分级。常见的眼底病变有糖尿病视网膜病变(参见图2)、高血压及动脉硬化性眼底病变、年龄相关性黄斑变性眼底病变、视网膜静脉阻塞眼底病变、视网膜动脉阻塞眼底病变、高度近视眼底病变，甚至心血管病等相关的眼底病变等。在本实施方式中，病变识别系统S特别适用于眼底的糖尿病视网膜病变。

[0038] 如上所述，本实施方式所涉及的病变识别系统S可以实现无病和有病的两种判断的待分类类别，也可以实现无病和具体病变类型的待分类类别。另外，本实施方式所涉及的病变识别系统S的待分类类别也可以根据具体情况进行调整。

[0039] 本实施方式所涉及的病变识别系统S能够大量节约医生眼底筛查的时间(读片时间)，有利于使眼底筛查能够得到推广和应用，提高筛查率，从而推动医疗卫生特别是基层医疗卫生的发展。

[0040] 图3示出了本实施方式所涉及的基于眼底图像的病变识别系统S的示意图。例如，如图3所示，本实施方式所涉及的病变识别系统S可以用于识别眼底图像病变。在本实施方式中，眼底图像病变可以包括但不限于例如糖尿病视网膜病变、年龄相关性黄斑变性眼底病变、视网膜静脉阻塞眼底病变等，尤其适用于糖尿病视网膜病变。

[0041] 本实施方式所涉及的基于眼底图像的病变识别系统S可以包括图像采集装置1和自动识别装置2。图像采集装置1可以用于采集眼底图像，其中，所采集的眼底图像可以包括来自于同一个人的目标眼底图像和参考眼底图像。另外，自动识别装置2可以利用深度学习方法对来自于图像采集装置1的眼底图像进行处理，并自动判断眼底图像是否存在病变并输出判断结果(例如筛查报告)。

[0042] 另外，在本实施方式中，图像采集装置1没有特别限制，只要能够采集眼底图像的设备即可，例如可以采用台式眼底照相机(或摄像机)、手持式眼底照相机(或摄像机)等。出于方便操作的观点，图像采集装置1可以为便携式眼底照相机，优选为手持式眼底照相机。在这种情况下，能够方便医生或操作员等采集患者的眼底图像(照片)。

[0043] 在本实施方式中，病变识别系统S采集患者的眼底图像后，可以利用深度学习方法对眼底图像进行自动判定并输出判断结果，因此，能够辅助医生对眼底图像进行病变识别的诊断，大幅度地提高识别效率，而且特别适用于大范围的眼底病变筛查。众所周知，深度学习是机器学习的一种，其基于对数据进行表征学习。在深度学习中，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。通过利用深度学习方法，能够提高病变识别系统S的准确率。

[0044] 在本实施方式中，病变识别系统S可以通过敏感性和特异性来体现。具体而言，在筛查结果中，包括真阴性、真阳性、假阴性和假阳性四种。真阴性是指眼底图像正常，筛查报告也是正常；真阳性是指眼底图像存在病变，筛查报告显示出了病变；假阴性是眼底图像存在病变，但是筛查报告正常；假阳性是指眼底图像正常，但是筛查报告错误地显示有病变。于是，敏感性和特异性分别定义如下：

[0045]

[0046]

[0047] 一般而言，敏感性和特异性越高，则认为病变识别系统S的筛查准确率越高。在一些筛查标准中，例如敏感性为80％以上和特异性为90％则已经认为是比较合理的筛查模式。相对而言，对于本实施方式所涉及的病变识别系统S，其敏感性可以达到85％以上，特异性可以达到90％以上。

[0048] 另外，在本实施方式所涉及的病变识别系统S中，还可以包括根据判断结果输出分析报告的输出装置3。在本实施方式中，输出装置3没有特别限制，其可以是显示屏、具有显示功能的终端(例如平板电脑)、打印机等，只要能够显示判断结果即可。在这种情况下，能够让医生或患者等迅速地了解病变结果，并将符合规定标准的报告提供给患者。

[0049] 另外，在一些示例中，输出装置3可以设置在图像采集装置1上。例如输出装置3可以搭载在图像采集装置1上。此时，一方面，输出装置3可以作为例如显示屏设置在图像采集装置1上；另一方面，输出装置3能够接收自动识别装置2的处理结果，并将结果呈现在输出装置3上。在这种情况下，能够将判断结果通过设置在图像采集装置1上的输出装置3直观地提供给患者，从而便于医生与患者之间的现场沟通交流。

[0050] 另外，在本实施方式中，对于眼底图像病变的判断可以通过评级处理。在一些示例中，可以采用首次评级和二次评级。例如，由自动识别装置2提供的筛查报告可以作为首次评级，然后，医生基于该筛查报告进行二次评级。由此，能够更加准确和可靠地获得病变的筛查结果。

[0051] 另外，在本实施方式中，自动识别装置2可以布置在云端服务器(未图示)，图像采集装置1可以与自动识别装置2之间基于网络通信方式进行交互。在这种情况下，将图像采集装置与自动识别装置经由网络通信方式来交互，因此有利于靠近图像采集装置侧的医生或操作员等与自动识别装置进行交互。这里，网络通信的方式可以是无线网络例如wifi、移动通信网等，也可以是有线网络例如有线宽带网等。

[0052] 另外，云端服务器也可以是自己搭设的连接网络的服务器，也可以是由供应商提供的连接网络的大型服务器里的一部分。出于数据安全的考虑，云端服务器优选是自己搭设的连接网络的服务器。

[0053] 在本实施方式中，自动识别装置2可以包括人工神经网络10A。人工神经网络10A所采用的神经网络结构没有特别限制。在一些示例中，本实施方式所涉及的人工神经网络10A可以使用深度神经网络，例如稍后描述的第一神经网络12和第二神经网络22可以采用深度神经网络的结构。在这种情况下，可以针对特定医学影像(例如眼底图像)提取出抽象的图像特征，从而有助于对病变例如糖尿病视网膜病变的判断。

[0054] 图4示出了本发明的第1实施方式所涉及的用于识别眼底图像病变的人工神经网络的示意图。如图4所示，本实施方式所涉及的人工神经网络10A可以包括预处理模块、第一神经网络12、第二神经网络22、特征组合模块13、以及第三神经网络14。这里，预处理模块可以具体包括第一预处理模块11和第二预处理模块21。

[0055] 在本实施方式中，预处理模块(第一预处理模块11和第二预处理模块21)可以用于对来自于同一个人的目标眼底图像和参考眼底图像(眼底图像对)分别进行预处理。也即，预处理模块11可以对目标眼底图像进行预处理，预处理模块21可以对参考眼底图像进行预处理。另外，在本实施方式中，预处理模块11和预处理模块21可以在形成在同一模块中，也可以独立形成为模块。

[0056] 如上所述，在本实施方式中，使用了来自于同一个人的目标眼底图像和参考眼底图像来作为诊断的输入，也即，目标眼底图像作为第一输入，参考眼底图像作为第二输入(参见图4)。如上所述，在本实施方式中，对于目标图像眼底病变的诊断，不仅使用了目标眼底图像本身，还使用了参考眼底图像作为诊断参考，该过程模拟了医生在实际诊断中会同时比较和参考多幅眼底图像进行诊断的实际情况，因此能够提高对眼底图像病变的判断准确度。

[0057] 此外，在本实施方式所涉及的人工神经网络10A中，本发明人等还考虑了以下事实：1)来自于相同眼睛的不同图像(目标眼底图像和参考眼底图像)应该有相同的诊断结果；2)从统计上看，来自同一个人(患者)的左右眼睛的眼底病变相似。因此，在对目标眼底图像进行诊断时，使用来自该患者的其他眼底图像作为辅助可以提高诊断准确度。

[0058] 另外，在人工神经网络10A的训练或者测试过程中，在一些示例中，可以使用来自于同一个人的单眼(左眼或右眼)两幅眼底图像，在这种情况下，可以将这两幅眼底图像中的任意一幅作为目标眼底图像，另一幅作为参考眼底图像。在另外一些示例中，也可以使用来自于同一个人分别属于双眼的两幅眼底图像。同样地，在这种情况下，可以将这两幅眼底图像中的任意一幅作为目标眼底图像，另一幅作为参考眼底图像。

[0059] 另外，在本实施方式所涉及的人工神经网络10A中，在一些示例中，目标眼底图像与参考眼底图像可以相同(即第一输入与第二输入可以相同)。在这种情况下，即使本实施方式所涉及的人工神经网络10A在训练或测试过程中仅使用来自患者的一幅眼底图像，此时，可以将这一幅眼底图像(例如通过复制变成两幅眼底图像)分别作为目标眼底图像和参考眼底图像，由此也能够获得有效的病变判断结果。

[0060] 另外，在本实施方式中，还可以使用四幅眼底图像即包括两幅来自于左眼的眼底图像以及两幅来自于右眼的眼底图像。在这种情况下，可以将这四幅眼底图像中的任意一幅作为目标眼底图像，剩下的三幅作为参考眼底图像。

[0061] 此外，在一些示例中，在利用图像采集装置采集眼底图像的过程中，可以获取多幅(例如五幅以上)眼底图像。在这种情况下，可以将这多幅眼底图像中的任意一幅作为目标眼底图像，剩下的眼底图像作为参考眼底图像。在另一些示例中，进一步地，可以使用来自于相等数量的来自于左右两眼的眼底图像。

[0062] 另外，本实施方式所使用的眼底图像(包括目标眼底图像或参考眼底图像)没有特别限制，可以是彩色图像(例如RGB图像)，也可以是灰度图像。

[0063] 在本实施方式中，将由目标眼底图像和参考眼底图像构成的眼底图像对作为输入(第一输入和第二输入)。在这种情况下，由于目标眼底图像和参考眼底图像(眼底图像对)为近似或相同的图像，因此，通过让目标眼底图像和参考眼底图像各自经过第一神经网络和第二神经网络(即，目标眼底图像作为第一输入经过第一神经网络，参考眼底图像作为第二输入经过第二神经网络，参见图4)以分别提取眼底图像的特征，由此能够提高人工神经网络后续的筛查能力。

[0064] 另外，在本实施方式所涉及的人工神经网络10A中，目标眼底图像与参考眼底图像可以分别属于不同眼睛的眼底图像。在这种情况下，有利于提高训练后的人工神经网络10A更加接近于真实的诊断情形。

[0065] (预处理模块)

[0066] 图5示出了本实施方式所涉及的人工神经网络10A的预处理模块的框图。

[0067] 如上所述，预处理模块(包括第一预处理模块11和第二预处理模块21)可以用于对来自于同一个人的目标眼底图像和参考眼底图像(眼底图像对)分别进行预处理。具体而言，第一预处理模块11和第二预处理模块21可以对眼底图像进行眼底区域检测、图像剪裁、尺寸调整、归一化等预处理。也即，第一预处理模块11可以对目标眼底图像进行眼底区域检测、图像剪裁、尺寸调整、归一化等；第二预处理模块21可以对参考眼底图像进行眼底区域检测、图像剪裁、尺寸调整、归一化等。

[0068] 在本实施方式中，由于第一预处理模块11和第二预处理模块21可以设置成相同的模块，因此，以下仅针对第一预处理模块11进行详细描述，第二预处理模块12的结构可以与第一预处理模块11完全相同。

[0069] 如图5所示，人工神经网络10A的第一预处理模块11主要包括区域检测单元111、调整单元112和归一化单元113。

[0070] 在第一预处理模块11中，区域检测单元111可以从各类眼底图像中检测出眼底区域。在本实施方式中，所要检测的眼底区域例如可以是以视盘为中心的眼底区域，或者是包含视盘且以黄斑中心的眼底区域等。在本实施方式中，无论以视盘为中心的区域或者包含视盘且以黄斑为中心的区域等均能够有效地呈现眼底病变。在一些例子中，区域检测单元111可以通过例如采样阈值法、霍夫(Hough)变换来探测眼底图像中的特定区域，以供后续人工神经网络的使用。例如，参考图1(a)和图1(b)所示的眼底图像等，眼底图像中最亮的圆圈便是视盘(optic disk)，最黑的那块是黄斑(macula)或视网膜中央凹(fovea)，还有从视盘引出的血管。

[0071] 此外，如图5所示，调整单元112可以用于对眼底图像(目标眼底图像)进行剪裁和尺寸调整。由于人眼大小的不同和所使用的眼底相机设备的不同，所获得的眼底图像在分辨率、眼底区域尺寸等方面上均可能存在差异。因此，有必要对这些眼底图像进行调整。例如通过调整单元112，可以对眼底图像按照特定规格进行剪裁，在一些示例中，通过剪裁可以获得例如方形的眼底图像。另外，本实施方式的眼底图像也不限于方形，例如也可以为矩形、圆形、椭圆形等。另外，在调整单元112还可以针对眼底图像进行其他处理例如区分眼底图像上眼底区域与患者信息区域(例如有些眼底图像上可能包括姓名、医保号码等)，调整由不同眼底相机设备使用不同算法处理后的眼底图像，实现眼底背景一致化等问题。

[0072] 另外，在一些示例中，通过调整单元112，能够将眼底图像的尺寸调整至规定的尺寸(例如像素尺寸)例如256×256、512×512、1024×1024等。然而，本实施方式不限于此，根据特定需要，眼底图像的尺寸也可以是任意其他规格的大小(像素大小)例如128×128、768×768、2048×2048等。

[0073] 尽管本实施方式没有限定眼底图像的尺寸，但是出于能够更加准确地识别眼底图像的更多细节的方面考虑，本实施方式的眼底图像的图像尺寸优选大于或等于512×512。如上所述，在专利文献1中所涉及的深度学习框架Inception-v3中，使用了仅299×299的图像，但是由于许多眼底病症(例如糖尿病性视网膜早期病变的特征)在这样的像素级层面上的表现可能不明显，在这种情况下，可能会导致在后续下采样过程中(特别是大比例下采样时)丢失重要图像细节信息例如丢失低等级的眼底病变(例如1级糖尿病性视网膜病变)信息。基于此，在专利文献1中，1级糖尿病性视网膜病变被当作健康眼处理，如此可能会导致眼底图像病变诊断不充分，临床效果欠佳。相对而言，在本实施方式中，通过如上所述限定眼底图像的尺寸，从而能够有效地抑制眼底图像细节信息的丢失，提高对眼底病变的判断准确度。

[0074] 另外，在第一预处理模块11中，归一化单元113可以用于对眼底图像(目标眼底图像)进行归一化。由于不同人种间眼底的差异和眼底成像设备或条件的不同，眼底图像可能存在很大差异，因此，有必要针对图像进行归一化处理。

[0075] 在本实施方式中，归一化单元113的归一化方式没有特别限定，例如可以采用零均值(zero mean)、单位标准方差(unit standard deviation)等进行。另外，在一些示例中，也可以归一化在[0,1]的范围内。通过归一化，能够可以克服不同眼底图像的差异性，提高人工神经网络的性能。

[0076] 图6示出了本实施方式所涉及的预处理模块11的变形例的示意图。如图6所示，第一预处理模块11还可以具有扩增单元110。扩增单元110可以设置在区域检测单元111之前，但本实施方式不限于此。

[0077] 在本实施方式中，扩增单元110可以用于在神经网络的训练阶段对眼底图像进行数据扩增。通过扩增单元110，可以对所获得的眼底图像(目标眼底图像)进行数据扩增以扩大眼底图像的样本量，从而有助于克服过拟合问题，提高人工神经网络的性能。另外，需要说明的是，扩增单元110一般限于在稍后描述的神经网络的训练阶段时对数据样本进行扩增，在神经网络的测试阶段时可以不使用扩增单元110。

[0078] 另外，扩增单元110所采用的扩增方式没有特别限制，例如在一些示例中，可以通过对眼底图像进行各种图像变换来进行样本扩增。这样的图像变换方式可以包括对称变换、倒立变换、旋转变换、像素平移等，还可以包括对图像的对比度、亮度、颜色、锐度等进行调整。

[0079] 以上，已经描述了第一预处理模块11的构成和功能，同样地，第二预处理模块21也可以具有与第一预处理模块11完全相同的构成和功能。在这种情况下，参考眼底图像作为第二输入经过第二预处理模块21也能够得到有效的预处理，以满足后续人工神经网络(第二神经网络和第三神经网络)对参考眼底图像的处理。

[0080] 如上所述，通过第一预处理模块11和第二预处理模块21，能够分别对目标眼底图像和参考眼底图像进行有效的预处理，从而有助于后续各个神经网络对眼底图像中的进一步处理(例如特征提取等)。

[0081] (第一/第二神经网络)

[0082] 在本实施方式中，第一神经网络12可以用于从经过预处理后的目标眼底图像产生第一高级特征集。同样地，第二神经网络22可以用于从经过预处理后的参考眼底图像产生第二高级特征集。其中，第一神经网络和第二神经网络可以通过例如组合多层低级特征(像素级特征)，实现了对目标眼底图像和参考眼底图像的抽象描述。这里，高级特征仅指示经过人工神经网络的处理后相对于原始图像的初级特征(例如像素级的特征)而言，并非为了精确描述特征的高级性，但一般而言，经过神经网络处理，随着神经网络越往深层次会呈现出越高层次和越抽象的趋势。另外，特征集一般是指包括了两个或两个以上的特征，在本发明中有时也可以称为“特征矩阵”。另外，在一些特殊的情况下，特征集也可以仅有1个特征例如中间结果，这时“特征集”可以仅特指单个“特征”。

[0083] 另外，在本实施方式中，第一神经网络12和第二神经网络22均可以采用卷积神经网络(Convolutional Neural Network，CNN)。由于卷积神经网络具有局部感受野和权值共享等优点，能够极大地减小参数的训练，因此能够提高处理速度和节约硬件开销。另外，卷积神经网络能够更加有效的处理图像的识别。

[0084] 图7示出了本发明的第1实施方式所涉及的人工神经网络的网络结构示例的示意图。图8示出了图7中的人工神经网络中所采用的卷积核的示例的示意图。

[0085] 在一些示例中，可以使用卷积神经网络分别作为第一神经网络12和第二神经网络22。例如可以令第一神经网络12和第二神经网络的网络结构分别为图6和图7所示的神经网络结构(简化表示)：

[0086] -C1-S1-C2-S2-C3-S3-C4-

[0087] 这里，C(包括C1、C2、C3和C4)表示卷积层，S(包括S1、S2和S3)表示池化(pooling)层(有时也称为“下采样层”)。在一些示例中，除了C1层使用5×5的卷积核外，其他卷积层均可以使用3×3的卷积核。在这种情况下，对于规定尺寸例如256×256、512×512的医学图像(眼底图像)，可以大大抑制了训练参数的增加，提高训练效率。

[0088] 另外，在上述卷积神经网络中，池化(pooling)的方式可以使用最大池化(max-pooling)、平均池化(mean-pooling)、随机池化(stochastic-pooling)等。通过池化操作，一方面可以降低特征维度，提高运算效率，另外，也可以使神经网络提取更加抽象的高层特征，以提高对眼底病变的判断准确度。

[0089] 另外，在在上述卷积神经网络中，也可以根据情况对应地增加卷积层和池化层的层数。在这种情况下，也可以使神经网络提取更加抽象的高层特征，以进一步提高对眼底病变的判断准确度。

[0090] 另外，在本实施方式所涉及的人工神经网络10A中，第一神经网络12与第二神经网络22可以完全相同。具体而言，第一神经网络12的网络结构与第二神经网络22的网络结构可以完全相同。在这种情况下，能够减少人工神经网络的参数数目，有利于抑制神经网络的过拟合。

[0091] 另外，第一神经网络12和第二神经网络22所采用的卷积神经网络结构不限于此，也可以采用其他卷积神经网络结构，只要能够确保从原始的眼底图像(目标眼底图像和参考眼底图像)提取出高级特征即可。此外，注意到，本实施方式所涉及的第一神经网络12和第二神经网络22主要用于特征提取，并非直接输出病变的判断结果。

[0092] (特征组合模块)

[0093] 在本实施方式中，如图4所示，特征组合模块13可以用于将由第一神经网络12产生的第一高级特征集与由第二神经网络22产生的第二高级特征集进行融合而形成特征组合集。这里，本实施方式的“特征集”可以指“特征序列”、“特征矢量”、“特征值的集合”等，其意义应该以最广泛的方式理解。

[0094] 在一些示例中，特征组合模块13可以将第一高级特征集和第二高级特征集组合成一维特征矢量(特征组合集)。另外，在另一些示例中，特征组合模块13也可以计算第一高级特征集与第二高级特征集的差异来获得特征组合集。另外，在另一些示例中，特征组合模块13还可以计算第一高级特征集和第二高级特征集的均值来获得特征组合集。此外，在另一些示例中，特征组合模块13可以对第一高级特征集和第二高级特征集进行线性或非线性变换来获得特征组合集等。

[0095] 在本实施方式中，通过特征组合模块13，能够使从第一神经网络12产生的特征与从第二神经网络22产生的特征进行融合，便于后续第三神经网络14的处理。

[0096] (第三神经网络)

[0097] 在本实施方式中，第三神经网络14可以用于根据特征融合的结果(特征组合集)产生对病变的判断结果。如图4所示，第三神经网络14可以基于特征组合模块13所获得的结果，对所输入的目标眼底图像形成判断结果。也即，第三神经网络14根据特征组合集产生对病变的判断结果。

[0098] 在本实施方式中，第三神经网络14的输出维度与待分类类别(例如病变类型)一致。也即，例如待分类类别为无病和有病两种类别时，第三神经网络14的输出维度可以为2；如果待分类类别为无病和具体病症(例如5种)时，第三神经网络14的输出维度可以为6。另外，第三神经网络14的输出维度可以根据实际情况调整。

[0099] 在一些示例中，第三神经网络14的输出可以是0到1之间的值(百分比)，这些值可以解释为目标眼底图像被分为某个类别(病变类型)的概率。此时，第三神经网络14的输出之和为1(概率和)。

[0100] 在本实施方式中，第三神经网络14的输出概率用来实现最终诊断。在一些示例中，当某个类别的概率最高时，则判断该眼底具有对应的类别病变。例如，在所有待分类类别中，如果无病变的概率最高，则该目标眼底图像被判断为无病变。如果糖尿病视网膜病变的概率最高，则该目标眼底图像被判断为糖尿病视网膜病变。

[0101] 另外，第三神经网络14的网络结构没有特别限制。在一些示例中，第三神经网络14可以使用卷积层、全连接层和其他辅助层(例如批归一化层(batch normalization)、池化层(pooling)等)的各种组合来实现。例如，在一些情况下，第三神经网络14的输出层可以使用单层的卷积层、两层全连接层和输出层(softmax层)。另外，在另一些情况下，第三神经网络14的输出层也可以使用两层卷积层、两层池化层、三层全连接层和输出层(例如softmax层)。

[0102] 如上所述，在本实施方式中，由于采用了目标眼底图像与参考眼底图像分别独立作为输入信息，因此，能够有利于第一神经网络从目标眼底图像提取出高级特征，有利于第二神经网络从参考眼底图像提取出高级特征。而且，通过将从第一神经网络和第二神经网络分别获得的高级特征组合后，继续通过第三神经网络来获得对病变的判断结果，由此能够显著地提高对眼底图像病变的诊断性能。

[0103] (训练和测试)

[0104] 在本实施方式中，第一神经网络12、第二神经网络22和第三神经网络14可以一起训练，以获得最优的神经网络结构。例如在使用卷积神经网络作为第一神经网络12和第二神经网络22的情况下，在训练上述神经网络时，可以使用训练集的眼底图像对(包括目标眼底图像和参考眼底图像)对卷积神经网络进行训练。

[0105] 此外，上面描述了本实施方式所涉及的第一神经网络12、第二神经网络22和第三神经网络14可以同时一起训练，但本实施方式不限于此，例如也可以通过训练自编码(auto-encoder)网络的方式先训练第一神经网络12和第二神经网络22，然后再与第三神经网络14一起训练。

[0106] 另外，在本实施方式中，对于眼底图像而言，在人工神经网络10A的训练或者测试过程中，可以使用来自于同一个人的单眼两幅眼底图像，也可以使用来自于同一个人分别属于双眼的两幅眼底图像。

[0107] 另外，在人工神经网络10A的训练或者测试过程中，还可以使用四幅眼底图像包括两幅来自于左眼的眼底图像以及两幅来自于右眼的眼底图像。在这种情况下，能够与眼底图像病变判断的真实诊断情况更加匹配。顺便提一下，目前国际上比较推行的眼底图像病变判断的金标准是采用七幅不同眼底区域且视角30度的眼底图像。然而，本发明人等在长期的实践发现，例如采用四幅双眼45度且规定区域的眼底图像也能达到相当的病变判断效果。

[0108] 此外，本实施方式不限于此，还可以使用更多幅来自于同一个人双眼的眼底图像，更加优选地使用来自于相等数量的来自于左右两眼的眼底图像。

[0109] 在本实施方式所涉及的人工神经网络10A的训练过程中，选择来自合作医院且去除患者信息的例如5-20万幅眼底图像作为训练集(training set)，例如5000-20000幅眼底图像作为测试集(testing set)。在训练或测试过程中，眼底图像经过预处理后尺寸例如统一为512×512或1024×1024像素的RGB彩色眼底图像。

[0110] 在训练过程中使用随机梯度下降法进行参数调节，由此获得最终的训练结果。然后，将训练后的人工神经网络10A对测试集中的眼底图像进行识别，获得平均识别准确率例如高达90％以上。由此可见，本实施方式所涉及的人工神经网络10A能够在兼顾眼底临床情况下获得改善的病变判断准确率。

[0111] (识别病变的流程)

[0112] 图9示出了本实施方式所涉及的人工神经网络10A识别眼底图像病变的方法的流程图。以下，参考图9，详细地描述本实施方式所涉及的人工神经网络10A识别眼底图像病变的方法。

[0113] 在本实施方式所涉及的用于识别眼底图像病变的方法中，首先，对包括目标眼底图像和参考眼底图像的眼底图像对分别进行预处理(步骤S100)，以获得满足规定条件的眼底图像。

[0114] 在步骤S100中，例如可以对眼底图像进行区域检测、图像剪裁、尺寸调整和归一化处理等。另外，在步骤S100中，还可以在神经网络训练时对眼底图像对(包括目标眼底图像和参考眼底图像)进行数据扩增，以提高训练的数据样本量，从而提高对眼底病变判断的准确率。在一些示例中，目标眼底图像与参考眼底图像可以为相同的图像。

[0115] 接着，在步骤S100之后，可以利用深度学习方法对目标眼底图像和参考眼底图像分别进行操作，以获取目标眼底图像的特征和参考眼底图像的特征(步骤S200)。在步骤S200中，可以通过例如卷积神经网络来获得目标眼底图像的高级特征和参考眼底图像的高级特征。由于卷积神经网络有利于具有局部感受野和权值共享的优点，并且有利于提取眼底图像的高级特征，因此能够提高运算效率，节约硬件开销。

[0116] 在步骤S200之后，可以将目标眼底图像的特征和参考眼底图像的特征进行融合而形成特征组合集(步骤S300)。如上所述，形成特征组合集有利于目标眼底图像的特征和参考眼底图像的特征的综合，以便于后续的分类和判断。

[0117] 最后，再利用深度学习方法识别特征组合集，以获得对眼底图像病变的判断结果(步骤S400)。在步骤S400中，可以采用例如平均操作器(Average Operator)、最大值操作器(Maximum Operator)、逻辑回归(Logistic Regression)、随机森林(Random Forest)、支持向量机(SVM)等来获得对眼底病变的判断结果。

[0118] [第2实施方式]

[0119] 图10示出了本发明的第2实施方式所涉及的人工神经网络10B的框图。图11示出了本发明的第2实施方式所涉及的第三神经网络14的示例图。图12示出了本发明的第2实施方式所涉及的人工神经网络10B的第三预处理模块31的框图。

[0120] 本实施方式涉及人工神经网络10B与第1实施方式所涉及的人工神经网络10A的不同点在于：人工神经网络10B包括第三预处理模块31；第三神经网络14可以根据上述特征组合集和患者信息来产生对病变的判断结果(参见图10)。本实施方式所涉及的人工神经网络10B同样能够提高眼底病变筛查准确率(包括敏感性和特异性)。

[0121] 关于特征组合集已经在第1实施方式中进行了详细的描述，因此在本实施方式中不再赘述。在本实施方式中，特征组合模块13所得到的特征组合集输入到第三神经网络14，进一步地，第三神经网络14根据该特征组合集以及患者信息来产生对病变的判断结果。

[0122] 在本实施方式中，第三神经网络14的输出维度与待分类类别(例如病变类型)一致。也即，例如待分类类别为无病和有病两种类别时，第三神经网络14的输出维度可以为2；如果待分类类别为无病和具体病症(例如5种)时，第三神经网络14的输出维度可以为6。另外，第三神经网络14的输出维度可以根据实际情况调整。

[0123] 在一些示例中，第三神经网络14的输出可以是0到1之间的值(百分比)，这些值可以解释为目标眼底图像被分为某个类别(病变类型)的概率。此时，第三神经网络14的输出之和为1(概率和)。

[0124] 在本实施方式中，第三神经网络14的输出概率用来实现最终诊断。在一些示例中，当某个类别的概率最高时，则判断该眼底具有对应的类别病变。例如，在所有待分类类别中，如果无病变的概率最高，则该目标眼底图像被判断为无病变。如果糖尿病视网膜病变的概率最高，则该目标眼底图像被判断为糖尿病视网膜病变。

[0125] 另外，在一些示例中，患者信息可以包括患者视力、年龄、性别和既往病史当中的至少一种以上。另外，患者信息还可以包括体重等。根据本发明人等在多年的眼科实践中发现，患者的视力、年龄、性别、既往病史和体重等均与眼底病变有密切的关系，也即，患者的视力、年龄、性别和既往病史等因素也是眼底病变诊断的重要参考因素。

[0126] 另外，人工神经网络10B可以包括第三预处理模块31，通过第三预处理模块31可以对患者信息进行预处理。第三预处理模块31可以包括特征归一化单元311，通过特征归一化单元311，例如能够将患者信息所包括的值归一化到[0,1]区间，从而避免患者信息对后续神经网络处理可能产生的不利影响。

[0127] 在本实施方式中，通过在人工神经网络10B中添加患者信息作为第三输入提供给第三神经网络14A，以提高人工神经网络10B的病变识别能力。在第三神经网络14中，除了特征组合模块13所输出的特征作为第三神经网络14的输入之外，还将患者信息作为特征输出到第三神经网络14。由此，第三神经网络14能够根据特征组合集和患者信息来产生对病变的判断结果

[0128] 另外，第三神经网络14的网络结构没有特别限制。在一些示例中，第三神经网络14可以使用卷积层、全连接层和其他辅助层(例如批归一化层(batch normalization)、池化层(pooling)等)的各种组合来实现。例如，在一些情况下，第三神经网络14的输出层可以使用单层的卷积层、两层全连接层和输出层(例如softmax层)。另外，在另一些情况下，第三神经网络14的输出层也可以使用两层卷积层、两层池化层、三层全连接层和输出层例如softmax层(参见图11)。

[0129] 另外，在本实施方式中，第三神经网络14可以包括全连接层，并且患者信息作为全连接层的输入。具体而言，例如当第三神经网络14使用卷积层、池化层和全连接层作为神经网络结构时，患者信息可以作为全连接层的输入(参见图11)。在本实施方式中，当第三神经网络14具有全连接层患者信息既可以作为其第一个全连接层的输入，也可以作为其他任何一个全连接层的输入。在这种情况下，人工神经网络10B同时结合眼底图片信息(特征组合信息)和患者信息进行诊断，更加接近于医生的实际临床诊断过程，从而能够提高识别眼底图像病变的准确率。

[0130] 需要说明的是，对于前述的各个方法示例，为了简单描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。

[0131] 在上述实施方式或示例中，对各个实施方式或示例的描述都各有侧重，某个实施方式或示例中没有详细描述的部分，可以参见其他实施方式或示例的相关描述。

[0132] 另外，本发明所涉及的方法步骤可以根据实际需要进行顺序调整、合并和删减。本发明所涉及的装置中的单元或子单元可以根据实际需要进行合并、划分和删减。

[0133] 本领域普通技术人员可以理解上述实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器
(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

[0134] 虽然以上结合附图和实施例对本发明进行了具体说明，但是可以理解，上述说明不以任何形式限制本发明。本领域技术人员在不偏离本发明的实质精神和范围的情况下可以根据需要对本发明进行变形和变化，这些变形和变化均落入本发明的范围内。

标题	发布/更新时间	阅读量
用于眼底照相机的同步器	2020-05-21	461
一种无显示屏的可视手持式眼底照相机	2020-05-27	527
眼底照相机	2020-05-11	421
眼底照相机以及虚拟现实成像设备	2020-05-20	200
眼底照相机	2020-05-11	236
眼底照相机	2020-05-12	700
一种手持式眼底照相机	2020-05-17	268
一种眼底照相机镜头	2020-05-23	204
一种手持式眼底照相机	2020-05-24	344
一种眼底照相机	2020-05-19	775

基于眼底图像的糖尿病视网膜病变识别系统

基于眼底图像的糖尿病视网膜病变识别系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：