多任务的眼底图像分类方法和设备
阅读：854发布：2020-05-16
专利汇可以提供多任务的眼底图像分类方法和设备专利检索，专利查询，专利分析的服务。并且本 发明 提供一种多任务的 眼底 图像 分类方法和设备，所述方法包括：获取眼底图像；在所述眼底图像中截取黄斑区域图像和视盘区域图像；利用特征提取网络分别对所述黄斑区域图像提取黄斑特征信息、对所述视盘区域图像提取视盘特征信息、对所述眼底图像提取全局特征信息；利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息中的部分或全部的组合进行分类得到多个分类结果。，下面是多任务的眼底图像分类方法和设备专利的具体信息内容。
1.一种多任务的眼底图像分类方法，其特征在于，包括：
获取眼底图像；
在所述眼底图像中截取黄斑区域图像和视盘区域图像；
利用特征提取网络分别对所述黄斑区域图像提取黄斑特征信息、对所述视盘区域图像提取视盘特征信息、对所述眼底图像提取全局特征信息；
利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息中的部分或全部的组合进行分类得到多个分类结果。
2.根据权利要求1所述的方法，其特征在于，所述在所述眼底图像中截取黄斑区域图像和视盘区域图像，包括：
识别所述眼底图像中的黄斑中心位置、视盘中心位置和视盘尺寸；
根据所述黄斑中心位置、视盘中心位置和视盘尺寸在所述眼底图像中截取黄斑区域图像和视盘区域图像。
3.根据权利要求2所述的方法，其特征在于，所述识别所述眼底图像中的黄斑中心位置、视盘中心位置和视盘尺寸，包括：
利用预测网络预测所述眼底图像中的预测黄斑中心位置、视盘中心位置和视盘尺寸，所述预测网络在预测过程中生成热力图，所述黄斑中心位置和所述视盘中心位置是根据所述热力图的像素值确定的。
4.根据权利要求2所述的方法，其特征在于，所述根据所述黄斑中心位置、视盘中心位置和视盘尺寸在所述眼底图像中截取黄斑区域图像和视盘区域图像包括：
以所述视盘中心位置为中心、以所述视盘尺寸的第一设定倍数为尺寸在所述眼底图像中截取视盘区域图像；
以所述黄斑中心位置为中心、以所述视盘尺寸的第二设定倍数为尺寸在所述眼底图像中截取黄斑区域图像，所述第二设定倍数大于所述第一设定倍数。
5.根据权利要求3所述的方法，其特征在于，利用特征提取网络对所述黄斑区域图像提取黄斑特征信息，包括：
将所述黄斑区域图像与所述热力图叠加得到加权后的黄斑区域图像；
利用特征提取网络对加权后的黄斑区域图像提取黄斑特征信息。
6.根据权利要求3所述的方法，其特征在于，利用特征提取网络对所述视盘区域图像提取视盘特征信息，包括：
将所述视盘区域图像与所述热力图叠加得到加权后的视盘区域图像；
利用特征提取网络对加权后的视盘区域图像提取视盘特征信息。
7.根据权利要求1所述的方法，其特征在于，利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息及其全部或部分的组合进行分类得到多个分类结果，包括：
将所述黄斑特征信息、所述视盘特征信息和所述全局特征信息进行连接得到第一组合特征信息；
利用第一分类网络对所述第一组合特征信息进行分类得到针对整体眼底的分类结果。
8.根据权利要求1或7所述的方法，其特征在于，利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息及其全部或部分的组合进行分类得到多个分类结果，包括：
将所述黄斑特征信息和所述全局特征信息进行连接得到第二组合特征信息；
利用第二分类网络对所述第二组合特征信息进行分类得到针对黄斑的分类结果。
9.根据权利要求1或7或8所述的方法，其特征在于，利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息及其全部或部分的组合进行分类得到多个分类结果，包括：
利用第三分类网络对所述视盘特征信息进行分类得到针对视盘的分类结果。
10.根据权利要求1所述的方法，其特征在于，还包括：
获取所述特征提取网络中的最后一个卷积层输出的特征图及其相应类别的权重生成热力图。
11.根据权利要求10所述的方法，其特征在于，所述特征提取网络为3个，其中第一特征提取网络用于对所述视盘区域图像提取视盘特征信息、第二特征提取网络用于对所述黄斑区域图像提取黄斑特征信息、第三特征提取网络用于对所述眼底图像提取全局特征信息；
所述获取所述特征提取网络中的最后一个卷积层输出的特征图及其相应类别的权重生成热力图，包括：
获取第一特征提取网络的最后一个卷积层输出的特征图Convd及其对应视盘分类的权重wd_d，生成视盘热力图CAMd_d；和/或
获取第二特征提取网络的最后一个卷积层输出的特征图Convm及其对应黄斑分类的权重wm_m，生成关于黄斑类别的黄斑区热力图CAMm_m；和/或
获取第三特征提取网络的最后一个卷积层输出的特征图Convg及其对应黄斑分类的权重wm_g，生成关于黄斑类别的全局热力图CAMm_g；和/或
获取第一特征提取网络的的最后一个卷积层输出的特征图Convd及其对应眼底整体分类的权重wg_d，生成关于整体类别的视盘区热力图CAMg_d；和/或
获取第二特征提取网络的最后一个卷积层输出的特征图Convm及其对应眼底整体分类的权重wg_m，生成关于整体类别的黄斑区热力图CAMg_m；和/或
获取第三特征提取网络的最后一个卷积层输出的特征图Convg及其对应眼底整体分类的权重wg_g，生成关于整体类别的全局热力图CAMg_g。
12.一种多源输入的眼底图像分类设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求
1-11中任意一项所述的多任务的眼底图像分类方法。
多任务的眼底图像分类方法和设备
技术领域
[0001] 本发明涉及眼科图像检测领域，具体涉及一种多任务的眼底图像分类方法和设备。
背景技术
[0003] 目前，机器学习在医学领域得到了广泛的应用，尤其以深度学习为代表的机器学习技术在医疗影像领域被广泛关注。在眼底图像检测方面，深度学习技术已经被用于青光眼、糖尿病视网膜病变这样的单一病种的检测，并取得了良好效果。
[0004] 但是在实际应用场景中，视网膜疾病种类较多，各种疾病的表现形态有部分差异和部分相似性，因此，单独针对其中的某一种或者某几种疾病进行检测，有可能会造成对其他疾病的误判。例如患者为脉络膜新生血管性黄斑变性，如果输入只针对糖尿病视网膜病变的分级建模的模型中，该例图片会因为有出血和渗出而被对应地识别为糖尿病视网膜病变的非增殖中重度；另外在一些情况下，多种视网膜疾病可能会同时出现，例如患者可能会同时有青光眼和糖尿病性视网膜病变这两种疾病，将其眼底图像输入针对其中任一种病变的分类模型中，都将会导致另一种病变被漏检。
[0005] 由此可见，现有的眼底图像的分类检测方案准确性和实用性仍有待提高。
发明内容
[0006] 有鉴于此，本发明提供一种多任务的眼底图像分类方法，包括：
[0007] 获取眼底图像；
[0008] 在所述眼底图像中截取黄斑区域图像和视盘区域图像；
[0009] 利用特征提取网络分别对所述黄斑区域图像提取黄斑特征信息、对所述视盘区域图像提取视盘特征信息、对所述眼底图像提取全局特征信息；
[0010] 利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息中的部分或全部的组合进行分类得到多个分类结果。
[0011] 可选地，所述在所述眼底图像中截取黄斑区域图像和视盘区域图像，包括：
[0012] 识别所述眼底图像中的黄斑中心位置、视盘中心位置和视盘尺寸；
[0013] 根据所述黄斑中心位置、视盘中心位置和视盘尺寸在所述眼底图像中截取黄斑区域图像和视盘区域图像。
[0014] 可选地，所述识别所述眼底图像中的黄斑中心位置、视盘中心位置和视盘尺寸，包括：
[0016] 可选地，所述根据所述黄斑中心位置、视盘中心位置和视盘尺寸在所述眼底图像中截取黄斑区域图像和视盘区域图像包括：
[0017] 以所述视盘中心位置为中心、以所述视盘尺寸的第一设定倍数为尺寸在所述眼底图像中截取视盘区域图像；
[0018] 以所述黄斑中心位置为中心、以所述视盘尺寸的第二设定倍数为尺寸在所述眼底图像中截取黄斑区域图像，所述第二设定倍数大于所述第一设定倍数。
[0019] 可选地，利用特征提取网络对所述黄斑区域图像提取黄斑特征信息，包括：
[0020] 将所述黄斑区域图像与所述热力图叠加得到加权后的黄斑区域图像；
[0021] 利用特征提取网络对加权后的黄斑区域图像提取黄斑特征信息。
[0022] 可选地，利用特征提取网络对所述视盘区域图像提取视盘特征信息，包括：
[0023] 将所述视盘区域图像与所述热力图叠加得到加权后的视盘区域图像；
[0024] 利用特征提取网络对加权后的视盘区域图像提取视盘特征信息。
[0025] 可选地，利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息及其全部或部分的组合进行分类得到多个分类结果，包括：
[0026] 将所述黄斑特征信息、所述视盘特征信息和所述全局特征信息进行连接得到第一组合特征信息；
[0027] 利用第一分类网络对所述第一组合特征信息进行分类得到针对整体眼底的分类结果。
[0028] 可选地，利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息及其全部或部分的组合进行分类得到多个分类结果，包括：
[0029] 将所述黄斑特征信息和所述全局特征信息进行连接得到第二组合特征信息；
[0030] 利用第二分类网络对所述第二组合特征信息进行分类得到针对黄斑的分类结果。
[0031] 可选地，利用分类网络对所述黄斑特征信息、所述视盘特征信息和所述全局特征信息及其全部或部分的组合进行分类得到多个分类结果，包括：
[0032] 利用第三分类网络对所述视盘特征信息进行分类得到针对视盘的分类结果。
[0033] 可选地，上述方法还包括：
[0034] 获取所述特征提取网络中的最后一个卷积层输出的特征图及其相应类别的权重生成热力图。
[0035] 可选地，所述特征提取网络为3个，其中第一特征提取网络用于对所述视盘区域图像提取视盘特征信息、第二特征提取网络用于对所述黄斑区域图像提取黄斑特征信息、第三特征提取网络用于对所述眼底图像提取全局特征信息；
[0036] 所述获取所述特征提取网络中的最后一个卷积层输出的特征图及其相应类别的权重生成热力图，包括：
[0037] 获取第一特征提取网络的最后一个卷积层输出的特征图Convd及其对应视盘分类的权重wd_d，生成视盘热力图CAMd_d；和/或
[0038] 获取第二特征提取网络的最后一个卷积层输出的特征图Convm及其对应黄斑分类的权重wm_m，生成关于黄斑类别的黄斑区热力图CAMm_m；和/或
[0039] 获取第三特征提取网络的最后一个卷积层输出的特征图Convg及其对应黄斑分类的权重wm_g，生成关于黄斑类别的全局热力图CAMm_g；和/或
[0040] 获取第一特征提取网络的的最后一个卷积层输出的特征图Convd及其对应眼底整体分类的权重wg_d，生成关于整体类别的视盘区热力图CAMg_d；和/或
[0041] 获取第二特征提取网络的最后一个卷积层输出的特征图Convm及其对应眼底整体分类的权重wg_m，生成关于整体类别的黄斑区热力图CAMg_m；和/或
[0042] 获取第三特征提取网络的最后一个卷积层输出的特征图Convg及其对应眼底整体分类的权重wg_g，生成关于整体类别的全局热力图CAMg_g。
[0043] 相应地，本发明还提供一种多源输入的眼底图像分类设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述多任务的眼底图像分类方法。
[0044] 根据本发明提供的眼底图像分类方法和设备，首先将黄斑区域图像、视盘区域图像和眼底图像这三个图像作为输入，利用特征提取网络分别提取这三个图像的特征信息，然后将三个图像的特征信息进行多种组合，最后利用分类网络根据各种特征信息的各种组合得到相应的多种分类结果，通过适当的特征组合方式，本方案可以针对眼底的局部和整体等几乎所有的疾病和异常进行识别，采用多任务而非单任务的分类方式，同时学习多区域的异常类别，一方面可以相互辅助学习，提高预测的准确率、降低漏检率；另一方面，与多个单任务分类方案相比，多任务融合可以减少网络的参数量，提高计算效率。附图说明
[0045] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0046] 图1是一幅眼底图像；
[0047] 图2是本发明实施例中根据眼底图像得到的热力图及其与原图的结合示意图；
[0048] 图3为本发明实施例中的训练数据示意图；
[0050] 图5是一个根据特征信息和权重得到的多种热力图及其与原图的结合示意图；
[0051] 图6是另一个根据特征信息和权重得到的多种热力图及其与原图的结合示意图。
具体实施方式
[0052] 下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053] 此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0054] 本发明实施例提供一种眼底数据预测方法，该方法可以由计算机和服务器等电子设备执行。在本方法中使用了机器学习模型识别图像，所述机器学习模型可以是多种类型和结构的神经网络。该方法包括如下步骤：
[0055] S1A，获取眼底图像。为了提高识别效率，在本实施例中对获取的眼底照片进行了预处理，得到了如图1示的眼底图像。预处理包括但不限于图像增强、去除边界等操作。在其它实施例中也可以不进行这些预处理，可直接使用眼底拍照设备采集的眼底照片。
[0056] S2A，利用机器学习模型预测眼底图像中的黄斑中心位置、视盘中心位置和视盘尺寸。本实施例中的机器学习模型用于进行回归，该模型是利用大量标注了黄斑中心位置、视盘中心位置和视盘尺寸的样本眼底图像进行训练得到的，具体将在下文中介绍模型的训练方案。
[0057] 本实施例中的机器学习模型首先提取眼底图像的特征信息，然后根据特征信息得到上述三个信息，这些特征信息属于回归过程的中间结果而非最终结果。模型的特征提取部分可采用堆叠的沙漏结构(stacked hour-glass modules)，也可以选用YoloV3、DSOD的特征提取部分，或类似U-Net的结构。在此步骤中所获取的特征信息是特征提取网络的最后一层输出的二维的特征图(Feature map),最后一层可以是卷积层、池化层或者等等。
[0058] 本实施例中的机器学习模型在预测过程中会生成热力图，这是一种对特征信息的可视化处理。以图2为例，获取机器学习模型预测过程中所提取的特征信息，可生成如图2所示左侧的热力图(也称热图，HeatMap)，在可选的实施例中，可以基于特征图生成热力图，或者特征图就是热力图。例如在预测的过程中，特征提取网络输出为特征图进行归一化处理，使其中每个点的像素值范围在0～255，即可得到热力图。在热力图中，越靠近视盘和黄斑中心位置的像素点值越大，越远离中心的像素点的值越小。
[0059] 如图2所示，在对预测结果影响比较大的位置生成的热度(数值)相对于其它位置更高。将热力图与眼底图像结合(右侧)可以更清楚地看出，越接近视盘和黄斑中心的位置热力图的值越高，表示模型的关注度越高，因此模型可以根据热力图的像素值来确定黄斑中心位置和视盘中心位置。
[0060] 预测结果中的黄斑中心位置和视盘中心位置可以通过像素点的坐标来表示。视盘尺寸的表达方式有多种，例如可以将视盘视区域为一个圆形区域，在此给出圆形区域的半径，或者将视盘视为一个正方形或长方形区域，在此给出方形区域的长度和/或宽度等等。
[0061] 图2只是为了进行说明而示出的可视化结果，实际应用时可以向用户展示热力图及其与原图的结合结果，提示用户重点观察此区域。也可以不做可视化处理，热力图将作为一种辅助数据用于后续对眼底图像进行分类或分割感兴趣区域。
[0062] 根据本发明实施例提供的眼底数据预测方法，结合神经网络算法和回归两方面的优势可以准确地定位到眼底图像中的视盘和黄斑中心位置。预测集合了视盘和黄斑位置信息的热力图，将视盘跟黄斑的距离和位置的先验信息隐含地融合在模型中，提高检测的准确率。
[0063] 对于视盘区域的疾病，病变区域一般集中在视盘的一个视盘直径的范围内。对于黄斑区域的疾病，一般以病变区域距离黄斑中心凹的距离来衡量疾病的严重程度，如糖尿病性黄斑水肿，其中最重要的分级指标是水肿病变与黄斑中心凹的距离。而为了更好的确定相对距离，一般以黄斑中心凹与病变的距离与视盘直径的比值来作为衡量指标。对于一些整体性眼底疾病而言，是否波及黄斑区域和视盘区域，是衡量视力受损程度的重要依据。本发明提供的方案在预测黄斑和视盘中心的同时还得到视盘的尺寸，可以为医生确定治疗方案提供重要依据。
[0064] 此外，得到的热力图可应用于进行对眼底图像进行异常检测，利用注意力选择机制，通过将其与原图对应区域相叠加，给视盘、黄斑相对中心的区域相对更大的关注度，从而更好地模拟临床医生实际诊断方式，即在越靠近视盘和黄斑中心的位置出现的病变越危急，需要给予更多的关注，从而提高异常检测操作的准确性。
[0065] 在一个优选的实施例中，机器学习模型采用如下方式得到黄斑中心位置和视盘中心位置：获取热力图中的两个峰值；确定两个峰值对应眼底图像中的两个像素点；根据两个像素点的像素值确定黄斑中心位置和视盘中心位置。
[0066] 热力图的峰值位置最有可能是黄斑和视盘的中心位置。特征提取网络输出的特征图中有两个峰值位置，分别是黄斑中心位置和视盘中心位置。在原始眼底图像中，黄斑中心暗于视盘中心，即其像素值低于视盘中心像素值，因此根据这两个峰值位置对应到原始眼底图像中的像素值，即可区分黄斑和视盘中心。
[0067] 本发明还提供一种眼底数据预测设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底数据预测方法。
[0068] 本发明实施例提供一种眼底数据预测模型训练方法，可用于训练上述实施例中所使用的机器学习模型，本方法可以由计算机和服务器等电子设备执行。本方法包括如下步骤：
[0069] S1B，获取训练数据，训练数据包括如图3所示的标记了黄斑中心31位置、视盘中心32位置和视盘区域33的眼底图像，其中视盘区域33的标记内容用于确定视盘尺寸。在本实施中，视盘区域33的标注为正方形，其边长为视盘尺寸，可以被视为视盘的直径。在其它实施例中也可以采用圆形或其他形状对此区域进行标注。
[0070] 实际应用时应当获取大量的上述训练数据，如果实际的眼底图像数量不够多，可以添加一个数据增强模块基于实际的眼底图像生成训练数据，数据增强模块可采用随机翻转、镜像、旋转、平移、随机加噪声、模糊化、提高对比度、调整颜色空间等手段，基于原始的眼底图像来进行数据扩增。其原则是尽可能地模拟眼底图自然拍摄中可能出现的形态，使得生成的眼底图与实际拍摄的眼底图一致。
[0071] 根据上述扩充方式，基于一幅实际采集的眼底图像进行处理，可以得到多幅变换图像作为训练数据，由此可以显著提高训练数据的数量，从而优化机器学习模型的性能。
[0072] S2B，利用上述训练数据对机器学习模型进行训练，以使其根据输入的眼底图像预测黄斑中心位置、视盘中心位置和视盘尺寸。训练时应当设置一定的收敛条件，利用大量如图3所示的样本图像使机器学习模型预测的结果与实际标注的内容达到一定的一致性。
[0073] 具体地，应当设定合适的损失函数来衡量预测结果与标注内容(实际数据)间的差异，并根据差异给与相应的惩罚从而使模型优化自身的参数，直到模型的预测结果与标注内容的差距足够小并保持稳定。损失函数可包括两部分，一部分用来衡量预测的视盘和黄斑的中心点与实际数据的差异，另一部分用来衡量预测的视盘尺寸与实际尺寸的差异，这两部分可以有所偏重，具体根据实际应用场景进行设置。
[0074] 根据本发明实施例提供的眼底数据预测模型训练方法，结合神经网络算法和回归两方面的优势，利用标注了视盘和黄斑中心位置以及视盘尺寸的训练数据对机器学习模型进行训练，使其能够预测这些信息。
[0075] 作为一个优选的实施例，训练过程采用如下损失函数：
[0076] Loss＝Lp+λLwh，
[0077] 其中Lp表示预测的黄斑中心位置、视盘中心位置与训练数据中的黄斑中心位置、视盘中心位置的差异，Lwh表示预测的视盘尺寸与训练数据中的视盘尺寸的差异，λ为权重，0＜λ＜1。在一个具体的实施例中λ取值为0.1。
[0078] 进一步地，上式中
[0079]
[0080] 其中Fmap(x,y)为预测过程中所提取的特征图中的像素点的值，Heatmap(x,y)是热力图中的像素点的值，N为所述特征图中的像素点数量，x、y是像素点的坐标，Ω是像素位置的集合。在模型训练过程中，将heatmap(热力图)作为卷积网络生成的特征图的目标，即模型训练时通过反向传播，使卷积网络生成的特征图Fmap(特征图)尽可能接近heatmap。
[0081] 进一步地，上式中
[0082]
[0083] 其中 为预测的视盘尺寸，Sd为训练数据中的视盘尺寸，所述视盘尺寸包括视盘标注框的长度信息和/或宽度信息。
[0084] 更进一步地，本实施例采用如下方式获得热力图：
[0085]
[0086] 其中(xm0,ym0)为训练数据中的黄斑中心位置，(xd0,yd0)为训练数据中的视盘中心位置，σ为训练数据中的视盘尺寸信息，(x,y)是heatmap对应像素点的坐标位置。
[0087] σ2＝wh/4，w和h分别为训练数据中的视盘区域的宽和高，σ相当于视盘半径。
[0088] 本发明还提供一种眼底数据预测模型训练设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底数据预测模型训练方法。
[0089] 本发明实施例提供一种多任务的眼底图像分类方法，该方法可以由计算机和服务器等电子设备执行。本方法可以用于识别眼底图像的异常情况进行分类。该方法包括如下步骤：
[0090] S1C，获取眼底图像。如图1所示的眼底图像，为了提高识别效率，在本实施例中对获取的眼底照片进行了预处理，预处理包括但不限于图像增强、去除边界等操作。在其它实施例中也可以不进行这些预处理，可直接使用眼底拍照设备采集的眼底照片。
[0091] S2C，在眼底图像中截取黄斑区域图像和视盘区域图像。作为一个优选的实施例，首先识别眼底图像中的黄斑中心位置、视盘中心位置和视盘尺寸，然后根据这三个数据来截取图像。
[0092] 此步骤中可以但不限于使用上述实施例中的机器学习模型来预测这三个数据，具体可参见上述眼底数据预测方法及其模型训练方法，此处不再赘述。此步骤也可以使用其它方式，例如机器视觉算法识别图像而得到这两个区域图像。
[0093] 在此截取的两个区域图像至少应当分别包含完整的黄斑影像和视盘影像，还可以适当包含一些背景(背景也是眼底区域，即黄斑和视盘的周围)。作为一个举例，例如视盘尺寸是半径，则以视盘中心位置为圆心、以视盘尺寸为半径截取一个圆形区域图像，即可得到视盘区域图像，如果将视盘尺寸向外扩充一段距离，则可截取到包含一些背景的视盘区域图像。
[0094] 黄斑的轮廓比较模糊，普遍认为其没有明确的边界，但其范围比视盘更大。所以在本发明中也以视盘尺寸为依据截取黄斑区域图像。作为一个举例，例如视盘尺寸是半径信息，那么则以黄斑中心位置为圆心、以略大于视盘尺寸的半径截取一个圆形区域图像，即可得到黄斑区域图像，这一图像的尺寸优选为略大于视盘区域图像的尺寸。
[0095] S3C，利用特征提取网络分别对黄斑区域图像提取黄斑特征信息、对视盘区域图像提取视盘特征信息、对眼底图像提取全局特征信息。此步骤中的特征提取网络为卷积神经网络，其输出的特征信息为多维的特征向量。在此步骤中将上述三个图像作为网络的输入，经过网络进行特征提取，输出对应三个图像的三组特征向量。
[0096] S4C，利用分类网络对黄斑特征信息、视盘特征信息和全局特征信息中的部分或全部的组合进行分类得到多个分类结果。其中分类网络的数量与分类结果的数量一致，也即每个分类网络分别执行一个分类任务，从而进行多任务的眼底图像分类。其中某些分类网络可以对单一的特征信息分类而得到分类结果，其中某些分类网络可以对两种或者全部特征信息的结合进行分类而得到分类结果。
[0097] 作为一个举例，有些黄斑类异常是由全眼底性疾病引起的，如糖尿病性视网膜病变导致的黄斑水肿、静脉阻塞导致的黄斑水肿和病理性近视导致的黄斑前膜、脉络膜新生血管等，由不同全眼底性疾病引起的同一类型的黄斑异常，其图像表现形式有较大差异。假设某一个分类网络执行的是对黄斑异常进行分类的任务，那么则可以将黄斑特征信息和全局特征信息进行组合，由该分类网络对这两个特征的组合进行分类，从而提高黄斑异常检测的准确率。
[0098] 分类网络例如包括全连接层、softmax分类器等，根据上述三组特征信息之一或者各种可能的组合进行分类，得到的分类结果例如是眼底异常或疾病的种类(标签)。具体地，可以将分类网络配置为执行多标签分类任务，输出的分类结果为各种标签的置信度信息，上述分类网络和特征提取网络具体可采用如Resnet、Densenet、Nasnet及Inception系列。在应用于分类前应当使用训练数据对其进行训练，训练数据包括眼底图像及其黄斑区域图像和视盘区域图像和相应的类别(标签)。
[0099] 根据本发明实施例提供的眼底图像分类方法，首先将黄斑区域图像、视盘区域图像和眼底图像这三个图像作为输入，利用特征提取网络分别提取这三个图像的特征信息，然后将三个图像的特征信息进行多种组合，最后利用分类网络根据各种特征信息的各种组合得到相应的多种分类结果，通过适当的特征组合方式，本方案可以针对眼底的局部和整体对几乎所有的疾病和异常进行识别，采用多任务而非单任务的分类方式，同时学习多区域的异常类别，一方面可以相互辅助学习，提高预测的准确率、降低漏检率；另一方面，与多个单任务分类方案相比，多任务融合可以减少网络的参数量，提高计算效率。
[0100] 在一个具体的实施例中，上述方案中的多任务包括三个任务，分别是对眼底整体性异常进行分类、对黄斑异常进行分类和对视盘异常进行分类，为此将使用三个分类网络。
[0101] 对于眼底整体性异常分类任务，标签表示整体性异常的类别，例如糖尿病性视网膜病变的各个分级(非增殖期轻度、中度、中度和增殖期)，高血压性视网膜病变的各个分级、中重度病理性近视、动脉阻塞、静脉阻塞等多个异常类别。在步骤S4C中将黄斑特征信息、视盘特征信息和全局特征信息进行连接得到第一组合特征信息，例如这三组特征分别是1024维的特征向量，在此得到的组合特征信息3072维的特征向量。然后利用第一分类网络对第一组合特征信息进行分类得到针对整体眼底的分类结果，该结果中可包括对应各个整体性异常类别(标签)的置信度信息。
[0102] 对于黄斑异常分类任务，标签表示黄斑相关异常的类别，例如年龄相关性黄斑变性、黄斑前膜、黄斑水肿、黄斑裂孔等多个异常类别。在步骤S4C中将黄斑特征信息和全局特征信息这两组特征进行连接得到第二组合特征信息。例如这两组特征分别是1024维的特征向量，在此得到的组合特征信息2048维的特征向量。然后利用第二分类网络对此组合特征信息进行分类得到针对黄斑的分类结果，该结果中可包括对应各个黄斑异常类别(标签)的置信度信息。
[0103] 对于视盘异常分类任务，标签表示视盘相关异常的类别，例如青光眼、视乳头水肿、视盘前膜、视神经萎缩等多个异常类别。在步骤S4C中利用第三分类网络只针对视盘特征信息进行分类而得到针对视盘的分类结果，该结果中可包括对应各个视盘异常类别的置信度信息。由于视盘区域的疾病相对集中，因此不必加入其他区域的特征，只采用视盘区域的特征进行异常检测即可。
[0104] 图4示出了一个优选的多任务异常检测框架，眼底图像41进入热力图生成网络(眼底数据预测模型)，该网络输出热力图像42以及黄斑中心位置、视盘中心位置和视盘尺寸，在本实施例中视盘尺寸为长度和宽度。
[0105] 本实施例中有3个特征提取网络，特征提取网络一(第一特征提取网络)，用于提取视盘区域的特征，其输入的视盘区域的中心是定位到的视盘中心，长和宽是定位模型得到的视盘长和宽的1.5倍(第一设定倍数)；特征提取网络二(第二特征提取网络)，用于提取黄斑区域的特征，其输入的黄斑区域的中心是定位到的黄斑中心，长和宽是视盘大小的2倍(第二设定倍数)；特征提取网络三(第三特征提取网络)，用于提取眼底图像41的整体性的特征。
[0106] 本实施例中采用热力图像42，利用注意力选择机制，通过将其与原图对应区域相乘的方式(上采样)来获取加权后的图像。特征提取网络一和特征提取网络二针对加权后的图像提取特征信息。通过给视盘、黄斑相对中心的区域相对更大的权重，可以更好地模拟临床医生实际诊断的方式，即在越靠近视盘和黄斑中心的位置出现的病变越危急，需要给予更多的关注。
[0107] 通过一组全连接层和softmax函数(第一分类网络)对特征提取网络一提取的视盘特征进行分类，输出各个视盘异常类别的置信度。
[0108] 将特征提取网络二和特征提取网络三提取的特征合并，通过另一组全连接层和softmax函数(第二分类网络)输出各个黄斑异常类别的置信度。在黄斑异常检测的过程中，通过加入眼底图像整体特征，让模型在关注整体的色彩、纹理变化的同时，结合眼底整体的病变，模拟医生诊断方式，由此可提高黄斑异常检测的准确率。
[0109] 将三个特征提取网络提取的特征合并，通过第三组全连接层和softmax函数(第三分类网络)输出各个整体性异常类别的置信度。在整体性异常检测的过程中，通过加入视盘和黄斑区域单独提取的特征，让模型在关注整体的色彩、纹理变化的同时，更多地关注黄斑区域和视盘区域的病变，模拟医生诊断方式，由此可提高整体异常检测的准确率。
[0110] 多任务学习与多个单任务分别学习的预测准确率实验对比如下表所示：
[0111]
[0112] 由上表可知，多任务较单任务预测的准确率有一定的提升，对于运算时间，多任务的预测时间近似整体性异常的单任务的预测时间，相当于省去了单任务预测黄斑区域异常和视盘区域异常的时间。
[0113] 进一步地，在本实施例中还获取了特征提取网络中的最后一个卷积层输出的特征图及其相应类别的权重生成若干热力图。通过计算多任务中的各个任务的每个输入源对应的热力图，可以显示出异常的区域，给医生提供更多参考依据。
[0114] 具体地，本实施例中有三个特征提取网络，它们的最后一个卷积层输出的特征图分别为Convd、Convm和Convg。关于相应类别的权重，对于视盘异常检测模块，可提取预测视盘分类的权重wd_d；对于黄斑异常检测模块，可提取黄斑和整体区域的特征提取网络对应的预测黄斑异常类别的权重wm_m和wm_g，对于整体异常检测模块，可提取视盘、黄斑和整体区域对应的预测整体异常类别的权重wg_d、wg_m和wg_g。
[0115] 基于上述特征图和权重可以生成六种热力图：
[0116] (1)根据第一特征提取网络的最后一个卷积层输出的特征图Convd及其对应视盘分类的权重wd_d，生成视盘热力图CAMd_d：
[0117]
[0118] (2)根据第二特征提取网络的最后一个卷积层输出的特征图Convm及其对应黄斑分类的权重wm_m，生成关于黄斑类别的黄斑区热力图CAMm_m：
[0119]
[0120] (3)根据第三特征提取网络的最后一个卷积层输出的特征图Convg及其对应黄斑分类的权重wm_g，生成关于黄斑类别的全局热力图CAMm_g：
[0121]
[0122] (4)根据第一特征提取网络的的最后一个卷积层输出的特征图Convd及其对应眼底整体分类的权重wg_d，生成关于整体类别的视盘区热力图CAMg_d：
[0123]
[0124] (5)根据第二特征提取网络的最后一个卷积层输出的特征图Convm及其对应眼底整体分类的权重wg_m，生成关于整体类别的黄斑区热力图
[0125] CAMg_m：
[0126]
[0127] (6)根据第三特征提取网络的最后一个卷积层输出的特征图Convg及其对应眼底整体分类的权重wg_g，生成关于整体类别的全局热力图CAMg_g：
[0128]
[0129] 其中，l表示类别标签，Convi为特征提取网络的最后一个卷积层的第i个输出，共输出N幅特征图，wil表示第i个卷积输出对应到第l个标签的权重。
[0130] 图5示出了一个关于上述六种热力图和眼底图像相结合的示例，其中示出了同时患有非增殖期重度糖尿病性视网膜病变和青光眼的患者的眼底图像50；
[0131] 在整体异常分类任务中，关于整体类别的全局热力图像51体现出，第三特征提取网络主要关注到出血、硬性渗出等病变区域，相比在黄斑异常检测任务中整体图上关注到的病变区域更集中；关于整体类别的黄斑区热力图像52体现出，第二特征提取网络主要关注硬性渗出区域；视盘区域没有病变，所以关于整体类别的视盘区热力图像53中没有体现出第一特征提取网络对应的关注区域。
[0132] 在黄斑异常分类任务中，关于黄斑类别的全局热力图像54体现出，第三特征提取网络关注的也是硬性渗出和出血的病变区域；关于黄斑类别的黄斑区热力图55体现出，第二特征提取网络关注的是渗出病变区域，相比于整体异常检测任务中的黄斑区域图，关注到的病变区域也更准确；
[0133] 在视盘异常分类任务，因为青光眼在眼底图上的表现主要是杯盘比异常，所以视盘热力图像56体现出第一特征提取网络关注的视杯位置更加突出。
[0134] 图6示出了另一个关于上述六种热力图和眼底图像相结合的示例，其中示出了同时患有病理性近视和黄斑变性的眼底图像60；
[0135] 在整体异常分类任务中，关于整体类别的全局热力图像61体现出，第三特征提取网络主要关注到豹纹、视盘周边萎缩和黄斑区异常；关于整体类别的黄斑区热力图像62体现出，第二特征提取网络主要关注黄斑部分的变性；关于整体类别的视盘区热力图像63体现出，第一特征提取网络主要关注视盘周边的萎缩。
[0136] 通过这两个示例可见，基于多任务的眼底图像分类方案不仅能够同时输出眼底多个区域的异常情况，而且能够通过热力图定位主要的病变位置，为医生提供更多有价值的参考信息。
[0137] 本发明还提供一种多任务的眼底图像分类设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行上述多任务的眼底图像分类方法。
[0138] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0139] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0140] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0141] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0142] 显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于SIFT特征的眼底图像配准方法 | 2020-05-17 | 950 |
| 眼底图像获取方法和装置、眼底相机 | 2020-05-11 | 301 |
| 眼底图像的配准方法、眼底图像中视盘神经、血管的测量方法及眼底图像的拼接方法 | 2020-05-14 | 866 |
| 基于图像特征的眼底图像配准方法 | 2020-05-14 | 226 |
| 眼底图像的采集装置 | 2020-05-13 | 121 |
| 基于图像特征的眼底图像配准方法 | 2020-05-14 | 733 |
| 眼底图像获取方法和装置、眼底相机 | 2020-05-11 | 31 |
| 眼底图像捕获 | 2020-05-11 | 59 |
| 一种视网膜眼底图像分割方法及装置 | 2020-05-15 | 441 |
| 眼底图像检验系统 | 2020-05-15 | 928 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈