一种上消化道内镜图像的诊断方法及装置专利检索-内镜检查诊断设备和程序专利检索查询-专利查询网

一种上消化道内镜图像的诊断方法及装置

阅读：791发布：2020-05-23

专利汇可以提供一种上消化道内镜图像的诊断方法及装置专利检索，专利查询，专利分析的服务。并且本发明实施例公开了一种上消化道内镜图像的诊断方法及装置。该方法包括：对含有肿瘤信息的上消化道内镜图像样本进行肿瘤轮廓标记；以标记完成的含有肿瘤信息的上消化道内镜图像样本和不含肿瘤信息的上消化道内镜图像样本为依据，训练获得上消化道内镜诊断模型；将待测上消化道内镜图像输入上消化道内镜诊断模型，获得待测上消化道内镜图像的诊断结果；诊断结果包括第一分类结果、第二分类结果和语义分割结果中的一种或多种结果；其中，第一分类结果用于描述待测上消化道内镜图像是否为上消化道内镜图像，第二分类结果用于描述待测上消化道内镜图像是否含有肿瘤信息。实施本发明实施例，能够进行一次性多任务输出，进而提高识别准确率。，下面是一种上消化道内镜图像的诊断方法及装置专利的具体信息内容。

权利要求

1.一种上消化道内镜图像的诊断方法，其特征在于，包括：
对含有肿瘤信息的上消化道内镜图像样本进行肿瘤轮廓标记；
以标记完成的含有肿瘤信息的上消化道内镜图像样本和不含肿瘤信息的上消化道内镜图像样本为依据，训练获得上消化道内镜诊断模型；
将待测上消化道内镜图像输入所述上消化道内镜诊断模型，获得所述待测上消化道内镜图像的诊断结果；所述诊断结果包括第一分类结果、第二分类结果和语义分割结果中的一种或多种结果；其中，所述第一分类结果用于描述所述待测上消化道内镜图像是否为上消化道内镜图像，所述第二分类结果用于描述所述待测上消化道内镜图像是否含有肿瘤信息。
2.根据权利要求1所述的方法，其特征在于，所述将待测上消化道内镜图像输入所述上消化道内镜诊断模型，获得所述待测上消化道内镜图像的诊断结果之前，所述方法还包括：
当接收到内镜检查设备发送的诊断请求时，实时接收所述内镜检查设备发送的待测上消化道内镜图像；
以及，所述将待测上消化道内镜图像输入所述上消化道内镜诊断模型，获得所述待测上消化道内镜图像的诊断结果之后，所述方法还包括：
将所述诊断结果发送给所述内镜检查设备。
3.根据权利要求1所述的方法，其特征在于，所述上消化道内镜诊断模型包括密集连接卷积神经网络、多分类分支网络和语义分割分支网络；所述将待测上消化道内镜图像输入所述上消化道内镜诊断模型，获得所述待测上消化道内镜图像的诊断结果，包括：
将待测上消化道内镜图像输入所述密集连接卷积神经网络，在所述密集连接卷积神经网络中对所述待测上消化道内镜图像进行多次特征提取和下采样处理，获得所述待测上消化道内镜图像的多个初始特征图；
将所述多个初始特征图中图像分辨率最小的目标特征图输入所述多分类分支网络，在所述多分类分支网络中对所述目标特征图进行多分类处理，获得所述第一分类结果和所述第二分类结果；
若所述第一分类结果用于描述所述待测上消化道内镜图像不是上消化道内镜图像，根据所述第一分类结果获得所述待测上消化道内镜图像的诊断结果；
若所述第一分类结果用于描述所述待测上消化道内镜图像为上消化道内镜图像，且所述第二分类结果用于描述所述待测上消化道内镜图像不含有肿瘤信息，根据所述第一分类结果和所述第二分类结果获得所述待测上消化道内镜图像的诊断结果；
若所述第一分类结果用于描述所述待测上消化道内镜图像为上消化道内镜图像，且所述第二分类结果用于描述所述待测上消化道内镜图像含有肿瘤信息，将所述目标特征图输入所述语义分割分支网络，在所述语义分割分支网络中对所述目标特征图进行语义分割，获得所述待测上消化道内镜图像的语义分割结果；根据所述第一分类结果、所述第二分类结果和所述语义分割结果获得所述待测上消化道内镜图像的诊断结果。
4.根据权利要求3所述的方法，其特征在于，所述多分类分支网络包括可分离卷积层、批规范层、激励层和全连接层；所述将所述多个初始特征图中图像分辨率最小的目标特征图输入所述多分类分支网络，在所述多分类分支网络中对所述目标特征图进行多分类处理，获得所述第一分类结果和所述第二分类结果，包括：
将所述多个初始特征图中图像分辨率最小的目标特征图输入所述可分离卷积层，在所述可分离卷积层中对所述目标特征图进行可分离卷积计算，获得特征提取图；
将所述特征提取图输入所述批规范层，在所述批规范层中对所述特征提取图进行归一化处理，获得归一化图；
利用所述激励层对所述归一化图进行非线性空间映射，获得特征映射图；
将所述特征映射图输入所述全连接层，在所述全连接层中对所述特征映射图进行多分类处理，获得所述第一分类结果和所述第二分类结果。
5.根据权利要求3或4所述的方法，其特征在于，所述语义分割分支网络包括空间金字塔池化层、降维层、解卷积层和特征融合层；所述将所述目标特征图输入所述语义分割分支网络，在所述语义分割分支网络中对所述目标特征图进行语义分割，获得所述待测上消化道内镜图像的语义分割结果，包括：
将所述目标特征图输入所述空间金字塔池化层，在所述空间金字塔池化层中采用多个不同空洞率的空洞卷积层和一个平均池化层对所述目标特征图进行并行计算处理，获得所述待测上消化道内镜图像的多维特征图；
将所述多维特征图输入所述降维层，在所述降维层中对所述多维特征图进行一维化处理，获得所述待测上消化道内镜图像的一维特征图；
将所述一维特征图输入所述解卷积层，在所述解卷积层中对所述一维特征图进行上采样四倍处理，获得第一特征图，所述第一特征图的图像分辨率为所述待测上消化道内镜图像的图像分辨率的四分之一；
从所述密集连接卷积神经网络中所获得的所述多个初始特征图中确定出图像分辨率为所述待测上消化道内镜图像的图像分辨率的四分之一的第二特征图；
将所述第一特征图与所述第二特征图输入所述特征融合层，在所述特征融合层中对所述第一特征图与所述第二特征图进行通道融合，获得第三特征图；以及，在所述特征融合层中对所述第三特征图进行卷积计算以进行空间融合，获得第四特征图；
将所述第四特征图输入所述解卷积层，在所述解卷积层中对所述第四特征图进行上采样四倍处理，获得语义分割图，所述语义分割图的图像分辨率与所述待测上消化道内镜图像的图像分辨率相同；
根据所述语义分割图获得所述待测上消化道内镜图像的语义分割结果。
6.一种上消化道内镜图像的诊断装置，其特征在于，包括：
标记单元，用于对含有肿瘤信息的上消化道内镜图像样本进行肿瘤轮廓标记；
训练单元，用于以标记完成的含有肿瘤信息的上消化道内镜图像样本和不含肿瘤信息的上消化道内镜图像样本为依据，训练获得上消化道内镜诊断模型；
诊断单元，用于将待测上消化道内镜图像输入所述上消化道内镜诊断模型，获得所述待测上消化道内镜图像的诊断结果；所述诊断结果包括第一分类结果、第二分类结果和语义分割结果中的一种或多种结果；其中，所述第一分类结果用于描述所述待测上消化道内镜图像是否为上消化道内镜图像，所述第二分类结果用于描述所述待测上消化道内镜图像是否含有肿瘤信息。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
接收单元，用于在所述诊断单元将待测上消化道内镜图像输入所述上消化道内镜诊断模型获得所述待测上消化道内镜图像的诊断结果之前，且接收到内镜检查设备发送的诊断请求时，实时接收所述内镜检查设备发送的待测上消化道内镜图像；
发送单元，用于在所述诊断单元将待测上消化道内镜图像输入所述上消化道内镜诊断模型获得所述待测上消化道内镜图像的诊断结果之后，将所述诊断结果发送给所述内镜检查设备。
8.根据权利要求6所述的装置，其特征在于，所述上消化道内镜诊断模型包括密集连接卷积神经网络、多分类分支网络和语义分割分支网络；所述诊断单元包括：
密集连接卷积子单元，用于将待测上消化道内镜图像输入所述密集连接卷积神经网络，在所述密集连接卷积神经网络中对所述待测上消化道内镜图像进行多次特征提取和下采样处理，获得所述待测上消化道内镜图像的多个初始特征图；
多分类子单元，用于将所述多个初始特征图中图像分辨率最小的目标特征图输入所述多分类分支网络，在所述多分类分支网络中对所述目标特征图进行多分类处理，获得所述第一分类结果和所述第二分类结果；
第一获取子单元，用于在所述第一分类结果用于描述所述待测上消化道内镜图像不是上消化道内镜图像时，根据所述第一分类结果获得所述待测上消化道内镜图像的诊断结果；
第二获取子单元，用于在所述第一分类结果用于描述所述待测上消化道内镜图像为上消化道内镜图像，且所述第二分类结果用于描述所述待测上消化道内镜图像不含有肿瘤信息时，根据所述第一分类结果和所述第二分类结果获得所述待测上消化道内镜图像的诊断结果；
语义分割子单元，用于在所述第一分类结果用于描述所述待测上消化道内镜图像为上消化道内镜图像，且所述第二分类结果用于描述所述待测上消化道内镜图像含有肿瘤信息时，将所述目标特征图输入所述语义分割分支网络，在所述语义分割分支网络中对所述目标特征图进行语义分割，获得所述待测上消化道内镜图像的语义分割结果；
第三获取子单元，用于在所述第一分类结果用于描述所述待测上消化道内镜图像为上消化道内镜图像，且所述第二分类结果用于描述所述待测上消化道内镜图像含有肿瘤信息时，根据所述第一分类结果、所述第二分类结果和所述语义分割结果获得所述待测上消化道内镜图像的诊断结果。
9.根据权利要求8所述的装置，其特征在于，所述多分类分支网络包括可分离卷积层、批规范层、激励层和全连接层；所述多分类子单元包括：
特征提取模块，用于将所述多个初始特征图中图像分辨率最小的目标特征图输入所述可分离卷积层，在所述可分离卷积层中对所述目标特征图进行可分离卷积计算，获得特征提取图；
批规范模块，用于将所述特征提取图输入所述批规范层，在所述批规范层中对所述特征提取图进行归一化处理，获得归一化图；
非线性映射模块，用于利用所述激励层对所述归一化图进行非线性空间映射，获得特征映射图；
多分类模块，用于将所述特征映射图输入所述全连接层，在所述全连接层中对所述特征映射图进行多分类处理，获得所述第一分类结果和所述第二分类结果。
10.根据权利要求8或9所述的装置，其特征在于，所述语义分割分支网络包括空间金字塔池化层、降维层、解卷积层和特征融合层；所述语义分割子单元包括：
多尺度信息获取模块，用于在所述第一分类结果用于描述所述待测上消化道内镜图像为上消化道内镜图像，且所述第二分类结果用于描述所述待测上消化道内镜图像含有肿瘤信息时，将所述目标特征图输入所述空间金字塔池化层，在所述空间金字塔池化层中采用多个不同空洞率的空洞卷积层和一个平均池化层对所述目标特征图进行并行计算处理，获得所述待测上消化道内镜图像的多维特征图；
降维模块，用于将所述多维特征图输入所述降维层，在所述降维层中对所述多维特征图进行一维化处理，获得所述待测上消化道内镜图像的一维特征图；
上采样模块，用于将所述一维特征图输入所述解卷积层，在所述解卷积层中对所述一维特征图进行上采样四倍处理，获得第一特征图，所述第一特征图的图像分辨率为所述待测上消化道内镜图像的图像分辨率的四分之一；
确定模块，用于从所述密集连接卷积神经网络中所获得的所述多个初始特征图中确定出图像分辨率为所述待测上消化道内镜图像的图像分辨率的四分之一的第二特征图；
特征融合模块，用于将所述第一特征图与所述第二特征图输入所述特征融合层，在所述特征融合层中对所述第一特征图与所述第二特征图进行通道融合，获得第三特征图；以及，在所述特征融合层中对所述第三特征图进行卷积计算以进行空间融合，获得第四特征图；
所述上采样模块，还用于将所述第四特征图输入所述解卷积层，在所述解卷积层中对所述第四特征图进行上采样四倍处理，获得语义分割图，所述语义分割图的图像分辨率与所述待测上消化道内镜图像的图像分辨率相同；
语义分割模块，用于根据所述语义分割图获得所述待测上消化道内镜图像的语义分割结果。

说明书全文

一种上消化道内镜图像的诊断方法及装置

技术领域

[0001] 本发明涉及医疗图像处理技术领域，具体涉及一种上消化道内镜图像的诊断方法及装置。

背景技术

[0002] 人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。伴随着人工智能技术的快速崛起，拥有以大数据为支撑兼具强大计算能力和学习能力等优势的人工智能技术不断实现在医学领域的应用创新中，
现有出现与医疗相关的人工智能平台包括腾讯觅影、阿里健康等。

[0003] 人工智能技术之所以能够取得如此巨大的进步，主要依赖于深度卷积神经网络的强大计算能力。上述的深度卷积神经网络是一个复杂的多层感知模型，能够处理回归分析
模型所不能处理的非线性数据。因此，通过使用大量的数据，借助反向传播算法对深度卷积神经网络进行训练，可以得到比回归分析模型更复杂的模型，该模型具有很强的拟合能力，能够拟合任意复杂的函数，为复杂的医学图像分析、内镜诊断和癌症早筛带来了新的发展。
其中，通过人工智能技术辅助内镜诊断，尤其是上消化道内镜诊断，能够对上消化道内镜图像做出快速的分类、识别和判定，辅助医生做出更加精确的诊断，可以解决上消化道癌症早期诊断率低、早期筛查困难的问题，进而降低上消化道癌症的发病率和死亡率。

[0004] 但是，在实践中发现，一般的上消化道内镜诊断模型都是基于单输入和单输出的基本网络结构，即输入一张图像，输出该图像的分类结果或语义分割结果，所执行的任务较为单一。更重要的是，上消化道内镜图像不同于其它规范医学影像，上消化道内镜图像是非标准化、多干扰因素的，因此在待识别的上消化道内镜图像数据中存在一定数量的干扰图
像(比如非上消化道内镜图像)，会对上消化道内镜诊断模型的识别存在严重干扰。然而现
有上消化道内镜诊断模型却无法区分上述的干扰图像和上消化道内镜图像，可见，现有上
消化道内镜诊断模型的功能实在太过单一。而且，现有上消化道内镜诊断模型对干扰图像
仍输出无意义的分类结果或语义分割结果，导致识别准确率过低。

发明内容

[0005] 针对上述缺陷，本发明实施例公开了一种上消化道内镜图像的诊断方法及装置，能够进行一次性多任务输出，进而提高识别准确率。

[0006] 本发明实施例第一方面公开一种上消化道内镜图像的诊断方法，包括：

[0007] 对含有肿瘤信息的上消化道内镜图像样本进行肿瘤轮廓标记；

[0008] 以标记完成的含有肿瘤信息的上消化道内镜图像样本和不含肿瘤信息的上消化道内镜图像样本为依据，训练获得上消化道内镜诊断模型；

[0009] 将待测上消化道内镜图像输入所述上消化道内镜诊断模型，获得所述待测上消化道内镜图像的诊断结果；所述诊断结果包括第一分类结果、第二分类结果和语义分割结果
中的一种或多种结果；其中，所述第一分类结果用于描述所述待测上消化道内镜图像是否
为上消化道内镜图像，所述第二分类结果用于描述所述待测上消化道内镜图像是否含有肿
瘤信息。

[0010] 作为一种可选的实施方式，在本发明实施例第一方面中，所述将待测上消化道内镜图像输入所述上消化道内镜诊断模型，获得所述待测上消化道内镜图像的诊断结果之
前，所述方法还包括：

[0011] 当接收到内镜检查设备发送的诊断请求时，实时接收所述内镜检查设备发送的待测上消化道内镜图像；

[0012] 以及，所述将待测上消化道内镜图像输入所述上消化道内镜诊断模型，获得所述待测上消化道内镜图像的诊断结果之后，所述方法还包括：

[0013] 将所述诊断结果发送给所述内镜检查设备。

[0014] 作为一种可选的实施方式，在本发明实施例第一方面中，所述上消化道内镜诊断模型包括密集连接卷积神经网络、多分类分支网络和语义分割分支网络；所述将待测上消
化道内镜图像输入所述上消化道内镜诊断模型，获得所述待测上消化道内镜图像的诊断结
果，包括：

[0015] 将待测上消化道内镜图像输入所述密集连接卷积神经网络，在所述密集连接卷积神经网络中对所述待测上消化道内镜图像进行多次特征提取和下采样处理，获得所述待测
上消化道内镜图像的多个初始特征图；

[0016] 将所述多个初始特征图中图像分辨率最小的目标特征图输入所述多分类分支网络，在所述多分类分支网络中对所述目标特征图进行多分类处理，获得所述第一分类结果
和所述第二分类结果；

[0017] 若所述第一分类结果用于描述所述待测上消化道内镜图像不是上消化道内镜图像，根据所述第一分类结果获得所述待测上消化道内镜图像的诊断结果；

[0018] 若所述第一分类结果用于描述所述待测上消化道内镜图像为上消化道内镜图像，且所述第二分类结果用于描述所述待测上消化道内镜图像不含有肿瘤信息，根据所述第一
分类结果和所述第二分类结果获得所述待测上消化道内镜图像的诊断结果；

[0019] 若所述第一分类结果用于描述所述待测上消化道内镜图像为上消化道内镜图像，且所述第二分类结果用于描述所述待测上消化道内镜图像含有肿瘤信息，将所述目标特征
图输入所述语义分割分支网络，在所述语义分割分支网络中对所述目标特征图进行语义分
割，获得所述待测上消化道内镜图像的语义分割结果；根据所述第一分类结果、所述第二分类结果和所述语义分割结果获得所述待测上消化道内镜图像的诊断结果。

[0020] 作为一种可选的实施方式，在本发明实施例第一方面中，所述多分类分支网络包括可分离卷积层、批规范层、激励层和全连接层；所述将所述多个初始特征图中图像分辨率最小的目标特征图输入所述多分类分支网络，在所述多分类分支网络中对所述目标特征图
进行多分类处理，获得所述第一分类结果和所述第二分类结果，包括：

[0021] 将所述多个初始特征图中图像分辨率最小的目标特征图输入所述可分离卷积层，在所述可分离卷积层中对所述目标特征图进行可分离卷积计算，获得特征提取图；

[0022] 将所述特征提取图输入所述批规范层，在所述批规范层中对所述特征提取图进行归一化处理，获得归一化图；

[0023] 利用所述激励层对所述归一化图进行非线性空间映射，获得特征映射图；

[0024] 将所述特征映射图输入所述全连接层，在所述全连接层中对所述特征映射图进行多分类处理，获得所述第一分类结果和所述第二分类结果。

[0025] 作为一种可选的实施方式，在本发明实施例第一方面中，所述语义分割分支网络包括空间金字塔池化层、降维层、解卷积层和特征融合层；所述将所述目标特征图输入所述语义分割分支网络，在所述语义分割分支网络中对所述目标特征图进行语义分割，获得所
述待测上消化道内镜图像的语义分割结果，包括：

[0026] 将所述目标特征图输入所述空间金字塔池化层，在所述空间金字塔池化层中采用多个不同空洞率的空洞卷积层和一个平均池化层对所述目标特征图进行并行计算处理，获
得所述待测上消化道内镜图像的多维特征图；

[0027] 将所述多维特征图输入所述降维层，在所述降维层中对所述多维特征图进行一维化处理，获得所述待测上消化道内镜图像的一维特征图；

[0028] 将所述一维特征图输入所述解卷积层，在所述解卷积层中对所述一维特征图进行上采样四倍处理，获得第一特征图，所述第一特征图的图像分辨率为所述待测上消化道内
镜图像的图像分辨率的四分之一；

[0029] 从所述密集连接卷积神经网络中所获得的所述多个初始特征图中确定出图像分辨率为所述待测上消化道内镜图像的图像分辨率的四分之一的第二特征图；

[0030] 将所述第一特征图与所述第二特征图输入所述特征融合层，在所述特征融合层中对所述第一特征图与所述第二特征图进行通道融合，获得第三特征图；以及，在所述特征融合层中对所述第三特征图进行卷积计算以进行空间融合，获得第四特征图；

[0031] 将所述第四特征图输入所述解卷积层，在所述解卷积层中对所述第四特征图进行上采样四倍处理，获得语义分割图，所述语义分割图的图像分辨率与所述待测上消化道内
镜图像的图像分辨率相同；

[0032] 根据所述语义分割图获得所述待测上消化道内镜图像的语义分割结果。

[0033] 本发明实施例第二方面公开一种上消化道内镜图像的诊断装置，包括：

[0034] 标记单元，用于对含有肿瘤信息的上消化道内镜图像样本进行肿瘤轮廓标记；

[0035] 训练单元，用于以标记完成的含有肿瘤信息的上消化道内镜图像样本和不含肿瘤信息的上消化道内镜图像样本为依据，训练获得上消化道内镜诊断模型；

[0036] 诊断单元，用于将待测上消化道内镜图像输入所述上消化道内镜诊断模型，获得所述待测上消化道内镜图像的诊断结果；所述诊断结果包括第一分类结果、第二分类结果
和语义分割结果中的一种或多种结果；其中，所述第一分类结果用于描述所述待测上消化
道内镜图像是否为上消化道内镜图像，所述第二分类结果用于描述所述待测上消化道内镜
图像是否含有肿瘤信息。

[0037] 作为一种可选的实施方式，在本发明实施例第二方面中，所述装置还包括：

[0038] 接收单元，用于在所述诊断单元将待测上消化道内镜图像输入所述上消化道内镜诊断模型获得所述待测上消化道内镜图像的诊断结果之前，且接收到内镜检查设备发送的
诊断请求时，实时接收所述内镜检查设备发送的待测上消化道内镜图像；

[0039] 发送单元，用于在所述诊断单元将待测上消化道内镜图像输入所述上消化道内镜诊断模型获得所述待测上消化道内镜图像的诊断结果之后，将所述诊断结果发送给所述内
镜检查设备。

[0040] 作为一种可选的实施方式，在本发明实施例第二方面中，所述上消化道内镜诊断模型包括密集连接卷积神经网络、多分类分支网络和语义分割分支网络；所述诊断单元包
括：

[0041] 密集连接卷积子单元，用于将待测上消化道内镜图像输入所述密集连接卷积神经网络，在所述密集连接卷积神经网络中对所述待测上消化道内镜图像进行多次特征提取和
 下采样处理，获得所述待测上消化道内镜图像的多个初始特征图；

[0042] 多分类子单元，用于将所述多个初始特征图中图像分辨率最小的目标特征图输入所述多分类分支网络，在所述多分类分支网络中对所述目标特征图进行多分类处理，获得
所述第一分类结果和所述第二分类结果；

[0043] 第一获取子单元，用于在所述第一分类结果用于描述所述待测上消化道内镜图像不是上消化道内镜图像时，根据所述第一分类结果获得所述待测上消化道内镜图像的诊断
结果；

[0044] 第二获取子单元，用于在所述第一分类结果用于描述所述待测上消化道内镜图像为上消化道内镜图像，且所述第二分类结果用于描述所述待测上消化道内镜图像不含有肿
瘤信息时，根据所述第一分类结果和所述第二分类结果获得所述待测上消化道内镜图像的
诊断结果；

[0045] 语义分割子单元，用于在所述第一分类结果用于描述所述待测上消化道内镜图像为上消化道内镜图像，且所述第二分类结果用于描述所述待测上消化道内镜图像含有肿瘤
信息时，将所述目标特征图输入所述语义分割分支网络，在所述语义分割分支网络中对所
述目标特征图进行语义分割，获得所述待测上消化道内镜图像的语义分割结果；

[0046] 第三获取子单元，用于在所述第一分类结果用于描述所述待测上消化道内镜图像为上消化道内镜图像，且所述第二分类结果用于描述所述待测上消化道内镜图像含有肿瘤
信息时，根据所述第一分类结果、所述第二分类结果和所述语义分割结果获得所述待测上
消化道内镜图像的诊断结果。

[0047] 作为一种可选的实施方式，在本发明实施例第二方面中，所述多分类分支网络包括可分离卷积层、批规范层、激励层和全连接层；所述多分类子单元包括：

[0048] 特征提取模块，用于将所述多个初始特征图中图像分辨率最小的目标特征图输入所述可分离卷积层，在所述可分离卷积层中对所述目标特征图进行可分离卷积计算，获得
特征提取图；

[0049] 批规范模块，用于将所述特征提取图输入所述批规范层，在所述批规范层中对所述特征提取图进行归一化处理，获得归一化图；

[0050] 非线性映射模块，用于利用所述激励层对所述归一化图进行非线性空间映射，获得特征映射图；

[0051] 多分类模块，用于将所述特征映射图输入所述全连接层，在所述全连接层中对所述特征映射图进行多分类处理，获得所述第一分类结果和所述第二分类结果。

[0052] 作为一种可选的实施方式，在本发明实施例第二方面中，所述语义分割分支网络包括空间金字塔池化层、降维层、解卷积层和特征融合层；所述语义分割子单元包括：

[0053] 多尺度信息获取模块，用于在所述第一分类结果用于描述所述待测上消化道内镜图像为上消化道内镜图像，且所述第二分类结果用于描述所述待测上消化道内镜图像含有
肿瘤信息时，将所述目标特征图输入所述空间金字塔池化层，在所述空间金字塔池化层中
采用多个不同空洞率的空洞卷积层和一个平均池化层对所述目标特征图进行并行计算处
理，获得所述待测上消化道内镜图像的多维特征图；

[0054] 降维模块，用于将所述多维特征图输入所述降维层，在所述降维层中对所述多维特征图进行一维化处理，获得所述待测上消化道内镜图像的一维特征图；

[0055] 上采样模块，用于将所述一维特征图输入所述解卷积层，在所述解卷积层中对所述一维特征图进行上采样四倍处理，获得第一特征图，所述第一特征图的图像分辨率为所
述待测上消化道内镜图像的图像分辨率的四分之一；

[0056] 确定模块，用于从所述密集连接卷积神经网络中所获得的所述多个初始特征图中确定出图像分辨率为所述待测上消化道内镜图像的图像分辨率的四分之一的第二特征图；

[0057] 特征融合模块，用于将所述第一特征图与所述第二特征图输入所述特征融合层，在所述特征融合层中对所述第一特征图与所述第二特征图进行通道融合，获得第三特征
图；以及，在所述特征融合层中对所述第三特征图进行卷积计算以进行空间融合，获得第四特征图；

[0058] 所述上采样模块，还用于将所述第四特征图输入所述解卷积层，在所述解卷积层中对所述第四特征图进行上采样四倍处理，获得语义分割图，所述语义分割图的图像分辨
率与所述待测上消化道内镜图像的图像分辨率相同；

[0059] 语义分割模块，用于根据所述语义分割图获得所述待测上消化道内镜图像的语义分割结果。

[0060] 本发明实施例第三方面公开一种上消化道内镜图像的诊断装置，包括：

[0061] 存储有可执行程序代码的存储器；

[0062] 与所述存储器耦合的处理器；

[0063] 所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的一种上消化道内镜图像的诊断方法。

[0064] 本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种上消化道内镜图像的诊断方法。

[0065] 本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

[0066] 本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

[0067] 与现有技术相比，本发明实施例具有以下有益效果：

[0068] 本发明实施例中，通过对含有肿瘤信息的上消化道内镜图像样本进行肿瘤轮廓标记，以标记完成的含有肿瘤信息的上消化道内镜图像样本和不含肿瘤信息的上消化道内镜
图像样本为依据，训练获得上消化道内镜诊断模型；基于此，可将待测上消化道内镜图像输入上消化道内镜诊断模型，获得待测上消化道内镜图像的诊断结果；诊断结果包括第一分
类结果、第二分类结果和语义分割结果中的一种或多种结果；其中，第一分类结果用于描述待测上消化道内镜图像是否为上消化道内镜图像；第二分类结果用于描述待测上消化道内
镜图像是否含有肿瘤信息。因此，实施本发明实施例，能够在区分上消化道内镜图像和非上消化道内镜图像的同时对上消化道内镜图像进行分类，以及对含有肿瘤信息的上消化道内
镜图像进行语义分割，并输出包括一种或多种处理结果的诊断结果。可见，本发明实施例能够基于多输出网络结构进行一次性多任务输出，进而提高识别准确率。
附图说明

[0069] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附
图。

[0070] 图1是本发明实施例公开的一种上消化道内镜图像的诊断方法的流程示意图；

[0071] 图2是本发明实施例公开的另一种上消化道内镜图像的诊断方法的流程示意图；

[0072] 图3是本发明实施例公开的一种上消化道内镜图像的诊断装置的结构示意图；

[0073] 图4是本发明实施例公开的另一种上消化道内镜图像的诊断装置的结构示意图；

[0074] 图5是本发明实施例公开的又一种上消化道内镜图像的诊断装置的结构示意图；

[0075] 图6是本发明实施例公开的上消化道内镜诊断模型输出第一分类结果的实验数据图；

[0076] 图7是本发明实施例公开的上消化道内镜诊断模型输出第二分类结果的实验数据图；

[0077] 图8是本发明实施例公开的上消化道内镜诊断模型输出语义分割结果的实验数据图。

具体实施方式

[0078] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实
施例，都属于本发明保护的范围。

[0079] 需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0080] 在本发明实施例中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

[0081] 并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。

[0082] 此外，术语“安装”、“设置”、“装设”、“连接”、“相连”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

[0083] 本发明实施例公开了一种上消化道内镜图像的诊断方法及装置，能够基于多输出网络结构进行一次性多任务输出，进而提高识别准确率，以下结合附图进行详细描述。

[0084] 实施例一

[0085] 请参阅图1，图1是本发明实施例公开的一种上消化道内镜图像的诊断方法的流程示意图。其中，本发明实施例所描述的方法适用于上消化道内镜图像的诊断装置、医疗人工智能诊断设备或医疗图像处理设备等，本发明不作具体限定。如图1所示，该上消化道内镜图像的诊断方法可以包括以下步骤：

[0086] 101、对含有肿瘤信息的上消化道内镜图像样本进行肿瘤轮廓标记。

[0087] 需要说明的是，上消化道内镜图像样本可以是根据真实的上消化道肿瘤病例获取得到的。

[0088] 可以理解，通过肿瘤轮廓标记，可以确定含有肿瘤信息的上消化道内镜图像样本中的肿瘤区域和肿瘤轮廓。同时，通过对含有肿瘤信息的上消化道内镜图像样本进行肿瘤
轮廓标记，对不含肿瘤信息的上消化道内镜图像样本不作标记，可以区分上消化道内镜图
像样本中是否含有肿瘤信息。

[0089] 另外，由于取样过程中所获取的上消化道内镜图像样本均为上消化道内镜图像，那么可以让模型自动学习上消化道内镜图像的特征，并对待测上消化道内镜图像进行是否
为上消化道内镜图像的分类，获得第一分类结果。

[0090] 102、以标记完成的含有肿瘤信息的上消化道内镜图像样本和不含肿瘤信息的上消化道内镜图像样本为依据，训练获得上消化道内镜诊断模型。

[0091] 作为一种可选的实施方式，步骤102可以包括：对标记完成的含有肿瘤信息的上消化道内镜图像样本和不含肿瘤信息的上消化道内镜图像样本进行预处理，获得训练数据；
将训练数据输入深度卷积神经网络进行训练，获得上消化道内镜诊断模型。其中，预处理可以包括对上消化道内镜图像样本进行数据增强、缩放、随机旋转和填充等一系列操作。

[0092] 实施该实施方式，能够增大数据量，防止过拟合，同时能够提高模型的泛化能力和识别准确率。

[0093] 作为另一种可选的实施方式，执行步骤102之后，可以采用反向传播算法(Backpropagation algorithm，BP)，对上消化道内镜诊断模型进行调整。具体地，从训练数据中获取若干个上消化道内镜图像样本，计算实际输出与理想输出的差值；根据该差值，按最小极化误差的方法反向传播调整权矩阵的权重，以调整上消化道内镜诊断模型。

[0094] 举例来说，假设获取到一个上消化道内镜图像样本(X，Yp)；其中，X为输入，Yp为理想输出；将X输入上消化道内镜诊断模型，获得对应的实际输出Op；计算实际输出Op与理想输出Yp的差值；根据该差值，按最小极化误差的方法反向传播调整权矩阵的权重，以调整上消化道内镜诊断模型。

[0095] 实施该实施方式，能够提高模型的识别准确率。

[0096] 可选地，在训练获得上消化道内镜诊断模型之后，可以获取验证数据集，该验证数据集用于验证上述上消化道内镜诊断模型的识别准确率。可选地，还可以使用图像处理器(Graphics Processing Unit，GPU)进行加速运算，提高处理效率和实时性。在实践中发现，上述上消化道内镜诊断模型在GPU上进行训练，且设置批处理大小参数为12，迭代次数为
100时，识别准确率较高可达98％，详情实验数据请参阅图6～图8。

[0097] 请参阅图6，图6是本发明实施例公开的上消化道内镜诊断模型输出第一分类结果的实验数据图。其中，横坐标为模型的迭代次数，纵坐标为第一分类结果的准确率。可见，模型较为稳定，且准确率达98％。

[0098] 请参阅图7，图7是本发明实施例公开的上消化道内镜诊断模型输出第二分类结果的实验数据图。其中，横坐标为模型的迭代次数，纵坐标为第二分类结果的准确率。可见，模型较为稳定，且准确率达95％。

[0099] 请参阅图8，图8是本发明实施例公开的上消化道内镜诊断模型输出语义分割结果的实验数据图。其中，横坐标为模型的迭代次数，纵坐标为平均交并比(Mean Intersection over Union，MIoU)，用于评价语义分割结果的准确率。可见，模型较为稳定，且MIoU达到
0.64。

[0100] 103、将待测上消化道内镜图像输入上消化道内镜诊断模型，获得待测上消化道内镜图像的诊断结果；诊断结果包括第一分类结果、第二分类结果和语义分割结果中的一种
或多种结果；其中，第一分类结果用于描述待测上消化道内镜图像是否为上消化道内镜图
像，第二分类结果用于描述待测上消化道内镜图像是否含有肿瘤信息。

[0101] 其中，语义分割结果是基于计算机视觉的具有突出显示的感兴趣区域的感兴趣图像。即是说，语义分割结果可供医生直观看出待测上消化道内镜图像中的肿瘤区域和肿瘤
轮廓。

[0102] 本发明实施例中，上消化道内镜诊断模型可以包括三个网络分支，第一网络分支用于输出第一分类结果，第二网络分支用于输出第二分类结果，第三网络分支用于输出语
义分割结果；也可以包括两个网络分支，第一网络分支用于输出第一分类结果和/或第二分类结果，第二网络分支用于输出语义分割结果。在本实施例中，上消化道内镜诊断模型可以包括三个网络分支，但在其它一些可能的实施例中，上消化道内镜诊断模型可以包括两个
网络分支，本发明不作具体限定。其中，在模型的训练阶段，分别对模型中的各个网络分支使用了binary_crossentropy交叉熵损失函数，并联合了所有网络分支的损失函数，对上消化道内镜诊断模型进行多任务联合训练。

[0103] 作为一种可选的实施方式，对上消化道内镜诊断模型进行多任务联合训练的方式具体可以是：固定上消化道内镜诊断模型中任一网络分支的参数，并最小化其它所有网络
分支的损失函数，以让上消化道内镜诊断模型学习上述的任一网络分支对应的任务，直到
上消化道内镜诊断模型收敛；遍历上消化道内镜诊断模型的所有网络分支后，更新网络中
的所有参数，并最小化所有网络分支的损失函数，训练上消化道内镜诊断模型至其收敛。

[0104] 通过上述实施方式，能够让上消化道内镜诊断模型学习如何协调多任务之间的关系，以提高模型多任务输出的稳定性。

[0105] 实施图1所描述的方法，通过对含有肿瘤信息的上消化道内镜图像样本进行肿瘤轮廓标记，以标记完成的含有肿瘤信息的上消化道内镜图像样本和不含肿瘤信息的上消化
道内镜图像样本为依据，训练获得上消化道内镜诊断模型；基于此，可将待测上消化道内镜图像输入上消化道内镜诊断模型，获得待测上消化道内镜图像的诊断结果；诊断结果包括
第一分类结果、第二分类结果和语义分割结果中的一种或多种结果；其中，第一分类结果用于描述待测上消化道内镜图像是否为上消化道内镜图像；第二分类结果用于描述待测上消
化道内镜图像是否含有肿瘤信息。因此，能够在区分上消化道内镜图像和非上消化道内镜
图像的同时对上消化道内镜图像进行分类，以及对含有肿瘤信息的上消化道内镜图像进行
语义分割，并输出包括一种或多种处理结果的诊断结果。可见，能够基于多输出网络结构进行一次性多任务输出，进而提高识别准确率。

[0106] 实施例二

[0107] 请参阅图2，图2是本发明实施例公开的另一种上消化道内镜图像的诊断方法的流程示意图。其中，上消化道内镜诊断模型包括密集连接卷积神经网络、多分类分支网络和语义分割分支网络。如图2所示，该上消化道内镜图像的诊断方法可以包括以下步骤：

[0108] 201～202。其中，步骤201～202与实施例一中所描述的步骤101～102相同，本发明实施例不再赘述。

[0109] 203、当接收到内镜检查设备发送的诊断请求时，实时接收内镜检查设备发送的待测上消化道内镜图像。

[0110] 本发明实施例中，可以搭建服务端-客户端平台，服务端为上消化道内镜图像的诊断装置，客户端为医生所使用的内镜检查设备。基于此，内镜检查设备向上消化道内镜图像的诊断装置发送诊断请求，并将需要处理的待测上消化道内镜图像以图像或视频的方式实
时传送给上消化道内镜图像的诊断装置，上消化道内镜图像的诊断装置在接收到内镜检查
设备发送的诊断请求和待测上消化道内镜图像之后，调用上消化道内镜诊断模型，对待测
上消化道内镜图像进行诊断处理，并将诊断结果返回给内镜检查设备，然后内镜检查设备
可实时显示诊断结果，能够帮助医生提高诊断效率，实现实时诊断。

[0111] 其中，上消化道内镜图像的诊断装置和内镜检查设备可以通过电性连接，也可以是通过网络等中间媒介间接相连，甚至是本发明实施例所涉及技术领域中的其它可供数据
传输的连接方式，本发明实施例不作具体限定。

[0112] 204、将待测上消化道内镜图像输入密集连接卷积神经网络，在密集连接卷积神经网络中对待测上消化道内镜图像进行多次特征提取和下采样处理，获得待测上消化道内镜
图像的多个初始特征图。

[0113] 本发明实施例中，使用密集连接卷积神经网络作为基线网络，用于对待测上消化道内镜图像进行特征信息提取。可选地，密集连接卷积神经网络可包括若干个卷积组合，每一个卷积组合包括卷积层和池化层。其中，卷积层用于对待测上消化道内镜图像进行特征
提取，池化层用于对卷积层输出的提取初始特征图进行下采样，获得更加抽象的初始特征
图；其中，池化层可以是最大池化层或平均池化层，每一个卷积层可包括若干个卷积核。

[0114] 通过上述实施方式，能够对特征进行稀疏处理，能够降低参数计算量，提高运算速度。

[0115] 需要说明的是，在对待测上消化道内镜图像进行多次特征提取和下采样处理的过程中，所获得的初始特征图的图像分辨率可以越来越小，即是说，最后一个卷积组合所输出的初始特征图的图像分辨率是多个初始特征图中图像分辨率最小的，并将其作为目标特征
图，转向步骤205。

[0116] 205、将多个初始特征图中图像分辨率最小的目标特征图输入多分类分支网络，在多分类分支网络中对目标特征图进行多分类处理，获得第一分类结果和第二分类结果。

[0117] 本发明实施例中，多分类分支网络可以包括可分离卷积层、批规范层、激励层和全连接层。基于此，步骤205可以包括以下步骤S1～S4：

[0118] S1、将多个初始特征图中图像分辨率最小的目标特征图输入可分离卷积层，在可分离卷积层中对目标特征图进行可分离卷积计算，获得特征提取图。

[0119] 作为一种可选的实施方式，上述的可分离卷积层可以包括逐点卷积层和深度卷积层。基于此，步骤S1可以包括：将多个初始特征图中图像分辨率最小的目标特征图输入可分离卷积层，在可分离卷积层中采用逐点卷积层对目标特征图进行通道融合，再通过多层深
度卷积层对每个通道进行特征提取。其中，深度卷积层包括若干个卷积核，每个通道对应一个卷积核，且通道的数量与卷积核的数量保持一致。其中，逐点卷积层的卷积核大小可以是
1×1，深度卷积层中的卷积核大小可以是3×3。

[0120] 实施该实施方式，能够降低参数量，提高运算速度，同时让模型学习空间的相关性和通道间的相关性，提高模型的诊断性能。

[0121] S2、将特征提取图输入批规范层，在批规范层中对特征提取图进行归一化处理，获得归一化图。

[0122] 其中，采用批规范层(BatchNormalization，BN)对特征提取图进行归一化处理，可以提高模型的收敛能力和稳定性，减少模型的训练时间。

[0123] S3、利用激励层对归一化图进行非线性空间映射，获得特征映射图。

[0124] 其中，在激励层中可用Relu或Sigmoid函数作为激活函数，将输出映射到[0，1]的概率分布中，以获得各种分类结果的概率数值，比如第一分类结果用于描述待测上消化道
内镜图像为上消化道内镜图像的概率数值、第一分类结果用于描述待测上消化道内镜图像
不是上消化道内镜图像的概率数值、第二分类结果用于描述待测上消化道内镜图像含有肿
瘤信息的概率数值以及第二分类结果用于描述待测上消化道内镜图像不含有肿瘤信息的
概率数值。

[0125] S4、将特征映射图输入全连接层，在全连接层中对特征映射图进行多分类处理，获得第一分类结果和第二分类结果。

[0126] 其中，特征映射图包括多个通道对应的多个部分特征映射图，因此需要将多个部分特征映射图输出至全连接层，在全连接层中将多个部分特征映射图进行整合，以对待测
上消化道内镜图像进行多分类处理，获得第一分类结果和第二分类结果。

[0127] 206、判断第一分类结果是否用于描述待测上消化道内镜图像为上消化道内镜图像。若是，执行步骤207；反之，执行步骤211～212。

[0128] 本发明实施例中，在区分上消化道内镜图像和非上消化道内镜图像的同时对上消化道内镜图像进行分类，以及对含有肿瘤信息的上消化道内镜图像进行语义分割，通过多
任务联合学习，若区分出待测上消化道内镜图像不是上消化道内镜图像，则无需对待测上
消化道内镜图像进一步处理，可以直接根据用于描述待测上消化道内镜图像不是上消化道
内镜图像的第一分类结果，获得待测上消化道内镜图像的诊断结果，即转向步骤211。

[0129] 通过上述实施方式，能够解决内镜检查设备在开启后未进入上消化道之前所拍摄到的待测上消化道内镜图像并非是上消化道内镜图像，导致对模型的识别造成干扰的问
题，进而提高了模型的识别准确率，改善分割效果。

[0130] 207、判断第二分类结果是否用于描述待测上消化道内镜图像含有肿瘤信息。若是，执行步骤208～209，并转向步骤212；反之，执行步骤210和212。

[0131] 208、将目标特征图输入语义分割分支网络，在语义分割分支网络中对目标特征图进行语义分割，获得待测上消化道内镜图像的语义分割结果。

[0132] 本发明实施例中，语义分割分支网络可以包括空间金字塔池化层、降维层、解卷积层和特征融合层。基于此，步骤210可以包括以下步骤S5～S11：

[0133] S5、将目标特征图输入空间金字塔池化层，在空间金字塔池化层中采用多个不同空洞率的空洞卷积层和一个平均池化层对目标特征图进行并行计算处理，获得待测上消化
道内镜图像的多维特征图。

[0134] 可以理解，上消化道肿瘤的大小不定，为了更好地对多种尺度的肿瘤进行语义分割，可以在空间金字塔池化层中采用多个不同空洞率的空洞卷积层和一个平均池化层对下
采样后得到的目标特征图进行并行计算处理，能够在不牺牲特征空间分辨率的前提下扩大
特征接收野，融合待测上消化道内镜图像中大小不同的肿瘤区域的卷积特征，从而提高语
义分割的准确率，改善分割效果。

[0135] S6、将多维特征图输入降维层，在降维层中对多维特征图进行一维化处理，获得待测上消化道内镜图像的一维特征图。

[0136] 其中，降维层可以利用Flatten函数进行降维运算。

[0137] S7、将一维特征图输入解卷积层，在解卷积层中对一维特征图进行上采样四倍处理，获得第一特征图，第一特征图的图像分辨率为待测上消化道内镜图像的图像分辨率的
四分之一。

[0138] 需要说明的是，在密集连接卷积神经网络中对待测上消化道内镜图像进行多次特征提取和下采样处理的过程中，所获得的多个初始特征图中图像分辨率最小的目标特征图
的图像分辨率为待测上消化道内镜图像的图像分辨率的十六分之一，且一维特征图的图像
分辨率与目标特征图的图像分辨率相同。

[0139] S8、从密集连接卷积神经网络中所获得的多个初始特征图中确定出图像分辨率为待测上消化道内镜图像的图像分辨率的四分之一的第二特征图。

[0140] 需要说明的是，在密集连接卷积神经网络中对待测上消化道内镜图像进行多次特征提取和下采样处理的过程中，所获得的多个初始特征图的图像分辨率大小不一，其中包
括图像分辨率为待测上消化道内镜图像的图像分辨率的四分之一的初始特征图。采用跳跃
连接的网络结构，即可从密集连接卷积神经网络中获取该初始特征图作为第二特征图。

[0141] S9、将第一特征图与第二特征图输入特征融合层，在特征融合层中对第一特征图与第二特征图进行通道融合，获得第三特征图；以及，在特征融合层中对第三特征图进行卷积计算以进行空间融合，获得第四特征图。

[0142] 可以理解，第一特征图的网络层次较高，与较低网络层次的第二特征图相比之下，第一特征图较为粗糙。因此可以利用第二特征图与第一特征图进行融合处理，以优化第一特征图，获得第三特征图。通过该实施方式，可以改善分割效果。

[0143] S10、将第四特征图输入解卷积层，在解卷积层中对第四特征图进行上采样四倍处理，获得语义分割图，语义分割图的图像分辨率与待测上消化道内镜图像的图像分辨率相
同。

[0144] S11、根据语义分割图获得待测上消化道内镜图像的语义分割结果。

[0145] 209、根据第一分类结果、第二分类结果和语义分割结果获得待测上消化道内镜图像的诊断结果。

[0146] 210、根据第一分类结果和第二分类结果获得待测上消化道内镜图像的诊断结果。

[0147] 211、根据第一分类结果获得待测上消化道内镜图像的诊断结果。

[0148] 212、将诊断结果发送给内镜检查设备。

[0149] 作为一种可选的实施方式，可以基于Tensorflow Serving开源库搭建更新服务器，用于对训练好的上消化道内镜诊断模型进行调用和版本控制，以随时对上消化道内镜
诊断模型进行改进和更新。

[0150] 可见，实施图2所描述的方法，除了能够基于多输出网络结构进行一次性多任务输出，进而提高识别准确率；还能够帮助医生提高诊断效率，实现实时诊断；以及，能够解决内镜检查设备在开启后未进入上消化道之前所拍摄到的待测上消化道内镜图像并非是上消
化道内镜图像，导致对模型的识别造成干扰的问题，同时能够在不牺牲特征空间分辨率的
前提下扩大特征接收野，融合待测上消化道内镜图像中大小不同的肿瘤区域的卷积特征，
进而提高了模型的识别准确率，改善分割效果。

[0151] 实施例三

[0152] 请参阅图3，图3是本发明实施例公开的一种上消化道内镜图像的诊断装置的结构示意图。如图3所示，该上消化道内镜图像的诊断装置可以包括：

[0153] 标记单元301，用于对含有肿瘤信息的上消化道内镜图像样本进行肿瘤轮廓标记。

[0154] 训练单元302，用于以标记完成的含有肿瘤信息的上消化道内镜图像样本和不含肿瘤信息的上消化道内镜图像样本为依据，训练获得上消化道内镜诊断模型。

[0155] 诊断单元303，用于将待测上消化道内镜图像输入上消化道内镜诊断模型，获得待测上消化道内镜图像的诊断结果；诊断结果包括第一分类结果、第二分类结果和语义分割
结果中的一种或多种结果；其中，第一分类结果用于描述待测上消化道内镜图像是否为上
消化道内镜图像，第二分类结果用于描述待测上消化道内镜图像是否含有肿瘤信息。

[0156] 作为一种可选的实施方式，训练单元302用于以标记完成的含有肿瘤信息的上消化道内镜图像样本和不含肿瘤信息的上消化道内镜图像样本为依据，训练获得上消化道内
镜诊断模型的方式具体可以为：

[0157] 训练单元302，用于对标记完成的含有肿瘤信息的上消化道内镜图像样本和不含肿瘤信息的上消化道内镜图像样本进行预处理，获得训练数据；将训练数据输入深度卷积
神经网络进行训练，获得上消化道内镜诊断模型。

[0158] 其中，预处理可以包括对上消化道内镜图像样本进行数据增强、缩放、随机旋转和填充等一系列操作。

[0159] 实施该实施方式，能够增大数据量，防止过拟合，同时能够提高模型的泛化能力和识别准确率。

[0160] 作为一种可选的实施方式，上述的训练单元302，还用于采用BP算法，对上消化道内镜诊断模型进行调整。具体地，上述的训练单元302，还用于从训练数据中获取若干个上消化道内镜图像样本，计算实际输出与理想输出的差值；根据该差值，按最小极化误差的方法反向传播调整权矩阵的权重，以调整上消化道内镜诊断模型。

[0161] 实施该实施方式，能够提高模型的识别准确率。

[0162] 作为一种可选的实施方式，上消化道内镜诊断模型可以包括三个或两个网络分支。因此，上述的训练单元302，还用于对上消化道内镜诊断模型进行多任务联合训练。具体地，上述的训练单元302，还用于固定上消化道内镜诊断模型中任一网络分支的参数，并最小化其它所有网络分支的损失函数，以让上消化道内镜诊断模型学习上述的任一网络分支
对应的任务，直到上消化道内镜诊断模型收敛；遍历上消化道内镜诊断模型的所有网络分
支后，更新网络中的所有参数，并最小化所有网络分支的损失函数，训练上消化道内镜诊断模型至其收敛。

[0163] 通过上述实施方式，能够让上消化道内镜诊断模型学习如何协调多任务之间的关系，以提高模型多任务输出的稳定性。

[0164] 实施图3所示的装置，通过对含有肿瘤信息的上消化道内镜图像样本进行肿瘤轮廓标记，以标记完成的含有肿瘤信息的上消化道内镜图像样本和不含肿瘤信息的上消化道
内镜图像样本为依据，训练获得上消化道内镜诊断模型；基于此，可将待测上消化道内镜图像输入上消化道内镜诊断模型，获得待测上消化道内镜图像的诊断结果；诊断结果包括第
一分类结果、第二分类结果和语义分割结果中的一种或多种结果；其中，第一分类结果用于描述待测上消化道内镜图像是否为上消化道内镜图像；第二分类结果用于描述待测上消化
道内镜图像是否含有肿瘤信息。因此，能够在区分上消化道内镜图像和非上消化道内镜图
像的同时对上消化道内镜图像进行分类，以及对含有肿瘤信息的上消化道内镜图像进行语
义分割，并输出包括一种或多种处理结果的诊断结果。可见，能够基于多输出网络结构进行一次性多任务输出，进而提高识别准确率。

[0165] 实施例四

[0166] 请参阅图4，图4是本发明实施例公开的另一种上消化道内镜图像的诊断装置的结构示意图。其中，图4所示的上消化道内镜图像的诊断装置是由图3所示的上消化道内镜图
像的诊断装置进行优化得到的，与图3相比较，图4所示的上消化道内镜图像的诊断装置还
可以包括接收单元304和发送单元305，其中：

[0167] 接收单元304，用于在诊断单元303将待测上消化道内镜图像输入上消化道内镜诊断模型获得待测上消化道内镜图像的诊断结果之前，且接收到内镜检查设备发送的诊断请
求时，实时接收内镜检查设备发送的待测上消化道内镜图像。

[0168] 发送单元305，用于在诊断单元303将待测上消化道内镜图像输入上消化道内镜诊断模型获得待测上消化道内镜图像的诊断结果之后，将诊断结果发送给内镜检查设备。

[0169] 作为一种可选的实施方式，图4所示的上消化道内镜图像的诊断装置中，上消化道内镜诊断模型可以包括密集连接卷积神经网络、多分类分支网络和语义分割分支网络；上
述的诊断单元303可以包括：

[0170] 密集连接卷积子单元3031，用于将待测上消化道内镜图像输入密集连接卷积神经网络，在密集连接卷积神经网络中对待测上消化道内镜图像进行多次特征提取和下采样处
理，获得待测上消化道内镜图像的多个初始特征图。

[0171] 多分类子单元3032，用于将多个初始特征图中图像分辨率最小的目标特征图输入多分类分支网络，在多分类分支网络中对目标特征图进行多分类处理，获得第一分类结果
和第二分类结果。

[0172] 第一获取子单元3033，用于在第一分类结果用于描述待测上消化道内镜图像不是上消化道内镜图像时，根据第一分类结果获得待测上消化道内镜图像的诊断结果。

[0173] 第二获取子单元3034，用于在第一分类结果用于描述待测上消化道内镜图像为上消化道内镜图像，且第二分类结果用于描述待测上消化道内镜图像不含有肿瘤信息时，根
据第一分类结果和第二分类结果获得待测上消化道内镜图像的诊断结果。

[0174] 语义分割子单元3035，用于在第一分类结果用于描述待测上消化道内镜图像为上消化道内镜图像，且第二分类结果用于描述待测上消化道内镜图像含有肿瘤信息时，将目
标特征图输入语义分割分支网络，在语义分割分支网络中对目标特征图进行语义分割，获
得待测上消化道内镜图像的语义分割结果。

[0175] 第三获取子单元3036，用于在第一分类结果用于描述待测上消化道内镜图像为上消化道内镜图像，且第二分类结果用于描述待测上消化道内镜图像含有肿瘤信息时，根据
第一分类结果、第二分类结果和语义分割结果获得待测上消化道内镜图像的诊断结果。

[0176] 作为一种可选的实施方式，图4所示的上消化道内镜图像的诊断装置中，多分类分支网络包括可分离卷积层、批规范层、激励层和全连接层；上述的多分类子单元3032可以包括以下未图示的模块：

[0177] 特征提取模块，用于将多个初始特征图中图像分辨率最小的目标特征图输入可分离卷积层，在可分离卷积层中对目标特征图进行可分离卷积计算，获得特征提取图。

[0178] 批规范模块，用于将特征提取图输入批规范层，在批规范层中对特征提取图进行归一化处理，获得归一化图。

[0179] 非线性映射模块，用于利用激励层对归一化图进行非线性空间映射，获得特征映射图。

[0180] 多分类模块，用于将特征映射图输入全连接层，在全连接层中对特征映射图进行多分类处理，获得第一分类结果和第二分类结果。

[0181] 作为一种可选的实施方式，图4所示的上消化道内镜图像的诊断装置中，语义分割分支网络可以包括空间金字塔池化层、降维层、解卷积层和特征融合层；上述的语义分割子单元3035可以包括以下未图示的模块：

[0182] 多尺度信息获取模块，用于在第一分类结果用于描述待测上消化道内镜图像为上消化道内镜图像，且第二分类结果用于描述待测上消化道内镜图像含有肿瘤信息时，将目
标特征图输入空间金字塔池化层，在空间金字塔池化层中采用多个不同空洞率的空洞卷积
层和一个平均池化层对目标特征图进行并行计算处理，获得待测上消化道内镜图像的多维
特征图。

[0183] 降维模块，用于将多维特征图输入降维层，在降维层中对多维特征图进行一维化处理，获得待测上消化道内镜图像的一维特征图。

[0184] 上采样模块，用于将一维特征图输入解卷积层，在解卷积层中对一维特征图进行上采样四倍处理，获得第一特征图，第一特征图的图像分辨率为待测上消化道内镜图像的
图像分辨率的四分之一。

[0185] 确定模块，用于从密集连接卷积神经网络中所获得的多个初始特征图中确定出图像分辨率为待测上消化道内镜图像的图像分辨率的四分之一的第二特征图。

[0186] 特征融合模块，用于将第一特征图与第二特征图输入特征融合层，在特征融合层中对第一特征图与第二特征图进行通道融合，获得第三特征图。以及，在特征融合层中对第三特征图进行卷积计算以进行空间融合，获得第四特征图。

[0187] 上述的上采样模块，还用于将第四特征图输入解卷积层，在解卷积层中对第四特征图进行上采样四倍处理，获得语义分割图，语义分割图的图像分辨率与待测上消化道内
镜图像的图像分辨率相同。

[0188] 语义分割模块，用于根据语义分割图获得待测上消化道内镜图像的语义分割结果。

[0189] 作为一种可选的实施方式，上述的密集连接卷积子单元3031可以包括以下未图示的卷积模块和池化模块；其中，卷积模块用于对待测上消化道内镜图像进行特征提取，获得提取初始特征图；池化模块用于对提取初始特征图进行下采样，获得更加抽象的初始特征
图。

[0190] 通过上述实施方式，能够对特征进行稀疏处理，能够降低参数计算量，提高运算速度。

[0191] 作为一种可选的实施方式，上述的特征提取模块，具体用于将多个初始特征图中图像分辨率最小的目标特征图输入可分离卷积层，在可分离卷积层中采用逐点卷积层对目
标特征图进行通道融合，再通过多层深度卷积层对每个通道进行特征提取。

[0192] 实施该实施方式，能够降低参数量，提高运算速度，同时让模型学习空间的相关性和通道间的相关性，提高模型的诊断性能。

[0193] 可见，实施图4所示的装置，除了能够基于多输出网络结构进行一次性多任务输出，进而提高识别准确率；还能够帮助医生提高诊断效率，实现实时诊断；以及，能够解决内镜检查设备在开启后未进入上消化道之前所拍摄到的待测上消化道内镜图像并非是上消
化道内镜图像，导致对模型的识别造成干扰的问题，同时能够在不牺牲特征空间分辨率的
前提下扩大特征接收野，融合待测上消化道内镜图像中大小不同的肿瘤区域的卷积特征，
进而提高了模型的识别准确率，改善分割效果。

[0194] 实施例五

[0195] 请参阅图5，图5是本发明实施例公开的又一种上消化道内镜图像的诊断装置的结构示意图。如图5所示，该上消化道内镜图像的诊断装置可以包括：

[0196] 存储有可执行程序代码的存储器501；

[0197] 与存储器501耦合的处理器502；

[0198] 其中，处理器502调用存储器501中存储的可执行程序代码，执行图1～图2任意一种上消化道内镜图像的诊断方法。

[0199] 本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1～图2任意一种上消化道内镜图像的诊断方法。

[0200] 本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

[0201] 本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

[0202] 在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的
实施过程构成任何限定。

[0203] 上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络
单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

[0204] 另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元
既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0205] 上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或
者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式
体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设
备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行
本发明的各个实施例上述方法的部分或全部步骤。

[0206] 在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

[0207] 本领域普通技术人员可以理解上述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储
介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，
RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-
time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器
(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

[0208] 以上对本发明实施例公开的一种上消化道内镜图像的诊断方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说
明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

标题	发布/更新时间	阅读量
一种新的胃癌标志物circ-EIF4G3的应用	2020-05-22	743
血液中circ-TTC17分子标志物在食管鳞癌诊断试剂的应用	2020-05-21	467
一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统	2020-05-12	991
自致动制品	2020-05-13	970
一种内镜检查解痉消泡剂及其制备方法	2020-05-18	952
一种消化科内镜检查护理装置	2020-05-22	661
一种儿童内镜检查束缚带装置	2020-05-14	604
一种专用于呼吸内镜检查的面罩	2020-05-21	74
便携式内镜检查装置	2020-05-17	565
一种消化内镜检查床	2020-05-11	385

一种上消化道内镜图像的诊断方法及装置

一种上消化道内镜图像的诊断方法及装置

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：