一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统专利检索-内镜检查诊断设备和程序专利检索查询-专利查询网

一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统

阅读：785发布：2020-05-12

专利汇可以提供一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统专利检索，专利查询，专利分析的服务。并且本发明公开了一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，包括：图像采集模块，训练集制作模块，被配置为使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；辅助诊断模块，被配置为构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；联合判断模块，被配置为将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。本发明通过对超声内镜下PNET的智能自动化识别，可在超声内镜检查过程中，在产生的大量超声内镜图片中准确识别及定位PNET，提高PNET的检出率，减少漏诊。，下面是一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统专利的具体信息内容。

权利要求

1.一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，其特征在于，包括：
图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；选取单帧带有PNET病变的内镜图像构建样本集；
训练集制作模块，被配置为使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；
辅助诊断模块，被配置为构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；
联合判断模块，被配置为将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。
2.如权利要求1所述的一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，其特征在于，还包括：图像预处理模块，被配置为对采集到的图像信息进行预处理；所述图像预处理模块进行图像预处理的过程包括：
去除图像中包含的涉及到病人隐私的信息；
对图像进行去除黑色边框处理；
采用双三次插值缩放算法将所有图像分辨率均调整为设定的分辨率大小。
3.如权利要求1所述的一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，其特征在于，还包括:识别结果审核模块，被配置为对识别的结果进行审核，对识别错误的图像重新进行胰腺神经内分泌肿瘤病变区域标注，并修改标注文本信息。
4.如权利要求1所述的一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，其特征在于，所述辅助诊断模型进行诊断的具体过程包括：
通过缩小后的完整图片预测注意力图和粗边界框，以获得图片中病变区域的位置和粗略尺寸；
通过检查识别出来的病变区域图片来检测目标；
将从注意力图获取到的病变区域的中心位置放大设定倍数，将此时的图像映射回原图；以每一个可能的中心位置为中心，选取设定大小的图像作为裁剪区域；
采用角点检测机制生成检测框，通过预测剪裁区域的角点热图以及嵌入和偏移，最后将坐标映射回原图；
消除冗余框，最终输出标注了胰腺神经内分泌肿瘤病变区域的边界框。
5.如权利要求1所述的一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，其特征在于，对辅助诊断模型进行训练时，使用动态学习率，具体为：
learning_rate＝base_lr*(1-epoch/train_epoch)*2；
其中，learning_rate为当前学习率，base_lr为初始学习率，epoch为当前迭代次数，train_epoch为训练总迭代次数。
6.如权利要求1所述的一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，其特征在于，所述辅助诊断模型将识别出的病变概率大于设定值的病灶区域进行显示，并保存带病灶的图像以及相对应的标签数据，用于再次审核。
7.如权利要求1所述的一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，其特征在于，将输出结果以色带图的形式进行显示，具体为：
(1)设置色带图的初始值；
(2)判断当前帧图像PNET输出概率是否大于设定值；如果是，与当前图像对应的色带值增加当前概率值；当PNET输出概率小于设定值时，与当前图像对应的色带值减去设定值与当前输出概率的差值；
(3)重复步骤(2)，直到所有的图像判断完毕，按照图像输入顺序将每一帧图像的色带值依次连接得到最终的色带图；
(4)通过色带图的颜色变化，判断当前辅助诊断模型输出结果的可信度。
8.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行以下过程：
通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；选取单帧带有PNET病变的内镜图像构建样本集；
使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；
构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；
将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。
9.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行以下过程：
通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；选取单帧带有PNET病变的内镜图像构建样本集；
使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；
构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；
将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。

说明书全文

一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统

技术领域

[0001] 本发明涉及肿瘤智能辅助诊断技术领域，尤其涉及一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统。

背景技术

[0002] 本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

[0003] 目前超声内镜下对胰腺神经内分泌肿瘤(PNET)的识别和定位仍依赖于超声内镜检查操作者，在超声内镜扫查过程中，操作者依赖个人的经验，在超声图像中识别并定位PNET。但是，由于PNET病变的超声内镜图像与正常胰腺背景的图像具有非常高的相似度，而在超声内镜连续扫查的过程中会有大量的超声内镜图片，在检查过程中对PNET进行识别和定位具有较高的难度，需要检查者有丰富的超声内镜识图经验，且存在一定程度的误诊和漏诊。

发明内容

[0004] 为了解决上述问题，本发明提出了一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，能够在检查过程中迅速、准确地对PNET进行识别和定位。

[0005] 在一些实施方式中，采用如下技术方案：

[0006] 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，包括：

[0007] 图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；选取单帧带有PNET病变的内镜图像构建样本集；

[0008] 训练集制作模块，被配置为使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

[0009] 辅助诊断模块，被配置为构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；

[0010] 联合判断模块，被配置为将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。

[0011] 进一步地，将输出结果以色带图的形式进行显示，具体为：

[0012] (1)设置色带图的初始值；

[0013] (2)判断当前帧图像PNET输出概率是否大于设定值；如果是，与当前图像对应的色带值增加当前概率值；当PNET输出概率小于设定值时，与当前图像对应的色带值减去设定值与当前输出概率的差值；

[0014] (3)重复步骤(2)，直到所有的图像判断完毕，按照图像输入顺序将每一帧图像的色带值依次连接得到最终的色带图；

[0015] (4)通过色带图的颜色变化，判断当前辅助诊断模型输出结果的可信度。

[0016] 在另一些实施方式中，采用如下技术方案：

[0017] 一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行以下过程：

[0018] 通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；选取单帧带有PNET病变的内镜图像构建样本集；

[0019] 使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

[0020] 构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；

[0021] 将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。

[0022] 在另一些实施方式中，采用如下技术方案：

[0023] 一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行以下过程：

[0024] 通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；选取单帧带有PNET病变的内镜图像构建样本集；

[0025] 使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

[0026] 构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；

[0027] 将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。

[0028] 与现有技术相比，本发明的有益效果是：

[0029] 本发明通过观察色带图的颜色变化是否一致，可以直观的判断当前输出结果的确信度；有利于提升诊断结果的可靠性。

[0030] 通过对超声内镜下PNET的智能自动化识别，可在超声内镜检查过程中，在产生的大量超声内镜图片中准确识别及定位PNET，提高PNET的检出率，减少漏诊。附图说明

[0031] 图1为本发明超声内镜下识别和定位胰腺神经内分泌肿瘤的系统工作过程示意图。

具体实施方式

[0032] 应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

[0033] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

[0034] 实施例一

[0035] 在一个或多个实施例中，公开了一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，包括：

[0036] 图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；通过人工选取单帧带有PNET病变的内镜图像构建样本集；

[0037] 图像预处理模块，被配置为对采集到的图像信息进行预处理；

[0038] 由于带有PNET病变的图像是在临床中超声内镜下单张采集的，需要去除图片中的患者隐私数据。为减少计算量还需要去除黑色边框，只保留彩色消化道区域。

[0039] 通过黑边算法处理，缩放处理和归一化处理，将其每一帧图像经过去黑边算法后去掉内镜图像多余的边界仅保留ROI区域，采用双三次插值缩放算法将所有图像分辨率均调整416X416分辨率大小。

[0040] 训练集制作模块，被配置为使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

[0041] 使用目标检测深度学习技术进行PNET识别，需要对图像进行特征区域标注，对病症区域进行画框记录下区域定点坐标。本实施例使用的是Yolo目标检测模型，无PNET的超声内镜图无需标注。

[0042] 具体的标注方法为：

[0043] 观察每一张图像的PNET特征区域，通过标注工具在图片上画矩形框，画矩形框时以病灶区域的外截矩形为中心区域，画一个矩形，这个矩形要完全包含病灶的外截矩形，上下左右距离病灶外截矩形10个像素左右。

[0044] 辅助诊断模块，被配置为构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；

[0045] 本实施例中，辅助诊断模型可以采用YOLO v3神经网络模型，具有较高的检测准确度且检测速度快的特点，可以满足消化内镜实时检查的需求。

[0046] 为了更好的达到训练效果，我们使用动态学习率，公式为：

[0047] learning_rate＝base_lr*(1-epoch/train_epoch)*2；

[0048] 其中，learning_rate为当前学习率，base_lr为初始学习率，epoch为当前迭代次数，train_epoch训练总迭代次数。

[0049] 为避免过拟合，实时观察损失函数下降情况，当损失函数波动不大后，及时停止训练。

[0050] 模型训练的效果是通过损失函数评估的。训练的目的是找到损失函数的最小值。找最小值使用了梯度下降。学习率就是每个批次参数调整幅度的大小。一个动态学习率可以加快训练速度。训练开始的时候，学习率数值比较大，参数每个批次调整的幅度大，可以使得损失函数更快下降。当要到达损失函数最小值时，如果调整幅度太大，可能就越过了最低点，导致损失函数上升了，这样就会在最小值点左右震荡，找不到最小的点，因此要动态减小学习率。

[0051] 在另一些实施方式中，辅助诊断模型的工作过程具体为：

[0052] 第一阶段通过缩小后的完整图片预测注意力图和粗边界框，以获得图片中胰腺神经内分泌肿瘤的位置和粗略尺寸，这种降采样方式利于减少推理时间和便于上下文信息获取。

[0053] 具体地，将原始图片缩小为长边为255的图片，在沙漏网络的上采样层预测3个注意力图，分别用于小(小于32)中(32-96之间)、大(大于96)PNET特征区域的预测，预测不同大小尺寸便于后面裁剪的时候控制尺寸，训练时使用α＝2的focal loss，设置Ground Truth Bounding Box的中点为positive，其余为负样本，测试时大于阈值t＝0.3的才会生成PNET特征区域的中心位置。

[0054] 利用从缩小后的完整图片中得到的位置来确定哪里需要进行处理。如果直接从缩小后的图片中裁剪，则一些PNET特征区域可能会太小以至于无法准确的进行检测。因此，需要刚开始就在高分辨率的特征图上得到尺寸信息。

[0055] 从注意力图获取到中心位置(粗略)，可以根据大致的PNET特征区域尺寸选择放大倍数(小目标放大更多)，在每个可能中心位置(x,y)，放大设定倍数，最后将此时的图像映射回原图，以(x,y)为中心点取255×255大小为裁剪区域。

[0056] 从预测的边界框中得到的位置包含更多PNET特征区域的尺寸信息。可以利用得到的边界框的尺寸来确定缩放大小。

[0057] 最终的检测框通过角点检测机制生成，最后通过预测裁剪区域的角点热图,嵌入和偏移，最后将坐标映射回原图。

[0058] 最后采用Soft NMS算法消除冗余框，对于与裁剪区域边界接触的检测框，可以采用人工消除。

[0059] 识别结果审核模块，被配置为对识别的结果进行审核，对识别错误的图像重新进行胰腺神经内分泌肿瘤病变区域标注，并修改标注文本信息。

[0060] 由于胰腺癌等多种情况在超声内镜下的特征表现与PNET相似，所以，需要在超声内镜下PNET识别模型训练完成后，临床测试时，收集识别错误的图像作为负样本添加到训练集中重新训练。

[0061] 这样能够不断地优化辅助诊断模型的输出结果准确率。

[0062] 联合判断模块，被配置为将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。

[0063] 神经网络推断一张图像可能是错误的，如果连续帧的推断一直指向同一结论，这个确定性就会大大增加。通过这个色带的颜色变化，可以直观的判断当前AI推断的确信度。

[0064] 因此，设计由浅到深色带图，每一帧图像的输出结果对应一个色带值；临床检查PNET识别模型若输出疑似PNET(PNET网络输出概率>50％)则逐渐加深色带图，反之(PNET网络输出概率<50％)则变浅。

[0065] 具体地，包括如下过程：

[0066] 1)设置起始色带值为0；

[0067] 2)判断当前帧图像PNET输出概率是否大于50％；

[0068] 3)当PNET输出概率大于50％时，当前色带值累加该概率值；

[0069] 4)当PNET输出概率小于50％时，当前色带值累减50％与当前输出概率的差值。即：当前色带值＝原色带值-(50％-当前PNET输出概率)。

[0070] 重复步骤2)-4)，直到所有的图像判断完毕，按照图像输入顺序将每一帧图像的色带值依次连接得到最终的色带图。

[0071] 实施例二

[0072] 在一个或多个实施方式中，公开了一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行如图1所述的过程：

[0073] 通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；选取单帧带有PNET病变的内镜图像构建样本集；

[0074] 使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

[0075] 构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；

[0076] 将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。

[0077] 在另一些实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行如图1所述的过程：

[0078] 通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；选取单帧带有PNET病变的内镜图像构建样本集；

[0079] 使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

[0080] 构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；

[0081] 将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。

[0082] 上述过程的具体实现方法与实施例一中相应的功能模块的工作过程相对应，不再赘述。

[0083] 上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

标题	发布/更新时间	阅读量
一种基于人工智能的消化内镜检查质量自动评估方法和系统	2020-05-21	688
一种基于细胞共振的研究检测方法	2020-05-21	270
新型负压吸引式活检钳	2020-05-14	27
一种内镜检查解痉消泡剂及其制备方法	2020-05-18	369
一种用于消化道肿瘤临床早期检测的辅助方法	2020-05-20	335
一种治疗慢性鼻-鼻窦炎的中药复方制剂	2020-05-15	116
一种儿童内镜检查束缚带装置	2020-05-14	250
一种内镜检查体位枕	2020-05-16	952
内镜检查用牙垫	2020-05-12	296
一种便于消化内镜检查的多功能辅助滚筒	2020-05-15	522

一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统

一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：