内窥镜诊断辅助系统、内窥镜诊断辅助程序和内窥镜诊断辅助方法专利检索-箭头键导航键键盘外围设备硬件计算机系统电脑零配件专利检索查询-专利查询网

内窥镜诊断辅助系统、内窥镜诊断辅助程序和内窥镜诊断辅助方法

阅读：163发布：2020-05-11

专利汇可以提供内窥镜诊断辅助系统、内窥镜诊断辅助程序和内窥镜诊断辅助方法专利检索，专利查询，专利分析的服务。并且内窥镜诊断辅助系统(1)具有：异常检测部(33)，其根据通过摄像部(24)对被检体内进行摄像而取得的内窥镜图像(A)来检测异常候选区域(L)，并输出检测结果；以及图像生成部(34)，其生成如下的显示图像(B)，该显示图像(B)被分割成主区域(B1)和比主区域(B1)小的子区域(B2)，内窥镜图像(A1)配置于主区域(B1)，根据所述检测结果，表示检测到异常候选区域(L)的异常检测图像(Ma)配置于主区域(B1)的周缘部。，下面是内窥镜诊断辅助系统、内窥镜诊断辅助程序和内窥镜诊断辅助方法专利的具体信息内容。

权利要求

1.一种内窥镜诊断辅助系统，其特征在于，所述内窥镜诊断辅助系统具有：
异常检测部，其根据内窥镜图像来检测异常候选区域，并输出检测结果，其中，该内窥镜图像是通过摄像部对被检体内进行摄像而取得的；以及
图像生成部，其生成如下的显示图像，该显示图像被分割成主区域和比所述主区域小的子区域，所述内窥镜图像配置于所述主区域，根据所述检测结果，表示检测到所述异常候选区域的异常检测图像配置于所述主区域的周缘部。
2.根据权利要求1所述的内窥镜诊断辅助系统，其特征在于，
所述内窥镜图像是动态图像，
所述图像生成部根据所述检测结果，在所述子区域的与所述异常候选区域的检测位置对应的位置配置用于表示所述检测位置的检测位置图像。
3.根据权利要求2所述的内窥镜诊断辅助系统，其特征在于，
所述图像生成部在生成将所述异常检测图像配置于所述主区域而得的所述显示图像后，以示出所述主区域的与所述检测位置对应的位置的方式配置所述检测位置图像。
4.根据权利要求1所述的内窥镜诊断辅助系统，其特征在于，
所述图像生成部在所述子区域配置放大了所述异常候选区域的放大图像。
5.根据权利要求2所述的内窥镜诊断辅助系统，其特征在于，
所述异常检测图像和所述检测位置图像是相互相同的颜色。
6.根据权利要求1所述的内窥镜诊断辅助系统，其特征在于，
所述异常检测图像是检测标记。
7.根据权利要求1所述的内窥镜诊断辅助系统，其特征在于，
所述图像生成部将所述异常检测图像配置于所述内窥镜图像的四个角。
8.根据权利要求3所述的内窥镜诊断辅助系统，其特征在于，
所述图像生成部以不在所述内窥镜图像的外方配置所述检测位置图像的方式生成所述显示图像。
9.根据权利要求3所述的内窥镜诊断辅助系统，其特征在于，
配置于所述主区域的所述检测位置图像是矩形框图像。
10.根据权利要求3所述的内窥镜诊断辅助系统，其特征在于，
配置于所述主区域的所述检测位置图像是箭头图像。
11.根据权利要求3所述的内窥镜诊断辅助系统，其特征在于，
所述内窥镜诊断辅助系统具有操作部，该操作部根据用户的操作而输出指示信号，所述图像生成部根据所述指示信号，将所述主区域的所述检测位置图像切换为显示状态和非显示状态中的任意一方。
12.根据权利要求11所述的内窥镜诊断辅助系统，其特征在于，
所述操作部具有脚踏开关、键盘、平板电脑、语音输入装置和镜体开关中的至少任意一方。
13.根据权利要求3所述的内窥镜诊断辅助系统，其特征在于，
所述图像生成部在判定为满足规定的显示切换条件时，将所述主区域的所述检测位置图像切换为显示状态和非显示状态中的任意一方。
14.根据权利要求13所述的内窥镜诊断辅助系统，其特征在于，
所述内窥镜诊断辅助系统具有照相机，
所述规定的显示切换条件是从所述照相机输入的用户的眼睛的图像是否正在进行规定的运动。
15.根据权利要求13所述的内窥镜诊断辅助系统，其特征在于，
所述内窥镜诊断辅助系统具有计时器，
所述异常检测部能够检测所述异常候选区域中的异常的种类，
所述计时器能够在检测到所述异常候选区域后计测与所述异常的种类对应的规定时间，
所述规定的显示切换条件是在检测到所述异常候选区域后是否经过了所述规定时间。
16.根据权利要求13所述的内窥镜诊断辅助系统，其特征在于，
所述规定的显示切换条件是观察模式是否是窄带光观察模式。
17.根据权利要求13所述的内窥镜诊断辅助系统，其特征在于，
所述内窥镜诊断辅助系统具有处置器械检测部，
所述处置器械检测部根据所述内窥镜图像来检测规定的处置器械，
所述规定的显示切换条件是通过所述处置器械检测部是否检测到所述规定的处置器械。
18.根据权利要求3所述的内窥镜诊断辅助系统，其特征在于，
所述图像生成部以在所述主区域配置所述检测位置图像时不在所述子区域配置所述检测位置图像的方式生成所述显示图像。
19.一种内窥镜诊断辅助程序，其用于使计算机执行以下代码：
根据内窥镜图像来检测异常候选区域，并输出检测结果，其中，该内窥镜图像是通过摄像部对被检体内进行摄像而取得的；以及
生成如下的显示图像，该显示图像被分割成主区域和比所述主区域小的子区域，所述内窥镜图像配置于所述主区域，根据所述检测结果，表示检测到所述异常候选区域的异常检测图像配置于所述主区域的周缘部。
20.一种内窥镜诊断辅助方法，其特征在于，
通过异常检测部根据内窥镜图像来检测异常候选区域，并输出检测结果，其中，该内窥镜图像是通过摄像部对被检体内进行摄像而取得的，
通过图像生成部生成如下的显示图像，该显示图像被分割成主区域和比所述主区域小的子区域，所述内窥镜图像配置于所述主区域，根据所述检测结果，表示检测到所述异常候选区域的异常检测图像配置于所述主区域的周缘部。

说明书全文

内窥镜诊断辅助系统、内窥镜诊断辅助程序和内窥镜诊断辅

助方法

技术领域

[0001] 本发明涉及内窥镜诊断辅助系统、内窥镜诊断辅助程序和内窥镜诊断辅助方法。

背景技术

[0002] 以往，存在如下技术：进行医用图像的图像处理，对符合预先指定的条件的部分标注标记并进行显示。例如，在日本特开2004-159739号公报中公开了如下的图像处理装置：为了能够进行诊断辅助，进行由X射线CT装置、磁共振拍摄装置、超声波诊断装置、X射线拍摄装置等取得的医用图像的图像处理，对疑似病变的部分标注标记并进行显示。

[0003] 但是，在现有的图像处理装置中，在用户发现医用图像中呈现的病变之前，对疑似病变的部分显示标记，有时妨碍用户注意医用图像。

[0004] 因此，本发明的目的在于，提供能够以不妨碍用户注意内窥镜图像的方式示出作为病变等异常的候选的区域即异常候选、并能够对内窥镜的诊断进行辅助的内窥镜诊断辅助系统、内窥镜诊断辅助程序和内窥镜诊断辅助方法。

发明内容

[0005] 用于解决问题的手段

[0006] 实施方式的内窥镜诊断辅助系统具有：异常检测部，其根据内窥镜图像来检测异常候选区域，并输出检测结果，其中，该内窥镜图像是通过摄像部对被检体内进行摄像而取得的；以及图像生成部，其生成如下的显示图像，该显示图像被分割成主区域和比所述主区域小的子区域，所述内窥镜图像配置于所述主区域，根据所述检测结果，表示检测到所述异常候选区域的异常检测图像配置于所述主区域的周缘部。

[0007] 实施方式的内窥镜诊断辅助程序使计算机执行以下代码：根据内窥镜图像来检测异常候选区域，并输出检测结果，其中，该内窥镜图像是通过摄像部对被检体内进行摄像而取得的；以及生成如下的显示图像，该显示图像被分割成主区域和比所述主区域小的子区域，所述内窥镜图像配置于所述主区域，根据所述检测结果，表示检测到所述异常候选区域的异常检测图像配置于所述主区域的周缘部。

[0008] 在实施方式的内窥镜诊断辅助方法中，通过异常检测部根据内窥镜图像来检测异常候选区域，并输出检测结果，其中，该内窥镜图像是通过摄像部对被检体内进行摄像而取得的，通过图像生成部生成如下的显示图像，该显示图像被分割成主区域和比所述主区域小的子区域，所述内窥镜图像配置于所述主区域，根据所述检测结果，表示检测到所述异常候选区域的异常检测图像配置于所述主区域的周缘部。附图说明

[0009] 图1是示出本发明的第1实施方式的内窥镜诊断辅助系统的结构例的框图。

[0010] 图2是示出本发明的第1实施方式的内窥镜诊断辅助系统的显示部的显示图像的结构例的图。

[0011] 图3是示出本发明的第1实施方式的内窥镜诊断辅助系统的显示图像生成处理的一例的流程图。

[0012] 图4是示出本发明的第1实施方式的内窥镜诊断辅助系统的显示部的显示图像的结构例的图。

[0013] 图5是示出本发明的第1实施方式的内窥镜诊断辅助系统的显示部的显示图像的结构例的图。

[0014] 图6是示出本发明的第1实施方式的变形例1的内窥镜诊断辅助系统的显示部的显示图像的结构例的图。

[0015] 图7是示出本发明的第1实施方式的变形例1的内窥镜诊断辅助系统的显示部的显示图像的结构例的图。

[0016] 图8是示出本发明的第1实施方式的变形例2的内窥镜诊断辅助系统的显示部的显示图像的结构例的图。

[0017] 图9是示出本发明的第1实施方式的变形例3的内窥镜诊断辅助系统的显示部的显示图像的结构例的图。

[0018] 图10是示出本发明的第1实施方式的变形例4的内窥镜诊断辅助系统的显示部的显示图像的结构例的图。

[0019] 图11是示出本发明的第1实施方式的变形例5的内窥镜诊断辅助系统的显示图像生成处理的一例的流程图。

[0020] 图12是示出本发明的第1实施方式的变形例5的内窥镜诊断辅助系统的显示部的显示图像的结构例的图。

[0021] 图13是示出本发明的第2实施方式的内窥镜诊断辅助系统的显示图像生成处理的一例的流程图。

[0022] 图14是示出本发明的第2实施方式的内窥镜诊断辅助系统的显示部的显示图像的结构例的图。

具体实施方式

[0023] 下面，参照附图对本发明的实施方式进行说明。

[0024] (第1实施方式)

[0025] (结构)

[0026] 图1是示出本发明的第1实施方式的内窥镜诊断辅助系统1的结构例的框图。在图1中，省略用于设定观察模式的连接操作部X和控制部32的信号线的图示。

[0027] 内窥镜诊断辅助系统1具有光源驱动部11、内窥镜21、视频处理器31、显示部41和操作部X。光源驱动部11与内窥镜21和视频处理器31连接。内窥镜21和操作部X与视频处理器31连接。视频处理器31与显示部41连接。

[0028] 光源驱动部11是对设置于内窥镜21的插入部22的前端部的照明部23进行驱动的电路。光源驱动部11与视频处理器31内的控制部32和内窥镜21内的照明部23连接。光源驱动部11在控制部32的控制下，从照明部23对被检体照射照明光。光源驱动部11根据观察模式，从照明部23照射通常光和窄带光。更具体而言，光源驱动部11在观察模式为通常光模式时，从照明部23照射通常光，此外，在观察模式为窄带光观察模式时，从照明部23照射窄带光。

[0029] 内窥镜21构成为能够对被检体内进行摄像。内窥镜21具有插入部22、照明部23和摄像部24。

[0030] 插入部22形成为细长状，以使得能够插入被检体内。插入部22具有未图示的处置器械贯穿插入管路等管路。插入部22能够使贯穿插入到处置器械贯穿插入管路的未图示的处置器械从前端部突出。

[0031] 照明部23设置于插入部22的前端部，在光源驱动部11的控制下对被检体照射照明光。

[0032] 摄像部24设置于插入部22的前端部，对被照射照明光的被检体进行摄像，将摄像信号输出到视频处理器31。

[0033] 视频处理器31进行内窥镜21的控制，根据从内窥镜21输入的摄像信号生成内窥镜图像A，根据内窥镜图像A生成显示图像B。视频处理器31具有控制部32、异常检测部33和图像生成部34。

[0034] 控制部32是进行内窥镜诊断辅助系统1内的各部的控制的电路。控制部32根据从内窥镜21输入的摄像信号进行例如增益调整、白平衡调整、伽马校正、轮廓强调校正、放大缩小调整等图像处理，生成内窥镜图像A，将内窥镜图像A输出到异常检测部33和图像生成部34。控制部32向光源驱动部11发送控制信号，根据观察模式对照明部23进行驱动。通过用户的经由操作部X的指示输入来设定观察模式。控制部32也可以根据内窥镜图像A的明亮度对照明部23的发光量进行调整。内窥镜图像A可以是动态图像和静态图像中的任意一方。

[0035] 异常检测部33是根据内窥镜图像A检测作为病变等异常的候选的区域即异常候选区域L的电路。异常检测部33与图像生成部34连接。在未检测到异常候选区域L时，图像生成部34将表示未检测到异常候选区域L的检测结果输出到图像生成部34。在检测到异常候选区域L时，图像生成部34将表示异常候选区域L的检测位置和大小的检测结果输出到图像生成部34。即，异常检测部33根据通过摄像部24对被检体内进行摄像而取得的内窥镜图像A来检测异常候选区域L，输出检测结果。异常候选区域L是病变候选区域。

[0036] 例如，异常检测部33由使用机器学习等人工智能技术的运算装置构成。更具体而言，异常检测部33由通过深度学习技术(Deep learning)而学习了特征量的提取的运算装置构成。异常检测部33对从摄像部24输入的内窥镜图像A进行通过学习而调整后的规定的运算，作为检测结果，将表示未检测到异常候选区域L的特征量或表示异常候选区域L的检测位置和大小的特征量输出到图像生成部34。

[0037] 另外，异常检测部33由使用人工智能技术的运算装置构成，但是，也可以由不使用人工智能技术的运算装置构成。例如，异常检测部33也可以根据与相互相邻的像素之间的变化量提取轮廓，通过轮廓与控制部32内预先存储的异常候选区域L的模型信息的匹配进行提取。

[0038] 图像生成部34是生成显示图像B的电路。图像生成部34根据从控制部32输入的内窥镜图像A、从异常检测部33输入的检测结果和从操作部X输入的指示信号生成显示图像B。图像生成部34根据指示信号，将主区域B1的检测位置图像D1从非显示状态切换为显示状态。

[0039] 显示部41构成为能够在显示画面上显示从图像生成部34输入的显示图像B。显示部41例如是具有长方形的显示画面的监视器。

[0040] 操作部X构成为能够通过用户的操作进行指示输入。操作部X与图像生成部34连接。操作部X具有脚踏开关Xa、键盘Xb、平板电脑Xc、语音输入装置Xd和镜体开关Xe。下面，在表示脚踏开关Xa、键盘Xb、平板电脑Xc、语音输入装置Xd和镜体开关Xe的全部或一部分时，称为操作部X。

[0041] 脚踏开关Xa、键盘Xb、平板电脑Xc和语音输入装置Xd以有线或无线方式与视频处理器31连接。脚踏开关Xa能够通过用户的脚进行踏板的踩踏操作。键盘Xb能够通过用户的手指进行规定键的按下操作。平板电脑Xc能够通过用户的手指进行触摸面板的触摸操作。语音输入装置Xd能够通过用户的语音进行操作。在语音输入装置Xd中，输入用户的语音，从所输入的语音中检测指示显示状态和非显示状态的规定的语音。镜体开关Xe安装于内窥镜
21，能够通过用户的手指进行操作。

[0042] 当通过用户的手指、脚或语音进行指示显示状态的指示输入后，操作部X将指示显示状态的指示信号输出到图像生成部34。另一方面，当通过用户的手指、脚或语音进行指示非显示状态的指示输入后，操作部X将指示非显示状态的指示信号输出到图像生成部34。即，操作部X根据用户的操作而输出指示信号。

[0043] (显示图像B的结构)

[0044] 对显示图像B的结构进行说明。

[0045] 图2是示出本发明的第1实施方式的内窥镜诊断辅助系统1的显示部41的显示图像B的结构例的图。在图2的例子中，内窥镜图像A1、A2的整体为八边形，通过曲线示意地表示活体内管腔。

[0046] 显示图像B为长方形的图像，具有在长度方向上被分割的主区域B1和子区域B2。图2的单点划线是表示主区域B1与子区域B2的边界的假想线。

[0047] 主区域B1是显示内窥镜图像A1的区域。主区域B1设定为比子区域B2大，以使得能够提高内窥镜图像A1的视觉辨认性。与内窥镜图像A2相比，在主区域B1内更大地显示内窥镜图像A1。

[0048] 子区域B2是显示异常候选区域L的检测位置的区域。子区域B2配置成与主区域B1相邻。在子区域B2配置有用于重叠检测位置图像D2的内窥镜图像A2(图4)，该检测位置图像D2用于表示检测位置。

[0049] (作用)

[0050] 接着，对图像生成部34的显示图像生成处理进行说明。

[0051] 图3是示出本发明的第1实施方式的内窥镜诊断辅助系统1的显示图像生成处理的一例的流程图。图4和图5是示出本发明的第1实施方式的内窥镜诊断辅助系统1的显示部41的显示图像B的结构例的图。

[0052] 在将插入部22插入而对被检体进行摄像后，摄像部24将摄像信号输出到控制部32。控制部32根据摄像信号进行增益调整、白平衡调整、伽马校正、轮廓强调校正、放大缩小调整等图像处理，对异常检测部33和图像生成部34输出内窥镜图像A。

[0053] 异常检测部33进行规定的运算，将检测结果输出到图像生成部34。

[0054] 图像生成部34对从控制部32输入的内窥镜图像A的大小进行调整，在主区域B1配置内窥镜图像A1，在子区域B2配置内窥镜图像A2。

[0055] 判定是否检测到异常候选区域L(S11)。在图像生成部34判定为从异常检测部33输入了表示未检测到异常候选区域L的检测结果时(S11：否)，重复进行S11的处理。另一方面，如图4所示，在图像生成部34判定为输入了表示异常候选区域L的检测位置和大小的检测结果时(S11：是)，处理进入S12。

[0056] 使主区域B1的检测标记Ma和子区域B2的检测位置图像D2成为显示状态(S12)。图像生成部34在主区域B1的右下部且内窥镜图像A1的外方，使表示检测到异常候选区域L的异常检测图像即检测标记Ma成为显示状态。即，检测标记Ma配置于主区域B1的周缘部且内窥镜图像A1的附近。在图4的例子中，检测标记Ma是模仿旗子的图像，但是也可以是其他图像。

[0057] 此外，图像生成部34根据检测结果使检测位置图像D2成为显示状态，以示出子区域B2的与异常候选区域L的检测位置对应的位置。在图4的例子中，检测位置图像D2是矩形框图像，但是也可以是其他图像。

[0058] 判定是否存在指示信号的输入(S13)。在图像生成部34判定为不存在指示显示状态的指示信号的输入时，处理返回S11。另一方面，在图像生成部34判定为存在指示显示状态的指示信号的输入时，处理进入S14。

[0059] 使主区域B1的检测位置图像D1成为显示状态(S14)。如图5所示，图像生成部34使用于表示检测位置的检测位置图像D1成为显示状态，以示出主区域B1的与异常候选区域L的检测位置对应的位置。在图5的例子中，检测位置图像D1是矩形框图像，但是也可以是其他图像。即，配置于主区域B1的检测位置图像D1是矩形框图像。

[0060] 在存在通过操作部X进行的指示非显示状态的指示输入、或未检测到异常候选区域L时，图像生成部34使检测位置图像D1成为非显示状态。

[0061] S11～S14的处理构成第1实施方式的显示图像生成处理。

[0062] 即，图像生成部34生成显示图像B，该显示图像B被分割成主区域B1和比主区域B1小的子区域B2，内窥镜图像A1配置于主区域B1，根据所述检测结果，表示检测到异常候选区域L的异常检测图像配置于主区域B1的周缘部。图像生成部34根据检测结果，以示出子区域B2的与异常候选区域L的检测位置对应的位置的方式，配置用于表示检测位置的检测位置图像D2。图像生成部34在生成异常检测图像被配置于主区域B1的显示图像B后，以示出主区域B1的与检测位置对应的位置的方式配置检测位置图像D1。

[0063] 即，在内窥镜诊断辅助方法中，通过异常检测部33，根据通过摄像部24对被检体内进行摄像而取得的内窥镜图像A来检测异常候选区域L，并输出检测结果，通过图像生成部34生成显示图像B，该显示图像B被分割成主区域B1和比主区域B1小的子区域B2，内窥镜图像A1配置于主区域B1，根据所述检测结果，表示检测到异常候选区域L的异常检测图像配置于主区域B1的周缘部。

[0064] 由此，在内窥镜诊断辅助系统1中，主区域B1中的异常候选区域L的检测位置图像D1在用户进行指示输入之前成为非显示状态，不会妨碍用户注意内窥镜图像A1。

[0065] 根据上述第1实施方式，内窥镜诊断辅助系统1能够以不妨碍用户注意内窥镜图像A1的方式示出作为病变等异常的候选的异常候选区域L，能够对内窥镜21的诊断进行辅助。

[0066] (第1实施方式的变形例1)

[0067] 在第1实施方式中，检测标记Ma显示于主区域B1的右下部，但是，检测标记Mb也可以显示于内窥镜图像A1的四个角。

[0068] 图6和图7是示出本发明的第1实施方式的变形例1的内窥镜诊断辅助系统1的显示部41的显示图像B的结构例的图。在本变形例中，省略与其他实施方式和变形例相同的结构的说明。

[0069] 如图6所示，在从异常检测部33输入表示异常候选区域L的检测位置和大小的检测结果后，图像生成部34使主区域B1的检测标记Mb成为显示状态，使子区域B2的检测位置图像D2成为显示状态。

[0070] 在图6的例子中，检测标记Mb沿着内窥镜图像A1的四个角的锥部配置于主区域B1的周缘部且内窥镜图像A1的外方。检测标记Mb是具有规定的粗细的带状图像。另外，在图6的例子中，检测标记Mb配置于内窥镜图像A1的全部四个角，但是，也可以不是全部的四个角，而是配置于四个角中的至少一部分。

[0071] 如图7所示，当用户通过操作部X指示输入了显示状态后，主区域B1的检测位置图像D1成为显示状态。

[0072] 即，图像生成部34将检测标记Mb配置于内窥镜图像A1的四个角。

[0073] 由此，内窥镜诊断辅助系统1能够以使得用户更加容易注意的方式显示检测标记Mb。

[0074] (第1实施方式的变形例2)

[0075] 在第1实施方式的变形例1中，显示带状图像的检测标记Mb，但是，也可以显示三角形图像的检测标记Mc。

[0076] 图8是示出本发明的第1实施方式的变形例2的内窥镜诊断辅助系统1的显示部41的显示图像B的结构例的图。在本变形例中，省略与其他实施方式和变形例相同的结构的说明。

[0077] 在图8的例子中，检测标记Mc沿着内窥镜图像A1的四个角的锥部配置于主区域B1的周缘部且内窥镜图像A1的外方。检测标记Mc是利用规定的颜色涂满的三角形图像。另外，在图8的例子中，检测标记Mc配置于内窥镜图像A1的全部四个角，但是，也可以不是全部四个角，而是配置于四个角中的至少一部分。

[0078] 由此，内窥镜诊断辅助系统1能够以使得用户更加容易注意的方式显示检测标记Mc。

[0079] (第1实施方式的变形例3)

[0080] 在第1实施方式以及第1实施方式的变形例1和2中，内窥镜图像A1、A2的整体为八边形，但是，也可以不是八边形。

[0081] 图9是示出本发明的第1实施方式的变形例3的内窥镜诊断辅助系统1的显示部41的显示图像B的结构例的图。在本变形例中，省略与其他实施方式和变形例相同的结构的说明。

[0082] 在主区域B1配置有整体为四边形的内窥镜图像A1d，此外，在子区域B2配置有缩小了内窥镜图像A1d而得到的内窥镜图像A2d。

[0083] 在图9的例子中，检测标记Md是配置于内窥镜图像A1d的四个角且沿着四个角屈曲的L字状图像。另外，检测标记Md也可以进行闪烁显示以变得醒目。

[0084] 由此，内窥镜诊断辅助系统1能够以使得用户更加容易注意的方式在整体为四边形的内窥镜图像A1d的四个角显示检测标记Md。

[0085] (第1实施方式的变形例4)

[0086] 在第1实施方式的变形例3中，内窥镜图像A1d、A2d的整体为四边形，但是，相互对置的边也可以是弯曲状。

[0087] 图10是示出本发明的第1实施方式的变形例4的内窥镜诊断辅助系统1的显示部41的显示图像B的结构例的图。在本变形例中，省略与其他实施方式和变形例相同的结构的说明。

[0088] 在主区域B1配置有上下部为直线状且左右两侧部为弯曲状的内窥镜图像A1e，此外，在子区域B2配置有缩小了内窥镜图像A1e而得到的内窥镜图像A2e。

[0089] 在图10的例子中，检测标记Me是配置于内窥镜图像A1e的四个角且使1边弯曲的三角形图像。

[0090] 由此，内窥镜诊断辅助系统1能够在相互对置的边为弯曲状的内窥镜图像A1e的四个角以使得用户更加容易注意的方式显示检测标记Me。

[0091] (第1实施方式的变形例5)

[0092] 在第1实施方式和第1实施方式的变形例1～4中，通过操作部X的操作进行使检测位置图像D1成为显示状态的指示输入，但是，也可以检测用户的眼睛的运动而使检测位置图像D1成为显示状态。

[0093] 图11是示出本发明的第1实施方式的变形例5的内窥镜诊断辅助系统1的显示图像生成处理的一例的流程图。图12是示出本发明的第1实施方式的变形例5的内窥镜诊断辅助系统1的显示部41的显示图像B的结构例的图。

[0094] 在本实施方式中，省略与其他实施方式和变形例相同的结构的说明。

[0095] 在本变形例中，内窥镜诊断辅助系统1具有照相机Z(图1的双点划线)。

[0096] 照相机Z例如安装于显示部41的缘部等，以使得能够检测对内窥镜图像A1进行观察的用户的眼睛的运动。照相机Z与图像生成部34连接。照相机Z对用户的眼睛进行摄像，对图像生成部34输出用户的眼睛的图像。

[0097] 接着，对本变形例的动作进行说明。

[0098] S21、S22与S11、S12相同，因此省略说明。

[0099] 判定用户的眼睛是否正在进行规定的运动(S23)。在图像生成部34判定为用户的眼睛未进行规定的运动时，处理返回21。另一方面，在图像生成部34判定为用户的眼睛正在进行规定的运动时，处理进入S24。

[0100] 规定的运动例如可以是如下运动：用户通过目视发现内窥镜图像A内的异常，用户的视线在规定时间内朝向异常候选区域L的检测位置。此外，规定的运动可以是如下运动：用户注意到检测标记Ma，用户的视线从主区域B1移动到显示图像B的整体。此外，规定的运动可以是如下运动：用户的视线朝向了预先设定的显示图像B内的规定位置。

[0101] 使主区域B1的检测位置图像D1成为显示状态(S24)。检测位置图像D1是显示于主区域B1内的异常候选区域L的附近的箭头图像。配置于主区域B1的检测位置图像D1是箭头图像。

[0102] 图像生成部34通过基于操作部X进行的指示输入、基于照相机Z进行的眼睛的规定的运动的检测、或未检测到异常候选区域L，使检测位置图像D1成为非显示状态。

[0103] 图像生成部34在观察模式从通常观察模式切换为窄带光模式时，使主区域B1的检测位置图像D1成为非显示，以使得不妨碍用户注意内窥镜图像A1。

[0104] 在异常检测部33内具有根据内窥镜图像A检测规定的处置器械的处置器械检测部T1(图1的双点划线)，在根据内窥镜图像A检测到规定的处置器械时，使主区域B1的检测位置图像D1成为非显示，以使得不妨碍用户注意。

[0105] 即，图像生成部34在判定为满足规定的显示切换条件时，将主区域B1的检测位置图像D1切换为显示状态和非显示状态中的任意一方。规定的显示切换条件是从照相机Z输入的用户的眼睛的图像是否正在进行规定的运动。此外，规定的显示切换条件是观察模式是否是窄带光观察模式。此外，规定的显示切换条件是是否通过处置器械检测部T1检测到规定的处置器械。

[0106] S21～S24的处理构成第1实施方式的变形例5的显示图像生成处理。

[0107] 由此，内窥镜诊断辅助系统1能够通过规定的显示切换条件将检测位置图像D1切换为显示状态和非显示状态中的任意一方，不会增加用户对操作部X进行操作的劳力和时间。

[0108] (第2实施方式)

[0109] 在第1实施方式和第1实施方式的变形例1～5中，子区域B2显示异常候选区域L的检测位置，但是，也可以显示异常候选区域L的放大图像E。

[0110] 图13是示出本发明的第2实施方式的内窥镜诊断辅助系统1的显示图像生成处理的一例的流程图。图14是示出本发明的第2实施方式的内窥镜诊断辅助系统1的显示部41的显示图像B的结构例的图。在本实施方式中，省略与其他实施方式和变形例相同的结构的说明。

[0111] 对第2实施方式的内窥镜诊断辅助系统1的动作进行说明。

[0112] S31～S33与S11～S13相同，因此省略说明。

[0113] 使主区域B1的检测位置图像D1成为显示状态，在子区域B2显示放大图像E(S34)。如图14所示，图像生成部34使主区域B1的检测位置图像D1成为显示状态。此外，图像生成部
34在子区域B2显示规定的放大率的放大图像E。

[0114] 即，图像生成部34在子区域B2配置放大了异常候选区域L而得到的放大图像E。

[0115] S31～S34的处理构成第2实施方式的显示图像生成处理。

[0116] 由此，在内窥镜诊断辅助系统1中，能够通过用户的指示输入在子区域B2显示放大图像E，异常候选区域L的视觉辨认性提高。

[0117] 根据上述第2实施方式，内窥镜诊断辅助系统1能够以不妨碍用户注意内窥镜图像A1的方式示出作为病变等异常的候选的异常候选区域L，能够对内窥镜21的诊断进行辅助。

[0118] 另外，在实施方式和变形例中，检测标记Ma、Mb、Mc、Md、Me和检测位置图像D1、D2也可以是相互相同的颜色，以使用户容易观察。

[0119] 另外，在实施方式和变形例中，图像生成部34也可以以不在内窥镜图像A1、A1d、A1e、A2、A2d、A2e的外方配置检测位置图像D1、D2的方式生成显示图像B。

[0120] 另外，在实施方式和变形例中，图像生成部34在主区域B1配置检测位置图像D1时，还在子区域B2配置检测位置图像D2，但是，也可以以在主区域B1配置检测位置图像D1时不在子区域B2配置检测位置图像D2的方式生成显示图像B。

[0121] 另外，在实施方式和变形例中，操作部X由脚踏开关Xa、键盘Xb、平板电脑Xc、语音输入装置Xd和镜体开关Xe的全部构成，但是，也可以由脚踏开关Xa、键盘Xb、平板电脑Xc、语音输入装置Xd和镜体开关Xe的一部分构成。即，操作部X具有脚踏开关Xa、键盘Xb、平板电脑Xc、语音输入装置Xd和镜体开关Xe中的至少任意一方以上。

[0122] 另外，在第1实施方式中，检测标记Ma显示于主区域B1的右下部，但是，也可以显示于主区域B1的右上部、左上部或左下部中的任意一方。

[0123] 另外，在第1实施方式的变形例5中，规定的显示切换条件是用户的眼睛的图像是否正在进行规定的运动，但是，也可以具有计时器T2(图1的双点划线)，异常检测部33能够检测异常候选区域L中的异常的种类，计时器T2在检测到异常候选区域L后，能够计测与异常的种类对应的规定时间，规定的显示切换条件是在检测到异常候选区域L后是否经过了规定时间。

[0124] 另外，第2实施方式中的规定的放大率是预先设定的，但是，也可以构成为根据异常候选区域L的大小而变化。

[0125] 本说明书中的各“部”是与实施方式的各功能对应的概念，不必与特定的硬件、软件例程一对一对应。因此，在本说明书中，假设具有实施方式的各功能的假想电路块(部)说明了实施方式。此外，关于本实施方式中的各顺序的各步骤，只要不违反其性质，则也可以变更执行顺序，同时执行多个步骤，或者每次执行时以不同的顺序来执行。进而，也可以通过硬件实现本实施方式中的各顺序的各步骤的全部或一部分。

[0126] 例如，视频处理器31也可以具有CPU51和存储器52，通过执行存储器52中存储的内窥镜诊断辅助程序53，实现异常检测部33和图像生成部34的功能(图1的双点划线)。即，内窥镜诊断辅助程序53使计算机执行以下的代码：根据通过摄像部24对被检体内进行摄像而取得的内窥镜图像A来检测异常候选区域L，并输出检测结果；以及生成如下的显示图像B，该显示图像B被分割成主区域B1和比主区域B1小的子区域B2，内窥镜图像A1配置于主区域B1，根据所述检测结果，表示检测到异常候选区域L的异常检测图像配置于主区域B1的周缘部。

[0127] 本发明不限于上述实施方式，能够在不改变本发明主旨的范围内进行各种变更、改变等。

标题	发布/更新时间	阅读量
一种多功能智能消防应急系统	2020-05-08	926
内窥镜诊断辅助系统、内窥镜诊断辅助程序和内窥镜诊断辅助方法	2020-05-11	163
一种桥梁模板分离机构	2020-05-13	582
一种多功能租赁停车场寻车系统	2020-05-13	175
一种潮汐路障自动迁移装置	2020-05-08	151
一种汽车空调控制器	2020-05-11	53
一种网络图的生成方法、装置、设备和存储介质	2020-05-12	808
除草活性的四氢和二氢呋喃羧酸和酯的3-苯基异噁唑啉-5-甲酰胺	2020-05-12	632
一种基于AI技术的地下停车场停车与寻车方法及系统	2020-05-12	1014
一种双旋钮物理按键的导航仪	2020-05-13	39