技术领域
[0001] 本
发明涉及图像获取技术领域，特别是涉及一种图像获取方法、图像获取装置及可利用该图像获取装置的内窥镜系统。
背景技术
[0002] 内镜，亦称内窥镜，是一种多学科通用的工具，其功能是能对弯曲管道深处探查，能观察不能直视到的标识区域，能在密封空腔内观察内部空间结构与状态，能实现远距离观察与操作。目前，内窥镜技术逐渐成熟，在各领域广泛应用。在工业探测、军用警用、医疗机械等领域已经成为不可或缺的探测设备。由于人眼对待检测物体内的图像无法直接观察，需要借助内窥镜上的
图像采集模
块，为避免漏检，通常采集大量待检测物体内部图片，其中，部分图片可能并不是感兴趣区域图片，需要通过人眼去筛查，工作量大；另外有时不能获取完所有感兴趣区域的图片，容易漏检；有时感兴趣区域图片数量又较少不利于检查人员做出判断。
[0003] 在利用内窥镜对胃部进行检查时，医生通过观察是否检查获取全胃部的关键解剖
位置(如胃部当前的六个关键解剖位置)来判断检查是否完成。目前在胃部内窥镜检查过程中缺乏一种有效的技术手段去确保患者消化道胃部的各个重要位置都得到了完整的检查，仅仅是根据操作医生的个人经验和头脑记忆去判断是否完成了全部解剖位置的检查，而在每日多达几十名患者的繁重检查任务中，极易因为内窥镜医生操作的疲劳、经验不足等因素导致对患者检查过程出现解剖位置的遗漏，从而导致漏检，给患者造成极大的
风险。
[0004] 已有基于单纯的
深度学习图像识别技术的胃部解剖位置的识别方法，该方法可以识别并提示目前正拍摄的图像属于胃部哪个解剖位置，但单张图像提示不能直观反映整个胃部检查是否完成。
发明内容
[0005] 本发明旨在至少解决
现有技术中存在的技术问题，特别创新地提出了一种图像获取方法、图像获取装置及内窥镜系统。
[0006] 为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种图像获取方法，包括如下步骤：
[0007] 步骤A，识别待检测物体内的标识区域；
[0008] 步骤B，调整采集
角度和/或位置，采集所述标识区域内N个不同位置的图像，所述N为正整数；
[0009] 步骤C，计算N幅图像中任意两幅图像的相似度并判断所述相似度是否小于或等于预设的相似度
阈值，若小于或等于所述相似度阈值，保存N幅图像，结束；若大于所述相似度阈值，则返回步骤B。
[0010] 上述技术方案的有益效果为：该图像获取方法采集同一标识区域不同位置且相似度不是很高的N幅图像，避免图像的重复性太高，提高了获取的图片的有效价值，该方法针对性地获取标识区域的图片，在减少图片总数量的同时，提高了图片的实用性。
[0011] 在本发明的一种优选实施方式中，所述步骤B中的过程包括：
[0012] 确定当前位置，在当前位置附近移动和/或偏转N次并获取每次移动和/或偏转后拍摄的图像。
[0013] 上述技术方案的有益效果为：能够快速简单获得标识区域不同位置图片。
[0014] 在本发明的一种优选实施方式中，在所述步骤C之前还包括：
[0015] 判断获得的N幅图像是否均属于步骤A中的所述标识区域，若均属于所述标识区域，进入步骤C，若不完全属于所述标识区域，返回步骤B。
[0016] 上述技术方案的有益效果为：避免了采集其他标识区域的图片进入步骤C进行处理，减少重复工作。
[0017] 在本发明的一种优选实施方式中，在认为N幅图像不完全属于所述标识区域返回执行步骤B的过程中，减小图像采集模块移动和/或偏转的幅度；
[0018] 和/或在N幅图像中任意两幅图像的相似度大于相似度阈值返
回执行步骤B的过程中，增大图像采集模块移动和/或偏转的幅度。
[0019] 上述技术方案的有益效果为：减小图像采集模块移动和/或偏转的幅度是为了避免采集到其他标识区域的图像；增大图像采集模块移动和/或偏转的幅度是为了减少N幅图像之间的相似度；从而加快获得满足要求的N幅图像的速度。
[0020] 为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种图像获取方法，包括：
[0021] 步骤S1，采集被测物体内图像，采用区域识别
算法对所述图像进行区域识别，若不能获得识别结果或者识别结果不是标识区域，重新执行步骤S1；若识别出的标识区域已被标记为已获取，进入步骤S3，若识别出的标识区域未被标记为已获取，进入步骤S2；
[0022] 步骤S2，具体包括：
[0023] 步骤S21，调整采集角度和/或位置，采集所述标识区域内N个不同位置的图像，所述N为正整数；
[0024] 步骤S22，计算N幅图像中任意两幅图像的相似度并判断所述相似度是否小于或等于预设的相似度阈值，若小于或等于所述相似度阈值，保存N幅图像，将所述标识区域标记为已获取；进入步骤S3；若大于所述相似度阈值，返回步骤S21；
[0025] 步骤S3，判断是否所有标识区域均被标记为已获取，若还有标识区域未被标记为已获取，控制图像采集模块在待测物体内运动，返回步骤S1，若所有标识区域均被标记为已获取，图像获取完成。
[0026] 上述技术方案的有益效果为：该图像获取方法，一方面只获取标识区域不同位置且相似度不是很高的N幅图像，避免图像的重复性太高，提高了获取的图片的有效价值，该方法针对性地获取标识区域的图片，在减少图片总数量的同时，提高了图片的有用性；另一方面，对所有标识区域是否获取图像进行标记，能有效避免遗漏部分标识区域漏检的情况，确保图像获取过程中所有标识区域的图像均被获取。
[0027] 为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种图像获取装置，包括采集图像信息和镜头
姿态信息的采集模块，以及数据接收模块、
图像处理模块和决策模块；
[0028] 所述数据接收模块接收前端图像数据和与所述图像数据关联的姿态信息；
[0029] 所述图像处理模块对数据接收模块接收的图像数据进行区域识别，利用所述图像数据关联的姿态信息判断多幅图像之间的位置关系，并将识别结果和位置关系传输给决策模块；
[0030] 所述决策模块通过本发明所述的图像获取方法控制各模块配合工作，获取待测物体内部图像并保存。
[0031] 上述技术方案的有益效果为：图像获取装置能确保获取完待检测物体内所有标识区域的图像，避免标识区域漏检，同时对于一个标识区域，只获取其不同位置且相似程度较低的N幅图片，确保了该标识区域的图像比较全面，极大地减少了图像总量，提高了图像的有效性。
[0032] 为了实现本发明的上述目的，根据本发明的第四个方面，本发明提供了一种内窥镜系统，包括内窥镜，所述内窥镜端部设置本发明所述的图像获取装置，还包括外部控制装置；
[0033] 所述外部控制装置控制内窥镜运动，图像获取装置随动采集待测物体图像。
[0034] 上述技术方案的有益效果为：内窥镜系统能确保获取完待检测物体内所有标识区域的图像，避免标识区域漏检，同时对于一个标识区域，只获取其不同位置且相似程度较低的N幅图片，确保了该标识区域的图片比较全面，极大地减少了图像总量，减少了相关人员的工作量，提高了图片的有效性，避免了无效图片，能有效降低漏检率。
附图说明
[0035] 图1是本发明一具体实施方式中图像获取方法的流程示意图；
[0036] 图2是本发明一具体实施方式中图像获取装置的系统
框图；
[0037] 图3是本发明在一种应用场景中图像获取装置的实施流程示意图；
[0038] 图4是本发明在一种应用场景中待检测物体内各标识区域分布示意图。
[0039] 附图标记：
[0040] 1胃底；2胃体；3贲
门；4胃窦；5幽门；6胃角。
具体实施方式
[0041] 下面详细描述本发明的
实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0042] 在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“
水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0043] 在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0044] 本发明公开了一种图像获取方法，在一种优选实施方式中，其流程示意图如图1所示，包括如下步骤：
[0045] 步骤A，识别待检测物体内的标识区域；
[0046] 步骤B，调整采集角度和/或位置，采集该标识区域内N个不同位置的图像，该N为正整数，N的数值可预设，如可预设为4；
[0047] 步骤C，计算N幅图像中任意两幅图像的相似度并判断该相似度是否小于或等于预设的相似度阈值，若小于或等于该相似度阈值，保存N幅图像，结束；若大于该相似度阈值，则返回步骤B。
[0048] 在本实施方式中，步骤A中，识别待检测物体内的标识区域，主要是通过对待检测物体内的图像进行区域识别，识别结果为待检测物体内的预设标识区域之一，区域识别的方法优选但不限于基于深度学习的标识区域识别算法，其包括如下步骤:
[0049] 第一步，选取数据:选取己经拍摄的待测物体内部的各标识区域不同位置的多张图像，每一张图像对应的标识区域可辨认且图像不带有拍摄时间先后顺序特征。
[0050] 第二步，将第一步选取的图像进行分类，并对分类后的图像添加表示其所属标识区域的标记，将标记后的图像分为训练集和测试集，训练集中图像和测试集中图像无重叠。
[0051] 第三步，对区域识别网络模型进行预训练:采用自然场景数据进行网络模型权重初始化，在初始化
基础上使用已有的包含海量样本的数据集训练调节网络权重，使深度网络适应各种自然场景的分类。
[0052] 第四步，对区域识别网络模型逐层调节:采用预训练模型和训练集中不同标识区域图像对网络逐层调节训练，具体为先
锁定模型的卷积层，训练全链接层，从上到下逐层放开卷
基层进行训练，获得取悦于识别网络模型并设定为当前深度网络模型。
[0053] 第五步，利用训练集对当前深度网络模型进行训练，利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别
精度、灵敏度、特异性之一或它们的任意组合，判断识别精度、灵敏度、特异性是否符合预设要求，若是，则确定训练后的当前网络模型为完成训练的深度网络模型，若否，则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型，返回第五步的开始位置继续利用训练集对当前深度网络模型进行训练。
[0054] 将拍摄好的待测物体内部图像输入上述深度网络模型，获得该图像所在的标识区域。
[0055] 在本实施方式中，待检测物体优选但不限于为密闭管道、密闭壳体、或者人体消化道，如胃部。待检测物体可以有一个或多个标识区域，当待检测物体为密闭管道或密闭壳体时，标识区域优选但不限于包括
腐蚀区域、裂纹区域、凸起区域或孔洞区域等。当待检测物体为人体消化道器官时，如为胃部时，标识区域优选但不限于包括胃底、贲门、胃体、胃窦、胃角、幽门。
[0056] 在本实施方式中，计算两幅图像的相似度可采用但不限于现有的相似度算法，如可采用公开号为CN104504007B或CN103870828B的
专利中公开的技术方案求得任意两幅图像之间的相似度值。相似度阈值优选但不限于两幅完全相同的图像求得的相似度值的
85％-95％，优选为90％。
[0057] 在本实施方式中，在步骤C中，若大于相似度阈值，则返回执行步骤B的过程中，优选的，重新获取的N幅图像的位置与上一次获得的N幅图像的位置不完全相同。
[0058] 在本发明的一种优选实施方式中，步骤B中的过程包括：
[0059] 确定当前位置，在当前位置附近移动和/或偏转N次并获取每次移动和/或偏转后拍摄的图像。
[0060] 在本实施方式中，当在步骤A中对图像采集模块输出的图像区域识别出为标识区域时，优选的，图像采集模块或者图像采集模块的载体固定在该图像采集位置，在这个图像采集位置附近，图像采集模块可以移动和/或偏转，移动的方式包括但不限于为上移、下移、左移和右移，偏转包括
俯仰角和/或航向角的改变，不改变
横滚角(其对位置变化的贡献比较小)，但俯仰角不能改变过大，仍然要保证偏转后图像采集模块还能采集到标识区域的部分图像。
[0061] 在本发明的一种优选实施方式中，在步骤C之前还包括：
[0062] 判断获得的N幅图像是否均属于步骤A中的标识区域，若均属于该标识区域，进入步骤C，若不完全属于该标识区域，返回步骤B。
[0063] 在本实施方式中，通过在步骤C之前做所属区域判断，只有属于该标识区域的N幅图像才能进入步骤C，减少了不必要的运算量，节省了运算资源。
[0064] 在本发明的一种优选实施方式中，判断获得的N幅图像是否均属于该标识区域的方法包括：
[0065] 方法一：采用基于深度学习的标识区域识别算法对N幅图像进行区域识别，若N个识别结果相同且均为该标识区域，认为N幅图像均属于该标识区域，若N个识别结果不完全相同，认为N幅图像不完全属于该标识区域；
[0066] 和/或方法二：
[0067] 在获取N幅图像的过程中，同时获取拍摄每幅图像时图像采集模块的姿态角度，判断N幅图像中任意两幅图像的姿态角度是否满足：
[0068] |xi-xj|≤ε and|zi-zj|≤λ；
[0069] 若满足上述条件，认为N幅图像均属于该标识区域，若不满足上述条件，认为N幅图像不完全属于该标识区域；
[0070] 其中，i，j为正整数，且1≤i≠j≤N；(xi,yi,zi)表示第i幅图像的姿态角度；(xj,yj,zj)表示第j幅图像的姿态角度；ε和λ分别为同一标识区域内部任意两个位置图片姿态角x分量和z分量差值的阈值。
[0071] 在本实施方式中，N幅图像只要通过方法一验证，或者方法二验证，或者经过方法一验证后还需经过方法二验证后，才能认为N幅图像均属于该标识区域，以提高验证的准确性。
[0072] 在本实施方式中，方法一中的基于深度学习的标识区域识别算法可采用步骤A中的区域识别方法，在此不再赘述。
[0073] 在本实施方式中，第i幅图像和第j幅图像分别表示待测物体内标识区域上第i个位置和第j个位置的图像。姿态角度包括(俯仰角，横滚角，航向角)；ε和λ分别为同一标识区域内部任意两个位置图片姿态角x分量(即俯仰角)和z分量(即航向角)差值的阈值，这两个阈值需要根据实际试验验证调整。
[0074] 在本实施方式中，采用方法二的方法进行验证，将减少数据运算量，加快验证速度。
[0075] 在本发明的一种优选实施方式中，在认为N幅图像不完全属于该标识区域返回执行步骤B的过程中，减小图像采集模块移动和/或偏转的幅度；
[0076] 和/或在N幅图像中任意两幅图像的相似度大于相似度阈值返回执行步骤B的过程中，增大图像采集模块移动和/或偏转的幅度。
[0077] 在本实施方式中，减小图像采集模块移动和/或偏转的幅度，优选的，只减小不属于该标识区域的位置图像的移动和/或偏转的幅度，其他图像保留，这样可以减少处理时间。
[0078] 本发明还公开了一种图像获取方法，包括：
[0079] 步骤S1，采集被测物体内图像，采用区域识别算法对该图像进行区域识别，若不能获得识别结果或者识别结果不是标识区域，重新执行步骤S1；若识别出的标识区域已被标记为已获取，进入步骤S3，若识别出的标识区域未被标记为已获取，进入步骤S2；
[0080] 步骤S2，具体包括：
[0081] 步骤S21，调整采集角度和/或位置，采集该标识区域内N个不同位置的图像，该N为正整数；
[0082] 步骤S22，计算N幅图像中任意两幅图像的相似度并判断该相似度是否小于或等于预设的相似度阈值，若小于或等于相似度阈值，保存N幅图像，将该标识区域标记为已获取；进入步骤S3；若大于相似度阈值，返回步骤S21；
[0083] 步骤S3，判断是否所有标识区域均被标记为已获取，若还有标识区域未被标记为已获取，控制图像采集模块在待测物体内运动，返回步骤S1，若所有标识区域均被标记为已获取，图像获取完成。
[0084] 在本发明的一种优选实施方式中，步骤S21中的过程包括：
[0085] 确定当前位置，在当前位置附近移动和/或偏转N次并获取每次移动和/或偏转后拍摄的图像；
[0086] 或者在步骤S3中还包括：当判断出还有标识区域未被标记为已获取时，控制图像采集模块在待测物体内的运动幅度大于图像采集模块在步骤S21中移动和/或偏转的幅度。在本发明的一种优选实施方式中，在步骤S1中还包括当不能获得识别结果或者识别结果不是标识区域时，对操作人员重新拍摄提示的步骤；
[0087] 和/或在步骤S3中还包括：当判断出还有标识区域未被标记为已获取时，提示操作人员移动图像采集模块至距离最近的未被标记为已获取的标识区域的步骤；
[0088] 和/或在步骤S3中还包括：图像获取结束时对操作人员进行结束提示的步骤。
[0089] 在本实施方式中，提示的方式优选但不限于通过显示屏对话框提示或语音提示等。通过提示，提高了
人机交互性，提升了用户体验。
[0090] 本发明还公开了一种基于本发明的图像获取方法的图像获取装置，在一种优选实施方式中，其系统框图如图2所示，该图像获取装置包括采集图像信息和镜头姿态信息的采集模块，以及数据接收模块、图像处理模块和决策模块；
[0091] 数据接收模块接收前端图像数据和与所述图像数据关联的姿态信息；
[0092] 图像处理模块对数据接收模块接收的图像数据进行区域识别，利用图像数据关联的姿态信息判断多幅图像之间的位置关系，并将识别结果和位置关系传输给决策模块；
[0093] 决策模块通过上述图像获取方法控制各模块配合工作，获取待测物体内部图像并保存。
[0094] 优选地，该图像获取装置还包括一个显示器，用于显示对操作人员的提示，便于操作人员控制图像采集模块在待测物体内运动。
[0095] 图3所示为在图像获取装置的一种应用场景中的流程示意图，该应用场景中，主要是利用图像采集模块采集胃部内个标识区域的图像。
[0096] 在该应用场景中，采集模块采集前端图像和镜头姿态信息(主要是姿态角)，图像采集模块对胃内部进行拍摄，并通过姿态
传感器对拍摄的每张图像标注一个姿态信息；
[0097] 在该应用场景中，数据接收模块对采集模块通过任何通信方式传输回来的图像数据和关联的姿态信息进行接收。
[0098] 在该应用场景中，图像处理模块对图像接收模块接收到的图像通过基于深度学习的区域识别算法进行识别，判断图像所属类别，类别分为：胃底、贲门、胃体、胃窦、胃角、幽门、其他七种。
[0099] 在该应用场景中，决策控
制模块，根据图像处理模块输出的判断结果进行决策和控制。如图像处理模块输出的判别结果为其他类图像，则由决策
控制模块发送重新拍摄的指令到显示器界面，通知操作人员重新采集图像。如果图像处理模块输出的判断结果为胃底、贲门、胃体、胃窦、胃角、幽门中的一类，比如胃底，则由决策控制模块发送指令提示操作人员在目前的采集朝向下(即图像采集模块的所在位置附近)，将图像采集模块前进、后退、左偏移、右偏移各移动一次，重复拍摄4张胃底的图像，由图像处理模块进行判断，如果该4张图像仍然属于胃底，则由决策控制模块通过图像相似度算法对胃底的4张图像进行相似度计算，如果4张胃底图像的两两相似度小于90％，则认为4张胃底图像有效，提示医生可开始检查下一标识区域。如果不满足条件，则提示医生重新采集胃底图像。决策控制模块检测到6个标识区域都完成了合格的检查，则提示医生检查完成，可出具报告。如果有遗漏的标识区域，则提示医生未完成检查，同时发送指令重新采集图像并将内窥镜的报告打印功能锁定。
[0100] 在该应用场景中，图3中leable代表图像类别标签，取值范围可设定为1，2，…，7。取值范围不唯一，也可为字母、二进制、十六进制等等，可区分即可。Num_i为正整数，代表缓存第i类别标签取值为i的图像个数，i取值范围同leable一一对应；ImgNum为正整数，代表缓存中某一胃部标识区域不相似图像张数。α为不相似图像张数阈值，可根据临床实际情况需要设定，默认等于4，用户根据需要可在显示端调整。Number为正整数，代表胃部标识区域数。
[0101] 在该应用场景中，图4所示为胃部内各标识区域的分布示意图。
[0102] 本发明还公开了一种内窥镜系统，包括内窥镜，所述内窥镜端部设置本发明所的图像获取装置，还包括外部控制装置；
[0103] 外部控制装置控制内窥镜运动，图像获取装置随动采集待测物体图像。
[0104] 在本实施方式中，外部控制装置优选但不限于采用现有技术中公开号CN102271572B或CN105615817B所披露的技术手段。
[0105] 在本
说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0106] 尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、
修改、替换和变型，本发明的范围由
权利要求及其等同物限定。
