采用结构光提供生理特征尺寸测量的内窥镜专利检索-内镜胶囊诊断设备和程序专利检索查询-专利查询网

采用结构光提供生理特征尺寸测量的 内窥镜

阅读：544发布：2020-05-15

专利汇可以提供采用结构光提供生理特征尺寸测量的内窥镜专利检索，专利查询，专利分析的服务。并且本发明披露对自内窥镜检查所识别的生理特征提供精确且容易使用的尺寸测量的系统、方法，以及结构。与现有技术形成明显对比的是，依据本披露的系统、方法，以及结构采用结构光，该结构光有利地支持关于胃肠(gastrointestinal；GI)道中的病灶及/或其它生理特征的尺寸及/或距离信息。有利地，依据本披露的系统、方法，以及结构适用于胶囊内窥镜与插入内窥镜。，下面是采用结构光提供生理特征尺寸测量的内窥镜专利的具体信息内容。

权利要求

1.一种内窥镜系统，包括：
壳体；
至少一个相机；
结构光源；以及
微透镜阵列，其经设置以使自该结构光源发射的光被该微透镜准直成沿多个方向传播的光束阵列。
2.如权利要求1所述的内窥镜系统，其中，该光束阵列在该至少一个相机的视场内与该壳体相交。
3.如权利要求1所述的内窥镜，其中，该微透镜阵列设置于与该内窥镜的纵轴垂直的平面上。
4.如权利要求1所述的内窥镜，其中，该微透镜阵列设置于共同衬底上。
5.如权利要求1所述的内窥镜，其中，该结构光源包括输出孔，该孔呈现小于0.20毫米的直径。
6.如权利要求1所述的内窥镜，还包括一个或多个透镜阵列掩膜，充分接近该透镜阵列设置并对齐，以使位于各微透镜之间的该光照明区域的部分被该掩膜阻挡。
7.如权利要求1所述的内窥镜，还包括设置于该微透镜阵列之后的光路中的光学元件，该光学元件经配置以增加该光束传播的角度范围。
8.如权利要求7所述的内窥镜，其中，该光学元件呈现负折射率。
9.如权利要求7所述的内窥镜，其中，该光学元件包括至少一个棱镜。
10.如权利要求7所述的内窥镜，其中，该光学元件包括菲涅尔透镜。
11.如权利要求7所述的内窥镜，其中，该光学元件包括第一镜。
12.如权利要求11所述的内窥镜，其中，该光学元件还包括第二镜，其设置于该第一镜之后的该光路中，以使至少一个光束被该第一镜反射并接着被该第二镜反射。
13.如权利要求7所述的内窥镜，其中，该光学元件经设置以使该微透镜阵列所发射的多个光束沿着在该源以外的位置的轴上彼此相交的线而传播。
14.如权利要求11所述的内窥镜，其中，该第一镜为环形。
15.如权利要求11所述的内窥镜，其中，在该阵列中的至少一个透镜表現出一種折射率，使得在至少一个平面中以小于无限的共轭聚焦光，且该光学元件表現出一種折射率，使得自其发出的该光束在该至少一个平面中以接近无限的共轭被准直。
16.如权利要求11所述的内窥镜，其中，该光学元件包括镜像表面，其反射来自白光照明源的白光与来自该结构光源的结构光两者。
17.如权利要求1所述的内窥镜，其中，该至少一个相机呈现包括横向平面的视场。
18.如权利要求17所述的内窥镜，其中，该内窥镜将结构光投射于该横向平面上方及下方。
19.如权利要求1所述的内窥镜，其中，该结构光被投射于选自由大于80度、大于120度、大于180度以及大于200度所组成的组的视场上。
20.如权利要求1所述的内窥镜，还包括多个白光源，该多个白光源与该结构光源围绕该至少一个相机设置。
21.如权利要求20所述的内窥镜，其中，该白光源与该结构光源装设于共同的印刷电路板(PCB)上。
22.如权利要求21所述的内窥镜，其中，该至少一个相机包括装设于该PCB上的一个或多个图像传感器。
23.如权利要求1所述的内窥镜，其中，该壳体呈胶囊状。
24.如权利要求23所述的内窥镜，其中，该胶囊状壳体经尺寸设定以使其可被人吞咽。
25.如权利要求24所述的内窥镜，其中，该胶囊状壳体在其中包含该相机、该结构光源，以及该微透镜阵列。
26.如权利要求20所述的内窥镜，其中，该结构光所呈现的一种或多种颜色不同于该一个或多个白光源所呈现的一种或多种颜色。
27.如权利要求1所述的内窥镜，还包括插入管，其与该壳体机械连接，其中，该结构光源远离该壳体设置，且该内窥镜还包括设置于该插入管中以将来自该结构光源的光传导至该微透镜阵列的光导。
28.如权利要求12所述的内窥镜，其中，该至少一个光束被位移一定的量，以避开该内窥镜壳体内部的障碍物。
29.如权利要求28所述的内窥镜，其中，该第一镜比该第二镜更靠近该障碍物设置。
30.一种体腔成像方法，包括：
向该体腔中引入成像装置；
自该成像装置向该体腔中发射非结构光；
通过该成像装置检测自该体腔中的解剖特征反射的非结构光；
通过该成像装置自该检测的非结构光生成一个或多个非结构光图像；
向该体腔中投射结构光；
检测自该体腔中的该解剖特征反射的结构光；以及
自该检测的结构光生成一个或多个结构光图像。
31.如权利要求30所述的方法，还包括：
引导光通过微透镜阵列，该微透镜阵列经设置以使该光被该微透镜准直成包括沿多个方向传播的光束阵列的该结构光。
32.如权利要求31所述的方法，还包括：
阻止该光的部分被准直。
33.如权利要求32所述的方法，还包括引导该光束阵列中的至少一者通过额外的光学元件，以增加该光束传播的角度范围。
34.如权利要求31所述的方法，其中，该结构光被引导至选自由大于80度、大于120度、大于180度以及大于200度所组成的组的视场上。
35.如权利要求30所述的方法，其中，多个该非结构光图像共同构成非结构光全景图像。
36.如权利要求30所述的方法，其中，多个该结构光图像共同构成全景结构光图像。
37.如权利要求30所述的方法，其中，该成像装置为胶囊内窥镜并被患者摄入。
38.如权利要求37所述的方法，其中，该摄入的胶囊内窥镜通过蠕动沿该体腔前进。
39.如权利要求30所述的方法，其中，该非结构光与该结构光彼此呈现不同的波长。
40.如权利要求37所述的方法，还包括：
在向该体腔中引入该胶囊内窥镜之前：
将自该胶囊发出的结构光图案投射于场景上；
自该投射的图案生成校准数据；以及
将该校准数据储存于存储器中。
41.如权利要求40所述的方法，还包括通过该相机撷取至少一个图像，以生成该校准数据。
42.如权利要求38所述的方法，其中，该存储器位于该胶囊内窥镜内。
43.一种校准具有结构光投射器的内窥镜的方法，该方法包括：
在诊断使用之前：
激活该结构光投射器，以将光图案投射于场景上；
自该投射图案生成校准数据；以及
将该校准数据储存于存储器中。
44.如权利要求43所述的方法，还包括通过该相机撷取至少一个图像，以生成该校准数据。
45.如权利要求43所述的方法，其中，该校准数据被储存在驻留于该内窥镜中的存储器中。
46.如权利要求43所述的方法，其中，该校准数据被储存在驻留于该内窥镜外部的一个或多个系统中的存储器中。
47.如权利要求43所述的方法，还包括：
将该内窥镜的唯一标识符与该校准数据关联。
48.如权利要求43所述的方法，其中，该内窥镜为胶囊内窥镜。

说明书全文

采用结构光提供生理特征尺寸测量的内窥镜

技术领域

[0001] 本披露通常涉及体腔的内窥镜检查，尤其涉及采用结构光以促进对病灶或在此类检查中所观察到的其它特征进行精确的尺寸测量的内窥镜以及内窥镜检查。

背景技术

[0002] 众所周知，内窥镜(包括胶囊内窥镜)使临床医生能够发现并识别胃肠(gastrointestinal，GI)道中的病灶及其它生理特征。此类胶囊内窥镜呈胶囊状(具有管状本体，该管状本体具有端部结构，使其具有胶囊形状)，且可作为食物、饮料或其它物质，通过自发性肌肉动作穿过喉咙及食道，被有利地吞咽或进入胃中。从胃开始，胶囊行进穿过肠道并随后排出。后续诊断常常包括估计病灶/特征的尺寸，因为由病灶/特征造成的健康风险以及任意后续治疗方案通常取决于其尺寸。例如，若结肠中的腺瘤及无蒂锯齿状息肉经测量的直径大于1厘米，则通常被归类为晚期癌前病变。

[0003] 尽管生理特征尺寸测量的重要性已被公认，但当代的内窥镜(尤其是胶囊内窥镜)缺乏针对此类生理特征的精确且容易使用的尺寸测量方法。因此，提供方法、系统及结构或以另外方式，以促进测量自内窥镜检查所识别的生理特征的尺寸，将是本技术领域中受欢迎的补充。发明内容

[0004] 本技术的进步在于，依据本披露的态样作出涉及对自内窥镜检查所识别的生理特征提供精确且容易使用的尺寸测量的系统、方法，以及结构。

[0005] 与现有技术形成明显对比的是，依据本披露的系统、方法，以及结构采用结构光，该结构光有利于提供胃肠(gastrointestinal；GI)道中关于病灶及/或其它生理特征的尺寸及/或距离信息。

[0006] 有利地，依据本披露的系统、方法及结构适用于胶囊内窥镜与插入内窥镜。

[0007] 从一个态样来看，本披露涉及内窥镜系统，其包括：壳体；至少一个相机；结构光源；以及产生该结构光的微透镜阵列，该微透镜阵列经设置以使自该结构光源发射的光被该微透镜准直成沿多个方向传播的光束阵列。

[0008] 从另一个态样来看，本披露涉及体腔成像方法，其包括：向该体腔中引入成像装置；自该成像装置向该体腔中发射非结构光；通过该成像装置检测自该体腔中的解剖特征反射的非结构光；通过该成像装置自该检测的非结构光生成一个或多个非结构光图像；向该体腔中投射结构光；检测自该体腔中的该解剖特征反射的结构光；以及自该检测的结构光生成一个或多个结构光图像。附图说明

[0009] 通过参照附图可实现对本披露更全面的理解，该些附图中：

[0010] 图1为示例显示依据本披露的态样通过阴影掩膜生成结构光的示意图；

[0011] 图2为示例显示依据本披露的态样通过阴影掩膜及准直透镜生成结构光的示意图；

[0012] 图3为示例显示依据本披露的态样通过阴影掩膜及准直透镜生成结构光的示意图，其中，孔的宽度D等于间距(占空比为100％)；

[0013] 图4为示例显示依据本披露的态样形成于衬底上/中的微透镜阵列(micro lens array；MLA)的集成的示意图；

[0014] 图5为示例显示依据本披露的态样形成于衬底上/中的微透镜阵列(MLA)与集成孔掩膜的集成的示意图；

[0015] 图6为示例显示依据本披露的态样形成于衬底上/中的微透镜阵列(MLA)的集成，并随后经压花/模压或蚀刻以形成透镜的示意图；

[0016] 图6(A)及图6(B)为示例显示微透镜阵列(MLA)图案的示意图，其中：图6(A)显示密集的(也就是，六角形或“蜂巢状”)布置以及图6(B)显示矩形布置，两者都是依据本披露的态样；

[0017] 图7为示例显示依据本披露的态样设置于光路中的MLA之后以增加总体视场(field of view；FOV)的光学元件的示意图；

[0018] 图8为示例显示依据本披露的态样包括结构光元件的胶囊内窥镜的示意图；

[0019] 图9(A)及图9(B)为示意图：图9(A)显示依据本披露的结构光元件被包括于当代插入内窥镜中，其具有结构光元件及额外的白光元件；以及图9(B)显示本披露的结构光元件被包括于另一个当代插入内窥镜中，其具有结构光通道和元件及额外的照明通道元件；

[0020] 图10(A)及图10(B)为示例显示依据本披露的态样包括结构光元件并呈现全景成像系统的胶囊内窥镜的示意图；

[0021] 图11为示例显示MLA的立体示意图，其中，依据本披露的态样，该阵列的微透镜以同心环围绕中心LED排序；

[0022] 图12为示例通过依据本披露配置的相机所撷取的图像的示意图-依据本披露的态样，该图像具有平坦表面，结构光(SL)投射于该平坦表面上；

[0023] 图13为示例图，显示依据本披露的态样被包括于内窥镜结构中的示例结构光源的发射光谱以及示例传感器的响应光谱；

[0024] 图14(A)及图14(B)为显示依据本披露的态样，针对图14(A)当对象靠近内窥镜且传感器上的辐照度高时以及图14(B)当对象较远且传感器上的辐照度较低时的情况，R、G和B 像素的传感器亮度信号作为传感器上的位置x的函数图；

[0025] 图15为显示依据本披露的态样在体腔内部及息肉采用结构光布局的示例胶囊内窥镜结构的示意图；

[0026] 图16为显示依据本披露的态样具有在光路中的MLA之后的光学元件的示例内窥镜配置的示意图；以及

[0027] 图17为显示依据本披露的态样可执行方法的示例电脑系统的示意图。

[0028] 通过附图及具体实施方式来更充分地说明示例具体实施例。不过，依据本披露的具体实施例可以各种形式实施，且不限于附图及具体实施方式中所述的特定的或示例的具体实施例。

具体实施方式

[0029] 下面仅示例说明本披露的原理。因此，应当了解，本领域的技术人员将能够设计各种布置，尽管在本文中未明确说明或显示，但该些布置体现本披露的原理并被包括于其精神及范围内。

[0030] 而且，本文中所述的所有示例及条件语言主要特别旨在仅用于教学目的，以帮助读者理解本披露的原理以及发明人为促进本技术领域发展所贡献的概念，且将被解释为不限于如此具体说明的示例及条件。

[0031] 而且，本文中叙述本披露的原理、态样及具体实施方式的所有陈述及其具体实施例意指包括其结构的及功能的等同物。此外，旨在此类等同物包括当前已知的等同物以及未来开发的等同物，也就是，执行相同功能的所开发的任意元件，而不论其结构如何。

[0032] 因此，例如，本领域的技术人员将了解，本文中的任一方块图代表体现本披露原理的示例电路的概念视图。类似地，将了解，任一流程图、状态转换图、虚拟码等代表各种过程，该些过程基本上可于电脑可读媒体中表示，从而通过电脑或处理器执行，无论是否明确显示此类电脑或处理器。

[0033] 附图中所显示的各种元件的功能(包括被标记为“处理器”的任一功能方块)可通过专用硬件以及能够与适当软件关联执行软件的硬件来提供。当由处理器提供时，可由单个专用处理器、单个共用处理器或多个单独处理器提供所述功能，其中一些处理器可以共用。而且，术语“处理器”或“控制器”的明确使用不应当被解释为专门指能够执行软件的硬件，而是可隐含但不限于数字信号处理器(digital signal processor；DSP)硬件、网络处理器、专用集成电路(application specific integrated circuit；ASIC)、现场可编程门阵列(field programmable gate array；FPGA)、用于储存软件的只读存储器(read-only memory；ROM)、随机存取存储器(random access memory；RAM)，以及非易失性储存器。还可包括常规及/或定制的其它硬件。

[0034] 软件模块(或简单地，以模块暗指软件)在本文中可以流程图要素或其它要素的任意组合表示，所述其它要素表示过程步骤的执行及/或文本说明。此类模块可由明确或隐含显示的硬件执行。

[0035] 除非本文中另外明确指出，否则附图包括非按比例绘制的图形。

[0036] 通过一些额外的背景，我们再次注意到，尽管针对可自内窥镜检查识别的生理特征进行尺寸测量是重要的，但当代内窥镜(包括胶囊内窥镜)不能充分提供此类尺寸测量的功能。要注意，为简洁起见，我们可交替使用术语“特征”或“病灶”来说明此类生理特征。我们还注意到，出于本披露及权利要求的目的，此类特征或病灶仅是视场中的兴趣对象或点，且在本文中所使用的术语不被视为是限制性的。

[0037] 如本领域的技术人员所知且容易理解的那样，内窥镜相机图像的尺寸测量/估计容易出错，因为要测量的对象或生理特征的外观尺寸取决于其放大率，其放大率又取决于其与相机的距离(这通常是未知的)。当对象靠近相机时，也就是，小共轭距离(体内成像必然如此)，对象距离的小变化引起放大率的大变化。而且，对于在内窥镜中所采用的广角镜头来说，透镜失真会在整个相机视场范围内引起放大率变化。

[0038] 本领域的普通技术人员将容易了解，在内窥镜检查期间可使用某种工具(也就是，刀、钳或已知尺寸的其它对象)作为尺寸参考，通过将它充分接近病灶设置并观察该工具及该病灶，以提供尺寸参考来更好地估计/确定该病灶的尺寸。还将了解，这样的操作程序可能，对于肠内的特定病灶位置来说是耗时的、困难的或办不到的、不够精确、会增加粘膜损伤的程序风险、且不能将测量结果自动记录于储存媒体中作为程序记录的部分。而且，此类工具不适用于胶囊内窥镜的操作程序。

[0039] 当然，包括测量距离的工具的内窥镜，将能够快速、简单且客观地测量并记录在内窥镜检查期间所观察到的胃肠(GI)道中的对象的尺寸，且将是本技术领域中受欢迎的补充。

[0040] 要注意，在这点上，已开发了各种电子技术来测量对象的距离，包括雷达、超声、声纳、回声定位、激光雷达、全息摄影术、立体视觉、阴影深度、飞行时间、光学相干层析成像、共焦显微镜，以及结构光。这些技术中的许多技术需要大的、复杂的、昂贵的，以及高功耗的系统、方法，以及结构。光学飞行时间测量(包括激光雷达)难以用于短对象距离，因为飞行时间太短，以致难以达到毫米级距离分辨率。光学相干层析成像(optical coherence tomography；OCT)及共焦显微镜已被用于内窥镜以及使用内窥镜的程序中，但未经充分微型化，从而不适用于非系留的胶囊内窥镜应用。最后，所指出的这些技术中的许多技术需要传感器硬件，该传感器硬件的操作独立于肠胃科医生或其他人(使用内窥镜的人，也就是内窥镜医生)为识别病灶及其它特征而使用的光学白光(white-light；WL)相机，从而使相机-图像数据与三维传感器数据之间的对应具有挑战性。

[0041] 有利地，且本领域的技术人员将容易理解，以及依据本披露的态样，通过在内窥镜相机与结构光(structured light；SL)投射器之间的三角测量可获得三维数据。还将进一步了解，此类方法借助相机，从而减少所需的任意额外硬件并简化白光图像数据与深度测量之间的对应的建立。

[0042] 本文中所使用的结构光在空间上被图案化，从而在三维空间中以已知的几何图案照明对象空间。结构光包括将已知图案(常常包括网格或水平条图案的要素，或随机、伪随机或半周期的要素)投射于场景(例如，内窥镜相机的任意视场)上的过程。如结构光三维扫描系统所使用，可通过图案要素照在表面时产生变形的方式，确定场景中对象的深度及表面信息，。有利地，可采用不可见的(或不可察觉的)的结构光，以避免和其它基于光的视觉系统及/或过程干涉而使投射图案产生混乱。示例的不可见结构光包括使用红外光或使用足够高的帧速率在不同图案(也就是相反图案)之间交替。

[0043] 通过一些具体例子，我们注意到，结构光可采用光束阵列(自一个或多个投射中心(center of projection；COP)发射)，以在照明表面上形成斑点状网格、线或其它图案。对于三角测量，如本领域的普通技术人员已知及理解的那样，结构光投射的COP不可与成像图案/表面的相机的COP共位。

[0044] 结构光可由图像投射器(结构光投射器)生成，该投射器将图像从空间光调制器或“幻灯片”投射于表面上。关于体内的应用，此类表面通常可包括生物材料，包括粘膜及/或病灶及/或其它生理特征。不过，此类图像投射器的光学效率随系统的尺寸增大而降低。对于单孔图像投射器，光通量与焦距平方成比例。由于内窥镜通常呈现大视场(field of view；FOV)，例如160°，因此图像投射器难以覆盖如此大的视场。类似地，替代技术包括使用例如微机电系统(micro-electro-mechanical system；MEMS)镜的微型光学扫描仪也无法轻易覆盖如此大的视场。其它替代技术例如衍射光栅或全息摄影术，其通过使相干光通过衍射光学元件(diffractive optical element；DOE)来操作，尽管它们可生成空间图案，但此类图案仅在衍射远场中(通常在离DOE至少1厘米的距离处)呈现足够的对比度，且难以自单个源获得超过60°的视场的均匀覆盖。还有另一种生成结构光的技术方法，在DOE之外的焦距处设置聚焦透镜以在离DOE等于两倍透镜焦距的距离处的衍射远场中产生图像，但导致图像的覆盖区域(FOV)减少。

[0045] 鉴于这些及其它困难，本披露涉及在限制的空间体积中生成结构光的系统、方法及结构，其呈现足够低的功耗及低成本，但仍非常适用于对象距离在毫米范围以内及以外的照明。我们将展示并说明，依据本披露的此类系统、方法及结构对内窥镜的应用(尤其是体内胶囊内窥镜)特别有吸引力。尽管有这样的吸引力，但依据本披露的系统、方法及结构也有利地呈现对其它应用的适用性。

[0046] 本领域技术人员将明白，且出于提供基本类比的目的，依据本披露的系统、方法及结构采用通过阴影掩膜投射阴影的基本概念的变化。尤其且依据本披露，使光通过包括微透镜的孔阵列，以将光准直成光束阵列，其强度随距离增大而减少的速度小于穿孔但未经准直透镜的光。由于每个光束被独立准直，因此光束角度可能变化很大，从而覆盖较大的视场。此外，设置于微透镜之外的镜子、透镜或其它光学元件可用以重定向部分或全部光束并增加视场，如我们在本披露中后续更详细展示并说明的那样。

[0047] 在这点上，我们注意到，本领域的技术人员将容易理解并了解，准直仪是将一个或多个光束变窄的装置。本文中所使用的准直意味着将光的方向变窄或使其变为沿特定方向更对齐(也就是，描述光束的光线变得更平行)，不过，它并不意味着在准直光束中不发生发散或会聚。准直可能导致具有较小空间剖面的光束。

[0048] 本领域的技术人员将进一步明白，本文中所提供的许多披露是在胶囊内窥镜的背景下示例呈现。该披露并不限于此。依据本披露的系统、方法及结构考虑到胶囊及插入管型内窥镜，以及可能会受益于场景中兴趣对象的尺寸及/或距离确定的其它仪器。

[0049] 现在请参照图1，其显示依据本披露的态样通过使用阴影掩膜生成结构光的示例装置的示意图。从该图中可观察到，光自源发射穿过具有直径α的孔(源孔)。离光发射穿过的该源孔距离L处设置阴影掩膜，该阴影掩膜具有宽度D的孔(掩膜孔)阵列。因此，且如本图中所示例显示，在该掩膜孔外的光束中的光的发散角度(忽略该源在轴上的衍射)定义如下：

[0050] θ＝tan-1((a+D)/2L).

[0051] 本领域的技术人员将进一步了解，随着发散角度增加，光的强度随距离增大而减少得越多，因此图像中需要较大的动态范围，以充分检测在远近对象上的任意投射图案(光斑等)的存在及位置。如本文中所使用且如本领域的技术人员通常理解的那样，动态范围描述最大与最小可测量光强度之间的比例(例如，黑与白)。

[0052] 减小α及D(将该掩膜孔变窄)以牺牲通过量为代价来减少发散。此外，衍射限制了通过减小D可减少的发散程度。此外，为了使相邻的投射光斑彼此间可区分，需要至少约50％的孔占空比(也就是，掩膜孔间距最终为2D)。要注意，本图中所示的阴影掩膜呈现方形掩膜孔，其沿横轴的两个方向必须基本上50％不透明，从而仅使25％照在该掩膜的入射光通过。对于圆形掩膜孔，此类标准更小。

[0053] 现在请参照图2，其显示依据本披露的另外态样通过使用阴影掩膜以及设置于各掩膜孔中的准直透镜生成结构光的示例装置的示意图。若此类准直透镜如图所示设置于掩膜孔中，则光束发散(忽略衍射)减少至：

[0054] θ＝tan-1(a/2L).

[0055] 尽管附图中未具体显示，但光源可有利地包括“点源”发光二极管(light-emitting diode；LED)，其为具有小孔的LED。

[0056] 在一个示例的具体实施例中，点源LED呈现与标准LED的结构类似的结构。不过，自其发射的光穿过明确定义的(常为圆形的)区域发射，通常直径为25微米至200微米。如此产生的光将显示为产生窄视角的“光斑”。将了解，此类点源LED可消除或改变示例显示的源孔(以及任意具有源孔的源掩膜)的要求。(在此类情况下，α等同于该点源的孔直径)。通常，在LED中包括横向电流限制结构，以使电子及空穴重新组合的区域不比该孔大多少。该孔可为位于该LED的表面上的金属层中的开口。

[0057] 当然，在依据本披露的系统、结构及方法中所采用的源还可包括激光器，包括垂直腔面发射激光器(vertical-cavity surface-emitting laser；VCSEL)，其可具有10微米或更小的孔且已知比点源LED更有效。不幸的是，若此类激光器高度相干，则所生成的结构光可能包括伪干涉图案及散斑噪声。

[0058] 对于点源LED，α通常会在0.050毫米至0.20毫米的范围内(例如，0.080毫米或0.10毫米)且L通常会在1毫米至10毫米的范围内。如此，对于α＝0.80毫米且L＝4.0毫米，θ＝6°。只要D>α，光束发散θ就小于光束分离角度φ，且投射于对象上的任意光斑的占空比随对象距离增加而减小，即使透镜占空比为100％(也就是，间距等于D)。图3中示意显示这样的配置。本领域的技术人员将了解，相对于没有准直透镜的阴影掩膜，大的孔占空比增加通过量。

[0059] 在这点上，要注意，附图中所示的透镜阵列可为形成于或以另外方式设置于透明衬底上的微透镜阵列(micro lens array；MLA)。图4的示意图中示例显示此类配置。

[0060] 通过继续参照该图，注意到，该衬底可由包括玻璃、二氧化硅、聚合物或其它透明材料的各种已知材料中的任意材料构成。同样地，透镜可由任意合适的材料构成并通过压花、模压，或采用光阻回流的光刻及/或蚀刻或任意其它已知技术形成。透镜阵列可驻留于玻璃框架上，该玻璃框架又可以固定或其它方式与整个衬底集成。该些透镜可被集成于面向源的衬底的表面上，或相对侧上，或集成于衬底的本体中。要注意，若该些透镜相对光源被设置于衬底的相对侧上，则对于同一衬底位置及厚度，焦距较大，从而导致光束发散减少。

[0061] 还要注意，该阵列中的各单独透镜具有光轴-透镜的对称轴。对于各透镜，主光线自源经过并在透镜入瞳与光轴相交。该主光线与该光轴位于子午平面中，且该主光线还位于垂直于该子午平面的弧矢平面中。

[0062] 参照图5，可观察到驻留于透镜通光孔(clear aperture；CA)外部的透镜材料的表面可能不会呈现以低像差有效准直光的形状或特性(形状或其它)。有利地，可采用掩膜阻挡任意光，否则该光会穿过位于CA外部的MLA衬底并降低结构光投射的对比度-如图5中所示。该掩膜可由紧接在本图中所示的光路中的微透镜阵列之前或之后的材料片或涂布衬底构成。此外，该掩膜可为施加于该MLA的表面上的不透明涂层。例如，将黑色铬或其它不透明材料以沉积或其它方式施加于该透镜阵列的表面上，并通过光刻或其它已知的方法将其图案化成与该些单独透镜适当对齐的小孔。或者，可将黑色铬或其它不透明材料施加并图案化于玻璃衬底上。随后，可将薄聚合物层施加于铬(或其它合适的材料)上的衬底上并施加模具以形成压花透镜图案，从而该些透镜与该黑铬孔对齐。图6中示意显示由这样的形成所导致的示例结构。

[0063] 我们注意到，依据本披露的态样可以替代布置(图案)配置微透镜。例如，图6(A)及图6(B)是显示示例微透镜阵列(MLA)图案的示意图，其中：图6(A)显示紧密聚集(也就是，六角形或“蜂巢状”)的布置，图6(B)则显示矩形布置，两者都是依据本披露的态样。从这些附图中可看到，这些示例布置导致在相邻透镜之间基本上没有空隙，因此对于这些布置，可能不需要掩膜层。不过，我们注意到，实际上，从一个透镜下垂到下一个相邻透镜下垂的过渡不会非常明显，因此穿过这些过渡区的一些光不会被该透镜阵列很好地准直。尽管如此缺乏准直，但如此畸变的部分光可能相当低，因此可不需校正。

[0064] 考量这些MLA配置，我们注意到，被结构光源覆盖的视场半角约为

[0065]

[0066] 其中，w为该MLA的宽度且f为在该阵列的边缘的透镜的切向焦距。φ应当在可用空间允许下尽可能大，以最大限度地减小光束发散、f、及因此从源至该MLA的距离L。

[0067] 为增加视场，w必须相对f增加。不过，MLA的成本与其面积及因此w2成比例。此外，随着通过MLA的光的入射角度增加，透镜像差、菲涅尔(Fresnel)损耗、光瞳失真，以及减少的发光二极管(LED)强度(因为LED强度随角度增加而降低)都越来越成问题。

[0068] 有利地，通过在该MLA之后放置光学元件来增加透射光束的发散，可在不增加w/f的情况下增加视场。图7示例显示依据本披露的态样，于光路中的MLA之后设置光学元件以增加总体视场(FOV)。

[0069] 现在参照该图，其显示设置负折射率透镜L1，以使其在光路中的MLA之后。在示例配置中，源位于L1的光轴上，且透镜阵列垂直于该轴，但此类配置有利地不需要如此精确。

[0070] 如该图中所示，显示MLA的两个微透镜(ML)的光线。由于L1分散光束，因此有效增加ML正折射率，从而它们以有限的共轭将来自源的光聚焦至L1之外的点。此外，该ML在子午及弧矢平面中呈现不同的曲率，从而在L1之外的对象空间中的光束于两个方向被大致同样良好地准直。各ML准直光，使经过它的光线更平行但稍微会聚，且L1进一步准直光，减少或消除该会聚。此外，ML曲率随着透镜中心相对于光轴的位置而变化。为使光束宽度基本相等，ML的CA可随着离光轴的距离增加而增加。此外，可使用不同类型的光学元件替代或补充L1，以增加结构光(SL)视场，例如菲涅尔透镜、衍射元件、一个或多个反射镜，或一个或多个棱镜。最后，要注意，被结构光覆盖的视场2φ可超过180°，或小于180°，包括例如160°、140°、120°、100°、80°，以及60°。

[0071] 现在参照图8，其中示意显示依据本披露的态样包括结构光元件的示例胶囊内窥镜。如本图中所示，结构光源(其可包括发光二极管或其它合适的发射器/源，包括激光器)设置于印刷电路板(printed circuit board；PCB)上并位于胶囊体内。在本图中所示的结构光元件邻近相机设置，如本领域的技术人员容易了解的那样，该相机通常可包括一个或多个传感器及/或成像结构以及光学元件，以及任意电子及机械组件。要注意，除附图中具体显示的那些配置以外，依据本披露的系统、方法、及结构，还可能有许多配置可能性，并且可以考虑这些配置可能性。作为示例，该相机及/或传感器可装设于同一PCB或不同的PCB上-取决于所采用的特定配置。同样地，可围绕该相机设置额外的/其它的/替代的光源。

[0072] 例如，可以以环形或其它布置围绕该相机设置额外的光源。额外的结构光元件同样可围绕该相机设置，并被置于该些光源之间，或以可产生所需照明及结构光发射及/或图案的任意其它布置设置。

[0073] 如图8中示例显示，该胶囊内窥镜包括具有结构光源(LED或其它光发射器，较佳为点源)的结构光元件、微透镜阵列，以及示例显示呈现负的光折射率的额外光学元件(透镜)L1。在该MLA之后有利地设置这样的透镜，以增加该结构光元件(结构光(SL)投射器/生成器)的视场覆盖范围。有利地，L1可为模压(或其它制造技术，包括3D打印)结构的部分，该结构包括其它功能光学元件，且可至少部分地围绕该相机的周边延伸。在此示例示意图中未具体显示的所考虑的其它功能光学元件包括其它透镜、其它/替代结构光(SL)源及/或针对额外/替代光源(包括白光)的散射器。在此示例图中还显示该相机具有投射中心COP1且该结构光(SL)投射器具有投射中心COP2，COP2偏离COP1。

[0074] 请继续参照图8，可观察到，该示例胶囊相机包括电池或其它功率源、控制器、存储器，以及发射器。该胶囊本身包括圆柱形本体，一端具有圆顶形窗口且相对端具有圆顶形本体元件。要注意，尽管我们使用词语“窗口”来说明形成/闭合该胶囊本体的一端的该圆顶形元件，但这样的圆顶形窗口可由适于该圆柱形本体且对于所采用的光足够透明的任意合适材料制成。还要注意，尽管仅在一端显示该圆顶形窗口，但所考虑的配置可包括位于两端的圆顶形窗口，且在其中可设置复制的/补充的成像系统/结构光元件/光学元件。

[0075] 在这点上，我们注意到，胶囊相机例如依据本披露的胶囊相机是可被人吞咽的(可摄入的)，因此呈现的尺寸为约4厘米或更小的长度以及约2厘米或更小的直径。这样的胶囊可由若干生物相容性材料的其中任意材料构成，该生物相容性材料在穿过消化道仍存在，且不会包括其内所包含的组分。此外，且本领域的技术人员容易了解，此类胶囊的至少其中部分，除呈现合适的生物相容性以外，还将呈现合适的光学属性。一经吞咽(摄入)，胶囊将凭借生理过程(包括蠕动)经过消化道。

[0076] 本领域的技术人员将容易了解，考虑额外的硬件/电子/光学组件以及由该控制器或其它类似结构所执行的额外软件。可操作地，将图像数据储存于存储器中并接着通过发射器传输至外部储存及/或处理系统。在某些示例的具体实施例中，该存储器可包括长期或档案储存，其中储存图像数据，直至该胶囊被排出或以其它方式自患者身上移除后被取回。在其它示例的具体实施例中，该发射器将数据通过患者身体无线发送到体外接收器，例如通过无线电、超声、人体电传导，或光学方式。有利地，如图8中示例的通用装置可设置于传统内窥镜插入管的顶端上/内，而不是位于如图8中所示例显示的胶囊相机中。这样的装置(我们将说明)可包括该图中所示结构的这些元件的组合。

[0077] 图9是依据本披露的态样的示意图，显示当代插入内窥镜及插入管的示例配置，其包括结构光元件、额外白光元件以及相机。本领域的技术人员将容易了解，该插入管将经过身体孔洞或在其中所作的切口。一旦位于体内，该相机系统即可撷取内部体腔的图像。要注意，此图中所示的示例结构与较早在图8中所示的结构基本相同。当然，取决于特定的内窥镜设计，即使在此图中未具体显示，依据本披露包括结构光的此类内窥镜的各种配置将完全在本披露的范围内。

[0078] 现在同时参照图8及图9(A)及图9(B)，我们注意到，这些图示例三个SL光束轴，其自源经过MLA，经过透镜L1(该透镜将离轴光束偏转成更大的角度，以增加视场)，经过胶囊壳体并到达粘膜(腔壁)上，从而产生基本上集中在人体或其它体的体腔中的点A、B及C上的照明光斑或图案。自位于点A、B及C的光斑散射的光在相机中/被相机收集并成像。

[0079] 要注意，通过参照这三个图，以三种不同的配置显示依据本披露的系统、方法，以及结构(尽管共用本披露的许多态样)。图8显示依据本披露的态样的胶囊内窥镜。图9(A)显示依据本披露的态样的示例插入管型内窥镜，以及图9(B)显示依据本披露的态样的示例插入型内窥镜，其具有平坦的、非圆顶形端部。还要注意，关于图9(B)中所示的示例配置，该白的、非结构光不在远端生成，而是在其它地方生成并通过照明通道传输至该端部。我们注意到，此类照明通道/远程源可由所披露的LED或其它源替代/补充。同样地，结构光(SL)源并未呈现在该插入管的远端，而是位于其它地方(例如在近端或以外)，且该结构光通过结构光(SL)通道(例如光纤或其它光导)传输，并通过孔(例如，该光导的端部)发射，然后经过MLA及L1。该结构光源可替代地被置于该结构光(SL)孔的位置，类似于图9(A)的例子，从而无需该SL通道。

[0080] 可在同一帧的图像传感器集成周期期间激活该白光源，以使结构光与白光都照明所撷取的图像。有利地，该SL源可呈现与该白光源所呈现的光谱不同的光谱，以使它在包括白光照明的图像中具有可分辨的颜色。例如，该光谱可较窄，例如红色、绿色、琥珀色，或蓝色LED的光谱。该光谱可例如落在该白光光谱之外，例如在电磁光谱的红外(infrared；IR)区中。当然，图像传感器可包括具有彩色滤光片的像素，其对于结构光較对于白光具有更高的透光度。例如，传感器上包括可透过红外光并吸收(或以另外方式阻挡)白光的像，以有利地检测红外结构光。

[0081] 图10(A)及图10(B)显示包括全景成像系统及结构光元件的示例胶囊部分(或专门配置的插入型内窥镜)的示意图。在这些示例的具体实施例中，该全景成像系统可包括例如分别面向该胶囊(或插入内窥镜)的圆柱形或管状壁的四个相机系统。本领域的技术人员将容易了解，在特定配置中所采用的相机系统的实际数目可不同于附图中所示，即两个、三个、四个或更多个。即使是单一相机系统，通常若具有全景成像功能，在特定配置中也很有用。

[0082] 要注意，尽管图10(A)及图10(B)显示示例胶囊的一侧的剖面图，但此类胶囊可围绕纵轴有利地呈现镜像对称，因此仅显示四个相机系统(在这些例子中)的其中之一。显示点源LED设置于该胶囊的纵轴上或附近，沿纵向偏离该相机。

[0083] 可操作地，且如前所述，来自该LED的光经过微透镜阵列(MLA)。在一个示例的具体实施例中，包括该MLA的透镜集中于与该LED同心的环上，如图11中示例显示。如该图中所示，该透镜阵列包括具有孔的不透明掩膜层，以阻挡在该些透镜通光孔(CA)外部的从该LED入射于该阵列上的光。

[0084] 再次参照图10(A)及10(B)，可观察到(在图10(A)中)在该MLA一个环上的一个透镜的光束路径，而在图10(B)中，可观察到在同一MLA的另一个环上的另一个透镜的另一个光束路径。在图10(A)中，来自该些环的其中之一的光束被镜M1偏转，该镜M1可有利地为环形镜，以反射一组光束，该组光束都经过同一MLA环。要注意，M1可有利地呈现圆锥形、球形、非球形或所需的其它形状。

[0085] 将了解，镜M1引导(反射)光束出去，穿过胶囊壳体的管状壁。相对于光源的轴(垂直于MLA)，M1增加结构光的角度视场超过180°。例如，该视场可为200°、220°或240°。镜M1的反射在源的光轴上有效“创建”虚拟源，该虚拟源比该源更接近相机。在图10(A)中，将源的光轴显示为胶囊纵轴。

[0086] 为了从该相机系统所撷取的结构光图像提取深度信息，必须将相机的投射中心(COP)与虚拟源物理隔离。如图10(A)中所示，与纵向方向相比，该隔离沿横向方向更多。要注意，若多个光束被M1偏转且M1围绕源对称，则虚拟源对应于结构光(SL)投射器的COP。

[0087] 现在参照图11，其中显示示例微透镜阵列(MLA)的示意图，其中，该阵列的各透镜基本上呈同心圆布置。更具体地说，各透镜被布置于五个基本上同心的圆环的其中之一上。如示例布置中所配置的那样，该些环进一步被布置为四个(4)不同部分，与胶囊中的四个侧向相机方位对齐(或替代地，另一个内窥镜或成像装置/结构，包括具有单个或多个成像仪的单个或多个相机，至少一个相机/成像仪与每个单独部分相关联)。

[0088] 要注意，透镜通光孔(CA)由图案化的黑色不透明材料层例如黑铬定义。该通光孔显示为椭圆形，不过，它们可为其它形状，包括圆形或矩形。该椭圆形透镜的长轴大约位于子午平面中。向垂直于主光线的平面上的该孔的投射被缩短。该椭圆形孔补偿该缩短，以产生更对称的光束。与较小的孔相比，较大的孔使更多的光通过，从而通过设置孔尺寸来控制光束的相对强度。

[0089] 在这点上，我们注意到，在图10(A)、10(B)及图11中示例显示的光学系统围绕该系统(例如，胶囊)的中心对称-或大致对称。不过，本领域的技术人员将容易了解，此类“中心对称”不是必需的。例如，一个或多个源可经配置以使它们的中心偏离纵轴。此外，以及/或者替代地，镜M1、M2及M3可能不呈现围绕纵轴的旋转对称，且该MLA中的透镜可能不位于圆环上。对于具有四个相机的胶囊系统，可有利地实施四个独立的结构光(SL)系统，每个相机一个SL系统。该四个系统可有利地采用共同的MLA衬底。

[0090] 回到我们关于图10(B)的讨论，从该图可观察到，在该MLA中的透镜减少自源发射的光的发散，且掩膜层(未具体显示)过滤在透镜通光孔外部的光。所示的一个光束代表经过该MLA的一个环的所有光束。该光束被镜M2偏转并接着再次被镜M3偏转。将很容易理解，镜M2及镜M3可为环形镜。

[0091] 如示例配置那样，在该胶囊内部的M2的径向位置小于M1的径向位置，且镜孔不重叠，以使M1与M2可存在于同一系统中。在自M3反射以后，该光束穿过该胶囊的管状壁出去，并照明该相机的视场内的粘膜。M2与M3反射的组合导致离开壳体的光束角度类似于离开该MLA的角度。

[0092] 不过，可观察到，该光束被位移并似乎从与纵轴上的源相比离相机更远的虚拟源(投射中心)发出。自该MLA直接发射的光会被相机阻挡，因此被阻止离开该胶囊。通过将该虚拟源移动至与源相比离相机更远的位置，该光束经过相机而不会被阻挡。本领域的技术人员将很容易了解，可采用此相同的方法来使光束绕过其它障碍物。要注意，由于在正常操作期间，粘膜会接触该胶囊壳体，因此理想的是设置反射镜，以引导光束尽可能多地覆盖视场内的该壳体。

[0093] 图12为示例由依据本披露所配置的相机撷取的图像的示意图-该图像具有平坦表面，结构光投射于该平坦表面上。该些光斑由SL光束与对象平面的相交产生。各SL光束由MLA的微透镜示例产生。当对象远离相机移动时，光斑的形心在会聚极线上移动，该图中显示其中四条极线。

[0094] 例如，若对象正在接触内窥镜，则一个光斑位于点A，若对象在系统可用范围的边缘，则位于点B。各光斑在其自己的极线(或曲线，若相机图像失真)上移动。为提取场景中的点的深度信息，系统识别该图像中的光斑并确定该些光斑与极线之间的对应性，该些极线基于相机模型。若极线相交且光斑被检测到位于相交点附近，则可能混淆该对应性。幸运的是，存在标准的、已知的技术来解决此问题及其它模糊不清的地方，以针对该些光斑的全部或其中大多数建立对应性。

[0095] 尤其，确定各光斑在其极线上的位置，且此位置建立了位于该图像中的该光斑位置的对象的深度。光斑数目越多，所确定的深度图的分辨率就越好。由于光斑的尺寸及亮度也随着对象距离增加而减小，因此也可使用这些量来确定对象(光斑被投射于其上)的距离。不是识别单独光斑与极线之间的对应性，而是可通过其它已知方法来估计具有结构光投射的表面的形状，例如通过确定所投射及成像的图案的部分(包括多个光斑)与已知未变形图案的部分之间的相关性，自该表面上的投射确定图案变形图，从而确定结构光图案变形。

[0096] 尽管附图中未具体显示，但要注意，依据本披露的内窥镜系统通常会包括一台或多台电脑(或等同系统/结构/功能)，以自该内窥镜系统接收图像数据，处理该数据，将图像数据显示给人(或“显示”给专家系统)，通过界面(例如GUI(图形用户界面))自该人/专家系统接收输入，提供分析结果例如所估计的对象尺寸，创建或更新程序数据的数据库，以及生成医学检查结果的报告。

[0097] 对图像(包括结构光)进行分析，以提取关于图像中可视对象的距离信息。在提供给人类读者之前，可有利地以批处理模式针对许多或所有结构光图像执行此分析，或者，为减少处理时间，可对被该读者或机器标记或以另外方式识别(例如，专家系统/算法)(对一组图像进行操作，以确定兴趣图像)的选择图像执行此分析。例如，读者或机器(算法)可识别特定帧中的可能病灶，并接着自结构光图像数据提取该帧及/或相邻帧的深度信息。

[0098] 我们注意到，内窥镜图像通常是以一系列静止图像例如视频提供给读者。该读者观看该视频，寻找病理或其它兴趣对象。可选择包含此类对象的帧(兴趣帧，frame of interest)并将其置于针对特定医疗程序的选定帧的列表或数据库中。

[0099] 将了解，一些帧可能包括在总体图像内读者希望进行尺寸测量的对象或区域。通过包括GUI的若干已知计算工具的其中任意工具，可由读者可操作地指示此类测量。例如，读者可选择位于区域的周边上的点，围绕周边绘制曲线，或者绘制穿过该区域的线。

[0100] 接着，系统将估计横跨该指示区域(例如在两个指定点之间)的距离。若该图像包括结构光，则可使用该结构光估计该图像中任意兴趣对象/特征的对象空间中的距离。从该结构光，可构建由该图像表示的场景或部分场景的3D模型。若SL点的密度明显小于该图像的像素密度，则这样的模型可能是粗糙的。

[0101] 尽管直接深度信息可从位于SL光斑的形心附近的那些像素得到，但它无法从位于光斑之间的像素得到。本领域的技术人员可理解并容易了解，可使用图像中的额外信息例如检测边缘或阴影深度(depth-from-shading)来更好地估计图像上的深度信息。有利地，还可通过从在SL形心所计算的深度的插值在SL光斑之间的区域中估计深度。一旦估计了界定对象的两个或更多点的3D坐标，即可确定在对象空间中的该些点之间的笛卡尔距离。

[0102] 尺寸测量通常会显示给读者并记录于数据库中。可通过机器执行算法而不是人类读者来执行识别并界定兴趣区域的功能，或者该读者可结合此类机器执行算法工作，以识别并界定此类区域。

[0103] 本领域的技术人员将容易了解，若结构光(SL)与白光(WL)照明存在于同一帧中，则系统必须在常规WL图像背景内识别结构光。要注意，散射SL也可产生背景光。还要注意，已知结构光光斑排列于极线上。这些线的位置自相机模型确定，该相机模型可(至少部分)基于相机及投射器校准。更具体地说，该系统寻找在预期的形状、尺寸、强度及色彩最佳匹配于结构光的图像特征。尤其，当此类SL颜色足以区别WL照明颜色时，颜色提供区分SL与WL的有用方式。

[0104] 我们要注意，当依据本披露审查自内窥镜系统所撷取的视频或其它组图像时，在该视频(或图像)中的可见结构光可能分散审查者的注意力。因此，此类SL光斑一经识别，即可使用各种方法来将它自图像移除。

[0105] 更具体地说，可自该图像减去SL像素信号的估计值。此类估计值可基于该SL的模型，包括其颜色。因此，如果因该SL而使特定像素在颜色平面中饱和，或者如果要减去大的该SL信号，则可基于其它颜色平面中的信号估计该颜色平面中的白光图像信号。

[0106] 例如，若该SL主要为红色，则可基于围绕该SL光斑的图像区域中的红、绿及蓝色平面之间的统计相关性，自该SL光斑内的像素的绿色及蓝色平面数据重构红色平面。也可使用例如“图像修复”等方法填充缺失的图像，并创建连续的图像外观。为消除色度误差(因图像未完全减去SL所导致)，可有利地将它显示为灰阶图像。若该结构光在IR中且该结构光被IR像素检测，则可获得结构光所造成的损伤最小的RGB图像。

[0107] 要注意，自图像减去该SL所采用的方法可能对图像质量留下一些残余影响。因此，理想的是在与白光帧分开的帧中撷取该SL。将理解，在该白光与SL帧之间的时差(间隔)应当足够短，以使场景中的任意变化足够小，从而将该SL帧中所确定的深度信息以最小的误差应用于该WL帧中的场景。

[0108] 为减少任意场景、变化的影响，审查者/读者可在两个或更多WL帧中界定对象。接着，在时间上位于两个WL帧之间(也就是，间隙)的SL帧中的对象的(以像素为单位)位置及尺寸可通过在该WL帧之间插值来估计。若兴趣对象出现于多个帧中，则该审查者/读者(或机器系统/算法)可选择用以界定对象的一个或多个帧以及用以估计对象尺寸的邻近SL帧(基于对象运动速率的估计，选择具有最小或可接受的运动的帧)。我们注意到，在视频或系列图像中的对象的运动量可通过已知方法例如运动向量的计算来估计。运动度量(可依据它来选择帧)可更多地基于在视频中要测量的特定对象区域的运动，而不是整个场景的总体运动。

[0109] 有利地，审查者/读者或图像识别系统算法(包括任意采用机器学习方法的算法)可在一个兴趣帧中识别对象。接着，该审查者(或系统)可通过使用图案识别方法及/或算法搜索相邻帧中的同一对象。接着，从包括该对象的该组帧中，可选择一个或多个帧用于兴趣对象的界定。

[0110] 该些帧可基于多个标准选择，例如对象运动的速率、在图像边界内的该对象的比例、以及图像的质量，其包括例如曝光、运动模糊、被粪便或其它物质模糊、以及存在气泡或浑浊等因素。该算法可选择特定的帧，且审查者/读者可通过使用GUI或其它机制进行输入来确认该些特定帧的合适性。在示例具体实施例中，选定帧可具有复选框，该些复选框经选择以保持或取消选择帧。有利地，在这些帧中对象的界定可由审查者/读者通过使用例如GUI或其它机制手动执行，或由系统自动执行，并由审查者/读者确认或微调。基于在相同或邻近帧中的SL的界定及分析的尺寸测量可在屏幕上呈现给审查者/读者。该测量呈现可包括例如误差条、置信区间或有关测量精确度的其它指标。

[0111] 本领域的技术人员将容易了解，由自主移动经过胃肠道的胶囊内窥镜所撷取的视频(或系列图像)有许多呈现冗余信息的图像帧，因为有时胶囊不移动、逆行或抖动。该内窥镜系统可不显示被确定为冗余的一些帧(也就是，显示的特征与其它帧中所显示的特征相同)。此外，可将撷取场景的重叠图像的多个帧拼接成合成图像。将理解，这种帧数的减少缩短了审查视频所需的时间。

[0112] 当在所显示的帧的其中之一中识别出兴趣对象(例如病灶)时，该系统可显示所有帧都被显示的视频的版本，包括先前未显示的帧或与其它帧组合成拼接帧的帧。如前所述，可将找到用以界定对象并测量其尺寸的最佳帧的过程应用于较大的这组帧。用于界定对象的最佳帧(基于上述标准或其它标准)可为最初未显示的帧的其中之一。

[0113] 要注意，用于尺寸测量的兴趣区域可能没有在帧中完全显示，尤其若该区域很大。不过，可将包含该区域的部分的两个或更多帧拼接在一起，以在该拼接帧中撷取该区域的全部或大部分。可在该拼接帧中界定该区域，且可基于所拼接的帧及/或间隙帧中的结构光数据估计界定点之间的笛卡尔距离。

[0114] 本领域的技术人员将了解，胶囊内窥镜呈现一些特别独特的成像条件。因此，若对象浸于液体中而不是空气或其它气体中，则由内窥镜相机(无论是胶囊还是可插入的)成像的对象的放大率较大。因此，利用结构光正确估计对象深度取决于对浸没介质的了解。

[0115] 在结肠镜检查期间，结肠被注入气体。对于胶囊内窥镜检查，较佳地以透明(无色)的水填充结肠及其它器官。不过，在胶囊内窥镜检查期间，在体腔中确实存在气泡，包括大气团。在视频或图像组中，这些气泡可被识别，因为来自湿粘膜表面的照明光呈现明亮的镜面反射以及相对于浸水粘膜的粘膜颜色变化。而且，在气泡边界越过胶囊壳体的地方，可看到弯月面。

[0116] 当审查者/读者或机器算法已识别出用于尺寸测量的对象时，该审查者可被询问以确定该对象浸于液体还是气体中。由于该对象可能部分位于液体中且部分位于气体中，因此该审查者/读者可标示浸入的气体/液体比例，或者可使用光标工具(或其它GUI或其它机制)来标记位于气体中或液体中的区域。当然，电脑实施方法/算法可执行这些相同的功能。

[0117] 基于所选的介质修改SL的几何模型。或者，基于固定单介质模型的测量可基于所选介质进行专门地缩放。例如，若该SL模型假定浸水，但所测量的对象的直径的部分P位于气体中(例如，P＝0.40)，则可通过PM调节尺寸估计，其中，M为气体相对液体的相对放大率。最后，M可为场位置及所估计对象距离的函数，且可基于先验的相机模型及校准。

[0118] 在这点上，我们要注意，在制造期间可有利地执行内窥镜校准。更具体地说，可在相对于内窥镜相机的已知位置及方向上向内窥镜提供目标。一些目标可包括图案例如棋盘。在所记录的图像中的该图案的特征的位置可帮助确定相机的模型，包括焦距、COP、姿势以及失真。其它校准图像通过将来自内窥镜的SL照明于一个或多个目标上形成。这些校准图像帮助确定该SL投射的模型，包括COP、姿势、极线以及颜色。

[0119] 要注意，对于胶囊内窥镜，在胶囊内窥镜存储器中储存校准数据以及任意图像及/或自图像导出的参数是方便的。接着，可将此数据与任意体内数据一起下载至工作站，以处理该体内数据并通过使用相机以及(至少部分)自该校准数据导出的SL模型自体内图像提取深度信息。或者，可将胶囊的校准数据与胶囊标识符(例如序列号)关联，并储存于数据库中。在从该胶囊恢复该体内数据及该标识符以后，可自该数据库检索与该标识符关联的该校准数据并将其用于处理该体内数据。

[0120] 内窥镜中所使用的图像传感器常常包括位于像素上的彩色滤光片的马赛克。例如，传感器可具有红色(R)、绿色(G)及蓝色(B)像素，其具有响应光谱，如图13中示例显示。显示SL光谱具有650纳米的中心波长。在该SL的带宽上，R像素具有最大响应度，其次是G，然后是B。

[0121] 可操作地，当SL照明粘膜时，一些光自该粘膜的表面散射，且一些光穿过该粘膜组织并经历吸收与体散射的组合。一些体散射光从离入射点一定距离的该粘膜出现。因此，由于光在组织中的扩散，可见SL光斑在空间上比在该粘膜上入射的光更宽。这种扩大或弥散可使得区分一个光斑与另一个光斑变得困难。

[0122] 图14(A)及图14(B)显示，针对图14(A)当对象靠近内窥镜且传感器上的辐照度高时以及图14(B)当对象较远且传感器上的辐照度较低时的情况下，R、G和B像素的传感器亮度信号作为传感器上的位置x的函数。假定照射粘膜对象的该光束在特定区域上是均匀的，该特定区域作为x的区域出现于传感器上的图像中，信号在该区域稳定。由于组织体散射，在传感器上的照射不会在这些稳定阶段的边缘突然下降，而是在尾部更广泛地延伸。显示两个相邻光斑的尾部重叠。来自SL源或另一个源的扩散背景照明还可提供信号并将它推向饱和。

[0123] 我们注意到，图像传感器具有有限的动态范围，且针对特定的传感器增益，具有对应于可记录的最大辐照度的最大亮度(亮度-饱和，luma-sat)。Luma-sat由传感器模数转换器(analog to digital converter；ADC)确定。对于10位ADC，最大亮度为1023个数字计数。请继续参照图14(A)及图14(B)，我们注意到，在图14(A)中，R像素亮度超过luma-sat，且为饱和。由于在该两个光斑之间的相交点是饱和的，因此该两个光斑的图像合并成单个光斑，从而无法自该R像素信号精确确定该两个光斑的位置。不过，G与B亮度未饱和，从而可自这些信号的其中一个或两个确定该光斑位置。

[0124] 对于图14(B)中示例的情况，信号较弱且没有像素是饱和的。R像素具有最佳信噪比(signal-to-noise ratio；SNR)。因此，较佳地使用R信号确定光斑位置。此外，该图像可能具有白光信号(未显示)，且与如图14(B)中示例的G或B相比，R通道更容易与白光图像区分。对于图14(A)中示例的情形，饱和R信号可帮助在WL背景存在的情况下识别SL光斑的存在，并自G与B通道更精确地确定光斑的形心。

[0125] 与单色灰阶传感器相反，具有响应不同颜色光谱的像素的传感器增加SL检测的有效动态范围，若颜色通道的至少其中两者对SL光的响应是不同但非零的。可将该些通道组合成具有增加的动态范围的单个通道，或独立分析。给出的例子为RGB传感器，但可使用其它颜色通道，例如黄色、透明(白色)、洋红色、青色、紫色，或IR。

[0126] 图15显示在体腔中的依据本披露的示例胶囊内窥镜。该胶囊具有管状中间部分以及两个半球形端盖。该管状壁的至少其中部分是透明的。该内窥镜包括通过该管状壁以及四个相机成像的全景成像系统。四个透镜物镜面向该管状壁，间隔约90°。我们注意到，尽管此例包括四个相机及四个物镜，但本领域的技术人员将了解，只要获得所需的视场，则可采用更多或更少数目的此类元件。而且，可将图15中所示的相同或类似的装置或其部分附着至内窥镜插入管的一端，如图9(A)中所示装置那样，以形成具有包括深度测量的全景成像的插入型内窥镜。

[0127] 在此示例系统中，该成像系统的视场是围绕该胶囊360°，且相对于纵轴约45°至135°。在该透镜模块内的镜子折叠该些透镜的光轴。在特定示例的具体实施例中，图像形成于共同的图像传感器上，该图像传感器可在四个独立区域中具有像素。该胶囊包括白光LED或其它源，以照明该腔壁。

[0128] 如图15中示例显示，显示来自WL LED1的两条光线以及来自WL LED2的一条光线照明该腔壁。来自WL LED1的一条光线自镜M2反射，然后从该管状壁射出。SL源例如点源LED以广泛的分布发射光。该光经空间过滤并通过MLA准直成光束。

[0129] 示例地，该MLA包括以基本上同心的环排列的微透镜，例如在图11中示例显示的那样。镜结构M1包括具有各种斜率的多个环形反射面。有利地，该些面可为圆锥形或者可具有二维弯曲的形状。在此示例的具体实施例中，M2为另一个环形镜。

[0130] 在图15中进一步显示自M1的三个环形表面反射的一些光束的主光线。一些光束自M1反射并接着又自M2反射。M2的反射表面用以反射SL光束与来自WL LED1的白光照明，并引导二者通过胶囊壳体以照明腔壁。M1及M2可为具有铝涂层的注塑成型塑料件。还要注意，在图15中还显示光束的主光线，其不击中任何镜子，直接从该MLA穿过该胶囊壳体。

[0131] 从图15中可进一步观察到，显示息肉，该息肉与其周围的腔壁一起被白光照明，从而可在相机所撷取的图像中看见、识别并界定该息肉，以及被SL照明，从而可生成该图像的深度图，并可估计该息肉的尺寸。相对于该胶囊的纵轴在四个不同角度的光束覆盖该胶囊壳体的外表面上的相机的视场。产生大于及小于180度的SL光束角度，以覆盖全景视场。光束在包括相机的光轴的垂直于胶囊的平面上方及下方移动。如前所述，相机的数目可多于或少于4个，取决于它们的特定视场以及任何应用要求。显示镜M1具有3个圆锥形环形表面，但该数目也可为更多或更少。

[0132] 如本披露中所述，内窥镜配置(其中，额外的光学元件在光路中的MLA之后)可使这些内窥镜具有显著的优点。图16是显示示例配置的示意图，其中，此类光学元件在MLA之后。此类配置的一个特别优点包括增加角度范围的能力，在该角度范围上，结构光从θ1投射至θ
2，该角度可超过180度，如示例所示。光源强度在θ1之外可能显著下降，且MLA的通过量随角度增加而降低，因为通光孔缩小以及菲涅尔损耗增加。而且，MLA的成本可能大于光学元件，因此，针对给定的透镜焦距以及所需的视场θ2，图16的配置最大限度地减小MLA的尺寸。对于具有全景成像的内窥镜，产生θ2>180度的光学元件使一个结构光投射器能够覆盖整个相机全景视场。

[0133] 图17显示依据本披露的态样适于实施方法及系统的示例电脑系统1700。该电脑系统可包括例如运行若干操作系统或嵌入式控制或专用控制程序的其中任意者的电脑。可将本披露的上述方法作为储存的程序控制指令实施于电脑系统1700上。本领域的技术人员将容易了解，该特定电脑系统以及包括于其中的组件可依据实施于其上/其中的本披露的特定态样而变化。

[0134] 电脑系统1700包括处理器1710、存储器1720、储存装置1730以及输入/输出结构1740。一个或多个输入/输出装置可包括显示器1745。一条或多条总线1750通常互连组件
1710、1720、1730以及1740。处理器1710可为单核或多核。

[0135] 处理器1710执行指令，其中，本披露的具体实施例可包括附图的其中一个或多个中所述的步骤。可将此类指令储存于存储器1720或储存装置1730中。可通过一个或多个输入/输出装置接收及输出数据及/或信息。

[0136] 存储器1720可储存数据且可为电脑可读介质，例如易失性或非易失性存储器。储存装置1730可提供系统1700储存，其包括例如先前所述的方法。在不同态样中，储存装置1730可为采用磁、光或其它记录技术的闪存装置、磁盘驱动器、光盘装置或磁带装置。

[0137] 输入/输出结构1740可为系统1700提供输入/输出操作。除其它以外，使用这些结构的输入/输出装置可包括例如键盘、显示器1745、定点装置以及麦克风。如所示且本领域的技术人员容易理解，用于本披露的电脑系统1700可实施于台式电脑包(desktop computer package)1760、膝上型电脑1770、手持电脑(例如平板电脑、个人数字助理或智能手机1780)或一个或多个服务器电脑(其可有利地包括“云端”电脑1790)中。

[0138] 在这点上，尽管我们通过使用一些具体例子来呈现本披露，但本领域的技术人员将意识到，我们的教导不受限制。更具体地说，还可进一步扩展我们的方法，因为结构事件可嵌入更多的时间信息并考虑更复杂的结构，包括考虑更精细的时间信息，例如过渡时间分布，以丰富挖掘的结构事件。此外，我们关注日志模式之间的转换关系。在日志之间具有其它有用的关系，例如可采用的并行运行。通过使用无向边在工作流程图中可进一步建模这些关系。我们也相信，依据本披露的方法可在交互设置中实现更多的实用性，其中，系统管理员可在覆盖率、质量或连接性上具有不同关注(参数设置)的情况下交互地探索系统行为。

[0139] 因此，本披露应当仅被所附权利要求的范围限制。

标题	发布/更新时间	阅读量
PCB板固定架、PCB板、固定方法及内窥镜胶囊	2020-05-12	587
运动检测方法、帧率调节方法、胶囊式内窥镜、记录仪及系统	2020-05-14	237
胶囊内窥镜检查报告标注方法、设备及介质	2020-05-12	587
一种内窥镜采图方法、系统及胶囊式内窥镜设备	2020-05-13	288
胶囊内窥镜超声波焊接系统及方法	2020-05-15	236
胶囊内窥镜检查报告文本结构化方法、设备及介质	2020-05-11	521
共形胶囊天线结构、制备方法及无线胶囊内窥镜系统	2020-05-12	285
一种胶囊式内窥镜及其相对运动检测方法和系统	2020-05-12	183
一种胶囊内镜移动的辅助装置	2020-05-11	122
一种光学镜片加工用粘结胶涂抹装置	2020-05-12	517

采用结构光提供生理特征尺寸测量的内窥镜

采用结构光提供生理特征尺寸测量的内窥镜

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：