[0002] 本申请要求2014年9月17日提交的美国临时申请No.62/051,879的优先权，所述临时申请通过引用并入本文。
技术领域
[0003] 本公开大体上涉及医学成像领域，并且更具体地涉及用于内体腔的表面的诊断成像的方法和系统。
背景技术
[0004] 使用膀胱镜常规检查膀胱可以允许医生检测病状如间质性膀胱炎或膀胱癌的可见症状。然而，由于在膀胱中缺乏尺寸或
颜色参照，与膀胱中观察到的特征有关的数据在性质上是定性的和主观的。可以获取膀胱表面的照片或视频，但是观察结果的解释要留给医生的判断，其可以随个体而变化。这种可变性的一个结果是在临床试验中使用多个读取器以产生关于视觉数据(例如照片或视频)的共识。这可以使
跟踪疾病进展及其可见症状的过程变得困难。
[0005] 定量测定例如膀胱表面特征的尺寸(长度、面积)或颜色的引入将允许更客观的观察。反过来，这些测定可以使疾病进展的跟踪变得容易。然而，目前用常规膀胱镜检查不可能实现绝对测量。这是因为膀胱镜通常具有无限远的焦距，以允许独立于离膀胱壁的距离的聚焦观察，并简化膀胱镜头部的设备。在不知道距拍摄图像的膀胱墙的距离的情况下，不能在图片中没有内部参考的情况下推导出特征的尺寸。对于颜色，通常在膀胱镜检查程序之前执行
白平衡，但是由于自动
亮度设置而导致的检查期间的
光亮度的变化可能会混淆结果。手动调节光是不切实际的，因为由于对膀胱内部光强度的需求变化，操作者需要不断地重新调节。
[0006] 在常规方法中，使用固定长度的电枢和具有已知焦距和先验定义的运动的成像
传感器的旋转来映射膀胱以辅助全景拼接。然而，如果给定区域或
帧具有低图像
质量，则该过程在获取后执行并且需要重新插入/重新成像。此外，该过程不期望地需要使用专
门的传感器和
硬件(例如，
荧光或电动膀胱镜)来执行成像，并且这些对于所有临床地点都不是可负担的或可行的。此外，例如由于这种硬件的故障点引起的再成像，并不是具有
疼痛/敏感性膀胱病变的患者的选择。
[0007] 因此，仍然需要用于使膀胱成像并对其进行定量观察的改进的方法和/或系统。期望提供用于对患者的膀胱表面进行定量观察的改进手段，例如在评估膀胱疾病的存在和/或进展(或消退)时。
发明内容
[0008] 在一个方面，提供了用于映射器官腔的方法，其包括将
内窥镜插入到器官腔中，其中所述器官腔具有组织表面；获取限定所述器官腔的所述组织表面的视频，其中所述视频包括多个
视频帧；将所述视频帧实时地拼接在一起以生成限定所述器官腔的所述组织表面的全景映射图；和显示所述全景映射图。
[0009] 在另一个方面，提供了用于经由通过患者的尿道插入到膀胱中的膀胱镜从膀胱获取的视频来映射患者膀胱的方法，其中所述方法包括将来自所获取视频的多个视频帧拼接在一起以生成限定所述膀胱的组织表面的全景映射图；和显示所述全景映射图。
[0010] 在另一个方面，提供用于跟踪患者体内的疾病或病状的进展的方法，其中所述方法包括将在第一时间创建的第一全景映射图与在第二时间创建的第二全景映射图进行比较，所述映射图是使用本文公开的任何映射图生成方法中的任一种创建的。
[0011] 在又一个方面，提供了用于映射器官腔的系统，其包括内窥镜；视频捕获装置；照明设备；存储计算机可执行指令的
存储器，其中所述计算机可执行指令包括用于以下操作的指令：(i)接收限定所述器官腔的组织表面的视频，其中所述视频包括利用经由所述内窥镜插入到所述器官腔中的所述视频捕获装置获得的多个视频帧，所述视频是在通过所述照明设备照明所述组织表面的同时获得的；(ii)将所述多个视频帧实时地拼接在一起以生成限定所述器官腔的所述组织表面的全景映射图；和(iii)显示所述全景映射图；处理器，被配置为
访问所述至少一个存储器并执行所述计算机可执行指令；和显示屏，其中所述显示屏被配置为例如实时地显示所述全景映射图。
附图说明
[0012] 现在参考附图，这些附图意在是示例性的而非限制性的，并且其中相似的元件编号相同。参考示出本公开的
实施例的附图阐述了具体实施方式，其中使用相同的附图标记表示相似或相同的项目。本公开的某些实施方案可以包括除了附图中所示的元件、组件和/或配置之外的元件、组件和/或配置，并且附图中示出的一些元件、组件和/或配置可以不存在于某些实施方案中。
[0013] 图1是内体腔的表面的诊断成像系统的示意图。
[0014] 图2是内体腔的表面的诊断成像方法的
流程图。
[0015] 图3是用于处理多个视频帧的方法的流程图。
[0016] 图4是用于诊断或评估疾病进展的方法的流程图。
具体实施方式
[0017] 已经开发了提供限定内体腔的组织表面的非结构化全景映射的系统和方法。所述系统和方法部分地基于如下发现：可以使用基本上整个内体腔表面作为尺寸和颜色的参照来获得相对测量结果。所述系统和方法尤其可用于病变的纵向评估。在一个优选的实施方案中，全景映射是实时或接近实时发生的。
[0018] 本文公开的设备和方法可适用于人类，无论是男性或女性，成人或儿童，或适用于动物，例如用于兽医或
家畜应用。因此，术语“患者”可以指人类或其它
哺乳动物受试者。
[0019] 虽然本申请中描述的方法和系统可以应用于任何内体腔，但是将关于膀胱来描述优选的实施方案。膀胱特别适合于本系统和方法，因为常规膀胱镜检查是以难以获得相对测量结果的方式进行的。适用于本文所述的方法和系统的体腔的其它代表性实例包括(但不限于)胃肠道腔，例如食管、胃、十二指肠、小肠、大肠(结肠)、胆管和直肠；
呼吸道腔，例如鼻子或下呼吸道；
耳朵；泌尿道腔；和生殖系统腔，例如子
宫颈、子宫和输卵管。
[0020] 图1是用于患者104的内体腔102的表面的诊断成像的系统100的示意图。如图1中所示，所述系统包括内窥镜106。内窥镜106可以是用于查看内体腔内部的任何设备，例如膀胱镜。
[0021] 用于诊断成像的系统100还包括图像捕获设备108。图像捕获设备108用于从关注区域(例如，内体腔102的表面)获取一个或多个图像。图像捕获设备108可以是用于捕获一个或多个图像的任何常规设备，例如相机。图像捕获设备108可以部分地或全部地集成到内窥镜106，或者部分地或全部地耦合到内窥镜106。图像捕获设备108也可以摆脱内窥镜106。
[0022] 用于诊断成像的系统100还包括照明设备110。照明设备110用于照明关注区域，例如内体腔102的表面。照明设备110可以是任何常规设备。照明设备110可以部分地或全部地集成到内窥镜106，或者部分地或全部地耦合到内窥镜106。照明设备110也可以摆脱内窥镜106。照明设备110包括一个或多个用于以适当的电磁
波长照明关注区域的
光源。说明性光源包括宽带或窄带
近红外光源、激发激光源、可见光源、单色光源、其它窄带光源、紫外光源等。在一个实施方案中，照明设备110包括
覆盖可见
光谱的白光源，以促进传统彩色图像的获取。
[0023] 用于诊断成像的系统100被配置为使得图像捕获设备108与计算机114通信，这允许图像捕获设备108的输出，例如，将由计算机114接收的内体腔的表面的一个或多个所获取的图像。图像捕获设备108可以通过任何常规手段与计算机114通信。例如，图像捕获设备108可以通过光纤
电缆无线地或通过有线或无线
计算机网络与计算机114通信。
[0024] 计算机114具有存储器116和处理器118。存储器116能够存储计算机可执行指令。处理器118被配置为访问和执行存储在存储器116中的计算机可执行指令。所述计算机可执行指令可以尤其包括用于处理一个或多个所接收图像，从所接收图像构建映射图以及在显示设备120上显示所述映射图的指令。
[0025] 用于诊断成像的系统100被配置为使得计算机114与显示设备120通信，这允许计算机114的输出，例如，从一个或多个图像构建并由显示设备120接收的映射图。计算机114可以通过任何常规手段与显示设备120通信。例如，计算机114可以通过视频电缆无线地或通过有线或无线计算机网络与显示设备120通信。
[0026] 图2是内体腔的表面的诊断成像方法的流程图。步骤202准备用于诊断成像程序的患者。该准备可以包括常规的准备步骤，例如对患者进行
镇静或麻醉。在一些实施方案中，患者通过完全排空所述患者的膀胱并且然后用已知体积的无菌溶液如无菌盐
水或无菌水重新填充膀胱来准备用于膀胱表面的诊断成像。患者的膀胱可以通过本领域技术人员已知的任何其它手段排空和重新填充。例如，膀胱可以通过患者排尿或通过插入的
导管排空，并且膀胱可以使用常规膀胱灌洗技术重新填充。在一些实施方案中，在膀胱排空后用已知体积的无菌溶液重新填充膀胱，并且在诊断成像程序的至少一部分期间膀胱保持在已知体积(例如，恒定体积)。将膀胱保持在恒定体积有利地允许使用基本上整个膀胱表面作为尺寸和颜色的参照来获得相对膀胱测量结果。
[0027] 在步骤204中，将内窥镜的至少一部分、图像捕获设备的一部分和照明设备的一部分插入到内体腔中。图像捕获设备和照明设备可以部分地或全部地集成到内窥镜，或者部分地或全部地耦合到内窥镜。图像捕获设备和照明设备也可以摆脱内窥镜。在一个优选的实施方案中，内窥镜是具有数字视频图像捕获和白光照明的手动引导的常规膀胱镜。
[0028] 在步骤206中，图像捕获设备获取基本上覆盖内体腔的整个表面的视频或者一个或多个图像。如本文所用，内体腔的“基本上”整个表面是指内体腔的整个表面的大约80％以上、85％以上、90％以上、95％以上或97.5％以上。
[0029] 在一个优选的实施方案中，在膀胱的半非结构化膀胱镜评估期间获取内体腔的基本上整个表面的视频。半非结构化膀胱镜评估是其中计划评估至少一个、但不是所有的参数的膀胱镜评估。例如，半非结构化膀胱镜评估可以具有用于平移图像捕获设备的预定起始点和预定方向。在另一个实施例中，半非结构化膀胱镜评估可以具有预定起始点和多个其它预定关注点。在这种情况下，医生
定位起始点(例如，第一关注点)并对其进行成像，然后尝试不使用平移图像捕获设备的预定路径来捕获其它关注点的视频。
[0030] 在一个替代实施方案中，在膀胱的完全非结构化膀胱镜评估期间获取内体腔的基本上整个表面的视频。完全非结构化膀胱镜评估是其中计划不评估参数的膀胱镜评估。例如，完全非结构化膀胱镜评估可以不具有预定起始点，不具有预定关注点，并且不具有用于平移图像捕获设备的预定路径。
[0031] 在一个替代实施方案中，在膀胱的完全结构化膀胱镜评估期间获取内体腔的基本上整个表面的视频。完全结构化膀胱镜评估是其中计划评估所有参数的膀胱镜评估。例如，完全结构化膀胱镜评估可以具有预定起始点、预定关注点，和用于平移图像捕获设备的预定路径。
[0032] 在一些实施方案中，医生被提供具有与膀胱镜评估程序或更具体地视频获取步骤206相关的信息的显示器。例如，显示器可以示出具有预定关注点或特征的内体腔的空白映射图。预定关注点或特征可以提供在内体腔的膀胱镜评估期间使用的参考帧，并且可以用作在内体腔中平移图像捕获设备的参考，以帮助确保获取内体腔的基本上整个表面的视频。例如，显示器可以示出膀胱的表现和相应的扫描路径。在一些实施方案中，关注点对应于病变区域或表面形态(例如表面标志)。显示器还可以包括其它相关信息。例如，显示器可以包括示例图像或视频以帮助在成像程序方面指导医生。显示器还可以包括用于膀胱镜评估程序或视频获取步骤206的有用信息，例如关于平移膀胱镜、图像捕获设备和照明设备的方向或路径，膀胱镜、图像捕获设备和照明设备的移动速度，由照明设备输出的光的亮度和
对比度水平等的信息。
[0033] 在一些实施方案中，医师定位并获取内体腔的表面上的第一关注点处的图像，然后获取内体腔的剩余表面的图像或视频。在一些实施方案中，医生找到或
锁定在内体腔的表面上的第一关注点上，然后平移图像捕获设备通过内体腔，同时尝试平移或捕获其它关注点的视频。
[0034] 在步骤208中，在步骤206中获取的视频或者一个或多个图像由计算机接收并处理。在一个优选的实施方案中，步骤208与步骤206同时执行。然而，步骤206和208也可以不同时执行。处理步骤208可以包括用于处理本领域技术人员已知的视频或图像的任何数量的常规方法。在一些方面，处理步骤208促进将步骤206中获取的视频帧或图像组合以形成可在显示设备上显示的映射图。在一些实施方案中，处理步骤208包括将每个所获取的视频帧或图像输送到
算法中，所述算法(1)基于已知的几何变换对每一帧或图像进行解卷绕，(2)从每一帧或图像提取相关特征信息，(3)确定每一帧或图像与其它帧或图像之间的共同特征点，和(4)计算每一帧或图像与其它帧或图像之间的单应性。
[0035] 在一些实施方案中，处理步骤208包括针对各种图像质量度量来测试每个所获取的视频帧或图像。不能满足一个或多个质量度量的每个所获取的视频帧或图像被认为是不适当的。质量度量对于本领域技术人员是公知的。示例性质量度量可包括
信噪比、图像亮度、
图像对比度、低图像质量、特征检测/匹配失败等。
[0036] 有利地，可以警告医生所获取的视频帧或图像不适当。例如，在一个实施方案中，丢弃不适当的视频帧或图像并在内体腔的表面映射图上显示为空帧(在显示设备上显示)。以这种方式，查看映射图的医生将在映射图上看到空白区域，并且知道重新扫描对应于映射图上的空白区域的内体腔的特定表面，以便获取替换视频或图像。或者，医生可以丢弃所有捕获的视频或图像，并且完全重新开始图像获取程序。
[0037] 在步骤210中，处理的视频帧或图像被拼接在一起以创建内体腔表面的映射图。在一些实施方案中，视频帧或图像被拼接在一起以形成二维映射图投影。以这种方式，尺寸可以相对于总的内体腔表面来表示。映射图投影可以是任何合适的投影，例如圆柱投影(即，Mercator投影)。在一些实施方案中，视频帧或图像被拼接在一起以创建膀胱的全景映射图。拼接可以是尺度和旋转不可知。此外，拼接映射图可以合并有预定的内体腔表面形态。在一个优选的实施方案中，步骤210与步骤206和208同时执行。然而，步骤210也可以与步骤
206和208不同时执行。
[0038] 在某些实施方案中，每个视频帧或图像仅与前一视频帧或图像拼接。第一视频帧或图像可以或可以不与上面显示有关注点或特征(例如表面形态)的内体腔表面的空白映射图拼接。然而，在一些实施方案中，如果视频帧或图像不仅与前一视频帧或图像重叠，而且与其它一个或多个现有的视频帧或图像重叠，则将所述视频帧或图像与和其重叠的所有视频帧或图像拼接。这确保了每个视频帧或图像相对于所有其它重叠的视频帧或图像的精确放置。在某些实施方案中，通过处理步骤208认为不适当的每个视频帧或图像在映射图上显示为空白区域。
[0039] 在步骤212中，来自步骤210的拼接映射图显示在显示设备上。在一个优选的实施方案中，步骤212与步骤206、208和210同时执行。然而，步骤212也可以与步骤206、208和210不同时执行。与视频获取步骤206、处理步骤208和拼接步骤210同时执行步骤212有利地允许医生不仅通过查看映射图来辨别哪些内体腔室表面区域已经被成像，而且还向医生提供对先前被扫描但产生不适当的视频帧或图像的内体腔表面区域(其可以在映射图上显示为空白区域)进行重新扫描的能
力。在其中拼接结果和显示拼接结果的显示器利用新获取的视频帧或图像连续并立即更新的一个优选的实施方案中，医生可以通过简单地回溯他或她的视频或图像获取路径来重新扫描空区域。
[0040] 在步骤214中，医生确定内体腔表面的显示映射图是否可接受。例如，如果映射图基本上完整并且由良好质量的图像或视频帧构成，则医生可以接受该映射图(即映射图被最终确定)并且用于内体腔的表面的诊断成像方法结束216。可选地，如果映射图不是基本上完整和/或不是由良好质量的图像或视频帧构成，但是仍然足以用于诊断用途，则医生可以接受该映射图(即映射图被最终确定)并且用于内体腔的表面的诊断成像方法结束216。然而，如果映射图不是基本上完整，不是由良好质量的图像或视频帧构成，或者包括对应于不适当的视频帧或图像的空白区域，则医生可能不接受该映射图。在这种情况下，医生移到下一步骤。
[0041] 在步骤218中，图像捕获设备获取替换视频或者一个或多个图像，以替换需要替换的任何视频帧或图像。步骤218以与步骤206基本上相同的方式执行，不同之处在于步骤218可能仅需要平移图像捕获设备通过内体腔的小于基本上整个表面，这是因为只有某些视频帧或图像可能需要替换。
[0042] 在步骤220中，在步骤218中获取的替换视频或者一个或多个图像由计算机接收并处理。步骤220以与步骤208基本上相同的方式执行。
[0043] 在步骤222中，来自步骤220的经过处理的替换视频帧或图像被彼此拼接在一起并与先前拼接的帧一起创建内体腔的表面的更新映射图。步骤222以与步骤210基本上相同的方式执行。
[0044] 在步骤224中，来自步骤222的更新映射图显示在显示设备上。步骤224以与步骤212基本上相同的方式执行。一旦显示，医生移回到步骤214，以确定内体腔表面的更新映射图是否可接受。
[0045] 图3是用于处理多个视频帧或图像的方法的流程图。在步骤302中，视频帧或图像被输送到将帧或图像解卷绕的算法。视频帧或图像可以使用本领域技术人员已知的任何手段来解卷绕。
[0046] 在步骤304中，视频帧或图像被输送到从视频帧或图像提取相关特征信息(例如，血管)的算法中。可以使用本领域技术人员已知的任何手段来提取相关特征信息。在一些实施方案中，使用基于
频谱的
滤波器从视频帧或图像提取相关特征信息。
[0047] 在步骤306中，视频帧或图像被输送到确定当前视频帧或图像与其它经过处理的视频帧或图像之间的共同特征点的算法。可以使用本领域普通技术人员已知的任何手段来确定当前视频帧或图像与其它经过处理的视频帧或图像之间的共同特征点。在一些实施方案中，使用尺度不变特征变换(SIFT)或Harris
角点检测器来确定当前视频帧或图像与其它经过处理的视频帧或图像之间的共同特征点。
[0048] 在步骤308中，视频帧或图像被输送到计算当前视频帧或图像与其它经过处理的视频帧或图像之间的单应性，消除离群值并生成用于将当前视频帧或图像与其它经过处理的视频帧或图像拼接的变换的算法中。可以使用本领域技术人员已知的任何手段来计算单应性，消除离群值并生成用于图像拼接的变换。在一些实施方案中，使用缩小SIFT描述子的数量的随机样本一致性(RANSAC)算法来计算当前视频帧或图像与其它经过处理的视频帧或图像之间的单应性。
[0049] 在步骤310中，算法确定所有捕获的视频帧或图像是否已经过处理。如果答案为是，则用于处理多个视频帧或图像的方法结束312。如果答案为否，则选择新的视频帧或图像314并提供给步骤302。
[0050] 图4是用于诊断或评估疾病进展的方法的流程图。在步骤402中，使用本文公开的方法或系统中的任一种来获得内体腔的基本上整个表面的一个或多个映射图。在一些实施方案中，一个或多个映射图被登记到患者。以这种方式，内体腔的基本上整个表面的映射图与特定的患者相关联。当存在与特定患者相关联的两个或更多个映射图时，可以相对地分析所述映射图。
[0051] 在一些实施方案中，周期性(例如每周、每两周、每月、每年等)进行内体腔的映射。在其中例如用
治疗剂(例如药物)治疗疾病的一些实施方案中，可以在用所述治疗剂治疗之前，在治疗性处理期间以及在完成治疗性处理之后进行内体腔的映射。
[0052] 在步骤404中，使用一个或多个映射图来诊断、评估或跟踪疾病的进展。在一些实施方案中，使用单个映射图来诊断或评估疾病的进展。在一个优选的实施方案中，将两个或更多个映射图相对于彼此进行比较以诊断、评估或跟踪疾病的进展。可以通过任何合适的手段将两个或更多个映射图相对于彼此进行比较。例如，医生可以在每个映射图上定位一个或多个特定的关注区域(例如病变区域)并且评估在两个或更多个映射图上的一个或多个关注区域之间的任何所观察到的差异。映射图比较过程可以用于尤其是内体腔表面的特定区域(例如膀胱)的病变的纵向/时间评估，以评估对治疗干预的响应或监测疾病进展。
[0053] 映射图比较可以包括比较映射图内包括例如
尿路上皮的可观察特征的区域的大小和/或数量。例如，可观察的特征可以是病变、
炎症等。
[0054] 计算机可以使用本领域技术人员容易识别的任何数量的手段来辅助诊断、评估和跟踪疾病进展或将映射图相比于彼此进行比较。例如，计算机算法可以使用关注点(例如病变区域或表面形态(例如表面标志))来对准或重叠两个或更多个映射图。使用计算机算法来对准或重叠两个或更多个映射图，一旦通过医生输入验证，就通过去除与人类操纵相关联的一些主观性而有利地提供与诊断、评估和跟踪过程的一致性。同样地，计算机算法可以检测关注点例如大小、着色等的变化，其还通过去除与人类阅读映射图相关联的一些主观性而促进诊断、评估或跟踪疾病的进展。
[0055] 在一些实施方案中，两个或更多个映射图相对于彼此进行比较以评估所选治疗性处理对需要治疗疾病(例如Hunner病变或膀胱癌)的患者的有效性。例如，可以在治疗前、在治疗期间和在治疗后周期性地进行映射，然后比较映射图以定量评估可见的病变或
肿瘤是否对所选择的治疗性处理有响应(例如，病变或肿瘤的大小是否降低)。这种信息可以用于多种目的，包括测量药物在临床试验中的耐受性的治疗有效性。此外，当跟踪疾病如癌症的进展时，可以将定量数据归一化为每次评估患者的内体腔(例如膀胱)的总表面以提供可比较的数据。在一些实施方案中，将内体腔(例如膀胱)的表面的背景颜色用作基线，并且分析着色的变化。在一些实施方案中，跟踪关注区域中的表面形态的大小和形状，并且分析大小和形状的变化。在映射图被用于诊断或评估疾病进展/状态后，方法结束406。
[0056] 本文描述的技术可以用于映射各种不同的内体腔表面，包括(但不限于)膀胱。例如，所述技术可以应用于其中可以限定扫描轨迹的任何内窥镜程序，其中在扫描和拼接时组织不被主动操纵，并且其中扫描场内的特征可以被充分和清楚地区分。
[0057] 本文引用的出版物和其引用的材料通过引用明确地并入。根据前述详细描述，本文所述的方法和设备的
修改和变化对于本领域技术人员将是显而易见的。这样的修改和变化旨在落入所附
权利要求的范围内。
