基于荧光照明来生成3D图像的系统和方法专利检索-扩散张量数学与统计专利检索查询-专利查询网

基于荧光照明来生成3D图像的系统和方法

阅读：221发布：2020-10-08

专利汇可以提供基于荧光照明来生成3D图像的系统和方法专利检索，专利查询，专利分析的服务。并且提供了一种用于基于荧光照明来生成三维（3D）图像的计算机实现的方法，其包括：通过定位在朝向其中具有带有荧光照明的多个区域的对象的相应视差处的至少三个成像传感器中的每一个并行地接收多个图像的相应序列，该多个图像的相应序列包括多个区域的荧光照明，该多个图像中的每一个被时间间隔分开；分析相应序列，以创建指示多个区域中的每个相应区域的深度的体积数据集；以及根据该体积数据集来生成3D图像。，下面是基于荧光照明来生成3D图像的系统和方法专利的具体信息内容。

权利要求

1.一种基于荧光照明来生成三维（3D）图像的计算机实现的方法，其包括：
通过定位在朝向其中具有带有荧光照明的多个区域的对象的相应视差处的至少三个成像传感器中的每一个并行地接收多个图像的相应序列，所述多个图像的相应序列包括所述多个区域的荧光照明，所述多个图像中的每一个被时间间隔分开；
分析所述相应序列，以创建指示所述多个区域中每个相应区域的深度的体积数据集；
以及
根据所述体积数据集来生成3D图像。
2.根据权利要求1所述的方法，其中所述对象包括在活的哺乳动对象之内的组织，所述荧光照明区域包括：位于所述活的哺乳动物的皮肤下方的、注射有荧光照明剂的多个血管，并且所述至少三个成像传感器位于所述皮肤的外部并且不接触所述皮肤。
3.根据前述权利要求中任一项所述的方法，其中所述分析包括：分析所述相应序列以计算所述至少三个成像传感器中的每对成像传感器的相应视差数据集，以及基于每对成像传感器的相应视差数据集来计算所述体积数据集，其中所述体积数据集指示所述多个区域中的每个区域的3D位置。
4.根据前述权利要求中任一项所述的方法，其中所述分析包括：基于对指示在每个相应序列的相应图像元素处的荧光照明强度的变化的至少一个图案的分析来计算时间相似性指数，以及根据所述时间相似性指数来计算所述区域中的每个区域的类型。
5.根据权利要求4所述的方法，其中通过链接具有指示所述荧光照明强度的变化的至少一个图案的相似性的图像元素来计算所述区域中的每个区域的类型，其中根据基于所述时间相似性指数的相似性要求来定义相似性。
6.根据权利要求5所述的方法，其中根据下述等式来计算所述相似性要求：
其中：
Ir（t）表示参考时间函数，
Si表示通过与Ir（t）进行比较来定义表示当前时间函数的Ic（t）之间的相对距离的时间评估
，
并且根据关系|Ic(t)-Ir(t)|来将所述相似性计算为曼哈顿距离。
7.根据权利要求5或权利要求6所述的方法，其中指示所述荧光照明强度的变化的至少一个图案包括：到所述荧光照明的最大强度的时间。
8.根据权利要求5-7中任一项所述的方法，其中指示所述荧光照明强度的变化的至少一个图案包括：在时间间隔内近似稳定的荧光照明强度。
9.根据权利要求5-8中任一项所述的方法，其中所述类型选自由下述各项组成的组：血管的分叉、处于较高组织水平处的第一血管交叉处于较低组织水平处的第二血管、动脉、静脉、淋巴管、含有脑脊液（CSF）的管腔、与消化系统相关联的填充有空气的管腔、以及与泌尿系统相关联的填充有尿液的管腔。
10.根据权利要求5-9中任一项所述的方法，进一步包括：将由所述体积数据集定义的多个区域中的每个区域与指示所述多个区域中的每个相应区域的所计算类型的至少一个视觉标记相关联，并且其中生成所述3D图像包括基于所述至少一个视觉标记来生成所述3D图像。
11.根据权利要求5-10中任一项所述的方法，其中神经网络接收所述相应序列并且计算所述时间相似性指数，以输出指示所述多个区域中的每个相应区域的深度的体积数据集。
12.根据前述权利要求中任一项所述的方法，进一步包括：计算各向同性参考，并且根据所述各向同性参考改进所生成的3D图像的空间分辨率。
13.根据前述权利要求中任一项所述的方法，进一步包括：计算包括加权系数的时空失真补偿矩阵（STDCM），并且将所述STDCM应用于所述体积数据集以校正每个区域的每个图像元素的深度坐标。
14.根据权利要求13所述的方法，其中基于与基于所述相应序列计算的每个相应图像元素处的荧光强度随时间的至少一个图案相关联的多个所计算的时间形状指数参数来计算所述STDCM，其中所述多个所计算的时间形状指数参数被用来分辨所述体积数据集的结构和/或功能细节。
15.根据权利要求14所述的方法，其中被用来分辨结构和/或功能细节的多个所计算的时间形状指数参数选自由下述各项组成的组：精细结构细节、血管类型、指示血管分叉或血管交叉的拓扑结构、血管分类、荧光对比外渗以及正常功能状态或异常行为。
16.根据前述权利要求中任一项所述的方法，进一步包括：基于对所述相应序列的图像元素的荧光照明的强度的变化的分析来计算运动估计量，并且将所述运动估计量应用于所述体积数据集以校正运动伪影。
17.根据前述权利要求中任一项所述的方法，进一步包括：计算去卷积参数，所述去卷积参数补偿所述荧光照明的散射，并且估计荧光照明剂从血管中渗漏的扩散，所述去卷积参数被用来校正所述体积数据集并且改进所述多个区域的空间分辨率。
18.根据前述权利要求中任一项所述的方法，进一步包括：基于至少三个成像传感器的相应视差移位来计算结构张量，并且根据所述结构张量来计算所述体积数据集，以用于改进在所述3D图像之内的多个区域的深度和/或视差敏感性。
19.根据前述权利要求中任一项所述的方法，其中使用训练的时间相似性指数分类器来实行对所述相应序列进行分析，所述训练的时间相似性指数分类器接收根据所述至少三个图像传感器的相应序列的每个相应图像元素的所计算的初始位置以及每个相应图像元素处的荧光成像中的至少一个变化图案作为输入，并且输出基于每个相应图像元素的位置的所计算的最大相关性的体积数据集。
20.根据前述权利要求中任一项所述的方法，进一步包括：将自适应滤波器应用于由所述至少三个图像传感器中的每一个接收的每个相应序列，所述自适应滤波器被设计成改进每个区域的位置的空间分辨率，并且减少在荧光照明的强度变化期间的噪声。
21.根据前述权利要求中任一项所述的方法，进一步包括：将自适应滤波器应用于由所述至少三个图像传感器中的每一个接收的每个相应序列，所述自适应滤波器被设计成去除所述对象的介质的散射效应，其中所述自适应滤波器通过从每个序列的多个图像中的每个图像减去所述自适应滤波器而被实现为超高斯背景减法。
22.一种基于荧光照明来生成三维（3D）图像的系统，其包括：
成像接口，其通过定位在朝向其中具有带有荧光照明的多个区域的对象的相应视差处的至少三个成像传感器中的每一个并行地接收多个图像的相应序列，所述多个图像的相应序列包括所述多个区域的荧光照明，所述多个图像中的每一个被时间间隔分开；
存储代码的程序存储装置；以及
至少一个处理器，其耦合到所述成像接口和所述程序存储装置，以用于实现所存储的代码，所述代码包括：
用以分析所述相应序列、创建指示所述多个区域中的每个相应区域的深度的体积数据集并且根据所述体积数据集来生成3D图像的代码。
23.根据权利要求22所述的系统，进一步包括：激光器和定位在所述至少三个成像传感器的中心处的另一个成像传感器，以及由所述程序存储装置存储的代码指令，所述代码包括用以分析基于由另一个成像传感器捕获的激光器的反射而创建的图像来计算激光散斑成像（LSI），并且使用所述LSI作为独立参考基于所述体积数据集实时地生成3D图像的代码。
24.根据权利要求23所述的系统，其中所述LSI被用来确定血管的3D流动图。
25.根据权利要求23或权利要求24所述的系统，其中所述LSI被用来校正所述体积数据集的区域的3D坐标。
26.根据权利要求22-25中任一项所述的系统，其中所述至少三个成像传感器被定位在x-y-z空间的相同的z轴值处。
27.根据权利要求22-26中任一项所述的系统，其中所述至少三个成像传感器包括互补金属氧化物半导体（CMOS）传感器。
28.一种计算机程序产品，其包括：非暂时性计算机可读存储介质，其上存储有程序代码，以用于由至少一个处理器实现、以用于基于荧光照明来生成三维（3D）图像，所述程序代码包括：
用以通过定位在朝向其中具有带有荧光照明的多个区域的对象的相应视差处的至少三个成像传感器中的每一个并行地接收多个图像的相应序列的代码指令，所述多个图像的相应序列包括所述多个区域的荧光照明，所述多个图像中的每一个被时间间隔分开；
用以分析所述相应序列以创建指示所述多个区域中的每个相应区域的深度的体积数据集的代码指令；以及
用以根据所述体积数据集来生成3D图像的代码指令。

说明书全文

基于荧光照明来生成3D图像的系统和方法

[0001] 相关申请本申请要求2016年9月18日的提交的美国临时专利申请号62/396,163的在35 USC §
119(e)下的优先权的权益，该美国临时专利申请的内容通过引用以其整体结合于本文中。

背景技术

[0002] 本发明（在其一些实施例中）涉及荧光成像，并且更具体地但非排他地，涉及基于（一种或多种）荧光照明剂来生成3D图像的系统和方法。

[0003] 例如，基于荧光照明的成像被用来在临床和临床前实践中实行脑血管成像。基于荧光照明的成像可以生成例如血管的非侵入性或微创图像。

[0004] 体内光学成像、活体显微镜检查的示例性方法是推进对完整的生物有机体如何工作的了解的基本工具。活体显微镜检查是一种强大的工具，其提供在细胞和亚细胞分辨率的自然情境中表征活的有机体生理机能的能力。然而，小视野和使用非常昂贵且复杂的装备限制了活体成像在一般生物学研究中的有用性。在视场（FOV）不延伸2毫米（mm）并且深度不延伸几百微米的情况下，标准或高级的活体显微镜检查是有用的。

[0005] 基于荧光成像的另一个示例性方法（被称为经颅光学血管成像（TOVI））由与本申请相同的发明人发明。该方法基于将荧光对比材料施用到循环中。该方法生成2D图像。使用TOVI，可以通过完整的颅骨和完整的皮肤以15 mm的FOV观察到脑血管。

发明内容

[0006] 根据第一方面，一种基于荧光照明来生成三维（3D）图像的计算机实现的方法，其包括：通过定位在朝向其中具有带有荧光照明的多个区域的对象的相应视差处的至少三个成像传感器中的每一个并行地接收多个图像的相应序列，该多个图像的相应序列包括多个区域的荧光照明，该多个图像中的每一个被时间间隔分开，分析相应序列，以创建指示多个区域中的每个相应区域的深度的体积数据集，以及根据该体积数据集来生成3D图像。

[0007] 根据第二方面，一种用于基于荧光照明来生成三维（3D）图像的系统，其包括：成像接口，其通过定位在朝向其中具有带有荧光照明的多个区域的对象的相应视差处的至少三个成像传感器中的每一个并行地接收多个图像的相应序列，该多个图像的相应序列包括多个区域的荧光照明，该多个图像中的每一个被时间间隔分开，存储代码的程序存储装置，以及至少一个处理器，其耦合到成像接口和程序存储装置以用于实现所存储的代码，该代码包括：用以分析相应序列、创建指示多个区域中的每个相应区域的深度的体积数据集并且根据体积数据集来生成3D图像的代码。

[0008] 根据第三方面，一种计算机程序产品，其包括：非暂时性计算机可读存储介质，其上存储有程序代码，以用于由至少一个处理器实现、以用于基于荧光照明来生成三维（3D）图像，该程序代码包括：用以由定位在朝向其中具有带有荧光照明的多个区域的对象的相应视差处的至少三个成像传感器中的每一个并行地接收多个图像的相应序列的代码指令，该多个图像的相应序列包括多个区域的荧光照明，该多个图像中的每一个被时间间隔分开；用以分析相应序列以创建指示多个区域中的每个相应区域的深度的体积数据集的代码指令；以及用以根据该体积数据集来生成3D图像的代码指令。

[0009] 本文中提供的系统和/或方法（例如，由（一个或多个）处理器执行的存储在存储设备中的代码指令）为改进对象的荧光照明区域的成像的准确度和/或分辨率的技术问题提供了一种技术解决方案。该技术问题可以涉及在活的哺乳动物（例如，人、老鼠、猪、羊、狗、兔、猫）之内的血管和/或管腔的（可选地非侵入性）活体成像。该技术问题可以涉及根据荧光照明区域对血管和/或管腔的类型进行分类。该技术问题可以涉及分辨结构细节，例如，区分动脉和静脉、和/或区分血管分叉和彼此交叉的两个血管。该技术问题可以涉及基于荧光照明区域来改进所生成的3D图像中的血管和/或管腔的位置的准确度和/或分辨率。

[0010] 本文中提供的系统和/或方法（例如，由（一个或多个）处理器执行的存储在存储设备中的代码指令）提供了对于在体内光学成像期间活的组织中的光的散射（即，由介质散射的荧光）和/或吸收的技术问题的技术解决方案。光的散射和/或吸收限制了以在临床上显著地、足够高的分辨率来对结构成像和/或获得组织深处的功能信息的能力。本文中提供的系统和/或方法在体内光学成像期间、基于荧光照明剂改进了空间分辨率和/或扩展了成像深度。本文中提供的系统和/或方法分辨从活的主体中获得的3D图像中的原本隐藏的结构和/或功能细节。使用其他标准成像方法（例如，磁共振成像）不能获得这样的动态细节。

[0011] 本文中描述的系统和/或方法（例如，由（一个或多个）处理器执行的存储在存储设备中的代码指令）改进了活体成像系统的计算单元的性能，该活体成像系统使用捕获被施用给活的哺乳动物的（一种或多种）荧光照明剂的成像传感器来创建图像。性能方面的改进至少包括所生成的3D图像的改进的准确度和/或分辨率，这包括基于荧光照明来识别由成像传感器捕获的（一个或多个）血管和/或（一个或多个）管腔的类型。性能方面的改进可以包括使用更少的存储器和/或使用更少的计算资源（例如，（一个或多个）处理器利用率）和/或更快的计算时间来生成3D图像，而不牺牲所得图像的质量。

[0012] 在第一、第二和第三方面的另外的实现形式中，对象包括在活的哺乳动物之内的组织，荧光照明区域包括位于活的哺乳动物的皮肤下方的、注射有荧光照明剂的多个血管，并且至少该三个成像传感器位于皮肤的外部并且不接触皮肤。

[0013] 在第一、第二和第三方面的另外的实现形式中，该分析包括：分析相应序列以计算至少三个成像传感器中的每对成像传感器的相应视差数据集，以及基于每对成像传感器的相应视差数据集来计算体积数据集，其中体积数据集指示多个区域中的每个区域的3D位置。

[0014] 在第一、第二和第三方面的另外的实现形式中，该分析包括：基于对指示在每个相应序列的相应图像元素处的荧光照明强度的变化的至少一个图案的分析来计算时间相似性指数，以及根据该时间相似性指数来计算该区域中的每个区域的类型。

[0015] 在第一、第二和第三方面的另外的实现形式中，通过链接具有指示荧光照明强度的变化的至少一个图案的相似性的图像元素来计算该区域中的每个区域的类型，其中根据基于该时间相似性指数的相似性要求来定义相似性。

[0016] 在第一、第二和第三方面的另外的实现形式中，根据下述等式来计算相似性要求：其中：Ir（t）表示参考时间函数，Si表示通过与Ir（t）进行比较来定义表示当前时间函数的Ic（t）之间的相对距离的时间评估，，并且根据关系|Ic(t)-Ir(t)
|来将相似性计算为曼哈顿距离。

[0017] 在第一、第二和第三方面的另外的实现形式中，指示荧光照明强度的变化的至少一个图案包括：到荧光照明的最大强度的时间。

[0018] 在第一、第二和第三方面的另外的实现形式中，指示荧光照明强度的变化的至少一个图案包括：在时间间隔内近似稳定的荧光照明强度。

[0019] 在第一、第二和第三方面的另外的实现形式中，该类型选自由下述各项组成的组：血管的分叉、处于较高组织水平处的第一血管交叉处于较低组织水平处的第二血管、动脉、静脉、淋巴管、含有脑脊液（CSF）的管腔、与消化系统相关联的填充有空气的管腔、以及与泌尿系统相关联的填充有尿液的管腔。

[0020] 在第一、第二和第三方面的另外的实现形式中，该方法进一步包括和/或该系统进一步包括用于计算机程序产品的代码，和/或该计算机程序产品包括：用于将由该体积数据集定义的多个区域中的每个区域与指示该多个区域中的每个相应区域的计算类型的至少一个视觉标记相关联的指令，并且其中生成3D图像包括基于至少一个视觉标记来生成3D图像。

[0021] 在第一、第二和第三方面的另外的实现形式中，神经网络接收相应序列并且计算时间相似性指数，以输出指示多个区域中的每个相应区域的深度的体积数据集。

[0022] 在第一、第二和第三方面的另外的实现形式中，该方法进一步包括和/或该系统进一步包括：用于计算机程序产品的代码，和/或该计算机程序产品包括用于计算各向同性参考并且根据该各向同性参考来改进所生成的3D图像的空间分辨率的附加指令。

[0023] 在第一、第二和第三方面的另外的实现形式中，该方法进一步包括和/或该系统进一步包括：用于计算机程序产品的代码，和/或该计算机程序产品包括用于计算包括加权系数的时空失真补偿矩阵（STDCM）并且将该STDCM应用于体积数据集，以校正每个区域的每个图像元素的深度坐标的附加指令。

[0024] 在第一、第二和第三方面的另外的实现形式中，基于与基于相应序列计算的每个相应图像元素处的荧光强度随时间的至少一个图案相关联的多个所计算的时间形状指数参数来计算STDCM，其中多个所计算的时间形状指数参数被用来分辨体积数据集的结构和/或功能细节。

[0025] 在第一、第二和第三方面的另外的实现形式中，被用来分辨结构和/或功能细节的多个所计算的时间形状指数参数选自由下述各项组成的组：精细结构细节、血管类型、指示血管分叉或血管交叉的拓扑结构、血管分类、荧光对比外渗（extravasation）以及正常功能状态或异常行为。

[0026] 在第一、第二和第三方面的另外的实现形式中，该方法进一步包括和/或该系统进一步包括用于计算机程序产品的代码，和/或该计算机程序产品包括用于基于对相应序列的图像元素的荧光照明强度的变化的分析来计算运动估计量并且将该运动估计量应用于体积数据集以校正运动伪影的附加指令。

[0027] 在第一、第二和第三方面的另外的实现形式中，该方法进一步包括和/或该系统进一步包括用于计算机程序产品的代码，和/或该计算机程序产品包括用于计算去卷积参数的附加指令，该去卷积参数补偿了荧光照明的散射并且估计荧光照明剂从血管中渗漏的扩散，该去卷积参数被用来校正体积数据集并且改进多个区域的空间分辨率。

[0028] 在第一、第二和第三方面的另外的实现形式中，该方法进一步包括和/或该系统进一步包括用于计算机程序产品的代码，和/或该计算机程序产品包括用于基于至少三个成像传感器的相应视差移位来计算结构张量，并且根据该结构张量来计算体积数据集以用于改进在3D图像之内的多个区域的深度和/或视差敏感性的附加指令。

[0029] 在第一、第二和第三方面的另外的实现形式中，使用训练的时间相似性指数分类器来实行对相应序列进行分析，该训练的时间相似性指数分类器接收根据至少三个图像传感器的相应序列的每个相应图像元素的所计算的初始位置以及每个相应图像元素处的荧光成像中的至少一个变化图案作为输入，并且输出基于每个相应图像元素的位置的所计算的最大相关性的体积数据集。

[0030] 在第一、第二和第三方面的另外的实现形式中，该方法进一步包括和/或该系统进一步包括用于计算机程序产品的代码，和/或该计算机程序产品包括用于将自适应滤波器应用于由至少三个图像传感器中的每一个接收的每个相应序列的附加指令，该自适应滤波器被设计成改进每个区域的位置的空间分辨率，并且减少在荧光照明的强度变化期间的噪声。

[0031] 在第一、第二和第三方面的另外的实现形式中，该方法进一步包括和/或该系统进一步包括用于计算机程序产品的代码，和/或该计算机程序产品包括用于将自适应滤波器应用于由至少三个图像传感器中的每一个接收的每个相应序列的附加指令，该自适应滤波器被设计成去除对象的介质的散射效应，其中该自适应滤波器通过从每个序列的多个图像的每个图像中减去该自适应滤波器而被实现为超高斯背景减法。

[0032] 在第一、第二和第三方面的另外的实现形式中，该方法进一步包括操作该系统，和/或该系统进一步包括计算机程序产品，和/或该计算机程序产品包括用于操作激光器和定位于至少三个成像传感器的中心处的另一个成像传感器的附加指令，以及由程序存储装置存储的代码指令，该代码包括用以分析基于由另一个成像传感器捕获的激光器的反射而创建的图像来计算激光散斑成像（LSI），并且使用LSI作为独立参考基于体积数据集来实时生成3D图像的代码。

[0033] 在第一、第二和第三方面的另外的实现形式中，LSI被用来确定血管的3D流动图。

[0034] 在第一、第二和第三方面的另外的实现形式中，LSI被用来校正体积数据集的区域的3D坐标。

[0035] 在第一、第二和第三方面的另外的实现形式中，至少三个成像传感器被定位在x-y-z空间的相同z轴值处。

[0036] 在第一、第二和第三方面的另外的实现形式中，至少三个成像传感器包括互补金属氧化物半导体（CMOS）传感器。

[0037] 除非另行定义，本文中使用的全部技术术语和/或科学术语具有与由本发明所涉及的领域的普通技术人员所通常理解的相同的含义。虽然与本文中所描述的那些类似或等价的方法和材料可以被用在本发明的实施例的实践或测试中，但是下文描述了示例性方法和/或材料。在冲突的情况下，包括定义的专利说明书将进行控制。此外，该材料、方法和示例仅是说明性的，并且不意图一定是限制性的。附图说明

[0038] 参照附图，仅作为示例在本文中描述了本发明的一些实施例。现在详细地具体参照附图，强调的是所示出的特例是作为示例，并且是出于对本发明的实施例进行说明性讨论的目的。在这点上，利用附图所进行的描述使可以实践本发明的实施例的方式对于本领域技术人员而言变得显而易见。

[0039] 在附图中：图1是根据本发明的一些实施例的用于基于使用至少三个成像传感器、使用时间间隔图像序列获取来自区域之内的荧光照明来生成对象的区域的3D图像的方法的流程图；
图2是根据本发明的一些实施例的系统的组件的框图，该系统基于使用由至少三个成像传感器捕获的时间间隔图像序列成像的荧光照明来生成对象的区域的3D图像；
图3描绘了根据本发明的一些实施例的在应用自适应滤波器之前和之后的八百（800）个堆叠图像的序列的比较；
图4包括根据本发明的一些实施例的根据具有相似图案的图像元素进行颜色编码的第一图像和第二图像；
图5是根据本发明的一些实施例的通过叠加图4的图像而创建的图像；
图6是描绘了根据本发明的一些实施例的用于基于被应用于对象的荧光照明的时间间隔图像的序列来生成对象的3D图像的过程的示例性数据流的框图；
图7包括根据本发明的一些实施例的由发明人实行的成像实验的示例性3-Y设置的照片；
图8是根据本发明的一些实施例的使用图7的3-Y设置生成的并且使用本文描述的系统和/或方法计算的3D图像；
图9是根据本发明的一些实施例的使用3-Y设置捕获的3D全局形状（即，深度图，也被称为被用来生成3D图像的体积数据集）的图像；
图10是根据本发明的一些实施例的基于所计算的STDCM来生成的图像，其描绘了与图7中所示的设置的管的位置的精细结构细节位置有关的结构化形状；
图11是描绘了根据本发明的一些实施例的用于计算在本文中描述的3-Y设置的三个相机中的两个之间的视差数据集的设置的示意图；
图12是根据本发明的一些实施例的使用图11中所示的设置来生成的3D图像；
图13是根据本发明的一些实施例的基于图11中所示的设置来生成的两个嵌入式血管网络的3D拓扑结构上的指示的图像；
图14包括描绘了根据本发明的一些实施例的自动化图像恢复方法的示例的图像；
图15包括描绘了根据本发明的一些实施例的关于真实经皮肤成像的自动化图像恢复方法的示例的图像；
图16是根据本发明的一些实施例的使用被应用于图15的成像数据的时间相似性指数化方法来生成的图像；
图17包括根据本发明的一些实施例的作为使用体模（phantom）的实验室实验的部分来计算的3D图像，以评估自适应滤波器对所捕获的图像序列的质量的影响；
图18包括根据本发明的一些实施例的根据作为实验的部分捕获的图像序列来计算的
3D图像，以评估自适应滤波器对所生成的3D图像的质量的影响；
图19是描绘了根据本发明的一些实施例的用于计算3D图像的基于神经网络的架构的示例性实现方式的示意图；
图20包括根据本发明的一些实施例的基于神经网络的输出的3D图像的一部分，其描绘了结构的分叉和/或交叉的清晰度；
图21包括根据本发明的一些实施例的基于神经网络的输出来计算的3D图像，其描绘了本文中所描述的图像分辨率方面的改进和/或分叉和/或交叉歧义的区分方面的改进；
图22是根据本发明的一些实施例的根据时间指数化来计算的脑的血管网络的3D图像；
以及
图23是根据本发明的一些实施例的描绘了结构张量的脑的血管网络的示例性3D图像。

具体实施方式

[0040] 本发明（在其一些实施例中）涉及荧光成像，并且更具体地但非排他地，涉及用于基于荧光照明来生成3D图像的系统和方法。

[0041] 本发明的一些实施例的方面涉及下述系统和/或方法（例如，由（一个或多个）处理器执行的存储在存储设备中的代码指令），其基于（一个或多个）体积数据集来生成（一个或多个）3D图像，该体积数据集基于对时间间隔图像（例如，加时间戳的）序列的分析而创建，每个相应序列通过朝向具有荧光照明的区域的对象非平行定位的三个（或更多个）图像传感器中的一个（即，具有相应的视差）而获取。基于荧光照明区域，3D图像提供对象的结构和/或功能细节，可选地提供原本隐藏的区域的结构和/或功能细节。可以实行光学经皮肤成像。例如，可以非侵入地实行3D图像，以可选实时地给对象（例如，人、动物）的血管成像，例如，对人或老鼠的脑的血管进行成像，以评估中风的影响、识别肿瘤、或其他应用。在对有机体（例如，哺乳动物）进行经皮肤成像的情况下，荧光照明区域（例如，血管）位于活的哺乳动物的皮肤下方，并且三个（或更多个）成像传感器位于活的动物的皮肤外部。三个（或更多个）成像传感器不接触皮肤（即，与活的哺乳动物的皮肤间隔开）。由成像传感器捕获的图像基于穿过皮肤（和其他组织）并受皮肤（和其他组织）影响（例如，如本文中描述的散射）的荧光。

[0042] 可选地，基于捕获的序列为每对成像传感器计算视差数据集，例如，当使用三个成像传感器时，为各对的三个组合计算三个视差数据集。基于视差数据集来计算体积数据集，例如，使用训练的统计分类器和/或（可选地卷积）神经网络。基于体积数据集来生成3D图像。

[0043] 替换地或附加地，基于对序列的（一个或多个）荧光照明图案进行分析来生成体积数据集。图案指示每个序列的时间间隔图像上的荧光照明强度的变化。可以每图像元素（例如，像素、体素）和/或图像元素组来计算图案。图案可以被表示为指示强度随时间的变化的时间函数。

[0044] 可选地，该图案指示达到荧光照明的最大强度的时间。替换地或附加地，该图案指示荧光照明强度的稳定性。具有相似图案的图像元素（例如，根据相似性要求，例如，统计距离和/或相关性）可以被分组在一起。分组的图像元素可以被识别为指示结构和/或功能的一个或多个预定义类型，和/或可以被用来分辨结构细节，例如，以区分动脉和静脉，和/或以区分血管分叉和相互交叉的两个血管。

[0045] 本文中提供的系统和/或方法（例如，由（一个或多个）处理器执行的存储在存储设备中的代码指令）为改进对象的荧光照明区域的成像的准确度和/或分辨率的技术问题提供了技术解决方案。技术问题可涉及在活的哺乳动物（例如，人、老鼠、猪、羊、狗、兔、猫）之内的血管和/或管腔的（可选地非侵入性）活体成像。该技术问题可涉及根据荧光照明区域对血管和/或管腔的类型进行分类。该技术问题可涉及分辨结构细节，例如，区分动脉和静脉，和/或区分血管分叉和彼此交叉的两个血管。该技术问题可涉及基于荧光照明区域来改进所生成的3D图像中的血管和/或管腔的位置的准确度和/或分辨率。

[0046] 本文中提供的系统和/或方法（例如，由（一个或多个）处理器执行的存储在存储设备中的代码指令）提供了对在体内光学成像期间的活的组织中的光进行散射（即，由介质散射的荧光）和/或吸收的技术问题的技术解决方案。光的散射和/或吸收限制了以在临床上显著的足够高的分辨率对结构进行成像和/或获得组织深处的功能信息的能力。本文中提供的系统和/或方法在体内光学成像期间基于荧光照明剂改进了空间分辨率和/或扩展了成像深度。本文中提供的系统和/或方法分辨从活的主体中获得的3D图像中原本隐藏的结构和/或功能细节。使用其他标准成像方法（例如，磁共振成像）不能获得这样的动态细节。

[0047] 注意的是，基于对荧光成像的图案随时间（即，在多个连续图像上）的分析来识别图像元素和/或区域的类型和/或位置的系统和/或方法（例如，由（一个或多个）处理器执行的代码指令）提供了比其他方法的计算效率的改进，例如，与基于主成分分析（PCA）的方法相比，例如，如参考J.Seo，Y.An，J.Lee，T.Ku，Y.Kang，C.Ahn，C.Choi的“Principal component analysis of dynamic fluorescence images for diagnosis of diabetic vasculopathy”（J.Biomed.Opt.21（4），046003,2016）所描述的，该文献以其整体结合于本文中。PCA方法似乎仅使用统计方法提取主成分，例如，Seo等人似乎确定了主频繁图案（即，时间行为模式）。相反，本文中描述的系统和/或方法（例如，由（一个或多个）处理器执行的代码指令）根据相似性要求链接了具有相似图案（即，时间行为）的图像元素（例如，像素、体素），该相似性要求例如基于例如在循环系统中施用的荧光剂的流动时间延迟。本文中描述的系统和/或方法（例如，由（一个或多个）处理器执行的代码指令）能够检测更频繁和/或通常的图像（例如，诸如在脑中的主动脉）以及检测原本隐藏的异常（例如，由于出血性中风所致的血液缓慢渗出脑血管，和/或肿瘤中的异常血管血管生成）。

[0048] 本文中描述的系统和/或方法（例如，由（一个或多个）处理器执行的存储在存储设备中的代码指令）改进了活体成像系统的计算单元的性能，该活体成像系统使用捕获被施用给活的哺乳动物的（一种或多种）荧光照明剂的成像传感器来创建图像。性能方面的改进至少包括所生成的3D图像的改进的准确度和/或分辨率，这包括基于荧光照明来识别由成像传感器捕获的（一个或多个）血管和/或（一个或多个）管腔的类型。性能方面的改进可以包括使用更少的存储器和/或使用更少的计算资源（例如，（一个或多个）处理器利用率）和/或更快的计算时间来生成3D图像，而不牺牲所得图像的质量。

[0049] 本文中提供的系统和/或方法（例如，由（一个或多个）处理器执行的存储在存储设备中的代码指令）改进了图像处理技术领域内的基础技术过程，特别是在基于向对象施用（一种或多种）荧光照明剂来生成3D图像（可选地医学图像）的领域内。本文中描述的系统和/或方法通过揭示血管的精细3D结构细节、揭示血管的隐藏细节（例如，区分分叉的血管和相互交叉的血管）、分辨深度数据、改进光散射以及减少或消除运动伪影来改进对象区域（例如，脑内血管）的所生成的3D图像。

[0050] 本文中描述的系统和/或方法（例如，由一个或多个处理器执行的代码指令）与物理现实组件相关联，该物理现实组件例如，成像传感器，每个成像传感器基于向对象的（一个或多个）区域施用的（一种或多种）荧光照明剂来捕获图像序列。

[0051] 因此，本文中描述的系统和/或方法与所计算的技术和/或物理组件（即，成像传感器）密不可分，以克服基于向对象施用的（一种或多种）荧光照明剂来进行对象的3D成像（可选地哺乳动物的活体成像）中出现的实际技术问题。

[0052] 在详细解释本发明的至少一个实施例之前，要理解的是本发明在其应用方面不一定被限制于在以下描述中所阐述的和/或在附图和/或示例中所说明的组件和/或方法的布置和构造细节。本发明能够实现其他实施例或者能够以各种方式实践或执行本发明。

[0053] 本发明可以是系统、方法和/或计算机程序产品。该计算机程序产品可以包括：（一种或多种）计算机可读存储介质，其上具有计算机可读程序指令，以用于使处理器执行本发明的各方面。

[0054] 计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光学存储设备、电磁存储设备、半导体存储设备或者前述内容的任何合适的组合。计算机可读存储介质的更具体示例的非详尽列表包括以下内容：便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或闪速存储器）、静态随机存取存储器（SRAM）、便携式紧凑盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘和上述内容的任何适合组合。如本文中使用的，计算机可读存储介质将不被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波（例如，穿过光纤线缆的光脉冲）或通过电线传输的电信号。

[0055] 本文中描述的计算机可读程序指令可以经由网络（例如，互联网、局域网、广域网和/或无线网络）从计算机可读存储介质下载到相应的计算/处理设备，或下载到外部计算机或外部存储设备。网络可以包括：铜传输线缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发该计算机可读程序指令以存储在相应的计算/处理设备内的计算机可读存储介质中。

[0056] 用于执行本发明的操作的计算机可读程序指令可以是汇编程序指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言和常规过程编程语言的任意组合编写的源代码或对象代码，该一种或多种编程语言包括诸如Smalltalk、C++等等的面向对象的编程语言，该常规过程编程语言诸如“C”编程语言或相似的编程语言。计算机可读程序指令可以完全在用户的计算机上执行，部分地在用户的计算机上执行，作为独立的软件包执行，部分地在用户的计算机上并部分地在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后者的情形中，远程计算机可以通过包括局域网（LAN）或广域网（WAN）的任何类型的网络连接到用户的计算机，或者可以（例如，通过使用互联网服务提供商的互联网）与外部计算机进行连接。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA）的电子电路可以通过利用计算机可读程序指令的状态信息以使电子电路个性化来执行计算机可读程序指令，以便实行本发明的各方面。

[0057] 本文中参考根据本发明的实施例的方法、装置（系统）和计算机程序产品的流程图示和/或框图描述了本发明的各方面。将理解的是，流程图示和/或框图中的每个框以及流程图示和/或框图中的框的组合可以由计算机可读程序指令来实现。

[0058] 可以向通用计算机、专用计算机或其它可编程数据处理装置的处理器提供这些计算机可读程序指令以产生机器，使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的部件。这些计算机可读程序指令还可以存储在可以指导计算机、可编程数据处理装置和/或其它设备以特定方式起作用的计算机可读存储介质中，使得具有存储在其中的指令的计算机可读存储介质包括实现了在流程图和/或框图的一个或多个框中指定的功能/动作的方面的指令的制品。

[0059] 计算机可读程序指令还可以被加载到计算机、其它可编程数据处理装置或其它设备上，以使得在计算机、其它可编程装置或其它设备上实行一系列操作步骤来产生计算机实现的过程，使得在计算机、其它可编程装置或其他设备上执行的指令实现了在流程图和/或框图的一个或多个框中指定的功能/动作。

[0060] 附图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示模块、区段或指令的部分，其包括用于实现（一个或多个）特定逻辑功能的一个或多个可执行指令。在一些替换的实现方式中，框中说明的功能可以不以图中说明的次序来发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上并发地执行，或者框有时可以以相反的次序执行。也将注意的是，框图中的每个框和/或流程图示以及框图中的框和/或流程图示的组合可以通过实行特定功能或动作或者执行专用硬件与计算机指令的组合的专用的基于硬件的系统来实现。

[0061] 如本文中使用的，术语3-Y成像传感器设置（或3-Y设置）指代成像传感器相对于对象的示例性定位，如本文中描述的。

[0062] 如本文中使用的，术语视差意指对象的位置或方向看起来根据视角而改变的方式。每个成像传感器随着对象生成不同的区域视差。注意的是，本文中提到的视差数据集不同于单独使用的术语视差，因为视差数据集是根据来自多个（可选地三个）成像传感器的一对成像传感器获取的序列来计算的。

[0063] 现在参考图1，其是根据本发明的一些实施例的用于基于使用至少三个成像传感器、使用时间间隔图像序列获取的来自区域内的荧光照明来生成对象区域的3D图像的方法的流程图。还参照图2，其是根据本发明的一些实施例的系统200的组件的框图，该系统200基于使用通过至少三个成像传感器207A-C捕获的时间间隔图像序列而成像的荧光照明（例如，由荧光照明施用设备206施用的）来生成对象204的区域202的3D图像。系统200可以实现参考图1所描述的方法的动作，可选地通过执行存储在程序存储装置212中的代码指令212A的计算单元210的处理单元208来实现。

[0064] 系统和/或方法（例如，由（一个或多个）处理器执行的代码指令实现的）通过生成优于2D图像的3D图像来改进2D TOVI方法（由本申请的相同作者发明）。3D图像提供经改进的更深的深度数据（例如，血管和/或3D图像内的其他区域的位置）、减少来自荧光照明（通过组织）的散射的噪声、校正扩散（荧光照明剂从血管中的扩散）、校正来自残余运动伪影的模糊和/或补偿失真。3D图像提供相比2D图像的经改进的空间和/或时间分辨率。参考以下出版物以找到TOVI方法的附加细节，这些出版物的内容通过引用以其整体结合于本文中：* V.Kalchenko，K.Ziv，Y.Addadi，N.Madar-Balakirski，I.Meglinski和M.Neeman，“Combined application of dynamic light scattering imaging and fluorescence intravital microscopy in vascular biology”，Laser Phys.Lett.，7（8），603-606,
2010。
* V.Kalchenko，N.Madar-Balakirski，I.Meglinski和A.Harmelin，“In vivo
characterization of tumor and tumor vascular network using multi-modal imaging approach”，J.Biophotonics，4（9），645-649，2011。
* V.Kalchenko，D.Israel，Y.Kuznetsov和A.Harmelin，“Transcranial optical vascular imaging (TOVI) of cortical hemodynamics in mouse brain”，Sci.Rep.4,
5839,2014。
* V.Kalchenko，Y.Kuznetsov，I.Meglinski和A. Harmelin，“Label free in vivo laser speckle imaging of blood and lymph vessels”，J.Biomed.Opt，17（5），050502,
2012。
* V. Kalchenko，D.Israel，Y.Kuznetsov，I.Meglinski和A. Harmelin，“A simple approach for non-invasive transcranial optical vascular imaging (nTOVI)”J. Biophotonics，8（11-12），897-901,2015）。

[0065] 本文中描述的系统和/或方法生成3D图像，其包括位于对象（例如，组织、脑）内部更深处的先前隐藏的血管结构，提供可以被用来实时表征血液灌注功能的功能成像方法，和/或可以被用来生成实时3D成像系统。

[0066] 如本文中使用的，术语全局形状意指深度图（例如，被实现为矩阵和/或图像），其表示在对象的表面的垂直方向上的对象的区域（和/或其他结构）的深度（即，在某个有利点处）。注意的是，所生成的3D图像可以是全局形状的改进，例如，在分辨率和/或质量方面。

[0067] 注意的是，没有精细颅内结构的颅骨的简单2D深度图可以定义3D全局形状。在2D情况下，深度图（也被称为Z深度）可以被实现为灰度图像或包含与场景区域的表面距视点的距离有关的信息的矩阵。可以使用2个成像传感器立体设置来计算这样的深度图。然而，结果是粗略估计，其包含许多失真和缺失信息的地方。本文中描述的3-Y设置提供了附加的视点，使用这些视点以便渲染被用来生成3D图像的高质量深度图。

[0068] 3-Y设置提供了相比标准的2D立体成像系统的附加的计算改进。3-Y设置可以被布置成提供三角测量能力，其可以被用来计算对象的整体形状的唯一解。可以计算三个（或更多个）独立失真数据集（例如，矩阵）。失真数据集可以被用来改进所生成的3D图像的质量，例如，被馈送到生成该3D图像的神经网络中。3-Y设置可以基于来自不同视点的数据的组合来生成被用来完成缺失的横向部分的数据。

[0069] 为了清楚和简单起见，本文中描述了使用三个成像传感器207A-C的实现方式。然而，注意的是，本领域技术人员可以选择实现多于三个成像传感器207A-C，例如，以进一步改进所生成的3D图像内的区域的分辨率。成像传感器207A-C被设计成实时地快速获取图像序列（每个图像被时间间隔分开），例如，每秒约5-10张图像、或每秒约11-20张图像、或每秒约1-4张图像或其他速率。成像传感器的示例性硬件实现方式包括基于互补金属氧化物半导体（CMOS）的光传感器。

[0070] 成像传感器207A-C被定位在相应的视差处（即，彼此不平行）。成像传感器207A-C相对于彼此成角度（即，角度大于0、或小于约180度）。成像传感器207A-C被定位成均捕获对象204的不同视差。可选地，成像传感器207A-C基本上沿着包括对象204的3D x-y-z空间内的同一y轴值而定位。可选地，成像传感器207A-C被定位在等边三角形的顶点处。成像传感器207A-C获得三个视角（或者当使用附加传感器时更多个视角）。

[0071] 可选地，系统200包括（一个或多个）激光器和另外的（一个或多个）成像传感器207D。激光器和传感器207D被设计成实行激光散斑成像（LSI）。LSI数据可以与所生成的3D图像一起用来创建在对象204之内的区域202的实时3D图像。激光器和传感器207D可以被定位在成像传感器207A-C的中心处。激光器和传感器207D的位置被设计成减少或消除几何失真。

[0072] 可选地，对象204包括活的哺乳动物的一部分，例如人、猪、老鼠、狗和羊的一部分。对象204可以包括例如活的哺乳动物的头部的一部分、肿瘤的一部分和/或心脏的一部分。

[0073] 可选地，对象204的区域202包括下述各项中的一个或多个：血管、动脉、静脉、淋巴管、含有脑脊液（CSF）的管腔（例如，腔室、管）、与消化系统相关联的填充有空气的管腔（例如，肠道）、以及与泌尿系统相关联的填充有尿液的管腔（例如，输尿管）。

[0074] 可选地，荧光照明施用设备206将（一种或多种）荧光照明剂（例如，对比剂（contrast））注入到对象204的（一个或多个）区域202中。荧光照明施用设备206可以被实现为例如手动注射器、被编程为以限定的时间量注射限定量的荧光照明剂的自动注射器、静脉内（IV）滴注、口服药剂（即，喝下药剂）或其他实现方式。

[0075] 计算单元210可以被实现为例如客户终端、服务器、计算云、移动设备、台式计算机、瘦客户端、智能电话、平板计算机、膝上型计算机、可穿戴计算机、眼镜计算机和手表计算机。计算单元210可以包括：本地存储的软件，其实行参考图1描述的一个或多个动作，和/或可以充当一个或多个服务器（例如，网络服务器、网页服务器、计算云），其通过网络216向一个或多个客户终端214提供服务（例如，参考图1所描述的一个或多个动作），例如，向（一个或多个）客户终端214提供软件即服务（SaaS），向（一个或多个）客户终端214提供用于本地下载的应用程序，和/或向客户终端214诸如通过网页浏览器提供使用远程访问会话的功能。

[0076] 计算单元210使用一个或多个成像接口218来接收由成像传感器207A-C捕获的成像数据，该成像接口例如，有线连接、无线连接、其他物理接口实现方式和/或虚拟接口（例如，软件接口、应用程序编程接口（API）、软件开发工具包（SDK））。

[0077] 程序存储装置212存储可由处理单元204实现的代码指令，该处理单元例如，随机存取存储器（RAM）、只读存储器（ROM）和/或存储设备，例如，非易失性存储器、磁介质、半导体存储设备、硬盘驱动器、可移动存储装置和光学介质（例如，DVD、CD-ROM）。例如，程序存储装置212可以存储执行参考图1所描述的方法的一个或多个动作的代码指令212A。

[0078] 计算单元210可以包括用于存储数据的数据存储库220，例如，被用来生成3D图像的训练的时间相似性指数分类器（如本文中描述的），以及被用来稳定对象区域的图像和/或校正光散射的自适应滤波器（如本文中描述的）。数据存储库220可以被实现为例如存储器、本地硬盘驱动器、可移动存储单元、光盘、存储设备和/或作为远程服务器222和/或计算云（例如，使用数据接口224、通过网络216访问的）。注意的是，代码指令212A可以被存储在数据存储库220中，例如，具有被加载到程序存储装置212中以供处理单元208执行的执行部分。

[0079] 计算单元210可以包括：数据接口224（可选地网络接口），以用于连接到网络216，例如，下述各项中的一个或多个：网络接口卡、用以连接到无线网络的无线接口、用于连接到用于网络连接的线缆的物理接口、在软件中实现的虚拟接口、提供更高层网络连接的网络通信软件，和/或其他实现方式。例如，计算单元210可以使用网络216来访问一个或多个远程服务器222来下载代码指令212A的更新。

[0080] 计算单元210可以使用网络216（或另一个通信信道，诸如通过直接链路（例如，线缆、无线）和/或间接链路（例如，经由诸如服务器之类的中间计算单元，和/或经由存储设备））与下述各项中的一个或多个连接：*（一个或多个）客户终端214，例如，当计算单元210充当提供SaaS的服务器时。
*服务器222，例如，当服务器222是远程监控服务器的部分时，其可以呈现所生成的3D图像以供例如由在对患者进行手术期间提供医疗支持的专家进行远程查看。
*由服务器222托管的存储单元，其存储所生成的3D图像中的一个或多个和/或被用来构建3D图像的数据，例如，由成像传感器207A-C捕获的图像序列。由服务器222托管的存储单元可以被实现为例如存储服务器、计算云存储服务器或其他实现方式。

[0081] 计算单元210包括用户接口226或与用户接口226通信，从而允许用户来输入数据和/或查看所呈现的数据和/或查看所生成的3D图像。示例性用户接口226包括例如下述各项中的一个或多个：触摸屏、显示器、键盘、鼠标和使用扬声器和传声器的语音激活的软件。

[0082] 参考图1所描述的方法的一个或多个动作可以通过由计算单元210的（一个或多个）处理单元208执行的、存储在程序存储装置212中（和/或存储在数据存储库220中）的代码指令212A来实现。

[0083] 在102处，从每个成像传感器207A-B接收对象204的区域202的荧光照明的图像序列。每个序列包括多个图像，每个图像与该序列中的先前和下一个图像分开一定时间间隔。可以同时和/或并行捕获该序列。

[0084] 可选地，每个图像与获取的时间相关联，例如，指示绝对时间（即，相对于全局时钟）和/或相对时间（例如，距先前图像的经过时间）的标签。确定相对时间的示例性方法例如由G.Molodij，E.N. Ribak，M.Glanc和G.Chenegros的“Enhancing retinal images by extracting structural information”Opt.Comm.313,321-328（2014））来描述，该文献通过引用以其整体结合于本文中。

[0085] 例如，成像传感器207A-C被定位成对老鼠脑的血管成像、被定位成对肿瘤的血管成像、对正在进行神经外科手术的人的血管成像，或其他应用场景。

[0086] 3-Y设置基于多立体成像方法。生成三个独立的视差数据集，发明人发现这是针对计算有效失真矩阵（如本文中描述的）和针对计算3D成像空间中的区域（和/或其他结构）的位置的最小量。通过应用时间指数化（在本文中描述的，在本文中也被称为时间相似性指数），可以获得对象204的精确全局形状。确定区域202的精细详细信息（例如，脑的血管3D架构），例如，使用统计分类器和/或神经网络，其一起处理本文中描述的参数。

[0087] 在103处，从激光器和/传感器207D接收LSI数据。基于由传感器207D捕获的激光散斑投影的反射来创建接收的图像。LSI可以被用来使用LSI作为独立参考来实时地生成3D图像（在框108中）。例如，当通过完整的头骨成像时，可以使用LSI来校正由于散射所致的失真。

[0088] LSI数据可以包括：反射多视差图像数据，其可以作为独立于荧光照明的全局形状的替换参考而获得。

[0089] LSI可以被用来确定血管的3D流动图。流动图可以与血管位置的所创建的体积数据集相关。LSI可以被用来校正体积数据集的区域的3D坐标。例如，可以使用LSI数据来校正确定某些图像元素是血管（即，区域）的部分的分析（例如，参考框104描述的）。例如，被识别为血管并且LSI数据为其示出流动血液的图像元素可以被确认为血管。例如，可以校正最初被识别为血管然而基于LSI数据与流动的血液并不相关联的图像元素，以指示这样的图像元素不是血管。

[0090] 现在往回参照图1，在104处，分析（一个或多个）序列以创建指示对象的每个相应区域的深度的体积数据集，可选地通过对针对区域的图像元素（例如，像素、体素）的深度值进行设计。体积数据集可以被表示为深度图，或深度矩阵（相对于某个视点），或成像空间中的坐标，或其他实现方式。

[0091] 参照框106A-F来描述示例性分析方法。参照框106A-B所描述的方法可以并行地和/或顺序地和/或以组合方式实行，以生成指示每个图像元素的深度（即，位置）的体积数据集。可选地，参照框106C-F所描述的方法可以并行地和/或顺序地和/或与参照框106A-B所描述的方法组合地实行，以改进体积数据集，例如，改进体积数据集的准确度和/或分辨率。

[0092] 可以基于局部相关跟踪技术（LCT）来生成体积数据集，该LCT是两个感兴趣区之间的图像对准方法。

[0093] 可以使用训练的时间相似性指数分类器来实行图像序列的分析。如本文中使用的，术语时间相似性指数分类器意指机器学习方法，例如，神经网络、统计分类器、决策树、规则集、回归方法、支持向量机、k最近邻等等。训练的时间相似性指数分类器可以接收每个相应图像元素的所计算的初始位置（例如，基于参照框106A所描述的所计算的视差数据集）以及在每个相应的图像元素处的荧光成像中的变化的（一个或多个）图案（例如，基于参照框106B所描述的所计算的时间相似性指数）作为输入，并且基于每个相应区域的位置和/或每个区域的图像元素的所计算的最大相关性来输出体积数据集。可以使用最大概率估计来计算最大相关性，该最大概率估计可以被实现为取决于系统的定位、时间指数化和/或对称性的随机估计量。可以基于体积数据集来生成3D图像。

[0094] 可选地，计算时空失真补偿矩阵（STDCM）来校正每个区域（例如，血管）的每个图像元素（例如，点、像素、体素）的深度（即，Z坐标）。STDCM是垂直于相对于对象的特定观察方向的区域深度（例如，点、体素）的矩阵（或表示的其他实现方式）。STDCM包括可以被应用于深度坐标的初始体积数据集的加权系数，以校正深度坐标。STDCM可以被用来校正3D全局形状（例如，颅骨）的x-y-z坐标，从而允许渲染3D全局形状（例如，颅骨）内的每个区域（例如，血管）的3D（x-y-z）位置。基于参照框106A和/或106B所描述的方法来计算STDCM，并且可以基于参照框106C-E所描述的方法来计算STDCM。如本文中描述的，STDCM考虑多个空间和/或时间参数。

[0095] 可选地，在105处，将自适应滤波器应用于每个序列。自适应滤波器可以作为序列分析的部分而应用，在参照框104和/或106A-F所描述的分析之前和/或期间来应用。

[0096] 自适应滤波器被设计成稳定对象的成像区域，和/或校正光散射。自适应滤波器被设计成改进每个图像元素的位置的空间分辨率。自适应滤波器被设计成减少在荧光照明的强度变化期间的噪声。

[0097] 当实行经皮肤成像时（即，对象是活的哺乳动物，并且荧光照明区域是血管和/或体内其他填充有流体的管腔），自适应滤波器被设计成去除和/或减少来自包括皮肤的漫射层的光的散射。

[0098] 自适应滤波器被设计成在图像序列的荧光强度变化期间改进空间分辨率和/或减少噪声。尽管可见成像区域随时间快速变化，但仍应用自适应滤波器。自适应滤波器可以基于被称为基于3D傅立叶变换的Kappa-Omega自适应滤波器的天文计算技术来实现。自适应滤波器显著改进了在脑血管系统的动态光学成像期间获取的运动退化图像的无监督图像配准的质量。

[0099] 可以应用深场散射去除（在超高斯假设中）。可以将图像模糊中的多次散射结果建模为与未知内核进行卷积的结果。例如，可以使用根据生物组织的光学模型实行的蒙特卡罗模拟来获得散射介质的点扩散函数。

[0100] 可以假设荧光发射在光度重建中充当朗伯表面。可以应用超高斯背景减法来改进图像质量。看起来在某个方向上传播的波的衰减可归因于在其他方向上的散射（通过能量守恒），例如，如参照Tatarskii，V.I.的“The effects of the turbulent atmosphere on wave propagation”（耶路撒冷：以色列科学翻译计划，1971年）所描述的。用以描述光子传播的散射的随机方法（诸如，通过大气湍流传播的激光束或通过星际介质传播的光）基于概率密度函数来定义能够符合散射效应的屏蔽模型，例如，如参照Hill，R.J.，Frehlich，R.G.的“Probability distribution of irradiance for the onset of strong scintillation”，JOSAA，14，I7,1530-1540（1997）、Andrews，L.C.，Phillips，R.，L.，Sasiela，R. J.，Parenti，R.的“PDF Models for Uplink to Space in the Presence of Beam Wander”，Proc. of SPIE,卷6551,655109，2007）和Johnson，M.D.；Gwinn，C.R.的“Ultra-high-resolution Intensity Statistics of a Scintillating Source”Ap. J.，
755,2，（2012）描述的。然而，相反，在活的哺乳动物的经皮肤成像中，荧光发射在空气中产生优于反射图像的光度增强。由于其各向同性发射，荧光发射可以表现为朗伯表面。散射介质的点扩散函数可以在根据生物组织的光学模型实行的蒙特卡罗模拟中获得。荧光反射在光度重建中充当朗伯表面，例如，如参照下述各项描述的：A.M. Bronstein，M.M. Bronstein，M.Zibulevsky，Y.Y. Zeevi“Quasi-maximum likelihood blind
deconvolution of images acquired through scattering media”，Biomedical Imaging: Nano to Macro，IEEE 10.1109/ISBI.2004.1398547（2004）、I.Sato，T.Okabe和Y.Sato的“Bispectral photometric stereo based on fluorescence”（在Proc.IEEE CVPR，3,6（2012）中）、T.Treibitz，Z.Murez，B.G. Mitchell和D.Kriegman的“Shape from fluorescence”（在Proc.ECCV，3,6（2012）中）以及Z. Murez，T.Treibitz，R.Ramamoorthi，D.Kriegman的“Photometric Stereo in a Scattering Medium”（IEEE International Conference on Computer Vision，10.1109/ICCV.2015.390.（28）、D.Nandy，J.Ben-Arie的“Shape from recognition: a novel approach for 3-D face shape recovery”，IEEE Trans. Image Process.，10,206-217（2001）。对于发射，超高斯稀疏函数为通过散射介质的图像恢复提供了良好的近似。例如，如参照Bronstein等人所描述的。

[0101] 可选地，自适应滤波器被实现为超高斯背景减法以去除介质（例如，皮肤）的散射效应。超高斯背景减法可以提供适当的随机方法。在数学表示方面：其中：
表示自适应滤波器（即，空间滤波器函数），
表示具有表示为i乘以j的像素尺寸的接收的图像序列的某个当前原始图像，
并且
σ表示高斯参数。

[0102] 发明人发现，当图像信息熵最小时，获得图像的最佳校正，例如，如参照G.Molodij，E.N. Ribak，M.Glanc，G.Chenegros的“Enhancing retinal images by nonlinear registration”,Opt.Comm.342,157-166,2015 所描述的。在数学表示方面，最佳校正被表示为： = 。

[0103] 与在没有自适应滤波器的情况下所产生的图像相比，在下面参照图17-18来描述利用自适应滤波器产生的图像的示例。

[0104] 现在参照图3，其描绘了根据本发明的一些实施例的在八百（800）个堆叠图像序列上应用自适应滤波器（Kappa-Omega自适应滤波器）之前402和之后404的相同序列的比较。与原始图像序列402相比，序列404显然更锐利（即，更少噪声）和/或具有更高的分辨率。时间颜色编码（颜色条406）被应用于序列402和404以估计图像质量。

[0105] 现在往回参照图1，在106A处，处理（一个或多个）序列来计算每对成像传感器的相应视差数据集。例如，在具有三个成像传感器的示例性3-Y设置中，基于相机1-2、2-3和1-3来计算相应视差数据集。每个视差数据集表示指示区域的每个图像元素的3D位置的体积数据。可以独立地计算每个视差数据集。

[0106] 可选地，处理视差数据集来创建指示图像空间内的每个区域的位置的体积数据集。例如，可以使用机器学习方法（可选地神经网络、可选地卷积神经网络）来实行该处理。卷积神经网络利用局部相关性来确定已从至少三个不同方向获取的图像中的深度，可选地使用光流技术。注意的是，所描述的基于三个视差数据集的卷积神经网络相比使用两个相机来生成两个图像的方法在改进的结果（例如，分辨率、准确度）方面提供了经改进的计算效率，例如，如参照J.Zbontar，Y.LeCun的“Computing the stereo matching cost with a convolutional7 neural network”（Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015）描述的，该文献通过引用以其整体结合于本文中。附加的示例性方法可以在例如G.Molodij，E.N. Ribak，M. Glanc，G. Chenegros的“Enhancing retinal images by nonlinear registration”（Opt. Comm. 342, 157-166,
2015）中找到，该文献通过引用以其整体结合于本文中。

[0107] 在106B处，该分析基于计算（一个或多个）时间形状指数参数（在本文中也被称为时间相似性指数，在本文中也被称为（一个或多个）图案），其可以包括指示在图像元素处的荧光照明强度随时间的变化的一个或多个参数和/或图案。时间形状指数是与荧光照明强度随时间变化（例如，函数）的行为（例如，图案）有关的时间参数。可以基于捕获的图像序列来计算图案，该捕获的图像序列可以包括没有任何施用的荧光照明剂的至少一个图像，以及描绘了施用的荧光照明剂的流动图案的多个图像。该序列可包括终止图像，其中荧光照明剂已从对象的区域去除（例如，从血液循环中去除，和/或充分扩散成可忽略的浓度）。

[0108] 术语时间形状指数有时指代对两个图像元素（例如，像素、体素）之间（或图像元素的组之间）的相似性的估计。术语时间形状指数参数有时表示图像元素的时间演化行为。术语图案有时表示具有相似的（根据要求）估计的时间行为的空间结构的结果，即，基于时间相似性指数而估计的（一个或多个）相似的形状指数参数。

[0109] 时间相似性指数可以被用来根据与施用的荧光剂的时间-动态相互作用将区域（例如，内部微结构）分类（例如，索引）成一个或多个类型。

[0110] 可选地，基于所计算的时间形状指数参数来计算STDCM，该所计算的时间形状指数参数与每个相应区域处的荧光强度随时间的（一个或多个）图案相关联。

[0111] 可以分析荧光照明的序列（可选地在局部的基础上，例如，每图像元素，和/或每组相邻的图像元素））以确定到荧光照明的最大强度的时间的图案，和/或近似稳定的荧光照明强度的时间的图案。

[0112] 可以分析荧光照明的序列（可选地在全局的基础上），以确定相对于图像元素和/或相邻图像元素的组的图案，例如，哪组图像元素首先经历上升到最大荧光照明、哪些组最后经历上升到最大荧光照明、哪些组经历最长的稳定荧光照明强度、哪些组经历最短的荧光照明强度。

[0113] 可选地，基于链接具有指示荧光照明强度变化的相似图案的图像元素来每区域和/或每组地实行分析。

[0114] 实行基于图案的分析来确定区域的类型。示例性类型包括：血管的分叉、处于较高组织水平处的第一血管交叉处于较低组织水平处的第二血管、动脉、静脉、淋巴管、含有脑脊液（CSF）的管腔、与消化系统相关联的填充有空气的管腔、以及与泌尿系统相关联的填充有尿液的管腔。

[0115] 基于成像元件的图案和/或组来确定类型的示例性分析方法包括：*通过分叉或交叉图像元素处的荧光照明的图案来区分血管分叉与血管交叉。假设分叉近似同时发生（即，血管中的血液同时在分叉处分开），而假设不同血管的交叉在不同的时间发生（即，如每个血管取决于血管的位置而填充有荧光剂）。
*根据最大荧光照明的时间来区分静脉和动脉，例如，假设动脉首先填充有荧光剂，然后是静脉。
*使用结构指数相似性分类器来识别类型，该结构指数相似性分类器使用与定义的类型相关联（例如，利用定义的类型标记的）的3D成像数据来训练。结构指数相似性分类器可以基于在训练成像数据时位于相同3D位置（和/或相对于彼此）的结构、根据在该3D位置处预期的结构对图像元素和/或区域进行分类。例如，当某个血管在特定位置处出现在70％的训练图像中，和/或某个血管具有出现在70％的训练图像中的解剖构型时，该图像元素可以被分类为特定血管。

[0116] 所计算的时间形状指数参数可以被用来根据空间位置来分辨结构和/或功能（即，现象）。可选地，所识别的（一个或多个）结构和/或（一个或多个）功能与体积数据相关，例如，根据在某个位置处的结构和/或功能，通过对在某些位置处的区域进行颜色编码（或其他标记方法）。替换地或附加地，鉴于特定位置处的预期结构和/或功能来识别（一个或多个）结构和/或（一个或多个）功能，例如，当预期血管在另一个识别的血管旁边时，可以通过时间形状指数来验证血管的存在。（一个或多个）示例性结构和/或（一个或多个）功能包括下述各项中的一个或多个：精细结构细节、血管类型（即，动脉或静脉）、指示血管分叉或血管交叉的拓扑结构、血管分类问题、荧光对比度外渗、以及正常功能状态或异常行为识别。

[0117] 可选地，所计算的时间相似性指数被用来在荧光通过组织传播之前定位散射前体。

[0118] 发明人发现，可以使用在相应图像元素处计算的至少两个参数来实行将图像元素（和/或区域和/或组）分类成各类型，该参数包括到最大荧光强度的时间和荧光强度随时间的相似性（即，对多个图像的维护）和/或附近图像元素的荧光强度图案的相似性（根据相似性要求）。对到最大荧光强度的相对缓慢上升时间的识别对于类型的分类是敏感的。由于不同荧光照明图案在不同图像元素处的叠加，当血液流过血管时，可以将缓慢上升时间分析为对应于通过血管的血流（即，血液内的荧光剂）。荧光强度图案相对于彼此连续的附近图像元素的相似性可以指示存在连续的血管。荧光强度图案随时间的相似性可以指示血液停滞，例如，动脉瘤或凝块阻塞血管中的血流。

[0119] 被识别为具有相似（或相同）类型和/或具有相似图案的图像元素和/或组（根据相似性要求，例如，指示图案之间的相关相似性的相关值阈值或范围，和/或图案之间的时间相似性指数）可以被分配相似的颜色。例如，可以选择相似性要求来考虑信号获取中的误差裕度（a margin of error），和/或将临床上显著的图案分组在一起。

[0120] 可选地，荧光照明的图案（可选地每图像元素和/或每组）被表示为时间函数。可选地，基于时间函数之间的相似性来计算图案之间的相似性。可选地，计算指示时间函数之间的相似性的时间相似性指数。时间相似性指数考虑了人类可感知的对数敏感性（例如，Weber-Fechner对数定律）和/或由两个函数之间的统计距离（例如，曼哈顿距离）提供的结构信息。

[0121] 在数学表示方面：Ic（t）表示当前时间函数；
Ir（t）表示参考时间函数；
替换地或附加地，所描述的时间相似性指数（在本文中也被称为结构相似性指数）考虑了通过幂律来描述的常识的敏感性（例如，如参照K.Brecher的“Should Astronomy Abolish Magnitudes ”（美国天文学会，第199届AAS会议，id.40.02；美国天文学公报，33,
1363,2001）所描述的）和根据这两个函数获得的结构信息（例如，通过源于这两个函数的曼哈顿距离而获得）。在数学表示方面，以下关系可以表示所计算的时间相似性的改进效率：
Si表示通过与被表示为Ir（t）的参考时间函数进行比较来定义Ic（t）（即，当前时间函数）之间的相对距离的时间评估。当计算Si时，可以根据以下关系来替换地计算值：
Si与参考函数Ir的最大值有关。在方面，测量与对比度有关。两个函数之间的结构关系来自参考图像与当前图像之间的比较，例如，由曼哈顿距离表示为|Ic（t）- Ir（t）|。

[0122] 如本文中讨论的，时间相似性指数被用来根据与施用的荧光剂的时间-动态相互作用将内部结构分类（例如，索引）成一种或多种类型。可以检测到更频繁和/或通常的图案（例如，诸如在脑中的主动脉），和/或可以检测到原本隐藏的异常（例如，由于出血性中风所致的血液缓慢渗出脑血管，和/或肿瘤中的异常血管血管生成）。该图案指示例如达到荧光照明的最大强度的时间和/或荧光照明的强度的稳定性。具有相似图案的图像元素（例如，根据相似性要求，例如，结构距离）例如通过表示每个组的元数据标签和/或颜色被分组在一起。被分组的图像元素可以被识别为指示结构或功能的一个或多个预定义类型，并且被用来分辨结构细节，例如，用以区分动脉和静脉。

[0123] 例如，用于计算时间函数之间的相似性的附加示例性方法可以在G.Molodij，E.N.Ribak，M.Glanc，G.Chenegros的“Enhancing retinal images by nonlinear registration”（Opt. Comm. 342, 157-166, 2015）中找到，该文献通过引用以其整体结合于本文中。

[0124] 现在参照图4，其包括根据本发明的一些实施例的根据具有相似图案的图像元素（根据相似性要求）进行颜色编码的第一图像502和第二图像504。基于图像序列上的每个图像元素处的照明图案来计算图案的相似性。可选地，根据血管类型对相似的图案进行分类。图像502描绘了动脉（用红色），并且图像504描绘了静脉（用蓝色）。

[0125] 现在参照图5，其是根据本发明的一些实施例的通过叠加图4的图像502和504而创建的图像。

[0126] 现在往回参照图1，可选地，在106C处，计算各向同性参考。当根据各向同性参考生成3D图像时，各向同性参考改进了所生成的3D图像的空间分辨率。

[0127] 各向同性参考可以被用来计算（一个或多个）点扩散函数（PSF），可选地通过实行自适应无监督技术来进行。最佳点扩散函数可以被用于空间分辨率改进和/或图像体积校正。

[0128] 各向同性参考可以被用来使用统计方法而自动量化3D图像的分辨率，可选地基于遍历原理假设来进行。如此处使用的，遍历原理是随机原理，其表示随时间的平均估计等于空间上的平均估计。

[0129] 可以基于遍历原理假设从单个原始图像上的精确拉普拉斯算子和互相关的叠加中提取PSF，例如，如参考G.Molodij，S.Keil，T.Roudier，N.Meunier，S.Rondi的“Method for single image restoration based on the ergodic principle”（J.Opt.SOC.Am.A.27（11），2459-2467,2010）描述的，该文献通过引用以其整体结合于本文中。PSF可以被确定和实现为对现有方法的输入，该现有算法例如，盲算法或Lucy-Richardson算法。

[0130] 注意的是，可以使用基于稳定性估计量的图像质量评估来评估最佳内核。可以基于根据遍历原理在单个图像上适配Lyapunov指数来实行这样的稳定性评估。可以根据原始图像与所生成的图像之间的空间平均梯度值来估计稳定性估计量的确定。复系数Sc的虚部值表示被赋予尽可能大的二阶多项式拟合的稳定性的估计。当存在参考图像时，Sc处于最小值。Sc被表示为：替换地或附加地，在106D处，基于对区域的荧光照明强度的变化的分析来计算运动估计量。可以将运动估计量应用于深度位置的体积数据集以校正运动伪影。注意的是，即使是小的运动伪影也可能破坏有价值的信息。

[0131] 可选地，运动估计量基于K-Omega自适应运动估计方法，其验证每个图像元素（例如，点、像素、体素）随时间的位置（即，在序列中的多个图像上）。

[0132] 可选地，在没有任何参考的情况下基于使用原始图像来估计恢复稳定性，运动估计量被用于图像质量评估。

[0133] 替换地或附加地，在106E处，计算（一个或多个）去卷积参数，其补偿荧光照明的散射，和/或估计荧光照明剂从血管中渗漏的扩散。可以将（一个或多个）去卷积参数应用于深度数据的体积数据集，以校正体积数据集。经校正的体积数据集可以包括区域的经改进的空间分辨率。

[0134] 去卷积是一种图像恢复方法，其基于图像模糊可以在数学上由卷积关系（例如，函数）表示的假设来改进图像的质量（例如，空间分辨率）。

[0135] 可以基于参照框106B所描述的确定的荧光强度图案来计算去卷积参数。

[0136] 注意的是，当通过完整的头骨和通过完整的皮肤进行成像时，散射可能尤其成问题。

[0137] 可以基于无监督的图像恢复方法来计算去卷积。

[0138] 可以根据所计算的PSF来计算去卷积。

[0139] 替换地或附加地，在106F处，基于成像传感器的相应视差移位来计算结构张量。根据所计算的结构张量来计算（和/或校正）体积数据集，以用于改进3D图像内的区域的深度和/或视差敏感性。

[0140] 计算结构张量来改进深度数据的体积数据集的深度和/或视差敏感性，例如，以改进荧光照明的血管的深度和/或视差的计算。可以为成像元素（例如，像素、体素、其他成像元素）或它们的组来计算结构张量。

[0141] 可以为基于经皮肤成像所捕获的图像序列来计算结构张量，其中成像传感器位于被成像的目标哺乳动物的皮肤外部，以用于捕获从皮肤表面下方的组织（例如，血管）发射的荧光的图像。

[0142] 例如，与通过其他方法获得的分辨率相比（该其他方法诸如基于相关的技术，其受限于相关窗口的大小和/或被应用于噪声数据），用于改进体积数据集的深度和/或视差的结构张量的计算通过改进位于漫射介质（例如，皮肤、组织）下方的成像结构（例如，包括荧光的血管）的清晰度和/或准确度来改进计算单元210的计算效率。

[0143] 根据成像传感器（例如，207A-C）相对于对象204的相对取向来推断局部深度，可选地与时间分析（例如，如参照动作106所描述的，也被称为基于时间相似性指数的分析）进行组合和/或与自适应滤波（例如，如参照动作105所描述的）进行组合。

[0144] 在108处，根据存储每个区域的位置的体积数据集来生成3D图像（例如，通过存储表示相应区域的每个图像元素的位置）。可选地，根据多视差数据集来生成3D图像，其中具有如本文中描述的那样而实行的对区域的位置的校正。

[0145] 可选地，使用基于光流的重建过程来生成3D图像，可选地使用机器学习方法，可选地，卷积神经网络（CNN）。CNN可以被设计成使用最少量的预处理来实行计算，这改进了计算单元的计算效率。

[0146] 被识别为具有相似（或相同）类型和/或具有相似图案的图像元素（根据相似性要求，例如，指示图案之间的相关相似性的相关值阈值或范围）可以被分配相似的颜色。

[0147] 可选地，体积数据集的识别区域（例如，区域类型）与指示计算类型的（一个或多个）视觉标记相关联，例如，颜色图像元素是根据类型来颜色编码的，和/或图像元素的强度是根据类型来指定的。基于所分配的（一个或多个）视觉标记来生成3D图像。替换地或附加地，具有相似图案（根据相似性要求）的图像元素被分配相似的颜色。

[0148] 在110处，所生成的3D图像在本地（例如，在显示器226上）呈现、本地存储（例如，在数据存储库220中），和/或被发送到远程位置（例如，（一个或多个）客户端终端214、（一个或多个）服务器222）以用于远程呈现和/或远程存储。

[0149] 在112处，例如，可选地实时地在诸如神经外科之类的医疗过程期间迭代框102-110，和/或例如，作为监测过程的部分来监测患者体内的中风的进展。所生成的3D图像可以被动态地更新为图像序列和/或电影。

[0150] 现在参照图6，其是描绘了根据本发明的一些实施例的用于基于被应用于对象的荧光照明的时间间隔图像的序列来生成对象的3D图像的过程的示例性数据流的框图。参照图6所描述的数据流可以基于根据参照图1所描述的方法和/或参照图2所描述的系统200进行和/或植入。

[0151] 数据流302描绘了生成原始图像序列的过程。相机304获取多个帧306。帧以时间间隔彼此分开。帧与时间308相关联，可选地根据时钟被标记有当前时间。帧被存储为原始图像序列（RIS）310。

[0152] 数据流312描绘了三个视差数据集的计算。每个相机（即，图像传感器）314A-B捕获对象316的RIS，其包括具有施用的（一种或多种）荧光照明剂的一个或多个区域318。RIS由（例如，由计算单元的（一个或多个）处理器实现的）视差计算代码指令320处理，以计算包括区域318的位置的深度数据的视差数据集322A-C。视差数据集322A基于相机314A和314B。视差数据集322B基于相机314A和314C。视差数据集322C基于相机314B和314C。视差数据集322A-C可以被实现为STDCM。

[0153] 数据流324描绘了基于所获取的RIS的3D图像（即，3D模型）的计算。如由数据流302描述的，RIS 326A-C由相机获取。RIS 326A-C被用于（并行和/或顺序和/或独立地）：*计算深度矩阵328，其被用来提供对象的区域的位置的体积数据集330，如参照数据流
312所描述的。可以基于STDCM的计算来重建体积数据330。
*计算时间敏感性指数332，其被用来识别结构并且恢复隐藏细节334，如本文中描述的。
*计算各向同性参考336，其被用来改进所生成的3D图像的空间分辨率338。

[0154] 处理体积数据330、结构识别和隐藏细节334以及经改进的空间分辨率338数据以实行在对象之内的区域的图像重建340。生成3D模型342，其可以与指示结构类型的颜色渲染344相关联，如本文中描述的。

[0155] 现在参照图7，其包括根据本发明的一些实施例的由发明人实行的成像实验的示例性3-Y设置的照片602 604。体模形状被用来模拟脑。管被用来模拟血管。将荧光照明剂注入到管中以模拟血管内的血液循环。图像606A-C表示填充有施用的荧光剂的体模和管的原始图像，其由3-Y设置的不同成像传感器捕获。

[0156] 现在参照图8，其描绘了根据本发明的一些实施例的使用图7的3-Y设置所生成的并且使用本文中描述的系统和/或方法来计算的3D图像。在三个不同的有利点处示出旋转3D图像。为了知道管之间的相对位置（管交叉的上方或下方），人工增强了深度重建的敏感性（使用在交叉区域处的管的凸起）。管本身的精确形状可以如本文中所描述的那样得到，例如，根据使用本文中所描述的神经网络过程的二阶处理。

[0157] 现在参照图9，其是根据本发明的一些实施例的使用3-Y设置所捕获的3D全局形状的图像（即，深度图，也被称为被用来生成3D图像的体积数据集）。深度图被表示为灰度图像或矩阵，其包括与垂直于某个视点的（图7中所示的设置的）管的表面的距离有关的数据。在不使用本文中描述的时间指数化的情况下来计算图9中示出的图像，突出显示时间指数化在生成高分辨率和高质量3D图像中的贡献。来自3-Y设置的局部相关跟踪技术被用来确定视差。灰度等级是深度的指示。注意的是，荧光照明的结构和散射被混合，从而渲染粗糙形状，这进一步突出了本文中所描述的方法校正在生成高质量3D图像中的散射。

[0158] 现在参照图10，其是根据本发明的一些实施例的基于所计算的STDCM而生成的图像，其描绘了与图7中所示的设置的管的位置的精细结构细节位置有关的结构化形状。注意图10的改进与图9相关。图10的图像包括使用本文中描述的时间指数化的深度重建。灰度等级是深度的指示。在3D形状重建中考虑精细结构（管）。

[0159] 现在参照图11，其是根据本发明的一些实施例的描绘了用于计算本文中所描述的3-Y设置的三个相机中的两个之间的视差数据集的设置的示意图。

[0160] 现在参照图12，其包括根据本发明的一些实施例的使用图11中所示的设置来生成的3D图像。基于本文中描述的时间指数化方法来计算STDCM，并且将STDCM用来生成3D图像。

[0161] 现在参照图13，其是根据本发明的一些实施例的基于图11中所示的设置而生成的两个嵌入式血管网络的3D拓扑结构上的指示的图像。图13的图像示出了所生成的3D图像中的精细细节。动脉802以红色示出。静脉804以蓝色示出。本文中描述的时间指数化（例如，参照框106B）被用来根据局部相关来确定两个失真矩阵，以便提取两个嵌入式网络（即，动脉和静脉）的3D拓扑结构。注意的是，重建的精度受图11的2个设置相机（一个视差测量）的限制。

[0162] 现在参照图14，其包括根据本发明的一些实施例的描绘了自动化图像恢复方法的示例的图像。如本文中描述的，例如，参照框106C，在没有参考的情况下，使用各向同性参考自动化方法和稳定性估计将模糊图像902恢复成图像904。

[0163] 现在参照图15，其包括根据本发明的一些实施例的描绘了关于真实的经皮肤成像的自动化图像恢复方法的示例的图像。如本文中描述的，例如，参照框106C，使用利用各向同性参考方法的图像恢复方法将模糊图像1002恢复成图像1004。

[0164] 现在参照图16，其是根据本发明的一些实施例的，在使用各向同性参考方法（例如，如参考框106C所描述的）和K-omega配准方法的图像恢复方法已经被应用于序列之后，使用被应用于图15的成像数据的时间相似性指数化方法（例如，如参照框106B所描述的）生成的图像的示例。

[0165] 现在参照图17，其包括根据本发明的一些实施例的作为使用体模的实验室实验的部分而计算的示例3D图像1702-1706，以评估自适应滤波器对3D图像的质量的影响。所评估的自适应滤波器被实现为被表示为Ifilt（i，j）的超高斯背景减法，如本文中描述的。通过使用如本文中描述的系统设置（例如，参照图2的系统200和/或图5）当荧光进入体模内的管时捕获体模的图像序列并且如本文中所描述的那样（例如，图1和/或图6）处理该图像序列来创建图像1702-1706。

[0166] 根据由成像传感器捕获的图像序列来创建图像1702，该成像传感器通过漫射层（例如，模拟皮肤）来观察体模。注意的是，与图像1704和图像1706相比，图像1702处于相对较低的分辨率。此外，对于图像1702，与图像1704和1706相比，确定来自图像序列的体模的荧光填充的管的启发（enlightenment）次序更加困难。

[0167] 通过将自适应高斯滤波器应用于被用来创建图像1702的原始图像序列来创建图像1704。注意的是，从图像1704去除散射效应（与图像1702相比），并且清楚地识别了图像1704中的管的启发次序（与图像1702相比）。

[0168] 为了与图像1702和1074进行相对比较，在没有漫射层的情况下，通过在荧光进入体模内的管时捕获体模的图像序列来创建图像1706。

[0169] 现在参照图18，其包括根据本发明的一些实施例的根据作为实验的部分所捕获的图像序列而计算的示例3D图像1802-4，以评估自适应滤波器对3D图像的质量的影响。根据对通过皮肤的脑血管形成进行真实观察而捕获的图像序列来计算图像1802-4。通过使用如本文中所描述的系统设置（例如，参照图2的系统200和/或图5）在荧光进入脑内的血管时捕获颅骨的图像序列并且如本文中所描述的那样（例如，图1和/或图6）处理该图像序列来创建图像1802-4。

[0170] 在不应用自适应滤波器的情况下，并且通过对包括散射光（其未被自适应滤波器校正）的图像序列实现时间指数化方法来创建图像1802。通过应用自适应滤波器以及对图像序列实现时间指数化方法来创建图像1804，该图像序列被校正以去除散射光。所评估的自适应滤波器被实现为被表示为Ifilt（i，j）的超高斯背景减法，如本文中描述的。使用颜色编码在图像序列上实现本文中所描述的结构指数化方法，以区分血管的性质。动脉1810由红色表示。静脉1812由蓝色表示。皮肤血管1814由绿色表示。

[0171] 现在参照图19，其是根据本发明的一些实施例的描绘了基于神经网络的架构1900的示例性实现方式的示意图，该架构用于根据所捕获的图像序列来计算指示了对象的每个相应荧光增强区域的深度的3D图像。神经网络1902实行时间指数化和/或计算局部深度，和/或减少散射，以根据所捕获的对象的图像序列1906来计算3D图像1904（其根据结构的类型被可选地颜色编码，例如被颜色编码以区分动脉、静脉和皮肤血管），如本文中所描述的。通过应用自适应滤波器1908（例如，本文中参照图1的动作105所描述的高斯滤波器）来处理捕获图像1906以去除散射光，以及消除和/或减少运动伪影1910（例如，如参照图1的动作
106D描述的）。

[0172] 神经网络1902可以实行关于参照图1所描述的动作106A-F中的一个或多个所描述的计算，并且可选地生成参照图1的动作108所描述的（一个或多个）3D图像。

[0173] 例如，神经网络1902可以存储在计算单元210的数据存储库220和/或程序存储装置212中，和/或作为代码212A的部分，以用于由计算单元210的（一个或多个）处理单元208执行。

[0174] 神经网络1902可以分析每组神经模式图像的荧光照明图像序列以确定时间图案，而不是例如使用由于荧光强度的快速动态性质而难以实现的标准分割方法。可选地，神经网络基于链接具有指示了荧光照明的强度变化的相似图案的图像元素来计算基于时间指数化的分析（例如，如参照图1的动作106B描述的）。

[0175] 注意的是，神经网络1902的实现方式改进了计算单元210的计算效率，例如，在改进所生成的3D图像的质量方面。神经网络1902似乎对对象的荧光照明结构的局部组织敏感，这改进了用于检测本文中所描述的分叉和/或交叉歧义的分析。

[0176] 现在参照图20，其包括根据本发明的一些实施例的基于神经网络的输出（例如，如本文中描述的和/或图19的神经网络1902）来计算的3D图像2002，其描绘了对本文中所描述的分叉和/或交叉歧义的分辨率。图像2002描绘了结构（例如，血管）的分叉和/或交叉的清晰度。将图像2002与在没有神经网络的情况下使用其他方法来计算的图像2004进行比较。图像2002-4基于在荧光进入体模内的管时，使用如本文中所描述的系统设置（例如，参照图
2的系统200和/或图5）捕获的，并且如本文中所描述的那样（例如，图1和/或图6和/或图19）处理该图像序列的体模实验的图像序列（参照图17描述的）。与图像2004（其不是由神经网络计算的）相比，更准确地确定了如在图像2002中所示的3D局部空间中的管的局部组织（其由神经网络计算）。

[0177] 与图像2004中明显的歧义相比，在图像2002中分辨了管的分叉和/或交叉方面的歧义。例如，参照图像2004，在结点2010A处，不清楚管2012A和管2014A是分叉，还是哪个管更高以及哪个管更低。在图像2002中分辨了该歧义，其中显然在对应的结点2010B处，对应的管2012B交叉了管2014B（即，管2012B位于管2014B的上方）。

[0178] 现在参照图21，其包括根据本发明的一些实施例的基于神经网络的输出（例如，如本文中所描述的和/或图19的神经网络1902）来计算的3D图像，其描绘了本文中所描述的图像分辨率方面的改进和/或分叉和/或交叉歧义的区分方面的改进。

[0179] 将图21的图像与图12中所示的图像进行比较，图12是在没有神经网络的情况下使用其他方法来计算的。如参照图12所描述的，图21的图像是根据活的哺乳动物所捕获的图像来处理的。图21的图像是使用如本文中所描述的系统设置（例如，参照图2的系统200和/或图5）并且如本文中所描述的那样（例如，图1和/或图6和/或图19）处理图像序列来计算的。与图12的图像（其不是由神经网络计算的）相比，更准确地确定了图21的图像（其由神经网络计算）中示出的脑血管系统的局部组织。

[0180] 现在参照图22，其是根据本发明的一些实施例的根据本文中所描述的时间指数化（在本文中也被称为时间相似性指数）来计算的脑的血管网络的3D图像（例如，如参照图1的动作106B描述的）。如图22的图像中描绘的，时间指数化改进了用于区分脑的静脉网络的子结构的分辨率。针对图22的图像获得的分辨率比使用其他已知方法可获得的分辨率更好。如本文中描述的，例如通过考虑荧光循环的流动时间延迟（例如，检测更频繁的常规图案、隐藏的异常结构和/或正常隐藏的子结构），时间指数化基于将与共同时间行为相关联的像素链接在一起来增强图像分辨率。子结构可以根据结构类型而被颜色编码。颜色编码改进了对静脉网络内的子结构的区分，并且链接对应的结构来实现比使用现有方法更好的空间分辨率。

[0181] 注意的是，基于根据本文中所描述的系统、方法和/或代码指令来计算的图像的增加的分辨率，改进了计算图像的计算单元的性能。

[0182] 现在参照图23，其是根据本发明的一些实施例的描绘了取向结构张量的脑的血管网络的示例性3D图像2302（例如，如参考图1的动作106F描述的）。使用如本文中所描述的系统设置（例如，参照图2的系统200，和/或图5）和如本文中所描述的那样（例如，图1和/或图6和/或图19）处理图像序列来计算图像2302。图像2304是轮取向（wheel orientation），其定义了图像2302的颜色与所计算的结构张量的取向之间的映射。

[0183] 已经出于说明的目的呈现了对本发明的各种实施例的描述，但是它们并非意图是穷举的或限于所公开的实施例。在不偏离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员来说将是显而易见的。挑选本文中使用的术语以最好地解释实施例的原理、实际应用或相比市场上发现的技术的技术改进，或者以使得本领域的其它普通技术人员能够理解本文中公开的实施例。

[0184] 预期的是，在从本申请成熟的专利的寿命期间，将开发许多相关的荧光照明剂和成像传感器，并且术语荧光照明剂和成像传感器的范围意图先天地包括全部这样的新技术。

[0185] 如本文中使用的，术语“大约”指代±10％。

[0186] 术语“包括”、“包括有”、“包含”、“包含有”、“具有”以及它们的同源词意指“包括但不限于”。该术语涵盖术语“由......组成”和“基本上由......组成”。

[0187] 短语“本质上由......组成”意指该组合物或方法可以包括附加的成分和/或步骤，但是仅在该附加的成分和/或步骤并不实质上更改所要求保护的组合物或方法的基本特性和新颖特性的情况下才是这样。

[0188] 如本文中使用的，单数形式“一”、“一个”和“该”包括复数引用，除非上下文另行明确指示的。例如，术语“化合物”或“至少一种化合物”可以包括多种化合物，该多种化合物包括其组合。

[0189] 词语“示例性的”在本文中被用来意指“用作示例、实例或说明”。被描述为“示例性”的任何实施例不一定被解释为比其他实施例是更优选或更有利的，和/或排除来自其他实施例的特征的结合。

[0190] 本文中使用的词语“可选地”要意指“在一些实施中提供并且在其他实施例中不提供”。本发明的任何特定实施例可以包括多个“可选的”特征，除非这样的特征有冲突。

[0191] 遍及本申请，可以以范围格式来呈现本发明的各种实施例。应当理解的是，以范围格式所进行的描述仅是为了方便和简洁，并且不应当被解释为对本发明的范围的非灵活的限制。因此，对范围的描述应当被视为具有具体公开的全部可能的子范围以及该范围内的各个数值。例如，诸如从1到6之类的范围的描述应当被视为具有具体公开的子范围，诸如从1到3、从1到4、从1到5、从2到4、从2到6、从3到6等，以及该范围内的各个数字，例如1、2、3、4、
5和6。不管范围的宽度如何，这一点都适用。

[0192] 无论何时在本文中指示数值范围，其意指包括在所指示的范围内的任何所引用的数字（分数或整数）。短语“范围在”第一指示数字“与”第二指示数字“之间”和“范围从”第一指示数字“到”第二指示数字在本文中可互换地使用，并且意指包括该第一指示数字和第二指示数字并且包括其之间的全部分数和整数数字。

[0193] 要领会的是，也可以在单个实施例中以组合方式提供出于简洁而在单独的实施例的情境中描述的本发明的某些特征。相反地，还可以单独地或者以任何适合的子组合方式，或者如在本发明的任何其他所描述的实施例中适合的那样提供出于简洁而在单个实施例的情境中描述的本发明的各种特征。在各种实施例的情境中描述的某些特征不要被视为那些实施例的必要特征，除非该实施例在没有那些要素的情况下不可操作。

[0194] 虽然已经结合其特定的实施例对本发明进行了描述，但显然许多替换方式、修改和变化对本领域技术人员将是显而易见的。因此，意图涵盖落入所附权利要求的精神和宽泛范围内的全部这样的替换方式、修改和变化。

[0195] 本说明书中提到的全部出版物、专利和专利申请都通过引用以其整体结合于本说明书中，以达到如同每个单独的出版物、专利或专利申请都被具体地且单独地指示为通过引用结合于本文中那样的相同程度。此外，本申请中任何参考文献的引用或标识不应当被理解为承认这样的参考文献可用作本发明的现有技术。就使用的章节标题而言，该章节标题不应当被理解为一定是限制性的。

标题	发布/更新时间	阅读量
指纹纹理图像的去噪增强方法及其系统	2020-05-18	717
一种基于张量的分布式扩散自适应抗干扰方法	2020-05-12	589
扩散程度可控的各向异性扩散图像去噪增强方法	2020-05-19	819
扩散程度可控的各向异性扩散图像去噪增强方法	2020-05-19	318
基于多张量的磁共振扩散加权图像结构自适应平滑方法	2020-05-15	274
一种扩散张量磁共振成像方法	2020-05-11	395
一种非负高阶张量拟牛顿搜索的纤维方向分布估计方法	2020-05-26	753
基于多张量的磁共振扩散加权图像结构自适应平滑方法	2020-05-17	118
基于以高斯模型为实例整合重建的磁共振扩散成像方法	2020-05-20	385
保地质边界的地震图像去噪方法及计算机可读存储介质	2020-05-23	898

基于荧光照明来生成3D图像的系统和方法

基于荧光照明来生成3D图像的系统和方法

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：