用于引导医疗干预的成像和显示系统专利检索-荧光寿命物理专利检索查询-专利查询网

用于引导医疗干预的成像和显示系统

阅读：671发布：2021-01-20

专利汇可以提供用于引导医疗干预的成像和显示系统专利检索，专利查询，专利分析的服务。并且本申请公开一种用于引导医疗干预的成像和显示系统，其包含可佩戴显示器，例如护目镜显示器，用于供使用者查看。所述显示器呈现复合或组合图像，所述复合或组合图像包含手术前外科手术导航图像、手术期间图像和体内显微检查图像或感测数据。所述手术前图像是从例如MRI和 CT 扫描仪之类的扫描仪采集到的，而所述手术期间图像是从护目镜显示器带有的相机系统实时地采集到的，所述护目镜显示器带有的相机系统用于给正接受治疗的患者成像以便采集例如荧光图像之类的手术期间图像。例如显微检查探头之类的探头用于采集体内数据。另外，使用追踪和对齐技术采集所述手术期间和体内图像以使其与所述手术前图像和所述患者对准，从而形成合成图像用于通过所述护目镜显示器显示。，下面是用于引导医疗干预的成像和显示系统专利的具体信息内容。

权利要求

1.一种用于引导医疗干预的成像和显示系统，其包括：
显示器，其被适配成由使用者佩戴；
检测器，其耦合到所述显示器，所述检测器被配置成从目标俘获手术期间图像；以及计算单元，其耦合到所述显示器并且耦合到所述检测器，所述计算单元被适配成存储手术前图像。
2.根据权利要求1所述的成像和显示系统，其中所述显示器同时呈现所述手术前图像和所述手术期间图像。
3.根据权利要求1所述的成像和显示系统，其中所述显示器作为复合的共同对齐的图像在所述显示器上同时呈现所述手术前图像和所述手术期间图像。
4.根据权利要求1所述的成像和显示系统，其进一步包括：
通信接口，其耦合到所述计算单元以使得能够与至少一个其它显示器通信。
5.根据权利要求1所述的成像和显示系统，其进一步包括：
外设接口，其耦合到所述计算单元，所述外设接口被适配成与一或多个外围设备通信。
6.根据权利要求1所述的成像和显示系统，其进一步包括：
外设接口，其耦合到所述计算装置，所述外设接口被适配成与一或多个外围设备通信，其中所述外围设备包括选自由以下各项组成的群组的显微镜(体内显微镜、手持式显微镜、或常规显微镜)：光纤显微镜、手持型显微镜、彩色显微镜、反射显微镜、荧光显微镜、氧饱和度显微镜、偏光显微镜、红外线显微镜、干涉显微镜、相差显微镜、微分干涉对比显微镜、高光谱显微镜、全内反射荧光显微镜、共焦显微镜、非线性显微镜、双光子显微镜、二次谐波生成显微镜、超分辩率显微镜、光声显微镜、结构光显微镜、4Pi显微镜、受激发射损耗显微镜、随机光学重建显微镜、超声波显微镜、及其组合。
7.根据权利要求1所述的成像和显示系统，其进一步包括：
外设接口，其耦合到所述计算装置，所述外设接口被适配成与一或多个外围设备通信，其中所述一或多个外围设备包括选自由以下各项组成的群组的成像系统：超声波成像器、反射成像器、漫反射成像器、荧光成像器、契伦科夫成像器、偏光成像器、辐射测量成像器、氧饱和度成像器、光学相干断层扫描成像器、红外线成像器、热成像器、光声成像器、光谱成像器、拉曼光谱成像器、超光谱成像器、荧光镜成像器、伽马射线成像器、X射线计算机断层扫描成像器、内窥镜成像器、腹腔镜成像器、气管镜成像器、血管镜成像器、和成像导管成像器。
8.根据权利要求1所述的成像和显示系统，其进一步包括：
外设接口，其耦合到所述计算装置，所述外设接口被适配成与一或多个外围设备通信，其中所述外围设备包括选自由以下各项组成的群组的光谱仪：光学光谱仪、吸收光谱仪、荧光光谱仪、拉曼光谱仪、相干反斯托克斯拉曼光谱仪、表面增强拉曼光谱仪、傅里叶变换光谱仪、傅里叶变换红外线光谱仪(FTIR)、漫反射光谱仪、多路复用或调频光谱仪、X射线光谱仪、衰减全反射光谱仪、电子顺磁光谱仪、电子光谱仪、伽玛射线光谱仪、声共振光谱仪、俄歇光谱仪、光腔衰荡俄歇光谱仪、圆二色谱俄歇光谱仪、冷蒸气原子荧光俄歇光谱仪、相关光谱仪、深层能级瞬态光谱仪、双极化干涉测量、EPR光谱仪、力光谱仪、强子光谱仪、重子光谱仪、介子光谱仪、非弹性电子隧穿光谱仪(IETS)、激光诱导崩溃光谱仪(LIBS)、质谱仪、穆斯堡尔光谱仪、中子自旋回波光谱仪、光声光谱仪、光电发射光谱仪、光热光谱仪、泵浦探头光谱仪、拉曼光活性光谱仪、饱和光谱仪、扫描隧穿光谱仪、分光光谱仪、时间分辨光谱仪、时间扩展光谱仪、热红外线光谱仪、紫外线光电子光谱仪(UPS)、视频光谱仪、振动圆二色性光谱仪、和X射线光电子光谱仪(XPS)。
9.根据权利要求1所述的成像和显示系统，其进一步包括：
外设接口，耦合到所述计算装置，所述外设接口被适配成与一或多个外围设备通信，其中所述外围设备包括选自由以下各项组成的群组的追踪系统：光学追踪系统、电磁追踪系统、射频追踪系统、陀螺仪追踪系统、视频追踪系统、声学追踪系统、和机械追踪系统。
10.根据权利要求9所述的成像和显示系统，其中所述检测器的移动被配置成通过所述追踪系统追踪，使得所述检测器俘获的所述手术期间图像的位置经过调整以维持与所述手术前图像对齐。
11.根据权利要求5所述的成像和显示系统，其中所述一或多个外围设备包括追踪系统和成像或感测探头，所述探头俘获成像或感测数据，用于与所述手术期间图像和所述手术前图像一起复合呈现在所述显示器上。
12.根据权利要求11所述的成像和显示系统，其中所述探头包括体内显微检查探头。
13.根据权利要求11所述的成像和显示系统，其中所述体内显微检查探头的所述移动被配置成通过所述追踪系统追踪，从而在所述显示器上呈现所述探头的所述位置。
14.根据权利要求1所述的成像和显示系统，其中所述显示器包括立体显示器。
15.根据权利要求1所述的成像和显示系统，其中所述检测器包括立体检测器。
16.根据权利要求1所述的成像和显示系统，其中所述显示器用画中画格式呈现多个不同成像或感测数据。
17.根据权利要求1所述的成像和显示系统，其中所述检测器被配置成检测选自由以下各项组成的群组的一或多种类型的所述手术期间图像：荧光图像、反射图像、彩色图像、光吸收图像、光散射图像、氧饱和度图像、偏光图像、热图像、红外图像、高光谱图像、光场图像、荧光寿命图像、生物发光图像、契伦科夫图像、磷光高光谱图像、光谱图像、化学发光图像、和闪烁图像。
18.根据权利要求1所述的成像和显示系统，其中所述手术前图像包括断层扫描图像。
19.根据权利要求1所述的成像和显示系统，其中所述手术前图像包括从手术前断层扫描数据处理得来的3D模型。
20.根据权利要求1所述的成像和显示系统，其中所述计算单元被配置成执行包括以下各项的步骤：
计算手术前像空间、手术期间物体/患者空间和手术期间像空间之间的变换矩阵；以及将所述手术前像空间、所述手术期间像空间、和所述手术期间物体/患者空间共同对齐。
21.根据权利要求1所述的成像和显示系统，其中所述计算单元被配置成执行包括以下各项的步骤：
计算手术前像空间、手术期间物体/患者空间、手术期间像空间、和外围设备像空间之间的变换矩阵；以及
将所述手术前像空间、所述手术期间像空间、所述外围设备像空间、和所述手术期间物体/患者空间共同对齐。
22.根据权利要求1所述的成像和显示系统，其进一步包括：
用于照亮所述目标的光源。
23.根据权利要求22所述的成像和显示系统，其中所述光源包括一或多个白光发射二极管和一或多个频带排斥滤光器，其中所述光源发射的与来自所述目标的荧光发射重叠的光频率被所述频带排斥滤光器遮挡。
24.根据权利要求1所述的成像和显示系统，其进一步包括：
用于照明所述目标的光源，其中所述光源包括一或多个投影仪和一或多个光谱过滤器。
25.根据权利要求1所述的成像和显示系统，其进一步包括：
光源，其中所述光源包括脉冲照明装置，或者可以利用调频或脉冲持续时间调制。
26.根据权利要求1所述的成像和显示系统，其进一步包括：
光源，其中所述光源发出照明束，所述照明束提供与所述目标的发射光谱重叠的可调整的光频率等级。
27.根据权利要求1所述的成像和显示系统，其进一步包括：
外设接口，其耦合到所述计算单元，所述外设接口被适配成与一或多个外围设备通信，其中所述外围设备包括一或多个追踪系统，其中所述追踪系统包括LED和光谱过滤器。
28.根据权利要求1所述的成像和显示系统，其进一步包括：
外设接口，其耦合到所述计算装置，所述外设接口被适配成与一或多个外围设备通信，其中所述外围设备包括一或多个追踪系统，其中所述追踪系统包括使得能够使用追踪手持型成像探头或追踪手持型感测探头进行拓扑采样的软件。
29.根据权利要求1所述的成像和显示系统，其中所述计算单元存储教育或医疗培训内容。
30.一种成像和显示系统，其包括：
多个护目镜，每个护目镜包含：
立体显示器，用于通过佩戴所述护目镜的人的眼睛查看，
立体检测器，其耦合到所述立体显示器，所述检测器具有视场并且将所述视场内的图像投影到所述显示器上，以及
 通信接口，其链接所述多个护目镜中的每一个以彼此通信。

说明书全文

用于引导医疗干预的成像和显示系统

[0001] 相关申请的交叉引用

[0002] 本申请要求2014年2月21日提交的第61/942,666号美国临时申请的权益，该申请的内容以引用的方式并入本文中。

技术领域

[0003] 本发明大体上涉及成像和显示系统。具体来说，本发明涉及用于引导医疗干预例如外科手术干预的成像和显示系统。更具体来说，本发明涉及一种可佩戴成像和显示系统，用于通过同时显示手术前外科手术导航图像、实时手术期间图像和体内显微成像和感测数据而引导医疗干预。

背景技术

[0004] 医疗专业人士，例如外科医生，在外科手术干预期间面临巨大的难题。为了辅助外科医生努力提供高效并且有效的外科护理，当前使用三种用于引导医疗或外科手术干预或提供医疗或外科手术引导的独立并且单独的方法。

[0005] 第一种用于提供外科手术引导的方法通常被称作“常规”外科手术导航，并且包括使用所关注的目标(TOI)的手术前图像，例如比如脑瘤图像，这些图像是在手术发生之前俘获的。除了使用手术前图像之外，外科手术导航还相对于这些手术前图像追踪外科手术仪器的位置，从而允许外科医生相对于手术前图像查看外科手术仪器的移动。换句话说，外科手术导航为外科医生提供视觉显示，其中显示外科手术工具相对于手术前图像的位置和移动以利于外科医生使用。手术前图像可以包含各种图像类型，例如包含X射线计算机断层扫描(CT)图像或磁共振成像(MRI)。

[0006] 第二种提供外科手术引导的方法包含使用手术期间图像，这是在对患者执行外科手术的同时实时采集的图像。举例来说，荧光检查和超声波是用于提供基于手术期间的外科手术导航的两种众所周知的手术期间成像技术。外科群体还需要在提供手术期间外科手术引导时使用光学成像。

[0007] 第三种外科手术引导方法是基于使用显微/病理报告。举例来说，在肿瘤切除的情况下，外科医生将选择性地从目标组织移除组织标本并将其送给病理学家用于分析。在分析期间，将组织切片、染色并在显微镜下检查，其中病理学家向外科医生建议组织中是否存在任何残余癌细胞。

[0008] 然而，常规外科手术导航、基于手术期间成像的医疗引导和基于病理的医疗引导技术有多种缺点。举例来说，因为常规外科手术导航是基于手术前图像，因而它不能够适应外科手术执行期间发生在手术部位的组织变形；而且不能够提供实时成像更新。此外，实时手术期间成像外科手术引导技术向外科医生提供的手术部位的视场是有限的，不能够提供患者的全面的、全局的、全身的解剖信息，这样会导致这样的外科手术引导技术在一些情况下难以使用。此外，基于病理/显微的技术不能够对所有外科手术部位取样，并且还需要相当大的时间量才能完成。

[0009] 因此，需要一种用于引导医疗干预的成像和显示系统，其在同一时间同时提供外科手术导航、手术期间医疗引导和体内显微医疗引导(即病理外科手术引导)。此外，需要一种用于引导医疗干预的成像和显示系统，其提供可佩戴显示装置，例如可佩戴护目镜型显示器，用于同时显示外科手术导航图像、实时手术期间图像和体内成像/感测(例如显微图像或光谱数据)数据，由此提供沉浸式的3D立体视图，这给佩戴显示装置的外科医生查看的图像带来自然的深度感觉。此外，需要一种用于引导医疗干预的成像和显示系统，其提供经由通信网络通信，以便与任何其它与网络通信的计算机装置(例如智能电话、膝上型计算机等等)合作和共享外科手术引导相关图像和任何其它数据的能力。

发明内容

[0010] 在第一实施例中，本发明提供一种用于引导医疗干预的成像和显示系统，其包括：显示器，其被适配成由使用者佩戴；检测器，其耦合到所述显示器，所述检测器被配置成从目标俘获手术期间图像；以及计算单元，其耦合到所述显示器并且耦合到所述检测器，所述计算单元被适配成存储手术前图像。

[0011] 在第二实施例中，本发明提供一种像第一实施例中的成像和显示系统，其中所述显示器同时呈现所述手术前图像和所述手术期间图像。

[0012] 在第三实施例中，本发明提供一种像第一实施例中的成像和显示系统，其中所述显示器作为所述显示器上的复合的共同对齐的图像同时呈现所述手术前图像和所述手术期间图像。

[0013] 在第四实施例中，本发明提供一种像第一实施例中的成像和显示系统，其进一步包括：通信接口，其耦合到所述计算单元以使得能够与至少一个其它显示器通信。

[0014] 在第五实施例中，本发明提供一种像第一实施例中的成像和显示系统，其进一步包括：外设接口，其耦合到所述计算单元，所述外设接口被适配成与一或多个外围设备通信。

[0015] 在第六实施例中，本发明提供一种像第一实施例中的成像和显示系统，其进一步包括：外设接口，其耦合到所述计算装置，所述外设接口被适配成与一或多个外围设备通信，其中所述外围设备包括选自由以下各项组成的群组的显微镜(体内显微镜、手持式显微镜或常规显微镜)：光纤显微镜、手持型显微镜、彩色显微镜、反射显微镜、荧光显微镜、氧饱和度显微镜、偏光显微镜、红外线显微镜、干涉显微镜、相差显微镜、微分干涉对比显微镜、高光谱显微镜、全内反射荧光显微镜、共焦显微镜、非线性显微镜、双光子显微镜、二次谐波生成显微镜、超分辩率显微镜、光声显微镜、结构光显微镜、4Pi显微镜、受激发射损耗显微镜、随机光学重建显微镜、超声波显微镜、及其组合。

[0016] 在第七实施例中，本发明提供一种像第一实施例中的成像和显示系统，其进一步包括：外设接口，其耦合到所述计算装置，所述外设接口被适配成与一或多个外围设备通信，其中所述一或多个外围设备包括选自由以下各项组成的群组的成像系统：超声波成像器、反射成像器、漫反射成像器、荧光成像器、契伦科夫成像器、偏光成像器、辐射测量成像器、氧饱和度成像器、光学相干断层扫描成像器、红外线成像器、热成像器、光声成像器、光谱成像器、拉曼光谱成像器、超光谱成像器、荧光镜成像器、伽马射线成像器、X射线计算机断层扫描成像器、内窥镜成像器、腹腔镜成像器、气管镜成像器、血管镜成像器、和成像导管成像器。

[0017] 在第八实施例中，本发明提供一种像第一实施例中的成像和显示系统，其进一步包括：外设接口，其耦合到所述计算装置，所述外设接口被适配成与一或多个外围设备通信，其中所述外围设备包括选自由以下各项组成的群组的光谱仪：光谱仪、吸收光谱仪、荧光光谱仪、拉曼光谱仪、相干反斯托克斯拉曼光谱仪、表面增强拉曼光谱仪、傅里叶变换光谱仪、傅里叶变换红外线光谱仪(FTIR)、漫反射光谱仪、多路复用或调频光谱仪、X射线光谱仪、衰减全反射光谱仪、电子顺磁光谱仪、电子光谱仪、伽玛射线光谱仪、声共振光谱仪、俄歇光谱仪、光腔衰荡俄歇光谱仪、圆二色谱俄歇光谱仪、冷蒸气原子荧光俄歇光谱仪、相关光谱仪、深层能级瞬态光谱仪、双极化干涉测量、EPR光谱仪、力光谱仪、强子光谱仪、重子光谱仪、介子光谱仪、非弹性电子隧穿光谱仪(IETS)、激光诱导崩溃光谱仪(LIBS)、质谱仪、穆斯堡尔光谱仪、中子自旋回波光谱仪、光声光谱仪、光电发射光谱仪、光热光谱仪、泵浦探头光谱仪、拉曼光活性光谱仪、饱和光谱仪、扫描隧穿光谱仪、分光光谱仪、时间分辨光谱仪、时间扩展光谱仪、热红外线光谱仪、紫外线光电子光谱仪(UPS)、视频光谱仪、振动圆二色性光谱仪、和X射线光电子光谱仪(XPS)。

[0018] 在第九实施例中，本发明提供一种像第一实施例中的成像和显示系统，其进一步包括：外设接口，其耦合到所述计算装置，所述外设接口被适配成与一或多个外围设备通信，其中所述外围设备包括选自由以下各项组成的群组的追踪系统：光学追踪系统、电磁追踪系统、射频追踪系统、陀螺仪追踪系统、视频追踪系统、声学追踪系统、和机械追踪系统。

[0019] 在第十实施例中，本发明提供一种像第九实施例中的成像和显示系统，其中所述检测器的移动被配置成通过所述追踪系统追踪，使得所述检测器俘获的所述手术期间图像的位置经过调整以维持与所述手术前图像对齐。

[0020] 在第十一实施例中，本发明提供一种像第五实施例中的成像和显示系统，其中所述一或多个外围设备包括追踪系统和成像或感测探头，所述探头俘获成像或感测数据以用于与所述手术期间图像和所述手术前图像一起在所述显示器上复合呈现。

[0021] 在第十二实施例中，本发明提供一种像第十一实施例中的成像和显示系统，其中所述探头包括体内显微检查探头。

[0022] 在第十三实施例中，本发明提供一种像第十一实施例中的成像和显示系统，其中所述体内显微检查探头的移动被配置成通过所述追踪系统追踪，使得所述探头的位置呈现在所述显示器上。

[0023] 在第十四实施例中，本发明提供一种像第一实施例中的成像和显示系统，其中所述显示器包括立体显示器。

[0024] 在第十五实施例中，本发明提供一种像第一实施例中的成像和显示系统，其中所述检测器包括立体检测器。

[0025] 在第十六实施例中，本发明提供一种像第一实施例中的成像和显示系统，其中所述显示器用画中画格式呈现多个不同成像或感测数据。

[0026] 在第十七实施例中，本发明提供一种像第一实施例中的成像和显示系统，其中所述检测器被配置成检测选自由以下各项组成的群组的一或多种类型的所述手术期间图像：荧光图像、反射图像、彩色图像、光吸收图像、光散射图像、氧饱和度图像、偏光图像、热图像、红外图像、高光谱图像、光场图像、荧光寿命图像、生物发光图像、契伦科夫图像、磷光高光谱图像、光谱图像、化学发光图像、和闪烁图像。

[0027] 在第十八实施例中，本发明提供一种像第一实施例中的成像和显示系统，其中所述手术前图像包括断层扫描图像。

[0028] 在第十九实施例中，本发明提供一种像第一实施例中的成像和显示系统，其中所述手术前图像包括从手术前断层扫描数据处理的3D模型。

[0029] 在第二十实施例中，本发明提供一种像第一实施例中的成像和显示系统，其中所述计算单元被配置成执行包括以下各项的步骤：计算手术前像空间、手术期间物体/患者空间和手术期间像空间之间的变换矩阵；以及共同对齐所述手术前像空间、所述手术期间像空间和所述手术期间物体/患者空间。

[0030] 在第二十一实施例中，本发明提供一种像第一实施例中的成像和显示系统，其中所述计算单元被配置成执行包括以下各项的步骤：计算手术前像空间、手术期间物体/患者空间、手术期间像空间和外围设备像空间之间的变换矩阵；以及共同对齐所述手术前像空间、所述手术期间像空间、所述外围设备像空间和所述手术期间物体/患者空间。

[0031] 在第二十二实施例中，本发明提供一种像第一实施例中的成像和显示系统，其进一步包括：用于照明所述目标的光源。

[0032] 在第二十三实施例中，本发明提供一种像第二十二实施例中的成像和显示系统，其中所述光源包括一或多个白光发射二极管和一或多个频带排斥滤光器，其中所述光源发射的与来自所述目标的荧光发射重叠的光频率被所述频带排斥滤光器遮挡。

[0033] 在第二十四实施例中，本发明提供一种像第一实施例中的成像和显示系统，其进一步包括：用于照明所述目标的光源，其中所述光源包括一或多个投影仪和一或多个光谱过滤器。

[0034] 在第二十五实施例中，本发明提供一种像第一实施例中的成像和显示系统，其进一步包括：光源，其中所述光源包括脉冲照明装置，或者可以利用调频或脉冲持续时间调制。

[0035] 在第二十六实施例中，本发明提供一种像第一实施例中的成像和显示系统，其进一步包括：光源，其中所述光源发出照明束，其提供与所述目标的发射光谱重叠的可调整的光频率等级。

[0036] 在第二十七实施例中，本发明提供一种像第一实施例中的成像和显示系统，其进一步包括：外设接口，其耦合到所述计算单元，所述外设接口被适配成与一或多个外围设备通信，其中所述外围设备包括一或多个追踪系统，其中所述追踪系统包括LED和光谱过滤器。

[0037] 在第二十八实施例中，本发明提供一种像第一实施例中的成像和显示系统，其进一步包括：外设接口，其耦合到所述计算装置，所述外设接口被适配成与一或多个外围设备通信，其中所述外围设备包括一或多个追踪系统，其中所述追踪系统包括使得能够使用追踪手持型成像探头或追踪手持型感测探头进行拓扑采样的软件。

[0038] 在第二十九实施例中，本发明提供一种像第一实施例中的成像和显示系统，其中所述计算单元存储教育或医疗培训内容。

[0039] 在第三十实施例中，本发明提供一种用于引导医疗干预的成像和显示系统，其包括：多个护目镜，每个护目镜包含：立体显示器，用于通过佩戴护目镜的人的眼睛查看；立体检测器，其耦合到所述立体显示器，所述检测器具有视场，并且将视场内的图像投影到所述显示器上；以及通信接口，其将所述多个护目镜中的每一个链接以彼此通信。附图说明

[0040] 考虑以下描述、所附权利要求书和附图，本发明的这些和其它特征以及优点将变得更好理解，在附图中：

[0041] 图1是根据本发明的概念的用于引导医疗干预的成像和显示系统的透视图；

[0042] 图2是示出根据本发明的概念的成像和显示系统的组件的示意图；

[0043] 图3A是示出根据本发明的概念的当配置有立体成像传感器时成像和显示系统提供的检测器的组件的示意图；

[0044] 图3B是根据本发明的概念的检测器的替代配置的示意图，其中对于图3A中所示的立体成像传感器中的每一个使用多个传感器元件类型；

[0045] 图3C是根据本发明的概念的检测器的另一配置的示意图，其中对于图3A中所示的立体成像传感器中的每一个使用多个传感器元件类型；

[0046] 图3D是根据本发明的概念的检测器的另一配置的示意图，其中对于图3A中所示的立体成像传感器中的每一个使用多个传感器元件类型；

[0047] 图3E是根据本发明的概念的检测器的另一配置的示意图，其中对于图3A中所示的立体成像传感器中的每一个使用多个传感器元件类型；

[0048] 图4是根据本发明的概念的在用于引导医疗干预的成像和显示系统的显示器上同时呈现的手术前外科手术导航图像、手术期间图像和体内显微图像的合成图像的示意图；

[0049] 图5是示出根据本发明的概念的用于追踪和登记过程的操作步骤的流程图；

[0050] 图6是示出了根据本发明的概念的用于成像和显示系统的光源输出的多个照明脉冲图案的图；

[0051] 图7是示出了根据本发明的概念的光源输出的另外多个照明脉冲图案的图；

[0052] 图8是根据本发明的概念的无影手术灯的正面透视图；

[0053] 图9是根据本发明的概念的示出使用光谱过滤器与图11的无影手术灯的各个灯的总体示意图；

[0054] 图10是根据本发明的概念的用激光路径外部的漫射器示出的激光和激光漫射器光源的总体示意图；以及

[0055] 图11是根据本发明的概念的用激光路径中的漫射器示出的激光和激光漫射器光源的总体示意图。

具体实施方式

[0056] 如图式中的图1所示，用于引导医疗干预的成像和显示系统总体上由参考标号100指代。图2中具体示出的系统100包含显示器110，其可包括任何合适的显示器，例如被配置成用于附接到使用者112并且由使用者112佩戴的可佩戴显示器。举例来说，可佩戴显示器110可以包括为图1中所示的护目镜型可佩戴装置114的一部分，护目镜型可佩戴装置114包括可佩戴护目镜或承载显示器110的镜框。

[0057] 一方面，显示器110可包括单个显示元件，其适合于提供单个连续显示，所述单个连续显示提供单个显示表面，其涵盖使用者的整个视场或其部分。替代地，显示器可使用多个单独的显示元件，例如专用右显示器和专用左显示器，例如在提供独立显示器(表示为110A和110B，如图1中所示)以提供每个使用者的眼睛的视场的立体显示器的情况下。

[0058] 此外，显示器110可包括LCD(液晶显示器)显示器、OLED(有机发光二极管)显示器、投影显示器；头戴式显示器(HMD)、头戴式投影显示器(HMPD)、光学透视显示器、可切换光学透视显示器、选择性遮挡透视头戴式显示器和视频透视显示器。此外，显示器110可包括增强现实窗口、增强监视器、患者身上的投影/投影头戴式显示器、选择性遮挡透视头戴式显示器和视网膜扫描显示器。在另一方面，显示器110可被配置成显示任何静态或移动图像。显示器110还可包括画中画(PIP)显示器，其可以同时显示来自多个独立图像源的图像。在一个例子中，用画中画方式显示体内显微图像和手术期间荧光图像。在另一个例子中，用画中画方式显示超声波图像和手术期间荧光图像。在另一个例子中，还可以用画中画方式显示手术前断层扫描图像和手术期间彩色图像。

[0059] 一方面，显示器110可包括能够显示带有深度感的立体图像的立体显示器。在另一方面，显示器可以是能够显示带有深度感的3维图像的其它类型的3D显示器。在再一实施例中，显示器110可被配置成提供各种不透明度/透明度的重叠图像以允许一次在显示器110上同时查看多个图像。在又一实施例中，显示器110可以至少部分地是透明的，以允许使用者查看所显示的图像，同时允许使用者同时透过显示器110观看，从而在同一时间还用自然视觉查看使用者的周围环境。

[0060] 检测器120耦合到显示器，检测器120用于采集手术期间图像，下面将详细论述。应了解，检测器120采集到的手术期间图像可以实时或近实时地采集和在显示器110处显示。具体来说，检测器120被配置成从所关注的目标(TOI)130俘获任何期望静态或移动图像数据，TOI 130可包括任何期望物体，例如患者500身上正在接受处理的伤口，如图1中所示。也就是说，检测器120包含一个视场，其俘获在视场内的所关注的目标130的图像数据。还应了解，检测器120可以结合任何合适的光学透镜或光学组合件使用以提供任何期望视场、工作距离、分辨率和变焦等级。一方面，检测器120可包括相机，例如电荷耦合装置(CCD)、互补金属-氧化物半导体装置(CMOS)、一或多个光电倍增管(PMT)、一或多个雪崩光电二极管(APD)、光电二极管和热像相机，例如红外线检测器。此外，检测器120可包括一或多个图像增强管、微通道板图像增强器和薄膜图像增强器。

[0061] 在一些实施例中，检测器是单个检测器120。在一个实施例中，检测器120可包括立体检测器，其包含多个成像传感器或相机，分别标示为120A和120B(如图1中所示)，这些成像传感器或相机拍摄带有深度感的可以在立体显示器110处显示的立体图像。

[0062] 在另一实施例中，检测器120可包括立体检测器，其包含多个成像传感器或相机，分别标示为120A和120B(如图1和图3A)中所示，其中每个单独的相机120A-B包含多个单独的传感器元件。举例来说，相机120A-B可以各自配置有第一和第二传感器元件，其中第一传感器元件用于全色成像，而第二传感器元件提供选择性或可切换荧光成像。下面将详细论述形成相机120A-B的各种传感器元件的各种配置的进一步论述。

[0063] 检测器120可被配置成执行一或多个成像模式，包含但不限于荧光成像、热成像、氧饱和成像、高光谱成像、光声成像、干涉成像、光学相干断层扫描成像、漫射光学断层扫描成像、超声成像、核成像(PET、SPECT、CT、伽马射线、X射线)、契伦科夫成像(Cerenkov imaging)等等。此外，检测器120还可被配置成执行实时/离线成像，包含吸收、散射、氧合饱和成像、荧光成像、荧光寿命成像、高光谱成像、偏光成像、IR热成像、生物发光成像、磷光成像、化学发光成像、闪烁成像等等。

[0064] 显示器110和检测器120耦合到计算单元200。计算单元200可以是系统100的可佩戴版本的一部分，或者可替代地是外部计算单元200。计算单元200包含必需的硬件、软件或硬件与软件的组合以执行有待论述的各种功能。一方面，计算单元200可包括微处理器或可包括任何其它便携式或独立计算装置，例如智能电话，其能够与系统100的各种组件通信。还应了解，计算系统200还可包含用以存储有待论述的各种数据的存储器模块。此外，计算单元200被配置成使得检测器120采集到的图像数据可以由计算单元200以有待论述的各种方式处理和传输。还应了解，计算单元200可以包含本地或远程可接入的存储器或存储单元，其允许计算单元存储和/或采集各种程序、算法、数据库和决策支持系统，其使得能够执行有待论述的多种功能，这可以基于检测器120收集的图像数据。在一个方面中，系统100可以通过任何合适的电源供电，电源例如是包括一或多个电池的便携式电源或用于连接到一个标准壁式电插座的插拔式电源。

[0065] 一方面，本地或远程存储器单元可以存储各种手术前图像数据，例如来自MRI和CT扫描的断层扫描图像数据，下面将详细论述。

[0066] 在另一方面，计算单元可以基于手术前成像数据执行图像分段和生成3D模型。3D模型可以存储于本地或远程存储器单元中。

[0067] 一方面，例如将手术前图像数据(比如MRI(磁共振成像)数据)分段和处理成具有多个3D表面的3维模型。应了解，可使用任何合适的分段过程，包含自动、手动或半自动分段过程。此外，分段还可以基于阈值处理法、集群法、基于压缩的方法、基于直方图的方法、边缘检测法、区域增长法、分解与合并法、基于偏微分等式的方法、参数方法、水平集方法、快速步进法、图形分割法、分水岭转换法、基于模型的分段法、多尺度分段法、可训练分段法和其任何组合。

[0068] 滤光器150与检测器120的视场操作性通信。因此，在检测器120处以图像数据(例如用于手术期间成像期间使用的图像数据)的形式接收到光之前，滤光器150用以处理从所关注的目标(TOI)130行进的光。因此，滤光器150被配置成使用任何合适的技术来处理检测器120的视场收集的图像数据。一方面，系统100可以配置成使得滤光器150开始或结束与检测器120的操作性通信，从而使得检测器120的视场收集的图像数据被选择性地滤光或者不被滤光。一方面，滤光器150执行的选择性滤光可以通过任何合适的机构(例如机电机构)执行，所述机电机构通过任何合适的切换装置151(例如机械开关)或者语音命令起始以移动滤光器150。因此，当可切换滤光器150与检测器120操作性通信时，系统100被置于第一模式，用于检测发出由滤光器的物理参数限定的光谱(例如在材料荧光发光期间发射的光谱)内的频率的TOI 130。替代地，当滤光器150不与检测器120操作性通信时，系统100被置于第二模式，用于检测另一光谱(例如从TOI的反射光谱)内的TOI 130。

[0069] 应了解，滤光器150可包括滤光轮，其具有不同滤光属性的不同分立滤光器，这些滤光器可以被选择性地旋转而与检测器120操作性对准。此外，滤光器150可包括长通滤光器(long-pass filter)、带通滤光器、可调谐滤光器、可切换滤光器等等。

[0070] 在另一方面，滤光器150可包括830nm带通滤光器。

[0071] 在其它实施例中，滤光器150可以换成偏光器152，并且用与上文关于滤光器150论述的相同的方式相对于检测器120操作。此外，在其它实施例中，偏光器152可以与滤光器150一起同时使用，其中在被检测器120检测之前，检测器120的视场先经过偏光器152和滤光器150的处理。还应了解，偏光器152可包括可切换偏光器，其用与可切换滤光器150相同的方式操作，或者可包括可调谐的偏光器。

[0072] 因此，能够选择性地滤光或选择性地偏光检测器120检测到的视场，这样就能具体实施“可转换的”系统，其中当检测器120未经过滤光时，它处于第一模式，能够处于第一成像状态，例如反射成像；并且当检测器被置于或者“转换”成其第二模式时，它能够处于第二成像状态，其中它能够例如荧光成像。

[0073] 此外，使用相机120A-B的组合(每个相机具有多个成像元件)连同滤光器150或偏光器152的选择性使用，允许多种操作模式。举例来说，在图3B-D中，检测器120被配置成使得每个相机120A和120B具有两个传感器元件122和124，其中第一传感器元件122用于第一成像模式(或可在两个或更多个成像模式之间切换的可转换的检测模式)，而第二传感器元件124用于第二可转换的成像模式，这种成像模式提供两个或更多个成像模式之间的选择性成像。因此，在图3B中，相机120A-B的传感器元件122用彩色成像模式操作，而相机120A-B的传感器元件124用可转换的滤光模式操作，可转换的滤光模式可以在不同光谱频率的荧光成像之间或不同偏光状态的偏光成像之间切换。此外，图3C示出了相机120A-B的传感器元件122可在不同荧光成像模式之间切换，而相机120A-B的传感器元件124可在不同偏光成像模式之间切换。此外，图3D示出了相机120A-B的传感器元件122是热像传感器，同时相机120A-B的传感器元件124可在不同荧光成像模式之间切换；或者可在不同偏光成像模式之间切换。另外，图3E示出了使用三个传感器元件，其中相机120A-B的传感器元件124提供第一类型的荧光成像模式；相机120A-B的传感器元件122提供颜色成像或热像成像；并且相机
120A-B的传感器元件126提供第二类型的荧光成像模式。

[0074] 通信接口250耦合到计算系统200，通信接口250包含合适的天线252，用于无线地或经由有线连接与通信网络260通信。系统100可以经由通信网络260与其它成像和显示装置100A-X或任何其它联网计算机系统262(例如膝上型计算机、智能电话等等)通信，如图1中所展示。一方面，通信接口250具体实施为被启用以经由网络260发射和接收数据的收发器。一方面，通信接口250可被配置成使用任何合适的方法经由网络260通信，包含使用RF(射频)信号，例如低功率RF信号、有线或无线以太网通信法、WiFi通信法、蓝牙通信、蜂窝通信(例如3G、4G、LTE等)等等。因此，多个系统100能够彼此通信，就能实现多种功能，下面将详细论述。

[0075] 通信接口250还使得成像和显示系统100能够执行网络和云端计算特征。一方面，通信接口250允许系统100与远程网络或远程云端计算系统(总体上表示为数字270)上的远程存储装置通信，如图1中所示，以允许存取集中式数据存储，执行进一步的计算分析，存取其它软件应用程序，并且使得能够进行记录存储。举例来说，系统100可以从远程网络270采集手术前图像。

[0076] 外设接口300也耦合到计算装置200。外设接口可包括有线或无线接口，其允许将一或多个外围设备350选择性地添加到成像和检测系统100。外围设备可包括一或多个传感器和检测器。举例来说，这样的附加外围设备350可以包含生命体征传感器模块，其可以监视以下中的一或多项：体温、血压、脉搏、呼吸速率、ECG、EEG、脉搏血氧、血糖等等。外围设备350还可包含超声波模块、光谱测定模块(例如拉曼光谱测定、吸收光谱测定和反射光谱测定)、GPS(全球定位系统)模块、显微镜模块(例如手持型显微镜、基于光纤的体内显微镜和传统的显微镜)、以及非显微成像模块(高光谱成像、光声成像、光学相干成像)。

[0077] 在另一方面，外围设备350可包括探测仪器，例如用于采集或感测任何所关注的体内目标130的手持式探头。因此，手持式探头可以用于任何期望类型的显微检查，例如体内显微检查。探头可以利用各种检测方法，例如彩色显微检查、反射显微检查、荧光显微检查、氧饱和度显微检查、偏光显微检查、红外线显微检查、干涉显微检查、相差显微检查、微分干涉对比显微检查、高光谱显微检查、全内反射荧光显微检查、共焦显微检查、非线性显微检查、双光子显微检查、二次谐波生成显微检查、超分辩率显微检查、光声显微检查、结构光显微检查、4Pi显微检查、受激发射损耗显微检查、随机光学重建显微检查、超声波显微检查、和/或前述的组合等等。

[0078] 在另一方面，用作外围设备350的手持型探头可以是尚未达到显微分辨率的成像装置。在一些实施例中，非显微成像方法是选自以下各者中的一或多者：反射成像、荧光成像、契伦科夫成像、偏光成像、超声成像、辐射成像、氧饱和度成像、光学相干断层扫描、红外线成像、热成像、光声成像、光谱成像、超光谱成像、荧光检查、伽马射线成像和X射线计算机断层扫描。手持型探头的实体形式可包括内窥镜、腹腔镜、气管镜、血管镜和血管造影导管。

[0079] 在再一例子中，手持型探头可以是非成像装置或感测装置，例如基于光纤的分光光度计。此外，外围设备350可以实现不同的光谱测定，例如各种光学光谱测定、吸收光谱测定、荧光光谱测定、拉曼光谱测定、相干反斯托克斯拉曼光谱测定(CARS)表面增强拉曼光谱测定、傅里叶变换光谱测定、傅里叶变换红外线光谱测定(FTIR)、多路复用或调频光谱测定、X射线光谱测定、衰减全反射光谱测定、电子顺磁光谱测定、电子光谱测定、伽玛射线光谱测定、声共振光谱测定、俄歇光谱测定、光腔衰荡光谱测定、圆二色谱光谱测定、冷蒸气原子荧光光谱测定、相关光谱测定、深层能级瞬态光谱测定、双极化干涉测定、EPR光谱测定、力光谱测定、强子光谱测定、重子光谱测定、介子光谱测定、非弹性电子隧穿光谱测定(IETS)、激光诱导崩溃光谱测定(LIBS)、质谱测定、穆斯堡尔光谱测定(spectroscopy)、中子自旋回波光谱测定、光声光谱测定、光电发射光谱测定、光热光谱测定、泵浦探头光谱测定、拉曼光活性光谱测定、饱和光谱测定、扫描隧穿光谱测定、分光光谱测定、时间分辨光谱测定、时间扩展光谱测定(time-stretch Spectroscopy)、热红外线光谱测定、紫外线光电子光谱测定(UPS)、视频光谱测定、振动圆二色性光谱测定、X射线光电子光谱测定(XPS)或前述各项的组合。

[0080] 用于显示的多个图像的追踪和登记

[0081] 在一些实施例中，系统100包含追踪模块，其可以被视为另一外围设备350，并且包含适合于追踪患者的空间位置、检测器120(或120A、120B)的位置和外围设备350(例如成像相机和探头)的位置并且相对于检测器120或检测器120A、120B的图像(在立体模态中)对齐这些位置的软件。本文中提到检测器120，还将理解为同样适用于利用检测器120A和120B的那些系统100的立体模态。此外，通过追踪患者的位置和检测器120(或120A、120B)的位置，可以将手术前图像(例如CT、MRI、SPECT、PET图像)对齐到检测器120或检测器120A、120B(在立体模态中)的图像。因此，可以使从外围设备350获得的对应的成像和感测信息以及手术前图像与成像和显示系统100的检测器120成像的视场相关。也就是说，系统100可以经过编程而利用追踪和对齐技术，以容许将系统100的检测器120直接采集到的多个图像与手术前图像并且与外设图像检测器(例如手持式显微检查探头等等)采集到的那些图像叠加。在一些实施例中，追踪模块还可追踪并且对齐其它非外设元件(例如军事或医务人员使用的工具)的位置。举例来说，可以追踪医疗手术的解剖刀或夹钳或支架或其它元件的位置并且将其与图像对齐。应了解，可以经由网络260从远程计算机系统向系统100提供支持这样的追踪和对齐特征的软件，或者将该软件存储在附接到外设接口300的任何外围设备上。具体来说，系统100利用的追踪技术获得系统100有待处理的患者的位置，系统100本身包括可佩戴显示器114，以及耦合到外设接口300的手持型成像外围设备350。

[0082] 还应了解，外围设备模块350可以包含追踪模块，追踪模块允许追踪检测器120的空间位置和外围设备350内的插件模块(例如成像相机和探头)的空间位置。因此，可以使从外围设备350获得的对应的成像和感测信息与成像和显示系统100的检测器120成像的视场相关。也就是说，系统100可以经过编程而利用追踪和对齐技术，以容许将系统100的检测器120直接采集到的多个图像与手术前(例如CR、MRI、SPECT、PET、X射线、伽马射线成像等)采集到的那些图像叠加。替代地，系统100可以经过编程而利用图像追踪和对齐技术以容许将系统100的检测器120直接采集到的多个图像与基于手术前(例如CR、MRI、SPECT、PET、X射线、伽马射线成像等)采集到的数据构造的那些3D模型叠加。此外，系统100可以经过编程而利用图像追踪和对齐技术，以容许将系统100的检测器120直接采集到的多个图像与外设图像检测器(例如手持式体内显微检查探头350等等)采集到的(即成像的/感测到的)那些图像叠加。类似地，可以将检测器120直接采集到的多个图像、手术前图像或3D模型、外设图像检测器350采集到的(即成像的/感测到的)图像叠加和对齐在一起。应了解，外设感测检测器350数据还可与检测器120直接采集到的多个图像、手术前图像或3D模型对齐。另外应当理解，在混合模式中，画中画显示和重叠显示可彼此结合使用。应了解，可以经由通信网络
260从例如远程系统270的远程计算机系统向系统100提供支持这样的追踪和对齐特征的软件，或者将该软件存储在附接到外设接口300的任何外围设备上。具体来说，系统100利用的追踪技术获得以下中的每一项的位置：有待使用系统100处理的患者的位置、系统100本身包括可佩戴系统(包含显示器110和检测器120)的位置、和耦合到外设接口300的手持型成像/感测外围设备350(例如体内探头)的位置。

[0083] 此外，可以使用作为外围设备350使用的光学追踪或磁性追踪装置执行追踪功能。如果使用光学追踪，则可以将例如LED的有源标记附接到检测器120、用作另一外围设备350的成像或感测探头以及患者，以分别定位其位置。NDI Optotrak Certus系统是可以用于这个实施例的光学追踪系统的例子。市售光学追踪系统可以由CCD相机和顺序点亮红外(IR)LED组成，并且可以容易作为外围设备350集成到可佩戴成像和显示装置100中。替代地，可以使用视频测定系统通过识别视频图像序列中的无源标记来估计患者姿势和仪器朝向。

[0084] 一方面，使用NDI Optotrak Certus的光学追踪可以作为外围设备350并入以提供追踪，其中的发光二极管(LED)附接到带有检测器120的可佩戴装置100，以及作为另一外围设备350的成像模块(例如超声波和手持式显微检查探头)，以及患者。因此，通过NDI Optotrak Certus系统追踪附接到检测器120、手持式探头350和患者的LED。

[0085] 在另一实施例中，系统100可以利用一种新颖的红外线光学追踪方法。因此，附接到患者、可佩戴成像和显示系统100和手术期间成像外围设备350的用于追踪目的的光学发射体(例如LED)的波长可以是与检测器120和成像外围设备350检测到的波长不同的波长。可以使用例如光谱过滤的方法便于在来自追踪系统的光学发射体与检测器120和成像外围设备350的检测之间分离波长。还可使用调频将来自追踪光学发射体的信号与检测器120和成像外围设备350的所关注的信号分离。

[0086] 在另一个例子中，可以使用模块350执行陀螺仪追踪结合视频追踪。

[0087] 如果使用电磁追踪，则外围设备350可以并入较小线圈或类似的电磁场传感器和多个位置测量装置。电磁场传感器可以附接到检测器120、用作另一外围设备350的成像或感测探头以及患者，以分别定位其位置。

[0088] 替代地，可以使用附接到有待治疗的患者、可佩戴成像和显示装置100和成像外围设备350的基准标记(例如LED)执行追踪功能。使用作为外围设备350的追踪系统所启用的所描述的追踪技术获得的位置，通过使用手术前成像空间、手术期间物空间(即患者空间)、手术期间成像空间(装置100成像空间)和手持型外设成像/感测探头350空间(即外设成像探头空间)之间计算的变换矩阵，对成像和显示装置100和手持型成像外围设备350获得的不同图像执行对齐或对准。具体来说，执行图像对齐过程，使得手术前成像空间可以与手术期间物空间(患者空间)对齐；手术期间成像空间(装置100成像空间)可以与手术期间物空间(患者空间)对齐；并且手持式装置成像空间(外围设备350，例如超声波、光纤显微镜等)可以与手术期间物空间(患者空间)对齐。因此，可以用叠加并且对准的方式在可佩戴显示器中显示共同对齐的从可佩戴系统100的检测器120获得的手术期间图像和从体内探头外围设备350采集的体内图像还有手术前断层扫描图像。

[0089] 因此，在一些实施例中，可以使用附接到下面各物的基准标记(例如LED)执行追踪功能：(a)有待治疗的患者或有待接受操作的物体或观察到的物体(在非医疗应用的例子中)，(b)可佩戴成像和显示装置100，以及(c)外围设备350。通过使用基准标记，可以而使得用多个不同的成像系统产生的相同主题的图像相关，这些成像系统例如是作为第一成像系统的检测器120，和作为第二成像系统的产生第二图像的任何期望外围设备350，具体操作方法是通过将基准标记放入通过这两个系统成像的区域。适当的软件使两个图像相关，并且在本发明的情况下，准许查看叠加在一起或者画中画格式的两个(或更多个)图像。

[0090] 应了解，在追踪和对齐过程期间，计算单元200执行计算并且执行软件以使得能够准确追踪和对齐。一方面，通过数字600标示的图5中所示的流程图表示完整对齐过程。大体而言，过程600获得患者500、可佩戴成像和显示系统100和手持型探头350的位置。首先，在步骤602处，系统100采集手术前成像数据。接下来，在步骤604处，基于手术前成像数据创建3D模型。在步骤606处，使用任何合适的技术(例如比如基准标记)在手术期间追踪患者的位置。在步骤608处，在手术前像空间和手术期间物空间(即患者空间)之间计算变换矩阵。继续，如在步骤610处所指示，使手术前图像数据与手术期间物空间(即患者空间)对齐。在步骤612处，从可佩戴成像和显示系统100(例如比如荧光或彩色成像)采集手术期间成像数据。继续步骤614，使用任何合适的技术(例如光学追踪或磁性追踪)获得可佩戴成像和显示系统100的位置。在步骤616处，在手术期间成像空间(即可佩戴成像和显示系统)和手术期间物空间(患者空间)之间计算变换矩阵。接下来，在步骤618处，使手术期间成像空间(例如荧光图像数据)与手术期间物空间(即患者空间)对齐。在步骤620处，过程600采集手持式装置成像或感测数据，例如比如超声光纤显微镜和拉曼光谱测定。接下来，在步骤622处，追踪手持式探头350(例如超声波光纤、显微镜和拉曼光谱测定探头)的位置。在步骤624处，在手持式成像/感测探头350像空间和手术期间物空间(即患者空间)之间计算变换矩阵。接下来，在步骤626处，如在步骤626处所指示，使手持式装置像空间(即超声波或显微镜)与手术期间物空间(即患者空间)对齐。最后，在步骤628处，在可佩戴成像和显示单元100的显示器
110上呈现共同对齐的图像数据。

[0091] 在另一方面，可以配置过程600，使得不使用从手持式探头350采集到的图像数据而执行追踪和对齐过程。因此，过程600仅仅使用成像和显示系统100(即护目镜系统)采集到的手术期间图像数据和手术前外科手术导航图像数据。在此情况下，仅仅必需执行过程600的步骤602-618和步骤628。

[0092] 在又一方面中，过程600还可配置成使得不使用手术前外科手术导航图像数据而执行追踪和对齐过程。因此，过程600仅仅使用成像和显示系统100(即护目镜系统)采集到的手术期间图像数据和手持式探头350采集到的图像数据。在此情况下，仅仅执行步骤612-626和步骤628。

[0093] 还应了解，除了上述追踪技术之外，可使用其它追踪技术，例如射频追踪、陀螺仪追踪、视频追踪(图案识别)、声学追踪、机械追踪和/或其组合。此外，模块350使用的追踪方法可以利用刚性主体、柔性主体或数字化器方法。

[0094] 还应了解，除了上文所论述的对齐技术之外，可使用其它对齐技术，例如基于点的对齐、基于面的对齐和/或其组合。对齐可包括基于强度的对齐或基于特征的对齐。所使用的变换模型可包括线性变换或非刚性/弹性变换。可使用空间或频率域方法以及自动或交互方法。

[0095] 为了对视场中的物空间(或所关注的目标)的拓扑采样，可以使用数字化器(例如NDI的装置)对物空间中的点采样。替代地，可以使用拓扑采集系统(例如3D 扫描仪)俘获3D拓扑，这可便于图像对齐。

[0096] 用作外设模块350的手持型探头可以用于两种用途：充当触笔/数字化器以用于对拓扑采样；以及充当成像或感测探头。具体来说，手持型探头可具有附接的例如LED的光学发射体，这将允许借助于光学追踪系统定位手持型探头的顶端；替代地，可以通过使用磁性追踪系统追踪附接到手持型探头的电磁传感器而获得顶端的位置。当探头滑移过器官表面上的不同点时，可以基于手持型探头的顶端(顶端被视为仅接触器官)的位置来建立3D点云。以此方式，成像手持型探头还能实现与追踪系统中传统使用的非成像触笔/数字化器类似的功能性以对拓扑进行采样。

[0097] 在另一方面，用作外设模块350的追踪器模块可以追踪也用作外设模块350的手持式显微检查探头外围设备的位置，使每个图像与手术前图像中的相应的空间对应部分对齐，并且在显示器110中显示。因此，接着可使例如超声波探头的成像外围设备检测到的图像与成像和显示系统100的检测器120收集的图像(例如荧光图像)叠加以供呈现在显示器110上。显示器110上的多个图像的对齐可以使用任何合适的技术实现，包含基于点的对齐、基于面的对齐、基于强度的对齐、基于特征的对齐和/或两者的组合。所使用的变换模型可包括线性变换或非刚性/弹性变换。可使用空间或频率域方法以及自动或交互方法。举例来说，可以使用例如LED之类的基准标记以便于基于点的对齐。在另一个例子中，如果面拓扑或曲线可用，则还可以使用基于面的对齐。在又另一例子中，对齐还可基于图案识别或基于特征的识别。

[0098] 因此，通过组合通信接口250和外设接口300的功能性，使得系统100能够提供多种功能。根据向系统100提供期望功能性的需要，可以将许多种类型(包含上述那些类型)的一或多个外围设备选择性地耦合到显示系统100。如果在给定应用(例如对于患者的体内成像)中需要来自探头的成像，则作为外围设备350的探头可以在接口300处耦合到显示系统100，从而使得显示系统100将接着能够显示从探头收集的图像。按照上文的追踪方面的公开内容，这个图像可以叠加到检测器120收集的患者的图像上，将探头的体内图像放在患者的图像上的适当位置。此外，探头图像可以叠加在手术前图像、检测器120俘获的手术期间图像上，将探头的体内图像放在患者的图像上的适当位置。一方面，手持型显微检查探头可以依次扫描过患者身上的较大区域。使用上文所论述的追踪技术，350俘获的较小视场显微图像可以作为剪辑画面接合在一起，这个剪辑画面叠加在120俘获的手术期间图像和手术前图像上。

[0099] 在另一方面，彩色和荧光成像之间的4个传感器的设置的共同对齐，其中使垂直视差与水平视差相关。具体来说，此例子描述使用4个相机的设置使手术期间彩色成像与手术期间荧光成像对齐的方式。

[0100] 在另一实施例中，可以使2个荧光相机俘获的立体荧光图像和2个彩色相机俘获的立体彩色图像对齐在一起。两组图像放置到并排框架中，并且荧光并排框架通过计算模块叠加到解剖框架上并且发送到显示器。为了实现高对齐准确度，我们测量从荧光滤光相机的中心到未滤光的彩色相机的中心的垂直距离以及两个经过滤光的相机或未滤光的相机之间的水平基线距离。根据这个信息，由下面的等式确定校正度量DV：

[0101]

[0102] 其中L是水平(H)或垂直(V)方向上的在相机之间测量到的基线视差，而DH是左荧光图像和右荧光图像中的共同点之间的水平像素视差。用于计算DH的点是峰值荧光点；如果存在不止一个峰值，则选择一个峰值用于计算。接着将荧光框架向上移位所计算的校正度量，从而使得在校准之后，荧光图像与对应的色彩图像对准。

[0103] 此外，可以整合多个成像和显示系统100A-X之间的GPS和无线通信，从而用GPS数据标记与医疗环境相关的信息。因此，在一个实施例中，还可以无线地发射或接收每个系统100A-X采集到的信息，以引导医疗干预。使用系统100的远程医疗功能性，现场急救人员可以在位于远处但是也在使用系统100的执业医生的指导下使用系统100执行医疗操作。应了解，系统100A-X还可与任何其它合适的计算装置(例如平板计算机、移动智能电话等等)通信。

[0104] 此外，系统100可以包含照明或光源400以照射用于对检测器120正在成像的所关注的目标物体130成像的视场。还应了解，光源400被配置成传递具有与检测器120(具有或没有滤光器/偏光器150、152)正在进行的特定成像兼容的适当强度和光谱的光。举例来说，可能必需具有光源400，其发出用于第一成像模式(例如彩色反射成像模式)的第一光谱，并且发出用于第二成像模式(例如荧光成像模式)的第二光谱。一方面，光源400可以耦合到计算装置200以用于自动控制光源400提供的功能，或者可以与计算装置200分离，并且由系统100的使用者手动地操作。

[0105] 还应了解，光源400可以在医疗环境中用于不同用途。此外，当通过去除滤光器/偏光器150、152或通过选择必需的滤光器/偏光器150、152而转换检测器120时，光源400的照明可以用于荧光成像、光学成像、光动力治疗、激光手术、灭菌等等。还应了解，可使用多个光源400。

[0106] 还应了解，光源400可包括激光；发光二极管(LED)，例如白色LED；白炽灯；投影灯；弧光灯，例如氙气灯、汞氙灯或金属卤素灯；以及相干或非相干光源。

[0107] 光源400还可包括数字(基于LED的)投影仪，另外光源可以投影空间频率用于图案化照明。举例来说，数字投影仪配合光谱过滤器可以用作光源。此外，光源400可以发出连续或脉冲输出，并且可以生成任何期望电磁波光谱窗内的光。

[0108] 还应了解，光源400还可包含光漫射器。

[0109] 用于遮挡与荧光发射光谱重叠的光频率的光谱过滤器

[0110] 在一些实施例中，尤其是当期望观察来自通过成像和显示系统100照明和观测的物体的荧光发射光谱时，光源400选择性地闪过光谱过滤器402，如图2中所示，光谱过滤器402遮挡有待观察的发射光谱的波长，使得光源400不会干扰所发射的波长的观察。举例来说，如果有待观察物体以寻找某一波长的荧光，则将选择光谱过滤器402以遮挡来自光源的波长，从而使得光源不会干扰所发射的荧光的观察。在一些此类实施例中，光源是白光源，因而提供宽谱，并且基于有待观察的发射光谱恰当地选择光谱过滤器。在一些实施例中，光源是一或多个白光发射二极管(LED)。在一些实施例中，各个光源是通过775nm低通滤光器滤光的白光发射二极管(LED)。在另一实施例中，低通滤光器可以换成偏光器，或者可以结合滤光器使用闪过光谱过滤器的光源。

[0111] 参看图8和图9，在另一实施例中，光源400可包括无影灯404，其适合手术期间使用的需要(即手术灯)。无影灯404包含多个单个光源406，其在支座407中间隔开，以将光投影到物体(例如患者500)上，其中介入物体和所述多个单个光源中的一或多个光源投下的阴影会被多个单个光源中的至少一个其它光源抵消。举例来说，无影灯404可以是手术灯，并且外科医生可以将手和手臂插置在无影灯404与患者之间，因而某些单个的光源往往会将阴影投到患者上，但是因为其它光源将没有外科医生的手/手臂插置在无影光源与外科医生之间，使得那些灯将抵消阴影，因而得到无影照明。已知支座407在摆臂410或弯管或其它提供按需要定位灯404的能力的连接件的末端上。

[0112] 在一些实施例中，尤其是当期望观察来自物体的发射光谱时，无影灯404的单个光源406选择性地闪过光谱过滤器408(图9)，光谱过滤器408遮挡有待观察的发射光谱的波长，使得无影光源不会干扰发射波长的观察。在一些实施例中，单个光源是白光发射二极管(LED)。在一些实施例中，各个光源是通过775nm低通滤光器滤光的白光发射二极管(LED)。在另一实施例中，低通滤光器可以换成偏光器或可以结合滤光器使用。

[0113] 在一特定实施例中，光源400是荧光亲和无影灯，其可以提供白光外科手术照明和荧光照明，而不会渗漏与荧光发射重叠的频率。这个无影灯同时提供良好渲染的外科手术照明(看起来像白光到明光)和荧光激励。在一个实施例中，这样的光源包括多个白光发射二极管(LED)，其与陷波滤光器耦合，陷波滤光器是光学滤光器，其选择性地排斥光谱的一部分，而传输所有其它波长。使用陷波滤光器，能排斥白色LED发射的与荧光发射重叠的频率。应了解，在一些情况下，可使用边缘滤光器实现遮挡与荧光发射重叠的频率的类似结果。在一个例子中，无影光源包括多个白光发射二极管(LED)，其通过775nm低通滤光器滤光。应了解，薄膜或其它装置在荧光亲和无影手术灯中可以起到与陷波滤光器或边缘滤光器类似的作用。一方面，无影灯400可包括具有边缘滤光器或陷波滤光器的白灯阵列。在另一实施例中，光谱过滤器可以换成偏光器，或者可以结合滤光器使用。

[0114] 在一些实施例中，光源是传统的投影仪(基于灯)或数字投影仪(基于LED)，其选择性地结合光谱过滤器或偏光器使用(如结合其它光源所描述)。投影仪还可以选择性地投影空间频率(即，提供图案化照明)。光谱过滤器可以设在已经描述的滤光轮中。投影仪有利地提供界限分明的照明区域。投影仪可以设置成投影任何期望波长的光并且可以在投影时没有偏亮的和偏暗的区域(即，提供一致的光)。

[0115] 参看图10和图11，在另一实施例中，光源400包括激光二极管412和漫射器414，漫射器414可移动成选择性地插置在激光二极管412和物体之间。在未插置漫射器414的情况下，激光二极管412简单地闪出聚焦的光束，而在插置漫射器414的情况下，激光闪在更大表面积上并且适合于全面照明。在一些实施例中，这样可以容许激光瞄准和夜视(漫射器在光路外)或荧光引导处理(漫射器在光路中)之间切换。此外，具有漫射器的激光二极管400还可使用滤光器。此外，激光二极管400还可经过脉冲或调频以减少传递的光能的平均量。

[0116] 光脉冲

[0117] 如图9和图10中所见，在一些实施例中，光源400可包括脉冲光源，或者可以利用调频或脉冲持续时间调制。一方面，检测器120可以检测给定频率或光谱的信号，并且光源400可以使检测到的信号与调频和脉冲持续时间调制相关。一方面，光源400可以使用电光调制器、截光器等等调制发光。替代地，如果光源400包括一或多个发光二极管(LED)，则光源400可以工作以通过调整被提供给LED供电的AC(交流电)的频率而调整输出的光的强度。

[0118] 具体来说，如图6中所示，护目镜系统100检测到的光源400的DC分量是2型荧光图像，并且护目镜系统100检测到的光的AC分量是2型荧光图像。护目镜系统100可以使用2个相机的设置或者4个相机的设置。护目镜系统100被配置成检测信号，所述信号用调频或脉冲持续时间调制相关。可使用各种调制光的方式，例如电光调制器、截光器等等。如果使用LED，则可以通过在LED中提供期望频率的AC电流而调制光源400输出的照明。系统100可使用锁定放大器。应了解，可以使用灯泡、灯、激光二极管、激光等等而不是使用基于LED的光源400。

[0119] 此外，如图7中所示，护目镜系统100检测到的标示为f1的光源400的频率分量将是1型荧光图像，而护目镜系统100检测到的标示为f2的光的频率分量是2型荧光图像。护目镜系统100可以使用2个相机的设置或者4个相机的设置，并且护目镜系统100将检测信号，所述信号使用调频或脉冲持续时间调制相关。调制光的可能的方式可包括电光调制器、截光器等等。此外，如果使用LED，则可以通过在LED中提供期望频率的AC电流来调制光源400输出的照明。此外，系统100可使用锁定放大器。应了解，可以使用灯泡、灯、激光二极管、激光等等而不是使用基于LED的光源400。

[0120] 还预期系统100包含麦克风480和扬声器490，以使得各种系统100A-X和其它计算机系统(即平板计算机、智能电话、桌上型计算机)等等之间能够使用通信网络260进行语言通信。

[0121] 因此，上文阐述了成像和显示系统100的各种组件的结构性布置，下文的论述将呈现用于执行具体功能的系统100的各种实施例。

[0122] 偏光

[0123] 系统100如先前论述通过以可转换的或选择性的方式使用偏光器152，使得当在第一状态下调用偏光时，检测器120提供偏光门控成像、偏光差成像、光谱差偏光成像、穆勒矩阵成像(Muellar matrix imaging)。

[0124] 举例来说，系统100还可使用传统的时分技术，以及可调谐的液晶偏光学滤光器或焦平面划分技术(例如Moxtek微型偏光器阵列)。

[0125] 联网系统

[0126] 如先前论述，每个成像和显示系统100包含检测器150和通信接口250，其允许多个系统100A-X与彼此和/或与一或多个远程计算装置传送各种数据。应了解，系统100可被配置成在单个系统100A-X中的每一个系统之间形成特设网络，或者可被配置成加入任何现有的无线通信网络，例如比如蜂窝式数据网络、射频通信、无线LAN、无线PAN、WiFi或蓝牙网络。如先前论述，每个系统100能够是数据的发送方和数据的接收方。应了解，系统100可以发送数据到任何类型的显示单元，包含其它不可佩戴显示器和可佩戴显示单元，以使得能够使系统100处所显示的内容可视化。

[0127] 在一个实施例中，一个系统100的检测器120可以俘获经由网络传送到连接到通信网络的一或多个其它系统100A-X或任何其它计算装置(即平板计算机、计算机、智能电话)的图像或视频数据。这样的图像传送可以在系统100A-X之间同时实时或近实时地发生。系统100的一或多个其他使用者、或可佩戴显示器的任何其他使用者、或连接到网络的其它计算机系统的任何其他使用者处的图像或视频数据的接收方可使用从一个系统100的实时或近实时图像或视频数据(例如查看患者)传输，以便基于传送的图像分析和提供医疗引导。此外，这样的联网系统100允许图像发源的系统100的视点或视场被中继到其它联网系统
100、或其它可佩戴显示器或计算装置，以便于医疗训练、诊断和处理。因此，一个系统100的视点或视场可以呈现给其它联网系统100或计算系统。

[0128] 此外，系统100的网络还可用于使得教育内容(包含但不限于医疗训练、外科手术训练等等)能够可视化。

[0129] GPS

[0130] 当系统100配置有GPS外围设备350时，系统100能够提供导航信息。因此，系统100可以能够报告装置100的位置，经由系统100连接的通信网络而将该位置传送到另一远程位置。此外，系统100可使用所有导航信息标记系统100收集的所有数据，例如比如所收集的图像。

[0131] 显微镜成像

[0132] 系统100还可包含显微成像特征。一方面，检测器120可以包含提供显微成像所必需的光学器件。一方面，检测器120可具有内置式光学器件以执行显微成像，或者可具有可互换的光学组件以用于显微成像。在另一方面，可以作为耦合到外设接口300的单独的外围设备350提供显微镜，使得显微镜提供的图像可以呈现在显示器上，或者通过网络传送到其它系统100和联网装置，如先前论述。

[0133] 医疗训练

[0134] 一方面，系统100的存储器单元可以存储软件以模拟基于虚拟现实或增强现实的医疗训练程序。二维或三维图像或视频可以存储在系统100的所述存储器单元处，或者存储在耦合到系统100连接的网络的远程服务器中，这使得例如医疗训练和外科手术训练之类的教育内容能够可视化。

[0135] 在另一方面，训练软件可以包含视听训练教程，其中有逐步指导，用于经由显示器110执行特定程序。此外，教程可以概述如何准备检查、如何操作超声波和如何定位患者的任务。可以包含超声波技术，例如如何操控超声波探头和使用超声波系统的键盘功能。教程还可包含各种检查方案；带有参考超声波图像的参考解剖信息；用于如何作出诊断的程序；
以及用于如何处理患者的程序，并且可以包含处理教程。

[0136] 替代地，系统100可以由例如教学外科医生之类的指导人员佩戴，以提供教学和指导，例如传授新外科手术和技术。因此，指导人员所佩戴的系统100的检测器120俘获的视点/视场经由通信网络260传输给同样佩戴着系统100的一或多个学生，以供呈现在学生的可佩戴显示器110上。此外，指导人员的视点/视场可以传输到任何其它本地或远程显示器，这些显示器是可佩戴的或不可佩戴的。一方面，立体成像和显示系统100使得能够实时或近实时地俘获教学外科医生的立体视图，并且传输给其他同样佩戴着立体成像和显示系统100的学生。立体图像和视频的深度感提供了例如手术之类的医疗程序的更加真实的训练体验。此外，佩戴着立体成像和显示系统100的学生能够实时或近实时地用教师的带有深度感的视点和视场看到教学外科医生执行的训练程序，这比常规方法更真实。此外，当学生在执行类似程序时，佩戴着立体成像和显示系统100的教师将能够形象地看到一或多个学生的视场。一方面，教师可以通过用画中画格式显示不同学生的立体视图来监视学生的表现，或者同时显示不同学生的几个窗口。因此，多个立体成像和显示系统形成用于以深度感知和视点共享传授医疗程序和非医疗程序的网络。

[0137] 选择性渗漏

[0138] 一方面，光源400可具有与发射光谱重叠的分量，被称作渗漏分量。渗漏分量可以是可调谐的以实现期望的背景等级。举例来说，在靛氰绿染料的情况下，如果发光学滤光器是820nm长通滤光器，则照明的>820nm的分量将穿过发光学滤光器(如果发光学滤光器是820nm长通滤光器的话)并且变成背景或渗漏分量。照明可以具有用于荧光激励的780nm的LED和用于渗漏的830nm的LED。通过改变830nm的LED的强度，可以调整背景等级，这可以用于多种情形。

[0139] 医疗或外科手术引导

[0140] 因此，已经阐述了系统100的组件，现在将详细地描述所述系统实现的特定医疗引导功能。因此，一旦系统已经采集到外科手术导航手术前图像、手术期间图像(例如荧光图像)、和体内高分辨率成像/感测显微检查图像(例如荧光显微检查图像)，就对所述图像应用先前论述的追踪和对齐技术。因此，将所有三种图像类型同时整合或叠加在一起，以便形成复合的共同对齐图像450以供呈现在可佩戴系统100的显示器110上，如图4中所示。应了解，如先前论述，检测器120可以使用相机120A-B提供立体成像。这样允许显示3维图像以供外科医生经由可佩戴显示器110查看，可佩戴显示器110模拟自然的人类视觉，由此允许实现深度感，这在手术期间的医疗评估引导方面是至关重要的。

[0141] 共同对齐的合成图像450被配置成其中将手术前图像数据(例如，比如MRI(磁共振成像)数据分段并且处理成而且渲染成具有多个3D表面的3维模型。应了解，可使用任何合适的分段过程，包含自动、手动或半自动分段过程。此外，分段还可以基于阈值处理法、集群法、基于压缩的方法、基于直方图的方法、边缘检测法、区域增长法、分解与合并法、基于偏微分等式的方法、参数方法、水平集方法、快速步进法、图形分割法、分水岭转换法、基于模型的分段法、多尺度分段法、可训练分段法和其任何组合。

[0142] 在一个例子中，在手术前图像的3D渲染之前，可使用基于阈值的分段和手动分段。此外，可以使用带有可编程阈值的直方图处理，用于自动阈值处理的Otsu分段，和两步绘图工具，其中手动地选择区域，接着使用群集算法分组。替代地，可以执行手动区域选择。在另一个例子中，可以将MRI图像的经过渲染的体积转换成表面网格，并且将网格保存为对象文件。可以使用直方图阈值处理创建3D渲染的内部和外部体积，其中内部体积表示一个器官，外部体积表示另一个器官。

[0143] 使用例如先前论述的那些追踪技术，将基于MRI或其它断层扫描数据的3D手术前模型映射成正在接受外科手术的患者500(如图4中所示)的物理尺寸。也就是说，映射过程使得患者的手术前3D模型所识别的器官或其它物理特性与正在接受外科手术的患者500的对应器官相关。应了解，系统100可以经由通信网络260远程地采集手术前数据，或者通过被配置成耦合到外设接口300或与外设接口300通信的便携式存储器单元在本地采集手术前数据。一方面，手术前图像数据可包括任何3D体积数据或断层扫描图像数据。此外，系统100使用的手术前数据可包括点云数据、表面渲染数据或网状数据、MRI(磁共振图像)图像数据、计算机断层扫描(CT)图像数据、正电子发射断层扫描(PET)图像数据、单光子发射计算机断层扫描(SPECT)、PET/CT、SPECT/CT、PET/MRI、伽马射线闪烁扫描、X射线照相、超声波等等。

[0144] 在手术前图像数据映射到患者500之后，检测器120实时或近实时采集到的手术期间成像(例如荧光图像)显示出外科手术期间所关注的特定病灶或手术部位在什么位置，并且该手术期间成像被加入合成图像450中。因此，手术期间荧光图像补充了系统100所显示的3D手术前MRI图像。还应了解，手术期间荧光成像还引导使用体内显微检查手持式探头进一步评估小病灶和其它组织结构，如先前论述。具体来说，佩戴系统100的执刀医生或外科医生使用体内显微检查手持式探头仔细检查手术期间荧光成像显示的患病组织或区域。还在可佩戴显示器110上作为插图或画中画图像实时显示来自手持式显微检查探头的高分辨率显微图像，如图4中所示。因此，图4显示系统100经由显示器110呈现手术前的基于MRI的外科手术导航成像、手术期间荧光成像和体内显微检查成像的能力。这样允许系统100的使用者方便地识别患者体内的患病组织或病灶，同时改善诊断准确度并且减少评估所需的时间。

[0145] 应了解，虽然上文对系统100提出的论述使得显示器110能够以合成图像450的形式一起显示手术前图像、手术期间图像和体内显微检查图像，每个图像相对于彼此有各种透明级，但是可以在显示器110上呈现所述图像类型中的一或多个图像类型的任何组合。举例来说，可以在显示器110上仅仅一起显示手术前外科手术导航图像和手术期间荧光图像；或者可以在显示器110上仅仅显示手术期间图像。

[0146] 还应了解，系统100可以配置成使得在同一时间同时提供多个手术期间模态。举例来说，如先前论述，系统100可以在同一时间提供手术期间荧光成像和偏光成像。类似地，系统100可以在同一时间提供手术期间荧光成像和彩色成像。

[0147] 在另一方面，可以利用系统100执行肠胃检查，例如结肠镜检查或食道检查。在此情况下，外科手术导航手术前图像是基于CT结肠镜检查(虚拟结肠镜检查)图像，通过内窥镜采集手术期间成像，并且通过显微内镜探头实现高分辨率的体内显微检查感测。此外，系统100可以包含治疗模块350，用于附接到外设接口300，治疗模块350执行图像引导式内窥镜手术。因此，系统100允许准确地追踪内窥镜的位置，并且相对于基于CT结肠镜检查手术前图像生成的3D渲染的模型来移动内窥镜的位置。因此，外科手术导航可以使用内窥镜引导病灶评估。另外，可以通过体内显微内镜探头评估可疑病灶以检验显微检查和病理详情。

[0148] 应了解，除了先前论述的类型的显示器110之外，显示器110还可支持并排显示图像，并且还可包含：立体显示器(anaglyph display)、偏光3D显示器、主动快门3D显示器、干涉滤光器3D显示系统等等。此外，显示器110还可包括非立体显示器类型。此外，显示器110可包括LCD(液晶)微型显示器、LED(发光二极管)微型显示器、有机LED(OLED)微型显示器、硅上液晶(LCOS)微型显示器、视网膜扫描显示器、虚拟视网膜显示器、光学透视显示器、视频透视显示器、可转换视频-光学透视显示器、可佩戴投影显示器等等。另外，显示器110可以利用全息显示器。

[0149] 此外，可以使用先前关于图3A-图3E论述的检测器120的配置提供手术期间图像，例如荧光图像，用于通过系统100生成合成图像450以供呈现在显示器110上。举例来说，相机120A-B可被配置成提供立体荧光成像。

[0150] 此外，在手术期间成像(例如荧光成像)期间使用光源400，并且光源400可以包含但不限于：非相干光源，例如氙气灯、卤素灯和LED。此外，可使用相干光源，例如激光和激光二极管。此外，可以使用各种荧光示踪剂在所关注的手术部位或组织130处起始荧光，系统100可以对于不同的光源400的光谱使用各种荧光示踪剂，包含UV(紫外线)范围、可见范围，并且红外(IR)范围可与系统100一起使用。一方面，可以使用靛氰绿作为荧光示踪剂执行近红外(NIR)荧光成像。

[0151] 除了手术期间荧光成像之外，还可以执行其它类型的手术期间成像，包含：偏光成像、吸收成像、氧饱和度信息成像或其任何组合。

[0152] 此外，可以对于任何合适的外科手术执行手术期间成像，例如开放式手术、内窥镜手术、腹腔镜手术或其任何组合。

[0153] 还应了解，用于采集手术期间图像的手术期间成像探头可包括超声波探头、内窥镜、腹腔镜、气管镜等等。

[0154] 还应了解，可以通过任何合适的体内显微检查探头，例如体内荧光/反射显微检查探头，执行体内显微成像。此外，系统100可使用各种体内显微检查检测和技术，包含彩色显微检查、反射显微检查、荧光显微检查、氧饱和度显微检查、偏光显微检查、红外线显微检查、干涉显微检查、相差显微检查、微分干涉对比显微检查、高光谱显微检查、全内反射荧光显微检查、共焦显微检查、非线性显微检查、双光子显微检查、二次谐波生成显微检查、超分辩率显微检查、光声显微检查、结构光显微检查、4Pi显微检查、受激发射损耗显微检查、随机光学重建显微检查、超声波显微检查、和其任何组合。

[0155] 此外，体内探头可包括尚未达到显微分辨率的手持型成像装置。体内探头350可使用的非显微成像方法可以包含反射成像、荧光成像、契伦科夫成像、偏光成像、超声成像、辐射测量成像、氧饱和度成像、光学相干断层扫描成像、红外线成像、热成像、光声成像、光谱成像、高光谱荧光检查成像、伽马射线成像、X射线计算机断层扫描成像、或其任何组合。还应了解，体内显微检查探头可包括内窥镜、腹腔镜、气管镜、血管镜、血管造影导管。

[0156] 在另一方面，体内探头可包括非成像装置，例如感测装置，包含手持型分光光度计或基于光纤的光谱仪。使用体内感测探头可以实现不同的光谱测定，例如各种光学光谱测定、吸收光谱测定、荧光光谱测定、拉曼光谱测定、相干反斯托克斯拉曼光谱测定(CARS)、表面增强拉曼光谱测定、傅里叶变换光谱测定、傅里叶变换红外线光谱测定(FTIR)、多路复用或调频光谱测定、X射线光谱测定、衰减全反射光谱测定、电子顺磁光谱测定、电子光谱测定、伽玛射线光谱测定、声共振光谱测定、俄歇光谱测定、光腔衰荡光谱测定、圆二色谱光谱测定、冷蒸气原子荧光光谱测定、相关光谱测定、深层能级瞬态光谱测定、双极化干涉测定、EPR光谱测定、力光谱测定、强子光谱测定、重子光谱测定、介子光谱测定、非弹性电子隧穿光谱测定(IETS)、激光诱导崩溃光谱测定(LIBS)、质谱测定、穆斯堡尔光谱测定(spectroscopy)、中子自旋回波光谱测定、光声光谱测定、光电发射光谱测定、光热光谱测定、泵浦探头光谱测定、拉曼光活性光谱测定、饱和光谱测定、扫描隧穿光谱测定、分光光谱测定、时间分辨光谱测定、时间扩展光谱测定(time-stretch Spectroscopy)、热红外线光谱测定、紫外线光电子光谱测定(UPS)、视频光谱测定、振动圆二色性光谱测定、X射线光电子光谱测定(XPS)、或其任何组合。

[0157] 基于上述内容，本发明的优势是显而易见的。这个系统的主要优势是提供了使用单个可佩戴系统通过外科手术导航(例如手术前成像)、手术期间成像和高分辨率体内成像/感测(例如显微检查)引导例如外科手术之类的医疗程序的多种方式。本发明的又另一优势是所有尺度的医疗信息都能同时供外科医生查看，其中外科手术导航提供基于MRI或CT成像的全身信息；手术期间成像提供了所关注的器官的实时信息；而显微检查提供微尺度信息，这样比常规的病理报告技术更加方便也更快。本发明的另一优势是可佩戴系统容易佩戴和使用，并且操作起来是使用者友好的。本发明的又一优势是系统提供的深度感(即立体视觉)有益于引导手术，这一点超越了平面成像和2D监视器显示器的性能。本发明的另一优势是可佩戴装置提供了一种经由准确追踪和图像对齐技术使外科手术导航、手术期间成像和高分辨率成像一起相关的方法。本发明的又一优势是所述系统提供无线通信，这样允许可佩戴装置远程地和本地与多个通信装置和可佩戴装置通信；其中系统的远程使用者可以选择近实时地查看立体信息和与本地临床医师交谈。本发明的另一优势是可佩戴装置是整装的，这样便于在农村地区、发展中国家和现场急救人员和安保/防御应用中使用。本发明的又另一优势是可佩戴装置以及其它远程位置的可佩戴装置可以用于医疗训练，其中学生可以同时查看外科医生查看的实际医疗信息。本发明的另一优势是可佩戴装置可以是低成本的；可以用于任何不同的外科手术环境，例如兽医学。本发明的另一优势是所述系统提供了一项平台技术，这项技术可以用于放射研究起重要作用的几乎所有医疗干预。

[0158] 因此，可以看出本发明的目标已经通过在上文中呈现的供使用的结构和其方法而得到满足。虽然根据专利法，仅呈现和详细地描述了最佳模式和优选实施例，但是应理解本发明不限于此。相应地，为了理解本发明的真实范围和广度，应该参考所附权利要求书。

标题	发布/更新时间	阅读量
用于测量荧光寿命的装置	2020-05-12	818
用于计算荧光寿命的质心算法的校正方法	2020-05-16	91
一种高精度荧光寿命测量装置	2020-05-12	312
用于测量荧光寿命的装置和方法	2020-05-14	753
一种用于荧光寿命编码的量子点及其荧光寿命编码方法	2020-05-12	642
荧光寿命表观遗传学测定	2020-05-14	957
一种荧光寿命显微成像系统	2020-05-15	448
荧光寿命的测量方法	2020-05-11	395
用于流场诊断的快速荧光寿命成像系统及方法	2020-05-15	1019
超分辨荧光寿命相关光谱系统	2020-05-12	610

用于引导医疗干预的成像和显示系统

用于引导医疗干预的成像和显示系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：