[0002] 本
申请要求2012年10月29日提交的题为“INTEGRATED ILLUMINATION AND OPTICAL SURFACE TOPOLOGY DETECTION SYSTEM AND METHODS OF USE THEREOF”的美国临时申请No.61/719,744的优先权，其全部内容以参考的方式并入本文。
技术领域
[0003] 本
发明涉及光学表面拓扑检测系统。本发明也涉及手术照明和外科
导航系统。
背景技术
[0004] 光学照明在医疗项目特别是外科场所中扮演着重要的
角色，但在例如牙科、眼科和胃肠病学等专业中也很重要。用于
手术环境的
光源尤其需要提供带有微少可见的时间或空间调制的、明亮、均匀、无影的照明。发光
二极管(LED)以其高效率、长寿命以及相对低的成本，正成为医疗照明的优选。
[0005] 近来，3D表面拓扑检测已成功用于大范围医疗领域，包括牙科，骨科，外科以及
放射治疗。这种技术提供亚毫米
精度的数据集，用来
定位需要治疗的病人，设计手术/牙移植，以及/或与其他成像调制配准以为从业者提供体表下信息。
[0006] 表面拓扑数据集可以由多种方式生成，但典型系统包括激光测距仪，摄影测量系统，以及结构光成像系统。例如，立体结构光成像可以用来生成表面拓扑图像。该方法包括主动场照明，以便与在计算上更具强度的方法(例如摄影测量)相比容易地识别(由相机系统捕获的图像的)一致性。一些最稳定和精确的结构光技术使用二维图案序列，并通常与
正弦波图案并用以进一步增加精确度。为了在存在环境照明时获得稳定重建，这些方法通常对逆二进制图案投射以便修正标记
像素。
[0007] 伴随
数字光处理(DLP)技术的最新进展，此类图案的投射速度可以非常高(每秒1000次)。此外，相机和计算技术的进步也能够以非常高的速度对这些图案进行同步获取。
这些近期的发展使得在医疗手术中对解剖目标实施连续或快照高速表面拓扑成像切实可行。
[0008] 导航系统通常被用在手术治疗中，通过显示病人当前解剖状态与从例如计算机
断层扫描(CT)等成像模式得到的术前或术中图像之间的关系，辅助外科医生执行手术。这些关联通过计算或显示单元以视觉方式显示给外科医生，为外科医生提供皮下信息，而在没有导航系统时这些信息通常是缺乏的。
[0009] 大多数导航系统是基于
跟踪单元的视场内的基准点的光学三角测量。这些反射基准点可以通过如下的方式发现，即，利
用例如
近红外线附近的光源照明区域，以及利用具有由基线分隔的立体近红外相机对区域进行观察，产生两个不同区域
视野(导航模
块)。导航系统也可以依靠主动基准点，采用近红外LED发射光，直接由立体近红外相机对捕获。通过将多个基准点附到已知物体，就可以确定该物体的3D和朝向。
发明内容
[0010] 系统和方法被提供以用于光学拓扑检测和照明。多个实施方式提供集成系统，以及其操作的方法，其中集成系统包括照明系统和光学拓扑检测系统，并且来自照明系统的照明光的至少部分
光谱成分位于光学拓扑检测系统的光学检测带宽内，光学拓扑检测系统和照明系统的操作彼此交错，以避免串扰，从而当照明系统不发射照明光时，光学拓扑检测系统对光学拓扑检测光进行检测。系统可以包括光学导航系统并控制其操作。系统的组件可以安装到刚性
框架上以保持校准。
[0011] 相应地，在一个方面，提供了用于光学拓扑检测和照明的集成系统，包括：
[0012] 照明系统，配置成利用照明光对感兴趣区域进行照明；
[0013] 光学拓扑检测系统，配置成将光学拓扑检测光投射到感兴趣区域并对从感兴趣区域散射或反射的光学拓扑检测光进行检测，以对感兴趣区域的拓扑进行检测；
[0014] 其中，照明光的光谱成分的至少一部分位于所述光学拓扑检测系统的光学检测带宽内；以及
[0015] 一个或多个处理器，配置成：
[0016] 提供一个或多个控制
信号以重复地触发所述光学拓扑检测系统和所述照明系统的交错操作；以及
[0017] 根据一个或多个
控制信号控制所述光学拓扑检测系统和所述照明系统的操作，从而当所述照明系统不发射照明光时，光学拓扑检测系统对光学拓扑检测光进行检测。
[0018] 另一方面，提供了一种用于使光学拓扑检测系统和照明系统的操作的同步和交错以减少光学串扰的由计算机实施的方法，其中，照明系统提供照明光以照明感兴趣区域，并且光学拓扑检测系统配置成对感兴趣区域投射光学拓扑检测光，并对从感兴趣区域散射或反射的光学拓扑检测光进行检测，从而对感兴趣区域处的拓扑进行检测，该方法包括：
[0019] 提供一个或多个控制信号以重复地触发光学拓扑检测系统和照明系统的交错操作；以及
[0020] 根据一个或多个控制信号控制光学拓扑检测系统和照明系统的操作，从而当照明系统不发射照明光时，光学拓扑检测系统对光学拓扑检测光进行检测；
[0021] 其中，照明光的至少一部分光谱成分位于光学拓扑检测系统的光学检测带宽内。
[0022] 参照下述细节描述和
附图，可实现对本申请的功能和优势的进一步理解。
附图说明
[0023] 下面对实施方式进行描述，仅以示例的方式，参考下面的附图，其中：
[0024] 图1(a)和1(b)提供了示例复合系统的示意图，该系统包括照明模块和光学拓扑检测模块，其中，a)示出两系统之间连接，b)示出通过控制处理单元连接的模块。
[0025] 图2是示出照明模块的示例性
实施例的光学
框图。
[0026] 图3是示出光学拓扑检测模块的示例性实施例的框图。
[0027] 图4是示出控制处理单元的示例性实施例的框图。
[0028] 图5(a)-(c)是示出利用a)格雷码(Gray code)，b)移相正弦波以及c)格雷码与移相正弦波的结合的结构光序列的说明。
[0029] 图6(a)-(e)示出了表示用于控制照明和结构光系统的示例性实施的时序图，包括a)主时钟，b)投射器接通时间，c)触发信号，d)主照明接通时间，以及e)主相机曝光接通时间。
[0030] 图7是示出利用结合了格雷码和移相正弦波的结构光的顺序的图示的说明。
[0031] 图8a是示出复合系统的示例性实施例的框图，示出了无影照明模块、光学拓扑检测模块和导航模块，以及系统间的连接。
[0032] 图8b是示出复合系统的另一个示例性实施例的框图，示出了由控制与处理单元控制的无影照明模块、光学拓扑检测模块和导航模块。
[0033] 图9是设置在刚性壳体内的示例复合系统(包括照明，结构光和导航)的说明，其中示出了壳体的基部的平面视图。
[0034] 图10是示例复合系统(照明、结构光和三角测量系统)的剖面图的说明，其中示出的平面是结构光相机的平面。
[0035] 图11是示例复合系统(照明、结构光和三角测量系统)的剖面图的说明，其中示出的平面是三角测量相机的平面。
[0036] 图12(a)-(d)示出了对病人的周期运动进行监测以控制光学拓扑数据的获取的示例性实施方式，示出了(a)对应于周期运动的示例时间相关信号，(b)触发信号，(c)获取结构光的接通时间，以及(d)在(a)中所示信号的导数。
[0037] 图13(a)-(c)示出了仅当病人的周期运动在规定
阈值内时才获取光学拓扑的示例性实施。
[0038] 图14(a)-(c)示出了图9-11中所示的系统变型的图示，系统包括用于工具跟踪和结构光成像的附加相机，以增强系统对视线中的障碍物的鲁棒性。
[0039] 图15(a)-(b)示出了用于进一步增强对视线中的障碍物的鲁棒性的多个光学拓扑投射器的示例性实施方式。
[0040] 图16(a)-(e)示出了表示用于控制复合系统(照明、结构光和三角测量系统)的示例性实施的时序图，包括a)主时钟，b)投射器接通时间，c)触发信号，d)主照明接通时间，e)主相机曝光接通时间，以及f)导航模块接通时间。
[0041] 图17(a)-(f)示出了当嵌入式
光电二极管控制均工作在NIR光谱区的光学拓扑模块和导航模块的触发时的时序图的附加示例性实施方式，示出了a)导航模块接通时间，b)光电二极管响应，c)主时钟，d)投射器接通时间，e)投射器触发输出，f)主照明接通时间，以及g)主相机曝光接通时间。
[0042] 图18是表示用在
手术室内环境中的示例集成照明和光学拓扑系统的图示的说明。
[0043] 图19是集成到外科手术
显微镜的示例集成照明和光学拓扑系统的图示。
[0044] 图20是集成到用于
荧光成像的外科
手术显微镜的示例集成照明和光学拓扑系统的图示。
具体实施方式
[0045] 将参照下文中的详细讨论对本发明的各种实施方式和方面进行描述。下述描述和附图为本发明的说明，不应被理解为对本发明的限制。描述了大量具体细节以提供本发明各种实施方式的透彻了解。但是，在某些情况下，公知的或常用的细节未做描述，以便提供对本发明的实施方式的简洁描述。应当理解，此处公开的方法的步骤的顺序并不重要，只要能够维持方法的可操作性。此外，可以同时或以不同顺序执行两个或更多的步骤，而不是此处所列举的，除非另有说明。
[0046] 这里使用的术语“包括”和“包含”被解释为包括并且是开放性的，并非排他的。特别地，当被用在
说明书和
权利要求中时，术语“包括”和“包含”及其他
变形表示规定的特征、步骤或部件被包括在内。这些术语不被解释为排除其他特征、步骤或部件的存在。
[0047] 这里使用的术语“示例性”表示“作为示例，实例或说明”，不应被解释为优选或比此处公开的其他结构更具优势。
[0048] 这里使用的术语“大约”和“大概”，当用于粒子的尺寸范围、混合物的组成或其他物理性质或特性时，意味着
覆盖可能存在于尺寸范围的上限和下限内的微小变化，以不排除平均而言大部分尺寸都满足但在统计学上尺寸可能在该范围之外的实施方式。并非打算排除例如来自本发明的实施方式的实施方式。
[0049] 这里使用的术语“光学的(optical)”指
波长在紫外、可见、近红外和/或远红外光谱区域的电磁
辐射。
[0050] 在本申请发明的一个实施方式中，提供一种照明和光学表面拓扑(此处也称为“拓扑”)检测系统，通过同步照明和光学表面拓扑检测，可以避免互致光干涉或串扰。图1(a)是说明示例系统100的主要部件的框图，系统100包括照明模块10和光学拓扑检测模块20，二者如图所示通过连接器40接合或连接。如图1(b)所示，照明模块10和光学拓扑检测模块20可以通过外部控制与处理单元30接合，外部控制与处理单元30位于光学拓扑检测模块20外部。
[0051] 照明模块10和光学拓扑检测模块20被
支撑以使得光学拓扑检测模块20的光学拓扑检测区85被定位到照明模块10的照明区80。在一个示例性实施中，上述设置可以通过将照明模块10和光学拓扑检测模块20刚性支承在例如常见的刚性框架、机械支承或外罩上来实现。具体地，如图1(a)所示，照明模块10可被定位为使得光学拓扑检测区85的中心与
指定的照明区80的中心近似对齐。在手术应用中，光学拓扑检测区85的中心可相对于照明区80的中心定位，使得待照明的指定区域(解剖体、种植体、工具等)的中心也是光学拓扑成像的目标。
[0052] 在另一个示例性实施中，照明模块10不需要相对于光学拓扑检测模块20固定。例如，照明模块10可以为或可以包括便携式照明装置，诸如放置在可由外科医生佩戴的头盔上的灯。在一个实施方式中，照明模块仅需配置成使得照明区80能够被定位为与光学拓扑检测区85重合。在一个实施方式中，照明模块10与光学拓扑检测模块20(以及光学控制与处理单元30)之间的
接口可以为无线连接(将在下文中描述)。
[0053] 在另一个示例性实施方式中，光学拓扑检测系统20无需与照明模块10机械连接，而是光学拓扑检测区85的相对
位置通过包括例如
发动机、伺服
电动机、执行器、用于运动的液压装置、以及基于方位跟踪
传感器的传感系统(射频RF，光学，电磁EM或机械等)的部件的电动系统与照明区80动态地对齐。
[0054] 根据不同的实施方式，照明模块10和光学拓扑检测模块20均基于时间相关基准运行，从而，当照明模块10发射照明光时，光学拓扑检测模块20不发射拓扑检测光，反之亦然。如下文所述，采用连接部40和/或控制与处理单元30来同步照明模块10和光学拓扑检测模块20的操作。通过同步照明模块10和光学拓扑检测模块20的操作，可在没有来自照明模块10的干涉光的情况下获得光学拓扑图像数据。此外，在一些实施方式中，相对于照明模块发射的照明光的强度和/或持续时间对光学拓扑检测模块20发射的拓扑检测光的强度和/或持续时间进行控制，使得拓扑检测光的时间平均(也就是，由人类观察者
感知的)照明对照明光的感知时间平均照明的比值足够小，使得与拓扑检测系统关联的光功率的
波动对于人类观察者而言基本无法察觉。
[0055] 照明模块10的一个示例性实施方式在图2中示出。在该示例性实施方式中，照明模块10包括照明光源12、模块
电路14、以及内部电源16。在另一个实施方式中，电
力可以可选地从外部电源提供至照明模块10，而无需内部电源。
[0056] 在一个实施方式中，照明光源12可以包括一个或多个LED。合适的LED光源的示例是一个或多个Cree XP-G Neutral White LED。LED可以设置为阵列方式，例如圆周或环形阵列。照明光源12还可以包括合适的聚焦和/或光束调节光学器件(未示出)以产生具有合适光束形状和/或发散角的光束。
[0057] 示例照明模块10还包括调制电路14以对照明光源12发射的光功率进行时间调制。可以通过例如对供给到照明光源12的电功率进行调制，进而对照明光源12发射的光功率进行光学调制来实现。可替换地，可以利用调制电路14直接对照明光源12发射的光功率进行调制(例如，通过控制光
开关、遮光器、或其他光学
调制器件)。
[0058] 在照明光源12包含LED的一个实施方式中，调制电路14可以包括LED控制电路，例如带有
脉宽调制的Linear Technology的高功率
电流驱动器LT3476EUHF，以对输出到LED的电流进行调制。在另一个实施方式中，调制的电流可以从外部例如从图1(b)所示的控制与处理单元30提供到照明模块10。
[0059] 如图2和图3所示，调制电路14连接至控制与处理单元30，控制与处理单元30可如图1(a)所示集成到光学拓扑检测模块20内，或如图1(b)所示作为独立器件。连接器40可以为实线
电缆(例如，用于传输
电信号或
光信号)，或者可以为无线连接，例如，作为光传输模态，或无线传输模态，例如Wifi，蓝牙，NFC或 连接器40允许系统模块间的信号和/或数据的传输，以方便模块的时间同步，如下文所述。
[0060] 在一个示例性实施中，连接器40可以是控制与处理单元30与调制电路14之间的单向连接，例如，调制信号的与光学拓扑检测的获取同步的传送。在另一个示例性实施中，连接器40可以是调制电路14与控制与处理单元30之间的单向连接，例如，用于使光学拓扑检测的获取与时间相关照明同步。在另一个示例性实施例中，该连接可以为双向连接。
[0061] 光学拓扑检测模块20可以为任何用于检测、测量、成像或以其他方式利用光辐射对一个或多个物体的表面拓扑检测的合适系统。合适的光学装置的非限制示例包括激光测距机、照相测量系统以及结构光成像系统，它们将光学拓扑检测光投射到感兴趣的区域，并对从感兴趣区域散射或反射的光学拓扑检测光进行检测，如题为“SYSTEM AND METHODS FOR INTRAOPERATIVE GUIDANCE FEEDBACK”的PCT申请No.PCT/CA2011/050257中所披露的那样，该申请的全部公开内容在此以引用的方式并入。
[0062] 图3说明的示例性实施方式中，光学拓扑系统20是结构光成像系统，结构光成像系统包括光源22、扫描器或投射器24、一个或多个高速相机26、以及控制与处理单元30。结构光投射器24可以为适于将来自光源22的光以结构光图案投射(例如，成像或扫描)到感兴趣平面的任何装置。合适的结构光投射器的示例是数字光处理设备(DLP：Digital Light Processing)。光源22和扫描器/投射器24可以集成到单一设备中，例如DLP LightCrafter。可以通过用白LED替代蓝LED并去掉双色镜(例如，Cree XM-L中性白LED)对此类设备进行改造以投射白光。可替换地，红、绿和蓝LED可以同步或顺序地运转，并以变化的比例，以产生具有变化
色温的可见白光(或其他
颜色)以近似匹配照明模块输出。可替换地，可以用RGB
激光器替代LED。
[0063] 在一个实施方式中，相机26为可触发相机。应当理解，虽然在图中示出了一个相机26，替代实施方式可以包括两个或多个相机。相机26可以为彩色或黑白相机，并且可以基于CMOS或CCD技术。对于可能出现干扰结构光获取的运动的环境，相机的成像速度是重要的。例如，在手术应用中，手术中病人的典型呼吸速率为每分钟P次呼吸。对于采用n个图案的结构光序列，获取发生在小于呼吸周期的一部分S内，从而需要相机的最小可触发获取速率为(n×P)/(60×S)fps。因此，对于P＝20的呼吸速率、使用n＝24且S＝1/30的结构光序列，产生240fps的最小可触发获取速率。
[0064] 需要注意的是在可触发获取期间内，相机的
帧速率可以从相机的非触发模式减小。对于其他应用，可以不需要如此高的成像速度，该数值可以减小至仅使可见干扰能够被忽略的
帧速率。
[0065] 在一个示例性实施方式中，相机26为高速相机，相机26与结构光投射器24电连接，以将图像的获取与投射同步。合适的相机的示例为Point Grey Flea3，其是一个黑白CMOS相机，能够在640x480像素
分辨率下实现大于300Hz的可触发获取。相机通过USB3.0接口与控制与处理单元30连接，以用于高速数据传输。
[0066] 图4示出了控制与处理单元30的示例性实施方式，控制与处理单元30可包括计算机
硬件，例如处理单元31(例如，一个或多个处理器)、以及包含一个或多个
计算机程序以对系统进行控制的关联内存31a，处理单元31与
用户界面单元32和显示器33连接。在一个示例中，控制与处理单元30可以为
计算机系统，例如个人计算机或其他计算机设备，例如，具有计算机工作站的形式，包含硬件处理器和
存储器，其中由处理器根据存储在存储器中的计算机程序进行计算，从而执行方法，诸如结构光成像的启动和将获取的图像的重建至表面拓扑。例如，处理器可以为中央处理单元或
图像处理单元，或中央处理单元和图像处理单元的组合。以这些方式获得的数据可以存储在设备存储单元34。
[0067] 可以由处理单元31生成对照明模块10和/或光学拓扑模块20的指令。可替换地，控制与处理单元30可以包含同步单元35，同步单元35用于对照明模块10和/或光学拓扑模块20输出各种指令。例如，同步单元35可以采用一个或多个附加处理器的形式，这些附加处理器可以通过串行通信或其他通信方法(wi-fi，usb，Ethernet，Bluetooth等)与处理单元31连接。可替换地，同步单元35可以为模拟或数字
数据采集(DAQ)卡。指令可以以各种数字和/或模拟通信方式和协议，诸如，例如电学、光学、声学或其他方法传输到照明模块10和/或光学拓扑模块20。
[0068] 在一个实施方式中，控制与处理单元30包括通用计算机或任何其他等效硬件。因此，系统可以包括至少一个处理器(CPU/
微处理器)，可以包含随机存储器(RAM)的内存、一个或多个存储设备(例如，磁带机、
软盘驱动器、
硬盘驱动器或光盘驱动器)、和/或
只读存储器(ROM)、以及各种输入/输出设备(例如，接收器、发射器、扬声器、显示器、图像传感器，例如在码相机或数字摄像机中使用的图像传感器、时钟、输出端口、用户输入设备，例如
键盘、小键盘、
鼠标、
位置跟踪触针、位置跟踪探针、
脚踏开关、基于
手持设备的位置跟踪的6度输入设备等、和/或用于采集语音指令的麦克
风等)。控制与处理单元30也可以实施为通过信道与CPU耦合的一个或多个物理设备。例如，控制与处理单元30可以利用专业集成电路(ASIC)实现。可替换地，控制与处理单元30可以实施为硬件和
软件的结合，其中软件从存储器或通过网络连接加载到处理器。在一个实施方式中，本申请发明的控制与处理单元30(包括相关数据结构)可以存储到计算机可读介质上，例如，RAM存储器、
磁性或光学驱动器或磁盘。
[0069] 虽然一些实施方式是在全功能计算机和计算机系统的情况下进行的描述，本领域技术人员应该明白，多种实施方式能够被描述为各种形式的程序产品，并能够与机器或计算机可读介质的特定类型无关地用于实际执行本分配。
[0070] 计算机可读介质的示例包括但不限于可刻录和不可刻录型介质，例如易失性和
非易失性存储器设备、只读存储器(ROM)、
随机存取存储器(RAM)、闪存设备、软盘和其他可换磁盘、磁盘存储介质、光存储介质(例如，光盘只读存储器(CD ROM)、数字通用光盘(DVD)等)，等等。指令可以体现为用于电、光、声或其他形式的传播信号，例如载波、远红外信号、
数字信号等的数字和模拟数据链路。机器可读介质可以用于存储软件和数据，软件和数据在由
数据处理系统执行时使系统执行各种方法。可执行软件和数据可以存储在多个位置，这些位置包括例如ROM、易失性RAM、非易失性存储器和/或缓存。这些软件和/或数据中的部分可以存储在这些存储设备中的任意一个中。通常，机器可读介质包括提供(也就是存储和/或传输)可由机器(例如，计算机、网络设备、
个人数字助理、制造工具、具有一个或多个处理器组的任何设备等)
访问的形式的信息的任何机械装置。此处使用的短语“计算机可读材料”和“计算机可读存储介质”指所有的计算机可读媒质，除了短暂传播信号本身。
[0071] 本申请发明某些方面中的至少部分可以实施为软件。即，这些技术可响应于处理器(例如微处理器)在计算机系统或其他
数据处理系统中执行，从而执行包含在存储器(例如ROM，易失性RAM，非易失性存储器、缓存、磁光盘、或远程存储设备)内的指令序列。此外，指令可以通过
数据网络以汇编和链接版本的形式下载到计算设备。可替换地，执行上面提到的程序的逻辑可以实现为附加计算机和/或机器可读介质，例如，如大规模集成电路(LSI)那样的分立硬件组件、
专用集成电路(ASIC)、或
固件，例如
电可擦除可编程只读存储器(EEPROM)计算机。
[0072] 如图1(b)所示，控制与处理单元30可以位于照明模块10和光学拓扑检测模块20的外部。结构光图案通过结构光投射器24的投射和结构光图像通过相机26的检测和处理由控制与处理单元30进行协调。
[0073] 在一个示例性实施例中，如图5a所示，利用格雷码图案(SLi)及其逆图案(SL*i)执行结构光扫描。虽然没有必要投射图案及其逆图案以重建表面，但逆图案的投射在高散射环境和存在环境照明的情况下允许更稳健的重建。图5a中的图像
序列表示用于608列DLP投射系统的完整的列编码条纹组，其中最大条纹608像素宽，最小的宽度为2像素。格雷码扫描和重建方法的重要益处是该方法对阶梯高度变化的鲁棒性。
[0074] 在另一个示例性实施例中，结构光扫描也可以通过投射
相移正弦图案组来完成。图5b示出了周期为8像素且图像间相移60度的
相位图像组的放大视图。移相法的优势在于相对格雷码法进行密集点
云的重建(在全相机分辨率下重建生成点云)。但是，移相法需要使用在计算上耗费大的相位去卷程序，该程序可能不适用于所有应用。
[0075] 在其他示例性实施方式中，格雷码和移相法也可以组合以在存在台阶高度不连续性的情况下获得稳健重建，同时确保密集重建。图5c示出了这类系统需要的图像组示例。粗重建通过如下方式进行：首先投射前8级格雷码序列，随后投射6个相位图像以进一步细化重建，以获得密集重建，同时避免在计算上强度大的相位去卷技术(代价是必须对附加格雷码图案进行投射)。
[0076] 用于结构光扫描的其他示例图案编码方案包括采用二进
制模式(与格雷码相对)，n-ary码，De Brujin序列，M-阵列，灰阶和颜色编码。
[0077] 在一些实施方式中，照明模块10发射的光具有位于光学拓扑检测模块20的光检测谱线带宽之内的光谱成分(即，照明模块的光谱含量的至少一部分与光学拓扑检测模块的光学检测带宽重叠)。为了在表面拓扑的光检测期间避免影响到
信噪比，光由照明模块10的发出与光学拓扑检测模块20的操作同步，从而光学拓扑检测模块20仅在照明模块10不发射光时对表面拓扑进行检测。在结构光拓扑检测的非限制情况中的此类同步的示例性实施例在图6(a)至6(e)中示出，图6(a)至6(e)提供了对两模块的同步和时间交错进行说明的时序图。
[0078] 图6(a)示出了主
时钟信号205，主时钟信号205被用来重复触发结构光投射器24，以在时间间隔210内投射图案，如图6(b)所示，可选地在图案的有序序列中(如上所述)。主时钟信号205可以例如由硬件(例如，通过例如Agilent3320A或嵌入式微
控制器的功能生成器)或软件/固件(例如，通过计算模块30)生成。如图6(c)和6(e)所示，触发信号215从计算模块30提供到相机26，相机26在时间间隔225内重复地向相机26发信号以获取区结构光图像。
[0079] 照明模块的接通时间(on-time)在图6(d)中示出。在该特定实施方式中，照明模块由触发信号215的下降沿触发。例如，触发信号215可以用来生成调制(modulation)/PWM信号，该信号被发送到照明模块(例如LED驱动器)。为了在光学拓扑检测期间实现最佳SNR，在相机/投射器接通时间225期间，照明发光被完全关闭。但是，出于某些实际的原因，可能不能够实现照明调制的二进制调制(开/关)。
[0080] 例如，在医疗应用中，严格的电磁兼容性要求是强制性的，以防止医疗仪器之间的突发干扰。可以通过降低与用于照明的LED的调制有关的转换速率来减少EM发射。转换速率的降低例如可以通过如下方式实现：(1)延长打开和关闭LED所需的时间量，和/或(2)分别减小或增加照明模块的最大和/或最小输出强度。这些方法中的任何一个或两个示例都会在光学拓扑获取期间导致LED照明模块的不完全关闭。
[0081] 应当理解，根据本公开的实施方式可以采用各种触发和同步实施。例如，可以由控制与处理单元30生成一个或多个触发信号以使光学拓扑检测模块20和照明模块10的交错操作同步。
[0082] 在另一个示例中，照明模块10可以在时间间隔220重复对感兴趣区域进行照明，控制信号可由与照明模块10关联的处理器生成并在照明模块10不发射照明光时提供以触发光学拓扑检测模块20的操作。
[0083] 在另一个实施方式中，光学拓扑检测模块20可以重复将光学拓扑检测光投射到感兴趣区域，并且控制信号可由与光学拓扑检测模块20关联的处理器生成并提供以触发照明模块10的操作，使得照明模块10在光学拓扑检测模块20运行时不发射照明光。
[0084] 在一个实施方式中，一个或更多控制或触发信号可以直接由与光学拓扑模块20有关的光源或投射器(例如结构光投射器24)生成，并用来控制相机24和/或照明模块10。在另一个示例性实施中，控制或触发信号215可以提供到结构光投射器24，代替主时钟信号205来控制投射结构光图案的持续时间。
[0085] 在另一个示例性实施例中，在规定的时间间隔225内，相机26可以由主时钟信号205触发以激活光学拓扑系统并执行相机曝光。相机26可以依次输出触发信号215，触发信号215在时间间隔210内进一步对结构光投射器24进行触发，和/或控制照明模块10的时序。如上所述，本领域技术人员应当理解，其他触发方法和同步协议可以用在替代实施方式中。
[0086] 触发信号215(不需要具有周期性)也可以提供到调制电路14，以关闭由照明模块10发射的照明光，或降低其强度。如上所述，系统的同步是通过照明模块10的调制电路14与控制单元30(可以位于光学拓扑检测模块20之内或外部)之间的连接器40实现。
[0087] 在图6(a)-(e)中示出的示例性实施中(以及上述相关的变型)，在照明关闭时间(即，在照明循环220之间的各时间间隔210内，并且每个时间间隔具有不同图案SLi)内投射单一的图案。但是，一般而言，在照明循环之间的给定区间210内，可以对任何数量的图案(例如，两个或两个以上的图案，或全部的图案)进行投射和获取，只要投射器和相机系统足够快。因此，应当理解，在其他实施方式中，结构光图案的完整序列可以分为多个图案子序列，从而可以在每个时间间隔210内投射(以及获取)两个或两个以上的图案。
[0088] 相应地，通过这两个系统的操作的同步以及时间交错，光学拓扑检测可以由光学拓扑检测系统20执行，而不存在来自照明模块10的串扰或干扰。连续循环之间的时间间隔(即，主时钟脉冲之间的持续时间)可以足够短以使这些对观察者不可见。例如，时间间隔可以小于大约10ms。
[0089] 在一些实施方式中，照明模块的调制
频率被选为用来使闪烁效应对观察者不可见，从而照明光被观察者感知为在时间上是连续的。众所周知，大于大约60-100Hz时(取决于观察者和调制深度)，人类视觉不能够感知闪烁效应，相对不依赖占空比和调制深度(在闪烁光
波形中的高/开和低/关之间的光输出范围)。相应地，照明光的调制频率被选成足够高，从而强度中的波动可以对观察者不可见。例如，在一些实施方式中，照明光的调制频率约大于60Hz。在其他实施方式中，照明光的调制频率约大于100Hz。在其他实施方式中，照明光的调制频率可以选为约大于200Hz、500Hz、或更高频率。
[0090] 但是，由于被称为扫视屏蔽的频闪现象，即由在连续运动由一系列短暂或瞬时样本表示时出现的混淆所引起的视觉现象，投射图案的高
空间频率分量对人眼来说依然短暂可见，甚至在投射速率超过1000Hz时也是如此。相应地，当使用主动投影(例如，结构光投射)时，由于此类扫视屏蔽效应，使用可见光投射的图案可对观察者产生视觉干扰。在一些实施方式中，此类
频闪效应可以通过减小高循环和低循环之间的调制深度来减小。在其他例子中，这些频闪效应在导致闪烁方面可能不是最重要的，原因在于这些效应仅在观察照明区内的快速移动的物体时变得明显。
[0091] 在一些实施方式中，LED被用来照明，以实现非常迅速的响应时间(通常<1μs)，因此能够以非常高的速度(Hz-MHz)进行强度的时间调制，这有助于减小闪烁和频闪效应。在一些实施方式中，照明强度以超过1kHz的频率被调制，在其他实施方式中，照明强度以超过1MHz的频率被调制。
[0092] 在一些实施方式中，照明模块10和光学拓扑检测模块20发射可见光(即，光学拓扑检测模块为
主动系统)，相对照明光的持续时间和/或强度控制被发射的拓扑检测光图案的持续时间和/或强度和/或序列，以减小视觉干扰，使得拓扑检测光的时间平均(即，由人类观察者察觉到的)照度与照明光的感知时间平均照度的比值足够小，从而与拓扑检测系统关联的光功率的波动足以使人类观察者无法察觉。这通过这两个模块的同步和控制来实现。
[0093] 时间平均照明可以根据下面的示例方程表示：
[0094]
[0095] 其中，T被选则为远大于这一系列图案中使所有图案都循环所花的时间。
[0096] 例如，结构光成像可以通过对由图5(a)示意性示出的一系列格雷码图像进行投射来执行。当以100至240fps之间的帧率对这些特定图案序列进行投射时，试验确定，照明模块10与光学拓扑检测模块20之间的时间平均照度比(在远大于由人类观察者能够感知的最大频率的倒数的时间尺度(例如，长于100ms)上平均化的)应近似为约100：1或更大的量级，以充分的掩蔽投射图案并减小视觉干扰。
[0097] 在系统100的另一个实施例中，结构光成像随图5(b)中概略示出的一系列相位图像执行。通过以100至240fps之间的帧率在这些正弦条纹进行投射，试验发现，掩蔽投射图案所需的照明模块10与光学拓扑检测模块20之间的时间平均照度比(在远大于由人类观察者能够感知的最大频率的倒数的时间尺度上平均化的)应近似为约50：1或更大的量级。
[0098] 在系统100的再一个实现中，结构光成像由图5(c)中概略示出的一系列格雷码和相位图像的执行。在此情况下，试验发现，所需的照明模块10与光学拓扑检测模块20之间的时间平均照度比(在远大于由人类观察者能够感知的最大频率的倒数的时间尺度上平均化的)应近似为约200：1或更大的量级。但是，通过将投射图案的序列由图5(c)所示的序列改为图7所示的序列，该比值可以减小到100：1。由于这对使由相机26在空间光投射期间获取的
光子最大化来说是至关重要的，因此这是有益的。
[0099] 这些示例性实施说明图案序列的特定顺序可以进一步增加在给定光照度下的拓扑检测光的投射强度，因此，使相机获取SNR最大化。这对于光照有限的环境尤其重要，例如，照度典型值必须在40000至160000lux之间的手术照明的情况。
[0100] 应注意，这两个模块之间的时间平均照度比(在远大于由人类观察者能够感知的最大频率的倒数的时间尺度上平均化的)的上述阈值已规定为帧速率在100至240fps之间。技术的迅速发展导致LED强度、DLP投射速率、相机获取速率、相机灵敏度的增加能够实现更快地获取，同时依然利用更短的曝光维持高SNR。这些成像速度的提高最终将导致实现掩蔽SL图案序列所需的阈值的进一步减小。
[0101] 对于连续投射速率接近约10000Hz的情况，将不会再感觉到由SL图案序列导致的视觉干扰(包括频闪和闪烁)，即使照明模块强度将为零。换言之，无论是否有照明模块，都可以忽略由SL图案序列导致的视觉干扰。先前的状态假设图案序列的长度(Ns)小于约100帧。这暗示在单个图案序列期间的时间平均
亮度的改变将具有大于100Hz(10000Hz/Ns)的频率，因此不可见。
[0102] 此外，如果假设对特定图案序列的时间平均照明比值(在远大于可被人类观察者感知的最大频率的倒数的时间尺度上平均化的)的阈值进行线性比例缩放，则对需要实现掩蔽的特定图案序列，可确定示例广义比例缩放表达式(基于上述的示例频率为10000Hz)，即：
[0103]
[0104] 其中，Ts为对特定图案序列的阈值，fproj为投射帧速率，Ts(fm)为对于特定图案序列在fm Hz的投影频率下测量的阈值。在一些实施方式中，照明模块10在照明时间间隔220期间操作，并在时间间隔215期间完全关闭，从而后续循环之间的时间间隔的大部分都可以用于主动光学拓扑检测。通过选择相对持续时间210和220，以及这两个模块的相对强度，光学拓扑图案可以在间隔210内以足够低的强度投射，使得视觉干扰可以充分减小或不再被观察者察觉到，但在相机26可集成光学信号以捕获具有足够高信噪比的低强度投射图案的间隔期间投射足够长的时间以用于拓扑重构。在一些实施方式中，光通过相机
26在区间的该部分内的收集可通过具有足够开阔的相机孔径来增加在短积分时间内所捕获的光量、和/或采用聚光光学元件例如透镜、反光镜和滤光片来增强。
[0105] 对相机的积分时间有所限制，同样对投射光的强度以及相机孔阑也有所限制的图像获取速度在结构光图像的获取中为可调节参数。在一个示例中，当固定了图像获取速度之后(例如，对于给定向相机选择)，可以采用最大允许积分时间，原因在于与较短积分时间相比这提供了更好的信噪比。出于相似原因，在一些实施方式中，投射光的强度可以设定为投射器所支持的最大值，以达到高信噪比，这通常是比来自手术光的值小得多的值。相机孔阑也是可变参数，并且在当相机的积分时间和投影强度已经最大化时的情况下，孔阑可被选择为使场深和信噪比最大化，同时不会使相机饱和。参数一旦
选定，它们通常就固定下来，因为改变孔阑改变系统的校准。
[0106] 在实际临床应用中，这使得系统的增益作为校准系统中最容易调节的参数。增益可以通过如下方式自动设置：从工作手术区获取图像，并选择设定，使得相机像素的饱和部分低于预定阈值。例如，增益设定可以被
修改为使得少于20％的像素是饱和的。
[0107] 应当理解，无论是主动的(发射并检测光)或被动的(仅检测光)，光学拓扑检测模块20都无需使用可见光谱范围内的光的发射或检测。例如，在一些实施方式中，光学拓扑检测模块20发射并检测红外光谱区的光(例如，近红外(NIR)光谱)。甚至虽然照明模块10通常被用于通过可见光进行区域照明，许多可见光源也发射大量的可见光谱外(例如，在红外和/或紫外光谱范围内)的光学辐射。相应地，当可见光学照明模块10与非可见(例如红外或紫外)光学拓扑检测模块20同步时，可以采用上述实施方式，以减小或避免带外串扰或干扰。
[0108] 此外，应当理解照明模块10不限于提供可见光谱内的照明。例如，系统可用于需要红外照明的
机器视觉应用。在这种情况下，照明模块10提供红外照明的实施方式将是有用的。
[0109] 还应当注意到，虽然在一些情况中，可以用光
滤波器消除或抑制带外串扰，但存在一些光滤波器不可能或不适用的情况或应用。例如，在外科手术环境中，可以采用多个组合照明源，可根据上述实施方式对两个或更多照明源进行控制。对各照明源来说，提供光滤波来抑制带外发射可能是不实际或不方便的。
[0110] 在另一个实施方式中，其他光发射和/或检测系统或设备可以被同步和时间调制，并且被控制为避免或抑制系统间的串扰或干扰。非限制性示例为例如激光手术、光动力疗法、激光
消融、小剂量激光疗法、红外
热疗的治疗模式。诊断光学模式设备的非限制性示例包括荧光和/或冷光成像系统、基于散射的成像系统，例如
光学相干断层扫描仪、扩散光学
光谱学、Raman、相干反斯托克斯拉曼光谱学、动态光散射、激光散射光谱学，扩散光断层摄影、
光声成像。
[0111] 应当理解，可控制一个或多个其他发光和/或检测系统或装置来代替光学拓扑系统，或者，附加到光学检测系统。例如，在附加光发射装置被控制以附加至光学拓扑检测模块的一个实施方式中，在与图4中所示方式相同的连续模式下，并且如下文的示例中说明的那样，附加光发射装置的操作可以与光学照明模块10和拓扑检测系统20的操作时间兼容。可替换地，如果附加光发射装置的操作与光学照明模块10或光学拓扑检测模块10兼容，附加光发射装置可以与与其操作兼容的模块同步操作。
[0112] 在图8a中示意性示出附加光学系统的示例，附加光学系统可以与光学照明模块10和光学拓扑检测系统20连接，其中示出的附加光学系统为外科导航(跟踪)模块50。外科导航模块50定位物体的空间位置和定向。如下文所示，所有三个模块都可被链接为能够使所有三个模块同步，以允许将要执行的时间控制和选通照明、成像以及定位。
[0113] 在一个实施方式中，导航模块50也可以以如下的方式刚性连接到拓扑检测模块20，即，跟踪体积相对光学拓扑检测区被固定到选定位置，以这种方式使得跟踪体积相对光学拓扑检测区固定，这能够实现导航模块50和光学拓扑检测模块20的同步定位和校准操作。导航模块50和/或光学拓扑检测模块20也可以为刚性附接的照明模块，以这种方式使得跟踪体积相对照明区和光学拓扑检测区中任一个被安装到选定位置，这能够实现所有三个模块的同步定位和校准操作。
[0114] 光学外科导航系统典型地采用被动或主动光学三角测量。例如，外科导航系统通常采用两个立体相机来检测被动光学基准点(例如反射球)和/或主动光学基准点(例如
发光二极管)的位置。这些系统通常采用基于近红外的被动和主动三角测量，大量近红外附近的背景，无论是来自大量杂散光和/或通过设置大的成像体积，都可能会减小三角测量的精度。
[0115] 在图8a所示的示例性实施方式中，照明模块10为如上所述提供基本无影照明的外科照明系统。如上所述，光学拓扑检测模块20也可以为基于立体校准相机对和投射单元的结构光成像系统，该系统可以采用二进制模式及其反数的组合。如图8a所示，光学拓扑检测模块20通过连接部40与照明模块10连接，以用于同步操作。
[0116] 除上述两个模块外，导航模块50也通过连接部45与光学拓扑检测模块20同步，以使得串扰和干扰最小化。
[0117] 可替换地，模块10、20和50可以由外部控制与处理单元30控制，例如，以图8(b)所示的方式，导航模块50在成像体积55内对目标进行跟踪。
[0118] 图9、10和11说明示例系统实施300，其中各模块保持在刚性壳体310内。壳体310包括基部(在图9的平面图中示出)，并且被配置成对照明模块10和光学拓扑检测模块20的组件进行支承。在示例性实施方式中，照明模块包括一个或多个光源，例如LED阵列315。光源315可以相对于基部对称或非对称设置以对特定区域提供基本无影照明。在一个实施方式中，一个或多个光源315被设置在壳体的基部的边缘区域。上文提到的电源和调制电路未在图中示出(这些组件可以置于壳体本身内或一个或多个单独模块内)。
[0119] 如图10中所示，壳体310的基部370可以包括透明窗口，以允许照明、投射以及图像获取。可替换地，可以在基部370上设置用于对各独立光学子部件的开口，以允许光传输。
[0120] 图10中示出的示例性实施例包括结构光系统，结构光系统包括相机320和结构光投射系统330，结构光投射系统330包括光源和结构光投射器。相机320和投射系统330被定向为使得它们以特定距离聚焦在无影照明区域的中心，例如，图9所示。例如，投射系统可以设置在基部的中心区域附近，相机320可以分布在基部的中心区域和边缘区域之间。相机320和投射系统330通过例如无线的连接接口或例如USB、GigE、Firewire和DVI的物理连接链接至计算机或者处理系统。
[0121] 上面所述的计算模块30，虽未在图9至图12中示出，但应当理解，其可以设置在靠近集成系统的位置，例如，设置在壳体310内，或远离壳体，例如位于外部计算设备内。
[0122] 导航模块50可以为市售系统，例如NDI Polaris Vicra，或其变体。在一些实施方式中，导航模块50可以凹陷和/或相对光学拓扑模块20离轴，以适应导航模块50的
外壳。在一个示例性实施例中，如图9和11中的剖面图中进一步所示，导航模块50可以包括近红外导航相机340和近红外LED阵列350的校准立体对。
[0123] 导航相机340可以被定向为使得它们能够在中心位于照明区的区域中对被动或主动基准点进行三角测量。在一个实施方式中，为了确保导航模块50的操作不会干扰可能位于或不位于光谱的红外部分的光学拓扑检测模块20的操作，可以在近红外LED阵列350附近设置红外敏感光电二极管或其他合适的检测器。例如，光电二极管360可以用来在导航系统50发射光时进行检测，并视情况向计算模块30提供光学信号以控制和协调光学拓扑检测模块20的操作的时序，从而避免干扰。在计算模块与照明模块10、光学拓扑检测模块20和导航模块50中的每个接合的其他实施方式中，可以实现对各子系统的直接控制，而无需光电二极管360。
[0124] 在一个实施方式中，可以基于被监测病人的周期运动通过控制处理单元来控制由光学拓扑检测模块20执行的获取的启动。
[0125] 在一个示例性实施例中，监测的周期运动可以由控制处理单元用来(例如，接收和处理)触发光学拓扑检测模块20，以在运动循环(例如呼吸循环)期间的特定时间点处开始给定结构光图案(或图案的子集)的获取，以便获取在时间上与病人运动同步的拓扑数据，从而在病人的运动循环的部分期间执行光学拓扑检测光的获取，同时在运动循环期间维持照明系统的运行。
[0126] 在一些实施方式中，可以基于被监测病人的运动控制光学拓扑数据的获取，从而仅在病人运动速度(例如，待成像病人的相关部分的速度)低于预选阈值时，对光学拓扑数据进行获取。这可以使光学拓扑数据的获取受运动的影响较小，使假象减小或最小化。
[0127] 此实施方式在图12(a)-(d)和图13(a)-(c)中进行说明。图12(a)示出了与病人的周期运动相关的示例测量周期信号。这些信号可以用来触发光学拓扑数据的获取。例如，图12(b)示出了从图12(a)中示出的周期信号生成(例如，由控制处理单元生成)的触发信号382。触发信号可以用来触发结构光(光学拓扑)图案序列的获取。
[0128] 在一个示例性实施例中，结构光图案的序列可以在相对触发信号的预定延迟处获得，从而当病人的运动较慢并不可能生成假象时，当病人的运动处于运动循环期间的某一点时，进行获取。这样的示例性实施例在图12(c)中示出，当运动接近最小值时获取结构光序列。注意到，在持续时间382期间，光学拓扑获取和照明(如图6(a)-(d)所示)均以高频进行，同时在各周期的间歇期间，以高频提供照明，而不进行光学拓扑获取。
[0129] 在另一个示例性实施例中，当动作速度低于预定基准时，结构光图案的序列可以在触发信号之后的时间点启动。例如，图12(c)示出的持续时间382可以基于低于预定阈值的速度进行选取。图12(b)示出了监视信号的导数383，与病人的运动速度成正比。示例速度阈值表示为384，当运动速度在收到触发信号后低于该阈值时，光学拓扑(图12(c))的获取可以启动，与获取区(灰色区域)386中示出的区域对应。
[0130] 图13(a)-(c)中示出的另一个示例性实施例中，周期信号380(与病人的位置有关)的位置值被用来中断/继续结构光图案的获取。现在参考图13(a)，示出了位置信号380的一个循环的详细视图，以及位置阈值391和获取区域392。
[0131] 图13(b)示出了光学拓扑数据的获取的相关时间依赖性。当病人的位置(例如，基于信号380确定)落入预定位置范围内，例如在最小值和阈值391之间时，获取光学拓扑数据。例如，如图13(b)所示，仅当病人的位置靠近病人的移动缓慢的最小位置附近时才进行光学拓扑数据的获取，此处。当病人的位置在预定区域-对应区域394之外时，不要求获取光学拓扑数据，缺少的光学拓扑获取事件以点划线表示。
[0132] 在图13(b)示出的示例性实施方式中，组成完整序列的拓扑图案被分成六组图案，在图中指定为S1-S6。当信号380位于预定位置之外时，停止和延迟拓扑图案组的投射和检测。一旦信号380落入预定区域，将恢复拓扑图案组的投射和检测。可以从示例中看到，随着图案组S4处于区域394之前，在区域394之后恢复图案组S5。如图13(c)所示，照明在持续时间392和394期间内持续，从而操作者不会察觉到照明中的显著改变。
[0133] 注意到，如果给定运动周期内的可用于拓扑获取的持续时间仅为获取全部图案组所需时间的一部分，那么可以用两个或更多的周期来获取全部图案组。
[0134] 在一个示例性实施例中，光学拓扑数据可以利用对病人的周期运动进行追踪获得，以在病人的周期运动的每个循环中及时触发光学拓扑序列一个或多个点的获取的开始。换言之，在病人的周期运动的每个循环中可以在一个或更多阶段获取序列。从病人的周期运动的多个循环中获得的作为结果的拓扑数据之后可用来显示、和/或回顾重建在一个或多个阶段中任一个的光学拓扑信息的时间演化。
[0135] 在另一个实施方式中，病人的运动可以被监测，如上所述，为了利用导航/追踪系统检测突然运动的发生。此类突然运动可能会导致光学拓扑数据由于运动假象带来的讹误。与此类突然运动的检测对应，控制器可以执行一个或多个动作，例如，但不限于提醒用户或操作者(例如，再次获取的必要)，和/或自动控制系统执行再次获取。
[0136] 在一个示例性实施例中，可以通过计算病人运动的速度或速率来检测到突发的运动(如上所示)。例如，如果获取期间的速度超过预定阈值，则控制器可以执行一个或多个动作。阈值可以是用户定义的或基于成像系统的内部参数。例如，如果光学拓扑系统具有300μm分辨率，并且获取所需时间为100ms，则在运动小于100ms中的300μm，或具有小于
3mm/s的速度的持续时间内获取所有图案是优选的。
[0137] 在一个实施方式中，病人的运动可以被监测，例如，基于利用导航模块50提供的输入或反馈。例如，附接或以其他方式固定至病人身体上的感兴趣位置或附近(例如，相对于病人身体的相关部位固定)的一个或多个基准点(例如，与定向/参考框架相关的标记)，可以由导航模块50跟踪，从而病人的周期运动(例如，由呼吸或心跳导致)可以被监测。
[0138] 用于战略触发光学拓扑系统的获取的其他方法可以包括直接从ECG系统或
通风单元接收周期信号。
[0139] 可替换地，光学拓扑系统自身可用于以足够的
时间分辨率来跟踪周期运动。例如，可以使用比用于表面重建的完整结构光图案组更短的结构光图案组(例如，格雷码序列的前6个图案，布鲁因(de brujin)序列等)，以在相对更短的时间周期(例如，<60ms)内生成一组稀疏的点。这组稀疏的点用可以用来持续跟踪组织的整体运动，并在需要高
密度拓扑时进行触发。
[0140] 在另一个实施方式中，可以对一个或多个基准点的位置进行监测，以确定将要被光学拓扑成像的感兴趣的点或区域(可以假设接近参考框的位置)是否位于或接近与光学拓扑系统有关的光学成像体积(imaging volume)内。例如，如果感兴趣的点或区域不在成像体积内或远离成像体积，就不能由光学拓扑系统进行获取，并且用户可能被告知系统需要重新定位。可替换地，光学拓扑系统可以基于来自导航系统的反馈自动重新定位。
[0141] 图14(a)-(c)示出了系统400，系统400是图9-11示出的系统300的变型。系统400包括一个或多个用于导航(例如，工具跟踪)的附加相机440以及一个或多个结构光成像相机420，以增加系统对视线阻碍的鲁棒性。图中示出了每种类型具有两个附加相机的示例性实施，但通常可以理解为，可以对每个类型设置一个或更多附加相机。在一个实施方式中，导航和结构光成像可以通过任何适合的相机对和被并入以更好地覆盖手术区域的数据集执行。此外，用于工具跟踪的NIR照明和无影照明模块已经并入到复合照明面板
415/450。例如，这些光面板可以包含NIR和安装到PCB
基板但可以由独立的LED驱动器驱动的可见波段LED的组合。对于典型手术照明光的工作距离约为100cm，还示出了各模块的近似视场。可以理解图14(a)-(c)提供了此类实施方式的示例性实施，可以在不同替代实施中采用具有其他数量的组件和/或组件的定位的其他配置。
[0142] 图15(a)和(b)示出了另一个示例性实施方式，可以利用多个光学拓扑投射器430，以进一步减小视觉障碍线的影响。多个投射器可以以不同光谱波段和/或定时方案操作，以避免在重叠视场中进行获取时的串扰。在一些实施方式中，一个或多个投射器可以移动，以便从不同视角进行光学拓扑检测。运动机制可以为手动或机动。可替换地，投射光束路径可以被光学转向(手动或自动)。
[0143] 在采用立体相机检测的情况下，从不同的投射器视角的重建可以用立体相机校准数据进行组合，例如，在Scharstein D.，Szeliski R的“使用结构光的高精度立体深度地图(High-Accuracy Stereo Depth Maps Using Structured Light)”IEEE计算机学会会议，
计算机视觉和图案识别，1-195，2003中所披露的。简言之，该方法包括如下步骤：1)从在各投射器位置处从校准立体相机对获取图像，2)针对各投射器位置矫正图像对，3)在各投射器位置处解码相位和/或格雷码图像等，4)针对各投射器位置计算
视差图，5)利用针对各个投射器位置的立体变换将视差图投射到真实空间，以产生点云，6)将来自所有投射器位置的点云合并。这能够被完成，因为所有点云都可以分享共有的起源和方位，例如，校准立体对中的相机中的一个。对于单一相机获取和投射位置的情况，相对于相机，必须跟踪或已知先验(的图像)以合并重建。
[0144] 重要的是应注意到，当结构光在可见光谱内实现，并且导航和光学拓扑检测模块光谱波段之间不存在谱线重叠时，同步不做必须要求，这是由于两个系统可以独立操作而不会产生光谱串扰。但是，当结构光和导航系统的光谱波段重叠时，例如，当二者均采用
近红外光谱波段时，光学拓扑模块20和导航模块50之间的同步有利于减小模块间的串扰。
[0145] 这样的实施方式在图16中加以说明，导航模块接通时间230在时序图中被定为为使得其落入主照明接通时间(LED)225的周期内。因此，同步将以顺序模式发生，从而投射器照明215发生在与导航模块接通时间230不同的时间点，它们各自的近红外光谱波段不会时间重叠，以杜绝光谱串扰的可能。
[0146] 图17(a)-(f)示出了当嵌入的光电二极管(参见图9中的光电二极管360)控制均工作在NIR光谱状态的光学拓扑模块20和导航模块50的触发时的时序图的附加实施方式。根据本申请发明，这些模块工作在不同时间以减小光谱类似近红外信号之间的潜在的串扰。如先前实施方式所述，投射系统可以由主时钟触发，随后对图案进行投射，并在发送触发以关闭主照明接通时间(LED)220，并开始相机曝光225。当
请求结构光获取时，在主时钟210开始输出主
同步信号之前，系统等待光电二极管响应235的下降沿。在理想情况下，在投射器接通时间215期间生成的所有图案在两个相邻导航系统曝光之间投射，这两个相邻导航系统曝光通常非常短(～1ms)，在曝光(～50ms)之间留有大量停滞时间。
[0147] 但是，对于需要大量图案，且超过导航模块接通时间230间的总体时间的情况，图案可以被分解为图案包，以在多个相邻导航曝光之间显示(可能会归因于投射和相机速率的限制)。因此，在这样的实施方式中，序列被分解成小图案包，小图案包可以从时间上设置在导航系统曝光之间。
[0148] 例如，再次参照图17(a)-(f)，如果导航模块接通时间230的周期(即，导航模块的连续激活之间的持续时间，而不是导航模块的给定激活的接通时间)为～33ms，可以以100Hz帧率投射24幅图像，投射24幅图像所需的全部时间为～240ms，该时间长于导航模块接通时间230，并且将导致整体系统触发的问题。因此，除了增加硬件或软件延迟205外，系统还可配置成将24幅图像分解成8个包，每个包具有3幅图像，这样24幅图像可以在8个完整的导航模块接通时间230里显示，从而不会发生近红外串扰。可替换地，可以采用可触发快
门来限制导航模块，从而不会发生近红外串扰。应当理解，上述示例仅为方法的一个具体实施例，其中，多个结构光图像(以及照明曝光)被插入导航曝光之间，应当理解本实施方式可以存在宽泛的不同实施例。
[0149] 图18是由400代表的示例集成照明和光学拓扑系统的原理图。系统可以通过关节臂460安装，关节臂460如图所示可物理地附接到手推车上。控制与处理单元30例如可容纳在该手推车内，或可替换地，例如在集成照明和光学拓扑系统400通过相似的关节臂460被安装到
墙壁或从
天花板悬挂的情况中，控制与处理单元30可以位于手术室内部或外部。
[0150] 合适的工作距离和视场的位置可以由观察来自系统400的光学发射校准图案的外科医生的组合确定和/或维持。例如，外科医生可以通过具有可以以特定颜色/波长投射的尖锐边缘(例如，方格图案或十字丝等)的图案的直接视觉检查，验证系统400的中心和工作距离。在该示例中，校准图案在不需要任何上述调制方案的情况下进行投射，使得其对外科医生清晰可见。照明光源也可以在该过程中关闭，以使校准图案更加清晰可见。
[0151] 例如，在一个实施例中，当操作者或外科医生致动机械开光或传感器(例如操作者抓住把手或踩下脚踏开关)时，校准图案的投射可以启动。在操作者或外科医生停止致动机械开光或传感器之后，系统恢复为“不可见模式”，在该模式下，结构光图案根据上面描述的实施方式被隐藏。在替代实施方式中，用于定位的图案可以被投射为使得其对操作者或外科医生不可见(根据文中描述的方法)，但是该图案可利用来自同步相机的输出在显示器上间接
可视化。
[0152] 可选地，外科医生可以通过系统计算机监视器直接显现相机的输出图像/视频馈送，以确保由相机获取的图像/视频是清晰的。通常而言，如果系统的所有组件都被恰当的定位和校准，如上所述，来自相机的病人解剖图像/视频，以及任何对外科医生可见的投射图案，应该是清晰的。这些程序确保系统在获取结构光数据之前，与目标相隔合适的工作距离。在替代实施方式中，两个或多个可见激光器可以附接至系统400，并指向外科手术区，从而激光在适合工作体积的中心处相交。这在手术期间通过对两个激光点进行对
准直至它们在手术区的感兴趣区域的表面上重叠来通过定向系统400帮助外科医生。
[0153] 附加外科
手术灯455可以通过图8、16和17所示的触发方案同步，使得外科手术室中的环境光可控。这些附加光源可以是，但不限于，顶置手术灯、
天花板灯、壁灯和头灯。
[0154] 图18中的虚线箭头465表示照明模块的运动范围，患者距照明和光学拓扑系统的距离约为100cm。实线箭头表示哪些外科医生应处于最佳位置以通过关节臂460将光学拓扑检测系统400和外科手术灯455移动到特定位置。这些可能的位置位于由定位弧线465表示的半球内。
[0155] 在另一个实施方式中，系统可以在光学拓扑检测区85内检测环境光特征(例如，强度、调制频率和光谱)，以对光学拓扑检测模块20的照明和调制参数进行调整，由此改善光学拓扑成像。相应地，在一个实施方式中，环境光的检测
水平可以作为反馈参数提供给控制处理单元，以对照明曝光的强度和/或持续时间进行主动控制，例如实现预定强度和/或照明光相对来自光学检测系统的光的持续时间比，或确保检测光的信噪比超过给定值。
[0156] 例如，在一个示例中，照明和调制参数可以调节成实现预定的强度和/或照明光相对来自光学检测系统的光和环境光水平的持续时间比。系统可以对操作者显示警告(例如通过用户接口32)，以在测量的环境光水平超出特定值，或位于预定范围之外时，对环境光状态进行调整。这些环境光特征可以通过光学拓扑相机26或其他光敏设备(例如光电检测器或分光计)检测。
[0157] 在一些实施方式中，照明模块和拓扑检测模块的同步仅通过定时以开环方式执行，如果在照明光源被关闭后，存在照明强度时间相关衰减的可能(例如，由于发冷光)，则可以在关掉照明光之后在激活光学拓扑检测模块之前加入小的时间延迟。
[0158] 在另一个实施方式中，系统可适于充当手术显微镜。图19是这样的系统的示例原理图。关节臂460通过附接机构附接到系统框架480，附接机构可以包括可
锁定在在适当位置的枢轴关节，例如球接头或万向接头。这允许系统定位到感兴趣区域的顶部。可以具有比导航相机340更高分辨率的两个附加相机501用来提供外科手术区的双目观察、高分辨率视图。相机501的典型放大率为1x到5x。
[0159] 在另一个示例性实施方式中，外科手术显微镜可适于荧光成像。图20示出了该系统的示例原理图。滤光器510被增加到相机501上。作为激发灯的附加光源515也被加入系统。非限制示例是异硫氰酸荧光素的荧光成像。在该示例中，光源515的中心波长可以为～490nm，滤光片的中心波长为～510nm。光源例如可以为蓝光LED。滤光片例如可以为
带通滤波片。光源可以在请求模式下打开。可替换地，光源可以由本专利中描述的调制方案调制，例如，以交错模式执行结构光获取和荧光成像。
[0160] 摄像机501的实时数据流可以通过各种方式显示。一个示例是头盔式显示器。另一个是示例是与标准外科手术显微镜相似的、具有分别用于双眼的两个观察孔的接目镜505。第三个示例是3D监视器。接目镜505可以直接连接到外壳480的顶部。在这种情况下，外科医生可以用双手在外壳480和进行手术的区域之间进行操作的，同时俯视看向接目镜。
[0161] 集成系统允
许可以同时进行表面拓扑成像、工具跟踪和照明。利用本发明描述的方法获取的导航信息，例如手术工具相对于术前图像的位置，可以覆盖到与来自相机501的
视频流的顶部。工具跟踪的可视化可以采用覆盖到来自摄像机的实时流的顶部的半透明视觉层的形式。可替换地，可以出现更小的窗口，例如，在视频流的右下侧角落，在该可视化部分中视频流将被完全阻挡。更小的窗口可以展示导航信息，例如工具相对于一组术前图像组的位置。导航窗口的尺寸和位置可以因外科医生的偏好而改变。
[0162] 上述系统和方法可以用于广泛的医疗成像应用。此处描述的系统和方法的补充医疗应用包括肠镜检查、
内窥镜检查以及
支气管镜检查程序。例如，结构光成像系统可以集成到与例如
结肠镜检查、内窥镜检查和支气管镜检查工具上，以提供腔面拓扑的全方位可视化而不产生对操作者视场的干扰。此外，此处描述的调制方案也可以与基于荧光的成像结合，以用于附加的功能对照。
[0163] 此处描述的实施方式也可以用于需要在照明环境下进行表面拓扑获取的其他非医疗应用中。例如，用于视频游戏或其他媒体形式的3D中的演员物理特征的数字化可以实时使用结构光成像。所述的系统和方法可以用来防止由投射光导致的对演员的视觉干扰。也可以将这些实施方式用于整个人体或部分人体的3D表面获取，例如，在
生物或安保应用中，使待检查对象的不适最小化。
[0164] 上述特定实施方式以举例的方式进行了披露，应当理解这些实施方式可以容易地变为各种变型例和替代形式。还应当理解，权利要求不限于公开的特定形式，而是覆盖落在本发明的精神和范围内的全部的变型例、等同物和替代例。
