关于美国联邦政府资助的研究或开发的声明
[0001] 本
发明根据美国国家健康学会(National Institutes of Health)授予的第1 R41 EB004177-01号合同，得到美国政府的支持。政府对本发明享有一定的权利。
技术领域
[0002] 本发明一般涉及微创机器人外科手术系统，并且更具体地涉及一种提供三维远程图解(telestration)的医疗机器人系统。
背景技术
[0003] 诸如
腹腔镜手术和胸腔镜手术的微创外科手术方法可以显著降低发病率，减少
疼痛感，加快恢复时间，并且使病人更加满意。然而，执行常规的腹腔镜手术和胸腔镜手术的外科医生面临着陡峭的学习曲线，并且必须应对其严重递减的观察和感触手术区的能
力，以及其相比于开放式外科手术熟练度的显著降低。
[0004] 外科手术远程机器人可以为外科医生提供高保真三维(3D)视觉和工具轴末端的直观关节连接的腕关节，基本提高外科医生感觉和操纵外科手术区内的对象的能力。远程机器人还可以按比例缩小外科医生手的运动，并且为更精确的操纵消除抖动。这些改进允许外科医生完成以前所做不到的，如完全
内窥镜冠状动脉旁路手术，并且加快采用困难的处理程序，如完全内窥镜根治性前列腺
切除术。
[0005] 对于正在培训中和从业的外科医生来说，作为多种外科手术程序的标准方法的微创外科手术(MIS)的出现已经增加腹腔镜技能获得的重要性。现有外科手术培训模式没有提供改进的MIS的足够经验，而复杂的MIS程序的学习曲线对于缺乏经验的外科医生来说增加了复杂性。
[0006] 随着MIS程序逐渐变得复杂，在改进的腹腔镜手术方面训练外科手术住院医生的挑战已经变得越来越困难。微创外科手术教育需要发展一套新的外科手术操纵技能和
可视化技能。为了满足这一需要，现有的黄金标准专用于完成住院实习的MIS研究员。如非
生物实验室和仿真培训的多种策略已经被开发，以便随着成功率的变化在初始培训阶段增加住院医生进行先进腹腔镜外科手术的机率。
[0007] 对进行先进微创外科手术感兴趣的已经具有从业资格的外科医生面临更大的挑战。病人对MIS程序的强烈需要以及对于更小创口方法的外科手术医护标准的发展转变提供了动力，然而，这些外科医生通常很难将他们开放式或
基础MIS技能转变为改进的MIS程序，这导致令人不满意的外科手术结果和增加的复杂等级。
[0008] 针对从业的外科医生来说，现有的培训范例已经集中在程序特定的短期课程，以及在非生物或动物实验室方面的非常有限的实践经验。这些策略远不能传播适当的知识和经验基础，并且实质上不能提供在对人的实际外科手术方面的经验。在许多起始程序中，学生会经常要求他们的外科手术指导者出现。至少一项研究已经表明普通腹腔镜培训课程不足以使外科医生变成专家，由客座指导者监督的单独的授课时间可能是不够的。
[0009] 常规的指导要求有经验的外科医生亲自出现。对于很多新的程序来说，很少有外科医生已经获得足以能够监督或指导病例的经验。这增加了对于那一小群外科医生的需求。开车或出行来指导病例占用指导者的业务时间和私人时间，并且需要由学习中的外科医生和病人来负担
费用。
[0010] 远程图解(telestration)(“远程-图解说明(tele-illustration)”的缩写)，其中指导者能够创建
覆盖在学生的二维手术视图上的插图，已经被证实为是有效的学习工具。远程图解提供一种可以比言语交流更清楚并且比机械式的示范更容易接受的指导教学的方法，这是由于培训中的外科医生可以保持在掌控中。远程图解允许指导者在同一房间或远处为学习中的外科医生提供清楚有用的视觉提示。远程图解具有提高可接近机器人外科手术培训机会的潜力，提高机器人辅助外科手术的采用率。
[0011] 机器人外科手术系统的一个示例是位于加利福尼亚州sunnyvale的直观外科手术公司的da 外科手术系统。Da 外科手术系统可用于各种外科手术程序，如二尖瓣修复、用于
治疗胃食管返流(GERD)
疾病的尼森胃底折叠术(Nissen Fundoplication)、
肥胖症的胃肠分流手术、用于切除前列腺的根治性前列腺切除手术(da 前列腺切除手术)、食管手术、重症肌无力症的胸腺切除手术和用于双心室再同步的心外膜起搏
导联。
[0012] Da 外科手术系统的独特特征是其三维显示，其为手术外科医生提供优良的远程显示。通过使用两个
阴极射线管和一系列反射镜和物镜来产生三维景象的效应，da 外科手术系统为外科医生提供右立体图像和左立体图像。
[0013] 在真正双目3D腹腔镜环境中对学生的远程图解代表在几种关键方式超过传统2D腹腔镜可视化的巨大进步。将2D手术图像转变为3D智力(mental)解剖模型所要求的学习曲线造成对MIS初学者和经验丰富的外科医生同样的重要挑战。虽然将原本立体的视觉在三个维度上进行恢复大体上大大提高了外科手术精准度，但是仍然有很多特定情况，在这些情况下这种图像对成功的病人疗效是绝对关键的。诸如血管蒂的控制、保留神经解剖、微血管吻合以及心脏解剖和吻合之类的技术性操作需要对相应的解剖结构的各个方面的详细认识。
[0014] 然而，在这种三维显示上远程图解的一个问题是指导者借用
触摸屏仅可以在二维(2D)图像上远程图解，这需要手术外科医生触碰
脚踏板或其他切换设备，将3D视图转换为2D视图，以看到远程图解。这虽然为外科医生提供了远程图解的好处，但它会中断程序的流程并且消除了3D视觉的好处。
[0015] 为了有效理解指导者传达的信息并将其施加到3D手术区，受训者应该能够获悉那些3D的信息，而无须中断他或她的流程以切换到退化的2D显示来观看指导者的绘图。在外科手术期间，指导者的远程图解实时出现在受训者的
3D显示器上，而不需要受训者切换到2D方式，这会促使指导者和受训者之间更加频繁和即兴的交流。提供3D远程图解的一个选择是让指导者使用3D输入设备或立体显示器，然而，成本和相关物流会严重限制该方案的吸引力和伸缩性。
发明内容
[0016] 因此，本发明的一个目的是提供一种在解剖结构的3D图像上进行远程图解的方法，该方法对于指导外科医生来说不需要3D输入设备和立体显示器。
[0017] 本发明的另一目的是提供一种在解剖结构的3D图像上进行远程图解的方法，该方法基本上实时操作并且适于本地或远程指导微创外科手术程序。
[0018] 本发明的又一目的是提供一种在解剖结构的3D图像上进行远程图解的方法，该解剖结构的3D图像相对于摄像机移动。
[0019] 本发明的又一目的是一种在解剖结构的3D图像上提供3D远程图解的医疗机器人系统。
[0020] 这些以及额外的目的是通过本发明的各个方面实现的，其中简要来说，一方面是一种在解剖结构的3D图像上进行远程图解的方法，该方法包括：接收与解剖结构的一对立体图像对中的一幅立体图像相关联的远程图解图形输入；在该立体图像对中的另一幅立体图像中确定对应的远程图解图形输入，以使该远程图解图形输入的3D视图可以作为解剖结构的3D视图的覆盖图显示。
[0021] 另一方面是提供3D远程图解的医疗机器人系统，该系统包括外科医生控制台，该外科医生控制台被配置为：接收与解剖结构的一对立体图像对相关联的远程图解图形输入，并且在该立体图像对中的另一幅立体图像中确定对应的远程图解图形输入，以使该远程图解图形输入的3D视图可以作为解剖结构的3D视图的覆盖图显示。
[0022] 另一方面是提供3D远程图解的医疗机器人系统，其包括：立体摄像机组件，其可插入病人的体内以便在微创外科手术程序期间捕获病人的解剖结构的立体图像对；专家控制台，其具有：被配置为接收由立体摄像机组件所捕获的立体图像对的右视图或左视图的接收器、用于二维显示接收的右视图或左视图的显示器、被配置为便于由专家控制台的操作者在二维显示的右视图或左视图上产生远程图解图形输入的远程图解设备，以及被配置为发送该远程图解图形输入的发送器；和外科医生控制台，其具有被配置为接收由立体摄像机组件所捕获的立体图像对的第一接收器和被配置为接收由专家控制台的发送器所发送的远程图解图形输入的第二接收器，其中该外科医生控制台被配置为：从接收的立体图像对产生
视差图，并且利用该视差图在该立体图像对中的另一幅立体图像中确定对应的远程图解图形输入，以使该远程图解图形输入的3D视图可以作为解剖结构的3D视图的覆盖图显示。
[0023] 本发明各方面的额外的目的、特征和优势将通过下面对其优选
实施例的描述变得显而易见，该描述应结合
附图进行。
附图说明
[0024] 图1图示说明具有利用本发明的各方面提供3D远程图解的医疗机器人系统的
手术室的俯视图。
[0025] 图2图示说明包含配置为利用本发明的各方面的处理器的主控站的前透视图。
[0026] 图3图示说明利用本发明各方面的提供3D远程图解的医疗机器人系统的
框图。
[0027] 图4图示说明利用本发明各方面的外科医生计算机内各模
块和耦连到外科医生计算机的各部件的框图。
[0028] 图5图示说明用于实践本发明各方面的专家计算机内各模块和耦连至专家计算机的各部件的框图。
[0029] 图6图示说明利用本发明各方面的用于在解剖结构的3D图像上进行远程图解的方法的
流程图。
[0030] 图7图示说明利用本发明各方面的用于在3D解剖结构上覆盖3D远程图解图形输入的方法的流程图。
[0031] 图8图示说明利用本发明各方面的用于解剖追踪及在被追踪的解剖结构上的3D远程图解的方法的流程图。
[0032] 图9图示说明用于实践本发明各方面的3D
坐标系中一个点的一对立体图像的对极几何(epipolar geometry)的示例。
具体实施方式
[0033] 图1作为示例图示说明提供三维远程图解的医疗机器人系统100。在该示例中，手术外科医生(S)正在对病人(P)执行微创外科手术程序，并且在手术程序期间指导外科医生(M)指导或建议手术外科医生(S)，该指导外科医生是专家或者至少在微创外科手术程序方面更有经验。位于病人(P)
位置处的一个或多个助手(A)也可以在手术程序期间辅助手术外科医生(S)。
[0034] 系统100包括：可由手术外科医生(S)操作的外科医生主控站151(本文也称为“外科医生控制台”)、具有三个从动机器人机构121-123的从动推车120和可由指导外科医生(M)操作的指导者主控站131(本文也称作“指导者控制台”)。所示出的指导者主控站131通过虚线的曲线与外科医生主控站151相分离，这是由于它可以与外科医生主控站151是本地的(也就是在手术室环境内)或者远离外科手术主控站151是的(也就是远离手术室环境)。
[0035] 从动推车120位于病人(P)的旁边，因此耦合到从动机器人机构121-123远端的外科手术相关的设备(如外科手术相关设备167)可以通过切口(如切口166)插入到病人(P)中，并且由位于外科手术主控站151的手术外科医生(S)来操纵，以对病人(P)执行微创外科手术过程。每个从动机器人机构121-123优选包括耦合在一起并且通过
电机控制的关节以传统方式进行操纵的联动装置(linkage)。
[0036] 虽然仅示出一个从动推车120用于这一示例中，但也可以按需要使用额外的从动推车。同样，虽然示出在推车120上有三个从动机器人机构121-123，但可以根据需要每个从动推车可以使用更多或更少的从动机器人机构。如从动推车120的从动推车的另外细节可以在共有的第6,837,883号美国
专利“Arm Cart for Telerobotic SurgicalSystem(远程机器人外科手术系统的手臂推车)”中找到，该专利通过引用方式被并入本文。
[0037]
立体内窥镜优选是耦合到从动机器人机构远端的外科手术相关设备之一。其他的外科手术相关设备可以是用于执行微创外科手术过程的具有可操纵
末端执行器的各种工具，例如夹子、抓紧器、
剪刀、U形钉和针托。
[0038] 同时使用的外科手术相关设备的数量并且因此用于系统100中的从动机器人机构的数量除其它因素外通常取决于诊断或外科手术程序以及手术室内的空间限制。如果需要改变一个或多个在程序中使用的外科手术相关设备，其中一个助手(A)可以将不再使用的外科手术相关设备从其从动机器人机构的远端移除，并用来自手术室内这种设备的托盘中的另外的外科手术相关设备来替代。可替换地，机器人机构可以被提供给手术外科医生(S)，用以通过使用他或她的一个主输入设备来执行工具交换。
[0039] 为了便于外科医生在微创外科手术程序中的协作和/或指导，每个参加的外科医生都有用以观察外科手术部位的关联的显示器和与其他参加的外科医生通信的通信装置(诸如麦克
风和
耳机装置)。在这种情况下，立体内窥镜的使用允许产生和实时显示外科手术部位的三维图像。
[0040] 更具体地，3D显示器152被耦合到或集成到外科医生主控站151，并且3D显示器132和2D触摸屏135耦合到或集成到指导者主控站131，并且2D显示器142被提供在视觉推车141上，因此手术外科医生(S)、指导外科医生(M)和一个或多个助手(A)可以在微创外科手术程序期间观察外科手术部位。
[0041] 为每个参与者提供的通信装置可以包括单独的麦克风和耳机(或扬声器)部件，或可替换地包括单独的头戴式耳机装置，如所示的头戴式耳机装置153被设置在手术外科医生(S)的头上，作为常规音频系统的一部分。双工音频通信系统(麦克风和扬声器对)优选嵌入到每个外科医生主控站内。可替换地，可以使用头戴式耳机和送话器，包括那些使用无线通信来为它们的使用者提供最大舒适度和运动
自由度的头戴式耳机和送话器，或者那些通过电线连接到其各自主控站或从动推车的头戴式耳机和送话器，其中这些主控站或从动推车依次通过线路110和线路112连接在一起用以在手术外科医生(S)、指导外科医生(M)和一个或多个助手(A)之间进行语音通信。
[0042] 图2作为简化的示例图示说明外科医生控制台或主控站151的前透视图。包括在外科手术控制台151中的是具有右眼窝223和左眼窝224的3D显示器152，该右眼窝223和左眼窝224被设置以使坐在外科医生控制台151前的外科医生可以通过他们向下看，以提供其中观察到的外科手术部位处于这一位置的感觉。外科手术控制台151还包括右主输入设备203和左主输入设备204，它们被设置在外科手术控制台151的凹进区域210，以使外科医生感觉到他或她直接操纵处于通过3D显示器152所观察到的手术部位处的关联的器械。处理器240被耦合到或集成到外科手术控制台151，以提供处理能力。脚
踏板231也被包括在外科手术控制台151，以提供切换能力，例如打开或关闭远程图解以隐藏远程图解并且稍后将其调回用以显示，或者在3D显示器151中在3D和2D视图间切换。可替换地，这样的切换能力可以通过使用远程图解设备上的按钮、输入设备或控制台显示器来实现，或者通过声音输入来实现。
[0043] 主控站(如外科医生主控站151)的额外的细节可以在共有的第6,714,839号美国专利“Master Having Redundant Degrees ofFreedom(具有冗余自由度的主控制)”和共有的第6,659,939号美国专利“Cooperative Minimally Invasive Telesurgical System(合作微创远程外科手术系统)”中找到，这些专利通过参考被并入本文。指导者主控站131可以与外科医生控制台151相似构造，或可替换地，其可以仅仅是附连有触摸屏和数字笔的常规个人计算机，用以(例如从外科医生主控站151提供的)外科手术部位的2D观察和在其中所看到的解剖结构上的远程图解。
[0044] 为了执行微创外科手术程序，当手术外科医生(S)通过他或她的3D显示器152观察外科手术部位时，手术外科医生(S)可以操纵右主输入设备203和左主输入设备204中的一个或两个，这又导致关联的从动机器人机构(如从动机器人机构123)操纵其各自的外科手术相关设备(如外科手术设备167)通过
微创手术切口(如切口166)进入到病人(P)的体内。
[0045] 主输入设备可以优选以与其关联的外科手术相关设备相同的自由度活动，以对手术外科医生(S)提供远程显示，或主输入设备与其关联的外科手术相关设备合为一体的感觉，从而使手术外科医生(S)具有直接控制它们的强烈感觉。为此，位置反馈
传感器、
力反馈传感器和
触觉反馈传感器优选被采用，以从设备(或其各自的从动机器人机构)将位置、力和触觉感测传送回其关联的主输入设备，从而使手术外科医生(S)可以用他或她的手感觉到他们操作主输入设备。
[0046] 如前所述，为了进一步增强远程显示的体验，被显示在主控站151的3D显示器152上的外科手术部位(和其中所看到的解剖结构)的3D图像被定向，以使手术外科医生(S)感觉他或她实际上正直接向下看手术部位。所以，即使观察点(也就是内窥镜或观测摄像机)不是来自该图像的观察点，正由手术外科医生(S)操纵的外科手术相关设备的图像也仿佛基本位于他或她的手所放置的位置。
[0047] 远程显示系统和3D显示器(如医疗机器人系统100和3D显示器152)的额外细节可以在第5,808,665号美国专利“EndoscopicSurgical Instrument and Method for Use(内窥镜外科手术器械和使用方法)”中找到，本发明的受让人排他地得到该专利的
许可，并且通过引用被并入本文；还可以在共有的第6,424,885号美国专利“CameraReferenced Control in a Minimally Invasive Surgical Apparatus(微创外科手术仪器中的摄像机参考的控制)”中找到，该专利通过引用被并入本文。
[0048] 图3作为示例图示说明提供3D远程图解的医疗机器人系统的部分框图。在这一示例中，假设指导外科医生(M)被
定位在远程位置(也就是不在手术室内)，而手术外科医生(S)被本地定位为和病人(P)在一起(也就是在手术室内)。
[0049] 右(R)摄像机视图和左(L)摄像机视图(或立体图像对)的信息通过在外科手术部位插入到病人体内的立体内窥镜(如耦连到从动机器人机构122的外科手术相关设备)捕获，并且由外科医生计算机302(如主控站151的处理器240)从立体内窥镜301接收该信息。同时，每对立体图像的一个摄像机视图(例如，右摄像机视图)通过视频通信
接口306和316被发送给专家或指导者计算机312(例如耦连或集成到指导者主控站131的处理器)。用于这个目的的适合的视频
通信接口的一个示例是加利福尼亚州Pleasanton的宝利通(Polycom)公司发布的VS 4000或VSX 7000e。除了将其用于发送外科手术部位的解剖结构的一个摄像机视图之外，这些视频通信接口306和316还可以用于在分别操作外科医生计算机302和专家计算机312的手术外科医生和专家外科医生之间传送音频。
[0050] 外科医生计算机302处理所接收到的多对立体图像的信息，并且将它们提供给3D显示器303(如主控站151的3D显示器152)，用以由手术外科医生(S)进行三维观察。手术外科医生(S)然后操纵主操纵器304(如右主输入设备203和左主输入设备204)以驱动从动机器人机构305(如从动推车120的从动机器人机构121和123)，并且因此驱动它们附连的外科手术相关设备。
[0051] 同时，专家计算机312处理所接收的摄像机视图，并将其提供给触摸屏313(如耦连到指导者主控站131的触摸屏135)，用以由指导外科医生(M)进行二维观察。用于这个目的的适合的触摸屏的示例是由华盛顿州Vancouver的Wacom科技公司发布的WacomCintiq15X。指导外科医生(M)然后可以通过使用数字笔(如耦连到指导者主控站131的数字笔
136)在触摸屏313的表面绘画远程图解图形。远程图解图形一般可以是手画的线、圆和箭头等。
[0052] 专家计算机312随后可以在指导外科医生(M)绘画远程图解图形时，部分通过例如TCP/IP连接，自动地将远程图解图形输入的信息实时发送到外科医生计算机302，或者仅在指导外科医生(M)已经指示可以发送之后，通过TCP/IP连接发送整个远程图解图形输入，例如指导外科医生(M)可以通过点击触摸屏313上或其数字笔上适当的按钮或
开关来指示可以发送。
[0053] 外科医生计算机302然后处理从专家计算机312接收的远程图解图形输入，从而根据参考图6所描述的方法，远程图解图形输入的3D视图可以作为其对应的解剖结构的3D视图的覆盖图显示在3D显示器303。下面参考图4和图5进一步描述分别配置在外科医生计算机302和专家计算机312中以执行此处所描述的其各自任务的模块的额外细节。
[0054] 图4作为示例图示说明为外科医生计算机302提供3D远程图解能力的模块及与外科医生计算机302的这些模块连接的
硬件部件的框图；图5作为示例图示说明若干模块以及与专家计算机312的这些模块连接的硬件部件的框图，这些模块为指导者或专家计算机312提供产生远程图解图形输入并将其发送至外科医生计算机302用于该图形输入的3D远程图解的能力。
[0055] 首先参考图4，图像获取模块401——如由加拿大的Matrox
电子系统有限公司发布的Matrox Orion
帧捕获器板(frame grabberboard)——捕获来自立体内窥镜301的多对立体图像的信息(例如来自内窥镜摄像机的左NTSC
信号和右NTSC信号)，并且将该信息提供给图像相关模块402，该图像相关模块利用由图像获取模块401捕获的对应的右摄像机视图和左摄像机视图(或帧)周期性产生或更新视差图(disparity map)。
[0056] 图像获取模块401的输出也可以提供给本地用户接口411，该本地用户接口将多对立体图像中被
选定的一幅立体图像的信息提供给本地触摸屏412(如Wacom Cintiq15X)，以将其以2D方式显示在触摸屏412上。本地专家或指导外科医生然后可以利用数字笔在触摸屏412上远程图解，以产生远程图解图形输入，该远程图解图形输入被提供给绘制单元404。
[0057] 图像获取模块401的输出还可以提供给图形覆盖模块405，该图形覆盖模块将捕获的立体图像对与由绘制单元404产生的3D远程图解图形输入相组合，并且将该组合提供给3D显示器303，用于由手术外科医生(S)进行3D观察。绘制单元404可以接收与多对立体图像对中的一幅立体图像相关联的2D远程图解图形输入，这些立体图像对通过本地用户接口411来自本地指导者，或者通过远程图解图形接收单元403来自远程指导者。
[0058] 现在参考图5，图像获取模块501(如Matrox Orion帧捕获器)捕获由视频通信接口316接收的多对立体图像中被选定的一幅立体图像的信息，如来自内窥镜摄像机的右NTSC信号，并且通过远程用户接口502将该信息提供给触摸屏313(如Wacom Cintiq 15X)以将其以2D方式显示在触摸屏313上。
[0059] 专家或指导外科医生然后可以利用数字笔在触摸屏313上远程图解，以产生远程图解图形输入，该远程图解图形输入通过远程用户接口502被提供给远程图解图形发送单元503。该远程图解图形发送单元然后通过TCP/IP，自动实时地或根据用户命令将远程图解图形输入作为元数据发送给外科医生计算机302中的远程图解图形接收单元403，该元数据可以是选定的图形语言格式。
[0060] 图6图示说明远程图解解剖结构的3D图像的方法的流程图，该方法一般由外科医生计算机302中的模块对从立体内窥镜301接收的多对立体图像的信息进行操作来执行。虽然为了这一示例的目的假定远程图解由远程指导外科医生执行(也就是远离手术室环境)，但是应理解本方法同样可适用于由本地指导外科医生执行远程图解的情况(也就是在手术室环境内)。
[0061] 在执行该方法之前，优选地对立体内窥镜301的固有参数和非固有参数进行完全校准，因此消除了光学失真，并且将合成的透视图矫正为对齐。尤其是以该方式校准立体内窥镜301意味着：左摄像机视图图像和右摄像机视图图像中的相关点之间的视差会沿着
水平对极线(horizontal epipolar line)存在，如图9的示例中所示出的，这允许一维搜索有很少的错误匹配机会从而提高
分辨率和准确度。这种非实时的摄像机校准通常通过使用常规技术来实现，比如使用可从California Institute of Technology(Caltech)的
网站上下载的用于 的Camera Calibration Toolbox(摄像机校准工具箱)。
[0062] 在601中，图像获取模块401从立体内窥镜301连续接收立体图像对的信息。同时，视频通信单元306从立体内窥镜301连续接收立体图像对中的仅选定的一幅立体图像(例如，对应于立体内窥镜301中的右摄像机和左摄像机中的一个)的信息，用以发送到远程专家触摸屏313。
[0063] 在602中，图像获取模块401从在601中所接收的信息中捕获或抓取一组右摄像机视图和左摄像机视图(也就是右2D帧和左2D帧)，并将其提供给图像相关模块402，该图像相关模块402利用图像相关
算法从右摄像机视图和左摄像机视图构造视差图，该图像相关算法优选快到足以实时操作并且准确到足以提供适于微创手术程序的外科手术部位的3D视图。这种图像相关算法的一个示例被描述在Douglas P.Hart出版的并且转让给麻省理工学院的第6,108,458号美国专利“Sparse Array Image Correlation(稀疏阵图像相关)”中，该专利通过引用被并入本文。
[0064] 在603中，绘制单元404首先绘制从远程指导者或本地指导者接收的远程图解图形输入的3D视图。图形覆盖模块405然后将绘制的远程图解图形输入的3D视图覆盖在由601中接收的立体图像对所提供的外科手术部位的3D视图上。最后，图形覆盖模块405提供覆盖有3D远程图解图形输入的外科手术部位的3D视图，从而3D显示器303可以将其显示给手术外科医生(S)。
[0065] 在604中，图像获取模块401继续从立体内窥镜301接收立体图像对的信息，并且从先前捕获图像的后续时间内所接收的信息中捕获或抓取另一组右摄像机视图和左摄像机视图(也就是右2D帧和左2D帧)。
[0066] 在605中，通过采用适当的图像相关算法，后续接收到的信息的右帧和左帧与其先前捕获的对应部分被相互关联(也就是在时间t+1处捕获的右帧与先前在时间t+0处捕获的右帧相互关联，而在时间t+1处捕获的左帧与先前在时间t+0处捕获的左帧相互关联)。通过这样将右帧和左帧与其先前捕获的对应部分相互关联，外科手术部位处和摄像机视图中的解剖结构的移动可以被确定，并且远程图解图形输入的3D位置可以相应地移动，以根据已经画出的内容追踪解剖结构的移动。此外，置信量度可以被计算(例如相关值)，并且显示的远程图解图形输入的
亮度可以与置信量度的量级成比例。
[0067] 在606中，翻转计数器被递增，并且在607中，该计数器被检测以判断是否其已经翻转，如果没有，则该方法循环回到重复内循环603-607，如果已经翻转，则该方法循环回重复外循环602-607。这样，在602中执行视差图的产生的
频率低于在604-605中执行的解剖追踪的频率。例如，通过为翻转计数器适当选定时钟频率和翻转值，内循环603-607可以执行在30Hz频率，而外循环602-607以更低的频率执行，如1Hz的速率。虽然翻转计数器被描述为用于这一目的，但是实现相同或相似功能的其他常规技术也可用来替代它，并且被完全预料在本发明的范围之内。
[0068] 图7作为示例图示说明详述由执行参考图6所述的方法的功能603的绘制单元404和图形覆盖模块405所执行的任务的流程图。虽然为这一示例假定立体图像对的右摄像机视图被发送到远程指导外科医生用以观察和远程图解，但本文所描述的下面的方法和其他方法同样适用于发送左摄像机视图作为替换的情况。
[0069] 在701中，绘制单元404通过远程图解图形接收单元403从远程指导外科医生接收对应于立体图像对的右摄像机视图的远程图解图形输入的信息。由于接收的信息优选是以选定的图形语言限定远程图解图形输入，因此绘制单元404有必要将接收到的信息转译为与视差图兼容。
[0070] 远程图解图形输入的深度优选与其处于右摄像机视图中所对应的解剖结构相同。因此，从对应于右摄像机视图的接收到的远程图解图形输入的位置，远程图解图形输入的深度通过使用视差图可以很容易确定，这是因为视差图与
深度图直接相关联，该深度图在立体内窥镜301的校准过程期间可以非实时确定。
[0071] 在702中，绘制单元404然后确定远程图解图形输入在左摄像机视图中的位置，该位置对应于所接收的远程图解图形输入在右摄像机视图中的位置。这是通过使用先前为右摄像机视图和左摄像机视图产生的视差图来实现的。更具体地，对于对应于右摄像机视图的所接收的远程图解图形输入的选定的点来说，视差值被读取或另外从那些点的位置处的视差图来确定。这些点在左摄像机视图中对应的位置然后通过根据视差值调整右摄像机视图中的位置来确定。
[0072] 在703中，图形覆盖模块405将为右摄像机视图定位的远程图解图形输入覆盖在右摄像机视图上或者将两者混合，并且将为左摄像机视图定位的远程图解图形输入覆盖在左摄像机视图上或者将两者混合。优选地，两个覆盖均以无损方式来执行，从而隐含的摄像机视图信息被保留。图形覆盖模块405然后将覆盖有3D远程图解图形输入的立体右摄像机视图信息和左摄像机视图信息提供给3D显示器303，以使手术外科医生(S)可以借助适当定位在3D解剖结构上的3D远程图解图形输入来观察外科手术部位。可选地，该信息可以以如下方式提供给3D显示器303：3D远程图解图形输入看起来好像是用手实时画出的或者是立刻全部整体显示。同样可选地，该信息可以以如下方式提供给3D显示器303：3D远程图解图形输入可以在一段时间后从一端到另一端逐渐消失，或者是所有的点一起消失。此外，如前所述，置信量度可以被计算(如相关值)，并且显示的远程图解图形输入的亮度可以与置信量度的量级成比例。
[0073] 图8作为示例图示说明详述由执行参考图6所述的方法的解剖结构追踪功能605的绘制单元404和图形覆盖模块405所执行的任务的流程图。在801中，绘制单元404通过使图像相关模块402执行以下功能来实现帧对帧(F/F)图像相关：(a)将图像获取模块401最近捕获的右摄像机视图与就在之前捕获的右摄像机视图相互关联，和(b)将图像获取模块401最近捕获的左摄像机视图与就在之前捕获的左摄像机视图相互关联。通过执行这一F/F图像相关，为解剖结构确定立体内窥镜3D空间中的新位置，远程图解图形输入覆盖在该解剖结构上。
[0074] 由于在外科手术部位处所观察到的解剖结构应该只相对于立体内窥镜301缓慢移动，如果的确是这样，由于在其上执行图像相关的区域可被减少，那么在801中执行的F/F图像相关可以比在602中执行的图像相关更快以构造视差图。该区域的减少特别有用，因为不同于视差图的确定，为了解剖追踪的目的，考虑垂直移动和深度移动也是有用的，在确定视差图时，在右摄像机视图和左摄像机视图中标识特征的位置应该仅仅沿水平极线相差其视差值。
[0075] 在802中，绘制单元404接着更新远程图解图形输入在最近捕获的右摄像机视图和左摄像机视图中的位置，以便追踪其将要覆盖的解剖结构的移动。特别是对于解剖结构和远程图解图形输入的每个共享的(也就是覆盖的)点，远程图解图形输入点被移动到其对应的解剖结构点在右摄像机视图和左摄像机视图两者中的新位置，正如通过F/F图像相关所确定的。
[0076] 虽然已经参考优选实施例对本发明的各个方面进行了描述，但应理解本发明有权充分保护所附
权利要求的全部范围。
