用于无线超声跟踪和通信的超宽带定位专利检索-图形显示器显示技术专利检索查询-专利查询网

用于无线超声跟踪和通信的超宽带定位

阅读：1发布：2020-06-30

专利汇可以提供用于无线超声跟踪和通信的超宽带定位专利检索，专利查询，专利分析的服务。并且一种设计矫形植入物的方法，所述方法包括：(a)使用实际的解剖学形状考虑事项和运动学形状考虑事项来迭代地评估动态矫形植入物的可能的形状；以及(b)从所述可能的形状中的一种选择动态矫形植入物形状，其中所选择的所述动态矫形植入物形状满足预先确定的运动学和解剖学约束。，下面是用于无线超声跟踪和通信的超宽带定位专利的具体信息内容。

权利要求

1.一种设计矫形植入物的方法，所述方法包括：
使用实际的解剖学形状考虑事项和运动学形状考虑事项来迭代地评估动态矫形植入物的可能的形状；以及，
从所述可能的形状中的一种中选择动态矫形植入物形状，其中所选择的所述动态矫形植入物形状满足预先确定的运动学和解剖学约束。
2.根据权利要求1所述的方法，其中，所述矫形植入物包括胫骨植入物和股骨植入物中的至少一种。
3.根据权利要求1所述的方法，还包括：在迭代地评估动态矫形植入物的可能的形状之前收集动态成像数据。
4.根据权利要求3所述的方法，其中，所述动态成像数据是荧光透视数据。
5.根据权利要求4所述的方法，其中，所述动态成像数据经受图像校正过程以减少失真。
6.根据权利要求4所述的方法，其中，所述动态成像数据经受特征提取过程以确立骨骼的边。
7.根据权利要求4所述的方法，其中，所述动态成像数据经受初始化过程以估计骨骼的姿态。
8.根据权利要求4所述的方法，其中，所述动态成像数据经受顺序形状和姿态估计过程以生成骨骼的三维虚拟模型。
9.根据权利要求8所述的方法，其中，所述顺序形状和姿态估计过程利用来自统计形状模型创建过程的输入。
10.根据权利要求8所述的方法，其中，所述动态成像数据被分段和分类作为所述形状和姿态估计过程的一部分。
11.根据权利要求4所述的方法，其中，所述动态成像数据被利用来生成跨越运动范围相对于彼此改变位置的多个骨骼模型。
12.根据权利要求1所述的方法，还包括：使用所述动态成像数据来构建虚拟解剖学模型。
13.根据权利要求12所述的方法，其中，所述虚拟解剖学模型包括含有至少两个骨骼的解剖学关节。
14.根据权利要求13所述的方法，其中，所述解剖学关节包括肩部关节、膝盖关节、髋部关节和踝关节中的至少一种。
15.根据权利要求12所述的方法，其中，所述解剖学模型包括软组织。
16.根据权利要求15所述的方法，其中，所述软组织包括韧带。
17.根据权利要求1所述的方法，其中，所述预先确定的运动学约束是通过预测正常运动学导出的。
18.根据权利要求17所述的方法，其中，所述正常运动学是从运动学数据库中提取的。
19.根据权利要求1所述的方法，还包括：为所述矫形植入物确立植入物几何形状约束。
20.根据权利要求1所述的方法，还包括：为所述矫形植入物确立制造约束。
21.根据权利要求1所述的方法，还包括：确立外科手术计划以实现所述矫形植入物的植入。
22.根据权利要求21所述的方法，其中，所述外科手术计划包括用于外科手术导航系统在进行预先确定的骨骼切割时指导的指令。
23.根据权利要求21所述的方法，其中，所述指令包括指示所述预先确定的骨骼切割相对于患者骨骼的定向的定向信息。
24.根据权利要求21所述的方法，其中，所述指令包括指示所述预先确定的骨骼切割相对于患者骨骼的位置的位置信息。
25.根据权利要求21所述的方法，其中，所述指令包括将位置跟踪器附着到患者骨骼。
26.根据权利要求21所述的方法，其中，所述指令包括将位置跟踪器附着到患者。
27.根据权利要求21所述的方法，其中，所述外科手术计划包括用于所述外科手术导航系统在进行一系列预先确定的骨骼切割时指导的指令。
28.一种患者特定矫形植入物，所述患者特定矫形植入物包括针对所述患者的解剖学形状而优化的承载表面，所述承载表面在制作之前已被虚拟地生成并在运动学上评估。
29.根据权利要求28所述的患者特定矫形植入物，其中，所述矫形植入物包括胫骨植入物和股骨植入物中的至少一种。
30.根据权利要求28所述的患者特定矫形植入物，其中，所述患者的所述解剖学形状是使用响应于所述患者的移动而生成的动态成像数据来收集的。
31.根据权利要求30所述的患者特定矫形植入物，其中，所述动态成像数据是荧光透视数据。
32.根据权利要求31所述的患者特定矫形植入物，其中，所述动态成像数据经受图像校正过程以减少失真。
33.根据权利要求31所述的患者特定矫形植入物，其中，所述动态成像数据经受特征提取过程以确立骨骼的边。
34.根据权利要求31所述的患者特定矫形植入物，其中，所述动态成像数据经受初始化过程以估计骨骼的姿态。
35.根据权利要求31所述的患者特定矫形植入物，其中，所述动态成像数据经受顺序形状和姿态估计过程以生成骨骼的三维虚拟模型。
36.根据权利要求35所述的患者特定矫形植入物，其中，所述顺序形状和姿态估计过程利用来自统计形状模型创建过程的输入。
37.根据权利要求35所述的患者特定矫形植入物，其中，所述动态成像数据被分段和分类作为所述形状和姿态估计过程的一部分。
38.根据权利要求31所述的患者特定矫形植入物，其中，所述动态成像数据被利用来生成跨越运动范围相对于彼此改变位置的多个骨骼模型。
39.根据权利要求30所述的患者特定矫形植入物，还包括使用所述动态成像数据来构建虚拟解剖学模型。
40.根据权利要求39所述的患者特定矫形植入物，其中，所述虚拟解剖学模型解剖学关节，所述解剖学关节包括至少两个骨骼。
41.根据权利要求40所述的患者特定矫形植入物，其中，所述解剖学关节包括肩部关节、膝盖关节、髋部关节和踝关节中的至少一种。
42.根据权利要求39所述的患者特定矫形植入物，其中，所述解剖学模型包括软组织。
43.根据权利要求42所述的患者特定矫形植入物，其中，所述软组织包括韧带。
44.一种外科手术导航系统，所述外科手术导航系统包括：
第一超宽带和惯性测量单元；
第二超宽带和惯性测量单元；
处理器，所述处理器通信地耦合到所述第一及第二超宽带和惯性测量单元；以及，图形显示器，所述图形显示器通信地耦合到所述处理器，所述图形显示器被配置成显示能够随着所述图形显示器相对于所述第一及第二超宽带和惯性测量单元中的至少一个被重新定位而在位置和定向中的至少一个方面改变的增强现实图像。
45.根据权利要求44所述的外科手术导航系统，其中，所述第二超宽带和惯性测量单元、所述处理器和所述图形显示器被集成为用户可穿戴头盔的一部分。
46.根据权利要求45所述的外科手术导航系统，其中，所述头盔包括所述图形显示器将所述增强现实图像投影在上面的护目镜。
47.根据权利要求44所述的外科手术导航系统，还包括相机。
48.根据权利要求44所述的外科手术导航系统，其中，所述增强现实图像由投影仪生成。
49.根据权利要求48所述的外科手术导航系统，其中，所述投影仪包括激光投影仪。
50.一种计划外科手术规程的方法，所述方法包括：
生成允许生成动态矫形植入物的指令，其中所述动态矫形植入物是作为使用实际的解剖学形状考虑事项和运动学形状考虑事项来迭代地评估可能的表面承载形状的结果而生成的；
生成用于生成有形引导件和虚拟引导件中的至少一个的指令，其中所述指令是患者特定的；以及，
生成促进所述动态矫形植入物的植入的导航指令，其中所述导航指令包括使用组合超宽带和惯性测量单元来同时跟踪患者和外科手术工具的至少一部分。

说明书全文

用于无线超声跟踪和通信的超宽带定位

[0001] 相关申请的交叉引用

[0002] 本申请要求2016年3月14日提交的标题为“Ultra-wideband positioning for wireless ultrasound tracking and communication”的美国临时专利申请序号62/308,176和2016年9月7日提交的标题为“Ultra-wideband positioning for wireless ultrasound tracking and communication”的美国临时专利申请序号62/384,521的权益，其中的每一个的公开内容通过引用合并与此。
发明内容

[0003] 本公开致力于动态矫形植入物、创建动态矫形植入物的方法、制造动态矫形植入物并且安装动态植入物作为外科手术规程的一部分的方法，以及用于跟踪外科手术器械、植入物、患者解剖结构和外科医生作为执行外科手术计划的一部分的跟踪装置，所述外科手术计划可以包括作为外科手术导航的一部分在患者、外科手术工具和植入物的真实世界图像之上显示增强现实场景。

[0004] 本发明的第一方面是提供一种设计矫形植入物的方法，所述方法包括：(a)使用实际的解剖学形状考虑事项和运动学形状考虑事项来迭代地评估动态矫形植入物的可能的形状；以及(b)从所述可能的形状中的一种选择动态矫形植入物形状，其中所选择的所述动态矫形植入物形状满足预先确定的运动学和解剖学约束。

[0005] 在第一方面的更详细的实施例中，矫形植入物包括胫骨植入物和股骨植入物中的至少一种。在又一个更详细的实施例中，方法还包括在迭代地评估动态矫形植入物的可能的形状之前收集动态成像数据。在另一个详细的实施例中，动态成像数据是荧光透视数据。在再一个更详细的实施例中，动态成像数据经受图像校正过程以减少失真。在更详细的实施例中，动态成像数据经受特征提取过程以确立骨骼的边。在更详细的实施例中，动态成像数据经受初始化过程以估计骨骼的姿态。在另一更详细的实施例中，动态成像数据经受顺序形状和姿态估计过程以生成骨骼的三维虚拟模型。在又一个更详细的实施例中，顺序形状和姿态估计过程利用来自统计形状模型创建过程的输入。在再一个更详细的实施例中，动态成像数据被分段和分类作为形状和姿态估计过程的一部分。

[0006] 在第一方面的又一个更详细的实施例中，动态成像数据被利用来生成跨越运动范围相对于彼此改变位置的多个骨骼模型。在又一个更详细的实施例中，方法还包括使用动态成像数据来构建虚拟解剖学模型。在另一个详细的实施例中，虚拟解剖学模型包括含有至少两个骨骼的解剖学关节。在再一个更详细的实施例中，解剖学关节包括肩部关节、膝盖关节、髋部关节和踝关节中的至少一种。在更详细的实施例中，解剖学模型包括软组织。在更详细的实施例中，软组织包括韧带。在另一更详细的实施例中，预先确定的运动学约束是通过预测正常运动学导出的。在又一个更详细的实施例中，正常运动学是从运动学数据库中提取的。在再一个更详细的实施例中，方法还包括为矫形植入物确立植入物几何形状约束。

[0007] 在第一方面的更详细的实施例中，方法还包括为矫形植入物确立制造约束。在又一个更详细的实施例中，方法还包括确立外科手术计划以实现矫形植入物的植入。在另一个详细的实施例中，外科手术计划包括用于外科手术导航系统在进行预先确定的骨骼切割时指导的指令。在再一个详细的实施例中，指令包括指示预先确定的骨骼切割相对于患者骨骼的定向的定向信息。在更详细的实施例中，指令包括指示预先确定的骨骼切割相对于患者骨骼的位置的位置信息。在更详细的实施例中，指令包括将位置跟踪器附着到患者骨骼。在另一更详细的实施例中，指令包括将位置跟踪器附着到患者。在又一个更详细的实施例中，外科手术计划包括用于外科手术导航系统在进行一系列预先确定的骨骼切割时指导的指令。

[0008] 本发明的第二方面是提供一种患者特定矫形植入物，所述患者特定矫形植入物包括针对患者的解剖学形状而优化的承载表面，所述承载表面在制作之前已被虚拟地生成并在运动学上评估。

[0009] 在第二方面的更详细的实施例中，矫形植入物包括胫骨植入物和股骨植入物中的至少一种。在又一个更详细的实施例中，患者的解剖学形状使用响应于患者的移动而生成的动态成像数据来收集。在再一个详细的实施例中，动态成像数据是荧光透视数据。在再一个详细的实施例中，动态成像数据经受图像校正过程以减少失真。在更详细的实施例中，动态成像数据经受特征提取过程以确立骨骼的边。在更详细的实施例中，动态成像数据经受初始化过程以估计骨骼的姿态。在另一更详细的实施例中，动态成像数据经受顺序形状和姿态估计过程以生成骨骼的三维虚拟模型。在又一个更详细的实施例中，顺序形状和姿态估计过程利用来自统计形状模型创建过程的输入。在再一个更详细的实施例中，动态成像数据被分段和分类作为形状和姿态估计过程的一部分。

[0010] 在第二方面的又一个更详细的实施例中，动态成像数据被利用来生成跨越运动范围相对于彼此改变位置的多个骨骼模型。在又一个更详细的实施例中，植入物还包括使用动态成像数据来构建虚拟解剖学模型。在另一个详细的实施例中，虚拟解剖学模型包括含有至少两个骨骼的解剖学关节。在再一个详细的实施例中，解剖学关节包括肩部关节、膝盖关节、髋部关节和踝关节中的至少一种。在更详细的实施例中，解剖学模型包括软组织。在更详细的实施例中，软组织包括韧带。

[0011] 本发明的第三方面是提供一种外科手术导航系统，所述外科手术导航系统包括：(a)第一超宽带和惯性测量单元；(b)第二超宽带和惯性测量单位；(c)处理器，所述处理器通信地耦合到第一及第二超宽带和惯性测量单元；以及(d)图形显示器，所述图形显示器通信地耦合到处理器，图形显示器被配置成显示能够随着图形显示器相对于第一及第二超宽带和惯性测量单元中的至少一个被重新定位而在位置和定向中的至少一个方面改变的增强现实图像。

[0012] 在第三方面的更详细的实施例中，第二超宽带和惯性测量单元、处理器和图形显示器被集成为用户可穿戴头盔的一部分。在又一个更详细的实施例中，头盔包括图形显示器将增强现实图像投影在上面的护目镜。在另一个详细的实施例中，系统还包括相机。在再一个详细的实施例中，增强现实图像由投影仪生成。在更详细的实施例中，投影仪包括激光投影仪。

[0013] 本发明的第四方面是提供一种计划外科手术规程的方法，所述方法包括：(a)生成允许动态矫形植入物的生成实现的指令，其中动态矫形植入物是作为使用实际的解剖学形状考虑事项和运动学形状考虑事项来迭代地评估可能的表面承载形状的结果而生成的；(b)生成用于生成有形引导件和虚拟引导件中的至少一个的指令，其中指令是患者特定的；
以及(c)生成促进动态矫形植入物的植入的导航指令，其中导航指令包括使用组合超宽带和惯性测量单元来同时跟踪患者和外科手术工具的至少一部分。
附图说明

[0014] 图1是依照即时公开的示例支持跟踪UWB的超声探头中的部件的框图。

[0015] 图2是用于使用位置精度因子(PDOP)来优化参考单元定位的流程图。

[0016] 图3是描绘依照即时公开的用于UWB和IMU混合跟踪系统的示例性设计的一对图。

[0017] 图4是用于UWB和IMU系统的处理和融合算法的框图。

[0018] 图5是可选地刚性固定到移动平台的UWB和IMU系统的图示。

[0019] 图6是依照即时公开的用于关节成形术的增强现实的工作流程。

[0020] 图7是依照即时公开的用于支持UWB/IMU的外科手术导航系统的工作流程。

[0021] 图8是依照即时公开的用于增强现实和支持UWB/IMU的外科手术导航系统的工作流程。

[0022] 图9是依照即时公开的用于使用AR系统和诸如IMU和UWB的混合跟踪系统来为关节成形术创建虚拟指导的术前和术中工作流程的一个示例实施例的框图。

[0023] 图10是描绘依照即时公开的增强现实、UWB和IMU系统之间的配准关系的图。

[0024] 图11是示出将另一用户相对于增强现实系统的位置作为协作式外科手术计划的一部分来示出的橙色3D模型的虚拟骨骼切割计划的示例性照片。

[0025] 图12是示出将另一用户相对于增强现实系统的位置作为协作式外科手术计划的一部分来示出的橙色3D模型的虚拟植入物放置计划的另一示例性照片。

[0026] 图13是描绘增强现实中的不同的坐标系统的变换的图。

[0027] 图14是用于基于矩形形状的标记检测方法的示例性方法的框图。

[0028] 图15是用于二维特征对应方法的示例性方法的框图。

[0029] 图16是用于基于三维模型的对象检测方法的示例性方法的框图。

[0030] 图17是包括两个渲染步骤的基本正向映射中的渲染框架的图。

[0031] 图18是描绘在绝对定向问题中使用两组射线来使两个不同的坐标系统对准的图。

[0032] 图19是实时地基于UWB和IMU混合跟踪系统跟踪骨骼的示例性过程的框图。

[0033] 图20是与IMU和UWB系统相结合地使用的示例性增强现实系统以及向用户显示信息的头戴式显示器(AR护目镜)的描绘。

[0034] 图21是利用激光投影仪来向用户显示信息的示例性增强现实系统的描绘。

[0035] 图22是提供将光学跟踪集成到定位算法中的能力的示例性集成相机及UWB和IMU装置的描绘。

[0036] 图23是配准集成特征对应方法和混合跟踪系统的头戴式增强现实系统的示例性过程的框图。

[0037] 图24是配准基于激光投影仪的AR系统的示例性过程的框图。

[0038] 图25是演示增强现实系统与UWB/IMU系统的集成的图。

[0039] 图26是模拟并评估术中运动学的示例性过程的框图。

[0040] 图27是向外科手术工具提供反馈的示例性过程的框图。

[0041] 图28是增强现实系统将虚拟骨骼和虚拟部件(例如针引导定位)放置在小腿外部的真实世界图像之上的图示。

[0042] 图29是示出正常真实世界视图以及使用定制参考装置来将增强系统与患者空间配准的增强现实视图的一对图片。

[0043] 图30是描绘为了增强现实外科手术导航而将解剖学跟踪从定制配准装置转移到刚性固定标记的图片。

[0044] 图31是描绘将增强现实用于髋部杯定位来相对于解剖结构跟踪外科手术器械的图片。

[0045] 图32是用户将通过髋部导航和正确定向的增强视图看到的东西的表示。

[0046] 图33是装备有UWB跟踪和IMU跟踪能力的示例性摆动锯。

[0047] 图34是可针对多个尺寸和植入物系列利用的可机械调整的4合1切块。

[0048] 图35是用于在全膝盖置换中执行股骨切除的可调整的“智能”切块。

[0049] 图36是示出用于智能切割引导件的示例性创建和使用过程的流程图，其中智能切割引导件可以由UWB/IMU/AR系统主动地跟踪，并且切割引导件可以被预先编程或者以无线方式接收计划的切割平面定位。

[0050] 图37是示出另一个示例性创建和使用过程或智能切割引导件的流程图，其中智能切割引导件可以由UWB/IMU/AR系统主动地跟踪，并且切割引导件可以被预先编程或者以无线方式接收计划的切割平面定位。

[0051] 图38是通过用于按术前计划定位远端切割引导件(蓝线)的视觉教具的示例性增强现实头盔的视图的视觉描绘。

[0052] 图39是通过用于定位远端切块的示例性增强现实头盔的视图的视觉描绘。

[0053] 图40是通过示例性增强现实头盔观察配备有用于在增强系统中跟踪的UWB和IMU 传感器的摆动锯的视图的视觉描绘。

[0054] 图41是通过示例性增强现实头盔观察用于膝盖表面重修的智能器械的视图的视觉描绘。

[0055] 图42是表示用于利用UWB跟踪和虚拟指导的基于超声的外科手术导航的方法的流程图。

[0056] 图43是增强现实系统的用户能够通过增强显示器来使适当的针路径和解剖学结构可视化的描绘。

[0057] 图44是增强现实系统的用户能够观察在患者解剖结构上增强的超声B模式图像以辅助解剖学参考并且去除操作者观看计算机监视器的需要的描绘。

[0058] 图45是增强现实系统的用户能够观察从超声数据构建并且连同B模式图像一起显示在增强场景上的解剖学结构的描绘。

[0059] 图46是描绘增强现实和超声的一个直接应用是为了创建用于为软骨下成形术规程导航的框架的流程图。

[0060] 图47是示出重建的患者骨骼的来自外科手术计划软件的屏幕截图。

[0061] 图48是示出投影到X射线图像上的机械轴的来自外科手术计划软件的屏幕截图。

[0062] 图49是示出胫骨植入物放置的来自外科手术计划软件的屏幕截图。

[0063] 图50是示出距骨植入物放置的来自外科手术计划软件的屏幕截图。

[0064] 图51是用于全踝关节成形术的UWB/IMU外科手术导航的流程图。

[0065] 图52是用于在全膝盖置换中使用UWB和IMU跟踪系统的流程图。

[0066] 图53是跨越外科手术护理期利用动态数据来创建患者特定植入物和器械、放置植入物并且在术后监视表现的示例性过程的流程图。

[0067] 图54包括描绘动态关节重建的示例的照片。

[0068] 图55包括描绘将患者特定形状信息覆盖到单平面数字荧光透视上的图像。

[0069] 图56是描绘从动态图像数据创建解剖学信息的示例性过程的流程图。

[0070] 图57包括在失真去除之前和在失真去除边之后的几何校准网格的荧光透视图像。

[0071] 图58是用于从荧光透视图像特征生成3D模型的过程流程的描绘。

[0072] 图59是描绘利用混合分类器的初始化的图。

[0073] 图60是描绘应用于膝盖关节的KPCA模型变化的图。

[0074] 图61是描绘用于姿态和形状参数优化的过程的图。

[0075] 图62是描绘输入空间距离与特征空间距离之间的关系的图。

[0076] 图63是示出与CT相比较来自荧光透视的股骨和胫骨患者解剖结构的重建结果的一系列图像。

[0077] 图64包括具有边覆盖的一系列荧光透视图像。

[0078] 图65包括来自X射线荧光透视的肩部和髋部重建的示例性图像。

[0079] 图66是描绘如何通过提取感兴趣体积(VOI)作为可能存在部分模板的体积来首先分解几何空间的图。

[0080] 图67是描绘如何通过检测来确定感兴趣体积(VoI)的图。

[0081] 图68是描绘使用统计形状变形的一个替选方案将直接地识别图像上的特征并且将所谓的与或树用于形状识别和变形的图。

[0082] 图69是将股骨解剖结构分解成初级形状的一系列计算机生成的图示。

[0083] 图70是示出已经从成像数据中提取韧带定位的骨骼模型。

[0084] 图71是描绘胫骨和股骨对于深膝盖弯曲的接触图的图。

[0085] 图72是描绘静态数据和荧光透视数据如何被利用来耦合运动学和形态学的图。

[0086] 图73是将相对软骨厚度示出为动态图像拍摄的一部分的两个远端股骨的图。

[0087] 图74是用于根据动态数据估计软骨厚度的流程图。

[0088] 图75是用于远端股骨和近端胫骨的韧带部位概率图。

[0089] 图76是一对模型以及被利用来预测韧带部位的定位和韧带长度包络的变化的图表。

[0090] 图77是映射预测的软骨丢失量的一对远端股骨模型。

[0091] 图78是用于创建并使用运动学训练网络以便识别运动学模式的过程流程图。

[0092] 图79是示出内侧的塌陷的膝盖关节骨骼模型。

[0093] 图80是示出正常关节对准的估计和韧带长度的变化的膝盖关节骨骼模型。

[0094] 图81是计算患者特定韧带刚度的示例性过程的流程图。

[0095] 图82是用于创建患者特定动态植入物的过程的概要的过程流程图。

[0096] 图83是图示用于利用来自健康运动学分布或韧带刚度的估计作为创建患者特定动态植入物的一部分的示例性过程的图表。

[0097] 图84是不同的聚乙烯矢状曲率和相应的股骨植入物的描绘。

[0098] 图85是描绘用于植入物形状优化的示例性过程的流程图。

[0099] 图86是被动膝盖模型的计算机生成的模型。

[0100] 图87是创建要与植入物匹配的可定制韧带模型的屈曲驱动模型的计算机生成的模型。

[0101] 图88是创建并使用网络以便从运动学数据定义用于恢复性患者植入物的最佳CAD参数的示例性过程的流程图。

[0102] 图89是以线段作为患者优化的切框的初始猜测的偏移植入物J曲线的近似的表示。

[0103] 图90是使用患者优化的切框的计算机生成的切除股骨骨骼模型。

[0104] 图91是一直使用传统修正植入物切框重切的计算机生成的切除股骨骨骼模型。

[0105] 图92是示出使用传统修正植入物切框与使用患者优化的切框相对切除的附加骨骼量的计算机生成的骨骼模型。

[0106] 图93是概述在手术中使用智能切割引导件的外科手术计划的动态植入物创建和执行的总体构思的流程图。

[0107] 图94是使用UWB和IMU跟踪器作为术后评估的一部分的图示。

[0108] 图95是列举患者特定植入物和用于创建植入物的参数的示例性图。

[0109] 图96是用于从动态数据创建患者特定植入物的过程的示例性概要。

[0110] 图97是指示用于从动态数据和统计图谱中提取设计参数的信息流的流程图。

[0111] 图98是描绘从动态数据重建关节的流程图。

[0112] 图99是表示动态关节重建的示例的来自软件包的屏幕截图。

[0113] 图100是跨越外科手术护理期利用动态数据来创建患者特定植入物和器械、放置植入物并且在术后监视表现的示例性过程的过程流程图。

[0114] 图101是来自包括如通过动态成像过程所捕获的运动学数据并且允许在整个一系列运动中创建关于软组织包络的信息以与在手术室中调整相反在开发外科手术计划时帮助改进韧带平衡的膝盖计划软件应用的屏幕截图。

[0115] 图102是屈曲驱动运动学膝盖模型的描绘。

[0116] 图103包括用于针对到动态植入物设计过程中的输入和动态植入物设计过程的输出来分析患者运动和动力学的一系列仿真模型。

具体实施方式

[0117] 在下面描述并图示本公开的示例性实施例以包含动态矫形植入物、创建动态矫形植入物的方法、制造动态矫形植入物并且安装动态植入物作为外科手术规程的一部分的方法，以及用于跟踪外科手术器械、植入物、患者解剖结构和外科医生作为执行外科手术计划的一部分的跟踪装置，所述外科手术计划可以包括作为外科手术导航的一部分在患者、外科手术工具和植入物的实际图像之上显示增强现实场景。当然，对于本领域的普通技术人员而言将显而易见的是，在下面讨论的实施例在性质上是示例性的并且可以在不脱离本发明的范围和精神的情况下进行重新配置。然而，为了清楚和精确，如在下面所讨论的示例性实施例可以包括普通技术人员应该认为不是要落入本发明的范围内的必需品的可选步骤、方法和特征。

[0118] 用于无线超声跟踪和通信的超宽带定位

[0119] 当前，无线超声探头可传送超声信息并且提供实时位置和定向信息作为单个单元/包的一部分。本文中公开的是允许具有集成通信并且并入超宽带(UWB)技术的无线超声探头实现的系统。包括示例性系统的一部分的示例性无线超声探头包括用于超声无线数据流式传输的第一UWB单元和用于实时位置跟踪和无线控制/反馈的第二UWB单元。无线超声探头也将两个UWB单元与用于处理位置、定向和超声数据的IMU和微控制器(MCU)集成。

[0120] 超声探头设计

[0121] 依照即时公开，示例性无线超声探头可以包括任何数目的(一个或多个)超声换能器。作为另一示例，无线超声探头可以集成包含用于定位/控制和实时数据流式传输的一个或多个天线的一个或多个UWB收发器单元，以及包括一个或多个加速度计、陀螺仪和磁力计的一个或多个惯性测量单元(IMU)。图1包括描绘示例性无线支持UWB的超声探头的示例性部件的示例性框图。

[0122] 作为另一示例，如图3中所描绘的，示例性UWB单元可以包含四个或更多个天线(例如在四面体布局中)。通过具有不全部彼此共面的至少四个天线，如果任何三个天线在三维(3D)空间中形成唯一平面和垂直轴线，则天线操作以能够解析三维定向变化。可以使用1xN射频(RF)开关将天线连接到UWB收发器，其中“N”是任何整数。作为另一示例，UWB单元可以包括可操作来控制RF开关的激活和去激活以及RF开关的通道切换的MCU。以这种方式，每个天线生成允许导出与每个天线相关联的位置和定向信息的信号。在示例性形式中，确定四个天线中的每一个的位置从确定信号被从中央UWB锚单元发送并由四个天线中的每一个接收所花费的时间起发生。换句话说，在UWB跟踪单元和中央UWB锚单元内的每个标签之间执行确定每个UWB跟踪单元的位置，所述UWB跟踪单元和中央UWB锚单元可以连接到用于处理并生成视觉显示指令的中央处理单元(CPU)。

[0123] UWB定位

[0124] 依照即时公开的示例性UWB跟踪单元可以将多个天线连接到单个收发器，所述单个收发器允许利用同一UWB收发器单元对多个UWB天线(目标)进行测距、定位和跟踪。作为示例，UWB跟踪单元内的天线可以为主控角色/单元或外围角色/单元服务，其中主控角色用来为系统内的外围天线生成定时参考。可以按照任何配置布置每个UWB跟踪单元内的天线，其条件是存在四个或更多个天线并且这些天线中的一个不与其它三个天线一起驻留在同一平面上。例如，如先前所提及的，四面体天线配置满足上述条件。不管天线配置如何，四个天线可以连接到单个UWB收发器，其中每个天线用作用于定位的参考点。利用单个定时电路和单个收发器将UWB脉冲馈送到多个天线中，此配置使得能实现UWB跟踪单元中的所有参考点之间的时钟同步。此配置可以极大地改进主控单元的安装的灵活性，以及简化校准规程。在短距离定位应用中，单个主控单元可能足以为定位提供适当的定位数据。在大区域定位应用中，可以使用多个主控单元。作为示例，可以在操作期间利用有线或无线方法使主控单元的定时电路同步。

[0125] 上述示例性四面体设计可以允许确定每个UWB单元的位置和定向。IMU的添加可用于准确地确定方向。两个传感器系统输出被融合，使得通过融合和滤波技术减小了来自UWB和IMU的误差。方法的一个示例将是使用递归贝叶斯估计滤波器来补充UWB和IMU系统之间的定向估计。IMU系统可能是不准确的并且经受磁伪影，其中UWB系统可用于提供校正。此外，UWB单元的四面体设计可以允许监视并改进天线之间的平移估计。

[0126] 作为示例性系统的一部分，一个或多个UWB跟踪单元可以与一个或多个外部参考单元进行通信，所述外部参考单元可以被安装或者位于使用环境(例如，外科手术规程期间的手术室)内的不同定位中。在示例性形式中，参考单元可以按照任何数目的定向和配置包括一个或多个天线。另外参考单元可以经由有线或无线连接与其它参考单元和主控单元进行通信。在示例性形式中，参考单元可以表现为其它UWB跟踪单元的主控单元，并且也可以被配置成基于诸如接收信号强度、到达时间差、飞行时间和/或到达角的定位技术来确定任何其它参考单元或UWB跟踪单元的位置。参考单元的放置可以是任意的或者使用基于位置精度因子(PDOP)的估计来优化(参见图2)。用户可以输入感兴趣的跟踪区域、所期望的准确度和可用参考单元的数目。优化软件确定参考单元的最佳定位。软件也可以被配置成优化2D或3D中的参考单元放置。

[0127] 在另一替选示例性配置中，UWB和/或IMU跟踪系统可以被刚性固定到移动平台，所述移动平台可以形式为外科手术机器人系统，以在不依靠在手术室(参见图5)四处放置外部参考单元的情况下改进性能。

[0128] UWB通信

[0129] 示例性系统的一个示例性优点是超声探头的无线位置和定向跟踪。所提出的系统的第二示例性优点是使用UWB技术的超声探头与中央处理单元(CPU)之间的无线通信。利用UWB通信获得的高吞吐量使所提出的系统理想地用于发送实时超声采集信息。实时地向CPU发送B模式数据、射频(RF)数据、I/Q数据或任何其它采集的超声信号通过具有优选地大约至少6-7Mbps的数据吞吐量能力的UWB收发器来执行。可以利用无损数据压缩来压缩实时数据流，使得可以无线方式发送RF、IQ和/或B模式数据的每秒至少20-30 帧以用于实时处理和显示。

[0130] 用于利用增强现实和IMU跟踪的关节置换的实时虚拟指导

[0131] 关节成形术是通过表面重修包括关节的一个或多个骨骼来恢复关节的功能的外科手术规程。关节成形术可以包括提供正常肢体对准的恢复、准确的植入物设计和优化、安全的植入物固定和/或适当的软组织平衡和稳定性的外科手术治疗。如此后更详细地讨论的，即时公开提供在AR系统中配置成提供要覆盖在外科医生/用户的真实世界视图上的一个或多个计算机生成的图像以在外科手术规程(诸如手术室中的关节置换规程)中引导外科医生的虚拟切割引导件。结合先进增强现实技术，基于UWB和IMU技术的自参考混合导航模块用于改进外科手术工具和外科医生/用户在外科手术规程期间的同时平移和旋转跟踪的准确度以及对患者的术中和术后运动学的评估。

[0132] 在示例性形式中，本文中公开的主题对应于使用头戴式或手持式(或身体附着式)显示器、正规计算机屏幕、移动装置屏幕或其任何组合来观察增强现实内容的增强现实作为外科手术规程(诸如关节成形术)的一部分的医疗应用。具体地，此示例性实施例包含用于通过以一致方式将虚拟对象放置在用户的真实世界视图之上来高精度地利用计算机生成的图像引导外科手术规程的系统和方法，所述一致方式可以提供用户不再能区分真实对象和虚拟对象的环境。

[0133] 增强现实

[0134] 增强现实(AR)是将嵌入式合成信息集成到真实世界环境中的计算机视觉和计算机图形的领域。在增强现实体验中，可从叠加到用户的真实世界视图上的计算机生成的图像中给最终用户提供关于用户的周围真实世界的附加信息。不是使用户仅沉浸在合成环境中的虚拟现实，而是增强现实允许用户与叠加在真实世界环境之上的合成世界交互。如此后将更详细地讨论的，示例性实施例具有除外科手术外的应用，诸如但不限于计算机游戏、模拟、工程、训练和各种其它应用。

[0135] 依照即时公开的示例性AR系统可以由一个或多个彩色相机、一个或多个深度相机、一个或多个图像处理单元、中央处理单元、一个或多个网络通信系统(诸如蓝牙LE、UWB或Wifi)以及以下反馈机制中的任一种组成：(a)光学透视反馈，其通常是信息被覆盖在护目镜上的头戴式显示器(参见图20)；(b)视频覆盖反馈，其可以是显示器渲染由相机捕获的视频并且信息被覆盖在视频之上的手持式装置；以及(c)空间投影反馈，其可以经由信息被直接地投影到对象上(参见图21)的一个或多个激光投影仪来实现。如本文中所使用的，AR视觉/跟踪系统一般而言指代可操作来经由计算机视觉、对象识别、跟踪和运动估计来跟踪用户的观察体积内的对象的硬件和软件。

[0136] 当一个人想要提供增强现实体验时面临的主要问题之一是投影图像相对于自然环境的配准。更具体地，先前一直不可能将虚拟对象精确地定位在真实世界(即，自然环境)中的相应目标之上并且随着自然环境中的对象和用户移动而更新此定位。但是真实世界对象与增强现实投影的对象之间的精确对准对于图像引导外科手术是至关重要的，因为不准确的或抖动的配准可导致骨骼切口、植入物放置的不对准，并且对外科手术规程的主要表现产生总体负面影响。

[0137] 参考图6，左侧流程图描绘用于在手术前创建切割引导件的过程，所述过程可以包括作为支持增强现实的外科手术的一部分而利用的物理对准引导件、物理切割引导件、虚拟对准引导件和虚拟切割引导件的创建。术前步骤包括创建将为外科手术规程的主体的患者特定解剖结构的虚拟模型。可以从静态成像模态(诸如计算机断层扫描(CT)、磁共振成像(MRI)和/或X射线)或者从诸如支持荧光透视或跟踪器的超声的动态成像模态创建虚拟解剖学模型。在示例性形式中，虚拟解剖学模型可以包括任何骨骼或成组骨骼，诸如包括膝盖、髋部、肩部、踝和/或脊柱节段的关节。此外，虚拟解剖学模型可以在增强现实系统中用于执行协作式外科手术计划。

[0138] 协作式外科手术计划可以涉及使两个或更多个用户经由增强现实硬件(头盔)在网络(其不必是本地的)上连接以创建术前外科手术计划的过程。创建外科手术计划的用户可观察公共虚拟解剖学模型和植入物并且调整外科手术计划参数(植入物尺寸和位置)，直到所期望的外科手术计划被实现为止。当任何用户对虚拟解剖学模型做出变化时，这些变化通过网络被中继到其它用户并且每个用户的视觉显示被相应地更新。以类似的方式，使用化身，用户可以像此后将更详细地讨论的那样看到其它用户相对于解剖学模型的位置。

[0139] IMU/UWB/AR辅助动态计划可以包括通过一个或多个成像模态或者在使用IMU和/或UWB定位系统的组合来成像之后捕获患者解剖结构的动态数据。每个子系统(IMU、UWB、增强现实(AR))之间的通信和数据转移可以通过使用应用程序接口(API)来完成，所述应用程序接口将来自每个子系统的数据转换成可由其它子系统或者由CPU读取的格式。通过软件API进行的这组通信是用于所有AR/IMU/UWB集成的公共框架。此动态数据可以可选地被包括在外科手术计划过程中以在计划过程中确立术前和术后关节状况。

[0140] 可以使用术前数据和商定的外科手术计划的组合来创建虚拟和物理对准及切割引导件的创建。每个物理对准引导件不必是切割引导件，但是相反可以是具有被配置成与患者的独特骨表面匹配或对准的一个或多个表面的放置引导件。物理对准引导件可以用于通过基于对准引导件的患者匹配形状被放置在患者上的独特位置中来将AR系统与手术室中的患者配准。除了物理引导件之外，作为外科手术计划的一部分还可以创建虚拟切割引导件—由用于切割平面的虚拟参数、用于外科手术轴或针位置的轴、患者几何形状和植入物参数构成。可以以电子方式存储并转移虚拟切割引导件参数，而不需要可能为物理切割引导件所必需的物理制造过程。

[0141] 返回参考图6，右侧流程图描绘作为利用增强现实外科手术切割引导件或物理切割引导件的一部分的术中工作流程的过程。此示例性工作流程包括适用的跟踪系统的配准和校准，所述适用的跟踪系统可以是AR、UWB或IMU或其任何组合。配准步骤确保所有跟踪系统与相同的坐标系统同步。关于图10更详细地说明各种跟踪系统之间的配准步骤的更详细讨论。

[0142] 在示例性配置中，光学跟踪系统可以与UWB参考单元集成在一起，其中它可以辅助和/或提供每个适用的跟踪系统要同步到的标准参考系(参见图22)。

[0143] 也应该理解的是，AR系统具有与仅可跟踪其视场和/或其观察体积和视线限制内的对象的光学跟踪系统类似的局限。应理解的是，AR可以在它将与UWB/IMU系统相结合地操作(参见图20)的情况下绕过这些局限，并且可有同时操作的多于一个AR系统。UWB/IMU系统可以被附着到患者、器械或任何其它对象，使得即使它们在AR系统的视觉跟踪体积外部(参见图25)，也可以无线方式跟踪它们的定位。外科医生和外科手术助理可以各自具有AR系统，其中由每个系统捕获的信息被以无线方式共享。例如，如果外科医生的AR视觉跟踪系统具有患者关节的更好视图，则可以将跟踪信息中继到在其视觉跟踪体积中没有患者的关节的其它AR系统。

[0144] 还应该理解的是，可以以头戴式显示器的形式实现AR信息显示/反馈，其中信息被中继到AR护目镜中(参见图20)或者它可以作为激光投影系统被实现，其中信息被直接地投影到患者上(参见图21)。对于头戴式显示器，可以有在AR护目镜中覆盖的当前在AR系统的观察体积外部的对象的指示器。

[0145] 在配准和校准后，可以将一个或多个参考跟踪器附着到患者和/或适用的外科手术工具。示例性参考跟踪器可以各自包括IMU和/或UWB并且被附着到患者以动态地跟踪所述患者的骨骼或其它组织的定位。应该注意的是，即时公开的支持AR的系统未必需要参考跟踪器，因为只要对象在AR相机的观察体积内(参见图15和16)，一个人就可以利用视觉跟踪系统来跟踪患者的骨骼(或感兴趣的其它外科手术组织)和适用的外科手术器械。然而，参考跟踪器的利用提供附加保证，即即使患者的骨骼在AR系统的跟踪体积外部(参见图25)也将始终监视患者的骨骼。参考跟踪器的使用可以减少计算机视觉所需要的计算载荷，从而减轻计算负担并且改进AR系统的性能。

[0146] 在参考跟踪器附着到患者后，患者配准步骤可包括相对于患者解剖结构对准物理引导件。如先前所讨论的，即时示例性过程可以提供用于物理引导件的创建，在术前计划后，所述物理引导件可在外科手术期间被配准到患者的解剖结构特定坐标。例如，用于膝盖关节成形术的示例性配准方法可以使用位于患者的骨骼的解剖学特征的组合上的独特引导件，所述解剖特征可以包括诸如但不限于前皮质点、用于股骨配准的侧向和/或医疗髁突以及胫骨的上前部、用于胫骨配准的侧向和/或横向胫骨髁突。在此示例性实施例中，包括IMU单元和UWB单元中的至少一个的位置和定向跟踪器被附着到物理引导件。在按照独特已知定位将物理引导件定位在骨骼上后，从跟踪器取读数以确定物理引导件的相对位置和/或定向，引导件的位置和/或定向用于计算患者骨骼在适用的跟踪系统的坐标内的定位。在使用AR系统的情况下，计算机视觉可以用于辨识并跟踪观察空间中的物理引导件。也可以与UWB/IMU跟踪器相结合地使用AR系统(参见图19、图29、图30)。

[0147] 可替选地，或者此外，示例性实施例可以包括利用跟踪触针或计算机视觉作为虚拟配准的一部分的患者配准步骤。在示例性形式中，可以使用包括UWB单元和IMU单元中的至少一个的跟踪器来将虚拟放置引导件配准到患者。跟踪器可以作为触针的一部分被植入，其中外科医生/用户可以配准解剖学界标，并且/或者映射患者的骨骼表面。跟踪数据可以是具体解剖学界标或表示患者的骨骼的点云，其可以用于将患者配准到术前外科手术计划。在使用AR系统的情况下，AR系统可以被用作独立跟踪系统以经由计算机视觉(参见图15、图16)或者与先前提及的跟踪器(参见图19)相结合地执行患者配准。

[0148] 参考图6和图7，更详细地描绘在患者配准后的用于支持UWB/IMU的外科手术导航实施例的示例性工作流程。在图6中，附图标记8对应于在图7中更充分地描述的支持UWB/IMU的外科手术导航实施例。如图7中所描绘的，作为与术前外科手术计划一致的外科手术规程的一部分利用跟踪外科手术器械切除/切割患者的骨骼，对应于附图标记11。可以在独立显示单元上显示跟踪器械的反馈信息。作为示例，将在本节中在使用基于UWB/IMU的外科手术引导的踝关节成形术的工作流程方面描述示例性过程。然而，也应该理解的是，也可以在包括但不限于全膝盖关节成形术的其它外科手术规程中使用此过程。

[0149] 在利用实际的物理切割引导件的上下文中，切割引导件可以并入UWB和/或IMU跟踪器(以包括智能切割引导件)以向用户提供关于切割引导件的位置和定向信息。当与位置和/或定向跟踪器相结合地使用物理切割引导件时，给用户的信息可以包括可用作关节切除的一部分的引导信息。在此示例性实施例中，物理切割引导件可以具有单个或多个可调整的切槽，每个都可以手动地(参见图33和图35)或者经由电动硬件(参见图34、图36)来调整，以基于外科手术计划控制切槽的一组预先编程的或预先确定的定位和定向以产生患者的骨骼的期望切除。在替选示例性实施例中，如果当前切除平面与术前外科手术计划的平面不匹配，则可以经由机器人或机电一体化的实现来阻挡或者阻止可手动调整的切槽。

[0150] 除了并入跟踪器的物理切割引导件之外，对于外科手术器械(诸如但不限于并入反馈机制的外科手术锯)来说也在本公开的范围内。在示例性形式中，反馈机制可以通知外科医生/用户当前/投影的切除是否偏离术前外科手术计划。作为示例，外科手术器械可以包括跟踪器，所述跟踪器包括可以以无线方式向中央计算机发送位置和定向数据中的至少一种的UWB单元和IMU单元中的至少一个(参见图33)。以这种方式，当与外科手术工具跟踪器相结合地使用关于图6所讨论的患者参考跟踪器6时，可确定相对于患者解剖结构和相对于术前平面的当前切除定向和深度。如果切除定向和深度偏离外科手术计划超过预先确定的公差，则计算机可以向器械发送反馈信号，计算机可以向外科手术工具发送指示当前定向和/或深度在外科手术计划的公差外的信息(即，反馈)，从而外科医生/用户应该重新定位外科手术工具以达到允许的公差内。给外科手术器械的信息/反馈可以被实现为减少或者禁用给电动硬件的电力，或者它可以触发被嵌入在器械中的单个或多个触觉马达，从而向外科医生提供触觉反馈。可替选地，或者此外，器械可以并入视觉显示器从而向外科医生提供关于重新定位外科手术器械以实现与术前计划一致的外科手术规程的一部分所必需的校正动作的指令。作为示例，外科手术器械可以包括轻微地操纵器械的定向的电动陀螺仪，附加地向外科医生提供触觉方向反馈以使器械在特定方向上倾斜。

[0151] 作为示例性实施例的一部分，在患者组织准备接收植入物后，可以利用各自包括位置和定向跟踪能力的一个或多个矫形植入物试验作为步骤16的部分。如先前所讨论的，每个试验可以包括以无线方式提供关于植入物试验的位置和定向中的至少一种的反馈的UWB单元和IMU单元中的一个或多个。以这种方式，中央计算机可以从植入物试验跟踪器接收验证植入物的定位或者提供植入物试验相对于患者骨骼不在正确位置的信息(当经由物理跟踪器或视觉跟踪器来使用骨骼跟踪时)的信息。最终，利用适合患者并且提供与术前计划一致的运动学和韧带平衡的植入物试验，此时外科医生继续前进到植入物放置步骤。

[0152] 通过图7中的附图标记18所识别的植入物放置步骤包括对要在其使用寿命期间植入的矫形的选择和放置。作为示例，每个植入物可以包括以无线方式提供关于植入物的位置和定向中的至少一种的反馈的UWB单元和IMU单元中的一个或多个。以这种方式，中央计算机可以从植入物跟踪器接收验证植入物的定位或者提供植入物相对于患者骨骼不在正确位置的信息(当经由物理跟踪器或视觉跟踪器来使用骨骼跟踪时)的信息。最终，植入物被正确地定位并附于患者解剖结构。

[0153] 在植入物被附于患者解剖结构之后，外科医生可以通过一系列运动来取植入物。由于与植入物相关联的跟踪器，中央计算机记录从跟踪器输出的位置和/或定向信息并且使此相关以计算植入物的位置。可以将此植入物跟踪与术前运动学和/或与术前运动学计划相比较以评估植入物的运动范围是否在预定界限内。

[0154] 转向图6和图8，更详细地描绘在患者配准后的用于支持AR和UWB/IMU的外科手术导航实施例的示例性工作流程。在图6中，附图标记10对应于在图8中更充分地描述的支持AR和UWB/IMU的外科手术导航实施例。如图8中所描绘的，在物理切割引导件的上下文中，切割引导件可以并入UWB单元和IMU单元中的至少一个以为切割引导件提供位置和定向数据，所述数据可与患者骨骼上的参考跟踪器一起被利用来在外科手术规程期间提供指导。切割引导件可以具有单个或多个可调整的切槽，其可手动地(参见图34和图36)或者经由控制切槽的位置和定向以产生所期望的切除的电动硬件(参见图35和图37)来调整。在另一替选示例性实施例中，如果当前切除平面不匹配或者落入由术前外科手术计划所要求的平面的预先确定的公差内，则可以阻挡/关闭可手动调整的切槽。AR系统可以像图34中所描述的那样在用户可以手动地调整切割引导件的切槽的情况下通过在AR护目镜上提供虚拟切除平面来辅助切除。

[0155] 在图8的步骤13中，示例性外科手术器械(诸如骨锯)可以并入多种反馈机制以通知外科医生当前切除已偏离外科手术计划。示例性器械可以包括跟踪器，所述跟踪器包括可以以无线方式将数据发送到中央计算机的UWB单元和IMU单元中的至少一个。与图6的参考跟踪器6相结合地使用，可确定当前切除定向和深度。如果切除定向和深度偏离术前外科手术计划的预先确定的公差，则计算机可以向器械发送反馈。反馈可以被实现为减少或者禁用给电动硬件的电力，或者它可以触发单个或多个触觉马达以向外科医生提供触觉反馈。此外，或者在替选方案中，可以将反馈显示在与外科手术器械相关联的显示器上以指导外科医生重新定位器械以达到与术前外科手术计划一致的适当定向和/或位置。器械也可以包括轻微地操纵器械的定向的电动陀螺仪，从而向外科医生提供方向反馈以使器械倾斜。在此示例性实施例中，AR系统可以通过提供关于被覆盖在AR护目镜或计算机屏幕或投影到患者和器械上的激光上的切除平面定向和切除深度的警告、反馈和/或方向信息来与先前描述的技术相结合地辅助(参见图27)。

[0156] 如在图8中作为步骤14所描绘的，AR系统可以提供指示可能需要关节切除和/或表面重修的区域的位置和定向的虚拟切除和/或表面重修指导。例如，膝盖植入物可能在患者的远端股骨关节和近端胫骨关节上需要多个切除切口。AR系统可以指示所需的所有切除平面，使得外科医生可以在切除任何骨骼之前执行调整。AR系统可以在规程上显示所需要的切除，使得它在每个切除步骤期间指导外科医生(参见图40)。

[0157] 在可以利用物理切割引导件的情况下，示例性AR系统可以提供虚拟针定位作为AR护目镜的视觉显示器或计算机屏幕或投影到患者上的激光的一部分以辅助外科医生切割针定位孔。在此示例性实施例中，切割引导件可以是通用的或患者特定的。在任何一种情况下，AR护目镜可以虚拟地显示通过当前针放置所产生的切除，使得外科医生可以在切除骨骼之前执行调整。AR系统也可以在规程上为在每个规程期间需要的每个切割引导件显示针定位(参见图28、图38、图39)。

[0158] 在患者的骨骼的切除后，示例性过程流程继续前进到步骤17，其中AR系统可以与利用UWB单元和IMU单元中的至少一个实现的试验部件相结合地操作，并且/或者利用患者骨骼上的参考跟踪器以允许矫形植入物试验放置。AR可以覆盖关于试验部件的放置、患者的运动范围以及植入物在运动期间的接触区域的信息(参见图26)。

[0159] 一旦植入物试验序列已结束，并且植入物运动范围和接触被验证，AR系统就可以与一个或多个外科手术器械和骨骼参考跟踪器(由UWB单元和IMU单元中的至少一个实现)相结合地工作以在AR护目镜、计算机屏幕或投影到患者上的激光上虚拟地提供关于植入物的放置信息。例如，利用来自患者的骨骼和外科手术器械上的跟踪器的定位和定向信息，AR系统可以在全髋部关节成形术的上下文中通过将虚拟骨骼和虚拟髋臼杯覆盖在患者上来提供植入物的放置的可视化(参见图29-32)。

[0160] 在矫形植入物的植入后，外科医生可以像图8中的附图标记20所识别那样通过一系列运动来取植入物。AR系统可以与患者骨骼和植入物上的参考跟踪器相结合地操作以执行运动学验证，其中外科医生可手动地操纵骨骼和/或关节。AR可以覆盖关于植入物的放置、植入物的运动范围以及植入物在运动期间的接触区域的信息(参见图26)。

[0161] 转向图9，框图与图6中描绘的相比更详细地描绘术前和术中工作流程的示例性实施例以使用AR系统和诸如IMU和UWB的混合跟踪系统来创建用于关节成形术的虚拟夹具。在术前工作流程中，必须通过使用诸如计算机断层扫描(CT)、磁共振成像(MRI)、双平面X射线摄影、单平面荧光透视或其组合的一些成像模态来提取或者构建患者特定解剖结构。在完成校准过程后，创建重建的3D患者特定解剖结构虚拟模型。使用重建的虚拟骨骼模型，可以在预先计划过程中创建虚拟切割引导件和植入物。

[0162] 在术中工作流程部件中，可以用附着到患者的解剖结构上的多个刚性单元标记患者。示例性实施例中的术语“单元”可被理解为用于测量基于IMU和UWB技术以无线方式连接到自参考混合导航系统的目标的位置和定向的一个或多个传感器。在将一个或多个刚性单元定位在患者上后，可以执行相机校准以提供真实世界与由AR提供的虚拟世界之间的配准。换句话说，相机配准过程可以包括使用可以从以下跟踪器之一中选择的目标跟踪器在虚拟和真实世界坐标系统的不同坐标之间进行配准：标记检测、特征对应、基于3D模型的对象检测、自参考混合导航系统或其任何组合。在配准后且在虚拟引导件创建后，虚拟引导件使用一个或多个增强现实模块来渲染以允许描绘与真实世界患者解剖结构对准的虚拟引导件。以这种方式，虚拟引导件可以通过头戴式或手持式(或身体附着式)显示器上的覆盖图像或者通过投影系统被在视觉上叠加到患者的解剖结构上，所述投影系统可以由用于叠加虚拟引导件的激光器或投影仪构成。虚拟植入物可用于评估术中和术后运动学，其中植入物部件在软件中被调整大小并放置在虚拟骨骼模型上。

[0163] 参考图10，更详细地讨论被利用来确立跟踪单元与AR系统之间的配准关系的技术。IMU和UWB单元之间的配准可以经由运动匹配配准来完成，其中外科医生/用户可以按照已知定向使跟踪器旋转，或者按照任何定向使单元旋转直到收集到足够的信息为止，或者经由机器人或机电一体化旋转，并且在中央计算机上运行的配准软件可确定变换，使得UWB和IMU坐标将彼此匹配。可以通过将AR坐标系统配准到UWB坐标系来完成UWB与AR系统之间的配准，或者反之亦然。

[0164] 在将跟踪单元配准到AR系统的第一示例性方法中，假设AR系统是移动的并且可以自由地定位与AR系统相关联的相机。作为配准过程的一部分，AR系统的每个相机可以捕获单个或多个配准目标，所述配准目标可以是图像或对象，前提是它们的定位先前用UWB坐标测量。可以通过匹配配准目标的坐标来完成UWB单元和AR系统的配准。在替选示例性实施例中，AR系统可辨识的诸如触针的对象可以并入UWB单元和/或IMU单元，其中用户可以在AR系统的相机前面任意地操纵指针，或者用户可以在利用AR系统的相机捕获活动的同时使用触针来从已知对象收集点，或者可以在通过AR系统的相机捕获活动的同时经由机器人或机电一体化操纵指针。在这些活动期间通过AR系统和UWB单元收集的可以被表示为3D点或3D点云的触针的定位可以一起用于确定两个跟踪系统坐标之间的变换。在另一替选示例性实施例中，装置可以使AR系统以及UWB单元和/或IMU单元刚性附着在一起。用户可以操纵装置，或者在装置四处走动，或者可以经由机器人或机电一体化操纵装置，使得装置的定位可被确立并表示为3D点或3D点云等以确定两个跟踪系统坐标之间的变换。

[0165] 在将跟踪单元配准到AR系统的第一示例性方法中，假设AR系统是不能移动的，其中AR系统的每个相机是固定的。在此示例性方法中，诸如AR系统可辨识的触针的对象可以并入UWB单元和/或IMU单元，其中用户可以在AR系统的相机前面任意地操纵触针，或者用户可以在利用AR系统的相机捕获活动的同时使用触针来从已知对象收集点，或者可以在通过AR系统的相机捕获活动的同时经由机器人或机电一体化操纵触针。在这些活动期间通过AR系统和UWB和/或IMU单元收集的可以被表示为3D点或3D点云的触针的定位可以一起用于确定两个跟踪系统坐标之间的变换。在另一替选示例性实施例中，触针可能无法由提供二次图像的AR系统辨识，或者对象是可辨识的。在那种情况下，用户可以“绘制”或者收集图像或对象上的具体配准点。在这些活动期间通过AR系统和UWB和/或IMU单元收集的可以被表示为3D点或3D点云的触针的定位可以一起用于确定两个跟踪系统坐标之间的变换。

[0166] 最后，可以通过将IMU单元嵌入在AR系统可辨识的对象内来完成IMU单元与AR系统之间的配准。用户可以在AR系统的相机前面任意地操纵对象，或者用户可以要求在利用AR系统的相机捕获活动的同时将对象定位在不同的定向中，或者可以在通过AR系统的相机捕获活动的同时经由机器人或机电一体化操纵对象。在这些活动期间通过AR系统和IMU单元收集的可以被表示为诸如欧拉角、方向余弦矩阵或四元数的任何定向表示的对象的定向可以一起用于确定两个跟踪坐标之间的变换。

[0167] 转回到图6，此后提供协作式外科手术计划步骤6的更详细讨论。协作式外科手术计划允许一个人在创建术前外科手术计划方面同时与其它用户共享并传送全息应用，所述其它用户可以在同一房间中或者在应用正在每个装置上运行以便观察增强现实内容的情况下远程地工作。协作式外科手术计划应用可以与诸如手持式平板或移动电话、头戴式增强现实装置、膝上型计算机或台式机的多个装置一起工作。基于网络通信技术的协作式框架使得能够在连接到互联网或本地网络的不同装置上支持多个平台。可以在服务器和客户端架构上建立用于协作式过程执行外科手术计划的一个示例性实施例。作为后端计算机的服务器部件可以管理跟踪连接和断开客户端以及使消息在客户端之间同步。对于所有装置连接到服务器的实时通信，可以被使用的示例性通信协议是在装置之间中继所有消息的用户数据报协议(UDP)。在此示例性实施例中，由具有具体格式的字节的数组构成的消息分组可以包括控制信息和用户数据(即，识别号码、位置、定向、输入等)。作为客户端，在每个装置上运行的应用通过同步网络在其它用户之间中继情报消息来传送用于外科手术计划的任务以实时地无缝地渲染定位可视化。在外科手术应用的上下文中的任务可以包括目标骨骼上的参考点的位置、典型全关节置换中的骨骼切割、植入物尺寸和位置、植入物对准等。

[0168] 如图11和图12中所示，骨骼切割的任务被设计成指定与目标骨骼相关联的所期望的切除平面并且将植入物装配到骨骼结构上的独特位置和定向中。为了改进与其它用户的通信，示例性实施例使得能够跟踪其它用户的位置并且将表示相对于解剖学模型定位用户的3D化身模型部署为锚。根据直接地与其它用户进行通信的方面，可以支持群组语音聊天功能。为了增强计算性能，可以在每个装置上仅管理并渲染用于所考虑的任务中的定位可视化的图形模型，然后通过随着当前视图中的任何变化而通过网络接收消息来更新该图形模型。

[0169] 参考图13，AR中的不同的坐标系统的变换是相当重要的。在依照即时公开的AR系统中，真实世界包括场景系Fs和相机系Fc而虚拟世界包括虚拟场景系Fvs和虚拟相机系Fvc。在不失一般性的情况下，假定Fs和Fvs是等价的，即，Fs＝Fvs。为了将虚拟对象精确地投影到当前世界系上，Fc和Fvc必须位于相同的位置处并且共享相同的相机参数(例如，焦距、视角、歪斜等)。为了准确地观察叠加到真实环境上的虚拟引导件以及诸如医疗工具的虚拟模型，Fc和Fvc在合成步骤之前被精确地对准以产生增强现实显示。为此，要求估计定义有关Fc的世界系Fs中的姿态的变换E的未知参数。在世界系中的相机姿态估计(例如，配准)的过程中，不准确的或抖动的姿态估计(位置和定向)可对性能(在外科手术的情况下，对外科手术规程它本身)产生总体负面影响。在以下部分中，提供了对将诸如虚拟引导件的虚拟对象准确地插入到真实环境中的若干开发的方法的全面描述。

[0170] 在利用相机和投影仪的AR系统的上下文中，此后描述用于将相机校准到投影仪的示例性过程。此示例性过程涉及基于针孔相机模型近似相机模型，所述针孔相机模型可以通过3×4三维立体投影矩阵来定义。给定通过m＝[u,v]T表示的二维投影像素和通过M＝[X,Y,Z]T表示的三维点，均匀坐标中的相应点分别被表示为和世界坐标系统与相机坐标系统之间的3×4变换矩阵E定义为：

[0171]

[0172] 其中R和t分别是旋转矩阵和平移矩阵。E也被称作定义相机的位置的P的外在函数。三维点M与其图像投影像素m之间的关系通过下式给出：

[0173]

[0174] 其中s是任意比例因子，K被称为具有像素单位的焦距fx和fy、主点的坐标(u0,v0)和歪斜参数γ的3×3相机本征矩阵。在本文中歪斜参数γ被设置为零，因为用于大多数普通相机的现代制造技术致使这个可忽视。混合内在参数和外在参数两者的3×4相机投影矩阵通过来给出。使用集中相机投影矩阵可将等式(2)重新定义为：

[0175]

[0176] 考虑到计算深度值，可以通过将一行添加到3×4相机投影矩阵来采用4×4相机投影矩阵。

[0177] 作为当使用AR系统时的术中工作流程的前提步骤，其中应该校准内置到头戴式或手持式(或身体附着式)显示装置中的相机(或多个相机)。一般而言，相机校准被利用来查找相机内在函数(也称作内部参数)。在此例行规程中，校准把相机对准在具有许多单独的且可识别的点的已知结构上。通过从不同的角度观察此结构，可以计算相机对于每个图像的相对位置和定向以及相机的内在函数。为了提供多个视图，拍摄了在不同的定向和距离的一组不同的图像。特定于头戴式或手持式AR系统，已知平面对象(例如，棋盘)的多个视图是连同使显示装置旋转并来回移动(而不是移动目标)一起拍摄的。接下来，使用所检测到的已知平面对象上的点来计算与计算针对每个视图的单独的平移和旋转有关的单应性矩阵以及内在函数被定义为所有视图的相同参数集的内在参数。通过细化内在和外在参数，可校准相机。本文中校准的内在参数可以作为元数据被存储在服务器、计算机、智能电话或平板中。在特殊情况下，如果光学透视头戴式显示器提供访问相机在世界坐标中的定位和当拍摄照片或视频时相机的立体投影的可用性，则可以忽视相机校准的所有步骤。在示例性形式中，基于针孔投影仪模型的投影仪模型的立体投影矩阵通过与针孔相机模型相同的参数集来定义。由于这个原因，可通过执行相机校准的相同规程来找到投影仪模型的立体投影矩阵。

[0178] 依照即时公开，以下讨论提供用于解决姿态估计的开放问题的过程和结构，所述姿态估计根据一组二维点投影估计三维对象的姿态。姿态估计的问题也被称为估计相机的外在参数。可以通过估计作为立体平面上的一组点的可逆映射的单应性来恢复相机的姿态。姿态估计的应用可以提供根据所存储的作为参考的对象和在当前场景中作为目标的对象同时地估计三维几何形状和相机姿态两者的能力。此外，作为AR系统的一部分嵌入的UWB和/或IMU单元可以允许一个人在应用于医疗规程时初始识别外科医生在手术室中的定位。作为示例，静止参考在真实世界中的位置以及参考的任何其它几何形状被预先确定以在渲染框架中将外部跟踪坐标系统与AR坐标系统对准。

[0179] 如此后更详细地讨论的，可以利用各种示例性方法来估计相机的姿态，所述各种示例性方法包括但不限于：二维标记检测、二维特征对应和基于三维模型的对象检测。这些示例性方法也可以用于在虚拟引导件或注释通过AR显示被叠加在目标表面之上的AR应用中跟踪目标对象或参考的位置和定向。

[0180] 如图14中所示，描绘了用于变换真实和虚拟世界的坐标系统的基于矩形形状的标记检测方法的示例性过程的框图。给定彩色输入图像，一个示例性过程将输入图像转换为黑白彩色图像。在应用基本图像处理算法以去除噪声之后，过程检测二值化图像中的线或边以使标记的优选形状符合每个无序边界点簇。接下来，过程找到四个候选拐角以使线符合标记的每一侧。作为此过程的一部分，进行一些额外滤波以去除明显的非标记区域上的不期望的拐角。为了识别单独的标记，过程对所检测到的每个标记中的代码进行解码。作为过程的最后步骤，生成相机姿态的估计以连同用户的真实世界视图一起在目标表面之上渲染相应目标的任何虚拟模型。

[0181] 可替选地，一个人可以利用基于圆形形状的标记检测方法来变换真实和虚拟世界的坐标系统。取决于标记检测算法，不同的标记被标记到每个参考。标记可以被设计为具有由二元颜色图案的组合构成的独特纹理的圆形形状。标记中的纹理用于识别标记。在标记检测的核心，标记上的基准点(例如，边)用于通过不同视图中的多个帧来估计相机姿态。具体地，用于标记检测的示例性方法可以执行以下过程理步骤中的一些或全部：(1)对彩色输入图像进行二值化处理；(2)去除非标记；(3)对所检测到的标记中的代码进行解码以识别标记；(4)估计相机的姿态。作为对彩色输入图像进行二值化处理的一部分，可以使用灰度图像中的从彩色输入图像转换的并且然后被划分成像素中的具体维度的拼贴的拼贴内的最小值和最大值来采用自适应阈值化方法。

[0182] 参考图15，描绘了用于变换真实和虚拟世界的坐标系统的二维特征对应方法的示例性过程的框图。参考和目标图像中的特征(例如，拐角、曲线、线、边或区域)之间的对应关系被确立以估计从一个图像映射到另一图像的单应性矩阵。单应性也被称为在均匀坐标上操作的立体变换。在两个输入图像中，示例性过程检测目标图像中的所有像素当中的候选特征。接下来，过程利用其在特征定位四处的局部信息来描述每个候选特征，并且然后，过程将每个检测到的特征的局部信息编码为被称为特征描述符的向量。一旦描述了所有特征，过程就在多尺度中搜索以便匹配特征描述符，然后过程通过证明单应性矩阵的参数来估计相机姿态。作为示例，一旦参考图像中的特征描述符被定义，它们就可以在实施例中作为文本或表文件被嵌入或者存储在服务器、计算机、智能电话或平板中以改进特征对应方法的总处理时间。

[0183] 转向图16，描绘了用于变换真实和虚拟世界的坐标系统的基于三维模型的对象检测方法的示例性过程的框图。基于三维模型的对象检测过程处理一组有挑战性的无纹理对象(例如，三维打印机或快速原型机的金属或输出)。为了解决无纹理对象中的这些有挑战性的问题，此示例性过程可以随着模型的外观相对于x、y和z轴的旋转变化改变而首先从无纹理目标对象的多边形网格模型生成边模板作为预处理。接下来，过程栅格化不同视图中的边模板中的每一个。给定彩色输入图像，过程执行基本图像处理算法以将彩色输入图像转换为灰度图像。然后，过程检测灰度图像上的所有候选边或线并且将栅格化边模板的结果中的样本光栅点集投影到图像平面上的边或线。一旦投影完成，过程就在多尺度中搜索以便使边模板与该边模板与在输入图像中检测到的边或线之间的最小距离匹配。作为最后步骤，过程估计单应性以在模型平面上精确地定位模型。在实施例中所有边模板和样本光栅点集可以作为文本或表文件被嵌入或者存储在服务器、计算机、智能电话或平板中。

[0184] 继续前进到图17，描绘了基本正向映射过程中的呈现框架的示例。示例性过程包括两个渲染步骤。在第一步骤中，连同用户T一起使用两个参数来在立体视图的平截头体中的任意投影平面上陈述射线TV。这涉及根据该投影平面上的用户定位T来计算虚拟对象V的图像。投影通过图像平面Π_平面上的m_T是投影像素的投影矩阵P_T来表示。显示系D上的中间点M有必要将像素m_T转移到像素m_p。在沿着射线Tm_T将像素m_T转移到显示系D上的最近点之后，从Π_平面通过投影T的中心转移的V的图像被增强到显示系D上。在第二步骤中，增强显示的图像是通过经由相机或投影仪投影矩阵将点M转移到像素m_P来发现的。

[0185] 以下讨说明用于渲染三维(3D)模型作为AR显示的一部分的过程和技术。为了将3D模型渲染为AR显示的虚拟世界坐标中的目标的一部分，一个人可以考虑基于针孔相机或投影仪模型的几何框架。用于渲染三维虚拟对象的图像的此示例性过程的每个部件的各种配置可以包括：(1)用户T可能正在移动或者是静态的；(2)投影仪或相机P将在可以被嵌入在头戴式或手持式(或身体附着式)显示装置或周围环境中的任意位置中的显示器上创建计算机生成的图像；(3)显示表面D可以是平面的或非平面的。几何框架可以定义用户T、相机P、虚拟世界系Fvs和真实世界系Fs之间的几何关系。系Fvs和Fs在本文中被简化为显示系D。几何分量之间的这种几何关系是为了对于虚拟对象上的任何三维点V来说，从三维虚拟对象空间到二维相机图像空间的映射可使用显示系D上的中间点来表示，其中虚拟点V的投影像素mp通过射线PCM与相机图像平面Pplane相交，其中Pc是相机的中心并且M是射线TV与显示系D的交点。

[0186] 如果TM＝kTV，则关于诸如用户T、相机投影矩阵和显示系D的几何分量的虚拟点V与其投影像素mp之间的关系被定义为：

[0187]

[0188] 其中操作符表示射线TV和显示系D的交点并且表示按比例等式。如果k>0，则确保显示和虚拟对象在T的同一侧。条件01，则虚拟对象在显示系前面。

[0189] 根据基本正向或后向映射的偏好的一个方面，可以颠倒两个以下步骤的顺序。在示例性形式中，这些步骤对AR应用的任何配置来说可以是有效的。在第一步骤中，连同用户T一起使用两个参数来在立体视图的平截头体中的任意投影平面上表示射线TV。这对应于根据该投影平面上的用户定位T来计算虚拟对象V的图像。投影通过投影矩阵PT来表示并且图像平面Πplane上的mT指示投影像素。显示系上的中间点M被要求将像素mT转移到像素mp。一旦像素mT被沿着射线TmT转移到显示系D上的最近点，从Πplane通过投影T的中心转移的V的图像被增强到显示系D上。在第二步骤中，增强显示的图像是通过使用在等式(3)中定义相机的内部和外部参数的相机投影矩阵来将点M转移到像素mP来找到的。在三维计算机图形中，诸如TP和PP的两个变换矩阵可能有必要定义像素投影、可见性和视图平头截体操作。在此示例性过程中，应用指定的坐标系统和两个变换矩阵可以作为使得能够定位在真实世界中拍摄的图像的元数据被嵌入。

[0190] 在用于在内置到头戴式AR装置中的光学透视显示器上渲染3D虚拟模型的示例性实施例中，如图20中所示，可以使用从目标跟踪器中提取的基准点、标记检测、特征对应、基于3D模型的对象检测、外部跟踪系统或其任何组合。通过采用后向映射，用于近似最佳点的姿态估计过程可以执行一些或所有以下步骤：(1)找到在相机图像平面Pplane上对应于由目标跟踪器估计的基准像素fi的投影像素其中i和k分别是不同视图中的基准像素和所捕获的图像的索引；(2)通过经由相机投影模型PP将投影像素投影到显示系D上来计算三维模型的每个顶点的投影点Mi,k的位置，其中点Mi,k通过射线TkVi相交；(3)通过在像基本正向映射中所陈述的那样计算来自用户定位T的V的图像并且更新的位置方面使用第一步骤来求解多条射线TkVi的近似交点；以及(4)迭代先前的步骤直到满足以下条件中的一个为止：(i)不再更新多条射线的近似交点；(ii)达到最大迭代次数；或者，(iii)实现收敛公差。在此过程中，可以在变换图像坐标中使投影像素Mi,k归一化。在对准过程期间，在虚拟世界坐标中通过形成的虚拟模型可以在视觉上实时地向用户指示目标对象的当前位置以及对准质量。

[0191] 以下讨论提供近似多条射线的交点的示例性解决方案。给定二维中的点p＝(x,y)或三维中的点p＝(x,y,z)，单位向量u是关于每个坐标轴的向量v的余弦的向量，[0192]

[0193] 其中ej是坐标轴j的单位向量。单位向量u表示向量v的定向。对于线，参数方程可由下式给出

[0194] p(t)＝tu+p0， (6)

[0195] 其中p0表示针对-∞≤t≤∞的通过线的点。如果t的域被限制在0≤t≤∞中，则射线(即，半开线)将被表示为从点p0开始并且指向方向u的向量。设v1＝p1-p0且v2＝p2-p0，其中三个非共线点p0、p1和p2可定义两个不同的向量v1和v2。因为两个向量在空间中位于一平面上，所以该平面的法线可被定义为：

[0196] n＝v1×v2。 (7)

[0197] 其中×是向量v1和v2的叉积。对于平面，与n正交的点p集通过下式给出：

[0198] n·(p-p0)＝0， (8)

[0199] 其中平面中的点p0偏离原点。为了计算从点到线的最短距离，可以采用平方垂直距离方法。平方垂直距离D可通过下式给出：

[0200]

[0201] 其中I是单位矩阵并且(I-uTu)是幂等的，使得(I-uTu)2＝(I-uTu)T(I-uTu)＝(I-Tuu)。给定多条R射线，可以找到在最小二乘意义上R集的交点的唯一解以使平方距离的和最小化：

[0202]

[0203] 在p的二次形式中，可定义最小平方距离的目标：

[0204]

[0205] 为了找到平方距离之和的最小值，相对于p对等式(10)进行微分如下：

[0206]

[0207] 因此，

[0208]

[0209] 其中是Moore-Penrose伪逆。用于估计排除大部分外点的最小多条R射线集的示例性方法可以包括一些或所有以下步骤：(1)随机地选择两条射线以找到在它们之间具有最短距离的初始点ps；(2)计算ps与rR中的每条射线rl之间的距离；(3)对射线数τcurrent进行计数，按预定义公差ε拟合以观察从ps起具有允许距离的内点；(4)如果τmax＜τcurrent，则更新最近点pclosest＝ps和最大射线数τmax＝τcurrent；(5)重复步骤1至5直到达到最大迭代次数为止；并且(7)在等式(13)中利用最近点pclosest与射线rl之间的距离小于ε的所有已识别的内点来估计

[0210] 即时公开也提供当在使用AR系统的上下文中对准两个不同的坐标系统时的绝对定向问题的解决方案。两个不同的坐标系统指代真实坐标系统和虚拟或增强的世界坐标系统。以下示例性过程可以用于解决虚拟世界坐标系统中的对准参考点与真实世界坐标系统中的相应的预定义参考点之间的绝对定向问题。

[0211] 可将定位不同的坐标系统的三个维度上的两个点p1和p2之间的刚性变换定义为p2＝Rp1+p0，其中R是用于旋转的3×3正交矩阵并且p0是用于平移的向量。考虑到分别表示虚拟世界坐标中的对准参考点的坐标和真实世界坐标中的预定义点的坐标pa＝(xa，ya，za)，绝对定向问题的输入可被称为共轭对的集合。
为了解决绝对定向问题，可在等式(14)中通过使用R和t来细化点和pa之间的刚性变换矩阵如下：

[0212]

[0213] 其中有12个未知参数(即，旋转矩阵的9个元素和平移矩阵的3个元素)。因为每个共轭对产生三个方程，所以至少需要四个共轭对以找到12个未知数。可以在此实施例中采用多于四个共轭对来执行结果的更好准确度。在简单矩阵形式中，将虚拟世界坐标中的每个点的坐标转换为真实世界坐标的刚性变换可被定义为：

[0214]

[0215] 其中R(q)表示相对于单位四元数q的旋转矩阵并且是世界坐标系中的对准参考点的原点的定位。单位四元数q是被定义为的向量。分别在虚拟世界坐标中的对准参考和真实世界坐标中的相应的预定义参考中给定两个点集和Pa＝{pa，1，pa，2，…，pa，n}，绝对定向问题是为了像图
10中所图示的那样在空间中对准这两个点集。点云相对于和Pa的质心首先被计算为：

[0216]

[0217] 然后，将每个点减去质心：

[0218]

[0219] 在确定旋转时的问题涉及按照从共轭对集导出射线的射线坐标相对于质心对准两个射线集。近似是在最小二乘意义上通过计算对每个射线对的标量积而言最大的旋转R(q)的最佳对准：

[0220]

[0221] 使用四元数表示法，可将等式(18)表示为：

[0222]

[0223] 因为可使用二次形式的表示法来细化等式(19)，所以：

[0224]

[0225] 其中q是列向量。使用相对于最正本征值的本征向量，可以此二次形式使单位四元数最大化。给定和ra，i＝(xa，i，ua，i，za，i)，矩阵通过下式给出：

[0226]

[0227]

[0228] 为了简化矩阵N，遍及分别在对准点中和在相应的预定义点中的坐标k和l的乘积的所有共轭对的和可被定义为：

[0229]

[0230] 使用αkl，矩阵N通过下式给出：

[0231]

[0232] 这些计算产生单位四元数以指示对准射线束的旋转。从单位四元数的元素中，可找到旋转矩阵如下：

[0233]

[0234] 一旦旋转被确定，就可通过下式给出等式(15)中的变换的平移部分：

[0235]

[0236] 参考图18，描绘了按照绝对定向使用两个射线集来对准两个不同的坐标系统的示例。例如，分别在虚拟世界坐标中的对准参考和真实世界坐标中的相应的预定义参考中给定两个点集和P_a＝{p_(a，1)，p_(a，2)，…，P_(a，n)}，在确定旋转时的问题涉及按照从共轭对集
导出射线的射线坐标相对于质心对准两个射线集。近似是在最小二乘意义上通过计算对每个射线对的标量积而言最大的旋转的最佳对准。一旦旋转被确定，就可通过计算世界坐标系统中的对准参考点的原点的定位来估计变换的平移部分。

[0237] 转向图19，描绘了实时地使用UWB和IMU混合跟踪系统来跟踪骨骼的一个示例性过程的框图。患者可以被标记有固定在患者的解剖结构上的多个“单元”。实施例可以首先将单元从外部跟踪系统配准到外部跟踪系统的单元的坐标被预定义的虚拟世界坐标系统。在虚拟世界坐标系统中，计算机生成的模型或图像经由显示装置(例如，投影仪、抬头显示器等)渲染并叠加在患者的解剖结构之上。在配准后，外部跟踪系统可以实时地连续地估计并跟踪单元的位置和定向并且将目标单元的估计坐标发送到系统的软件应用，所述软件应用连同目标单元的坐标一起更新并渲染增强信息。

[0238] 图20描绘依照即时公开的AR系统的示例性用户装置。作为示例，用户装置可以包括具有在护目镜上描绘的整体相机和抬头显示器的头盔。示例性用户装置也包括安装到头盔的冠的IMU单元和一系列UWB单元。尽管未示出，然而包括板上电池以便给相机、UWB单元、IMU单元和抬头显示器供电。

[0239] 图21描绘可以被用作示例性AR系统的一部分的替选示例性结构。更具体地，该结构包括与彩色相机相关联的多个激光投影仪。每个相机和激光投影仪也与IMU单元和UWB单元相关联。使用来自IMU和UWB单元的信息，AR系统知道相机和激光投影仪的相对位置并且考虑安装到患者解剖结构的激光投影仪及IMU和UWB单元的位置来更新由激光投影仪显示的图像。

[0240] 图22描绘连同相机一起并入IMU和UWB单元的示例性结构。以这种方式，图22的结构允许将光学跟踪集成到定位算法中。这种集成可以帮助细化精度，检测锚的不良运动，并且加速定位算法。

[0241] 参考图23，提供了用于配准集成特征对应方法的头戴式AR系统和混合跟踪系统的示例性过程的框图。在此示例性过程中，特征可被表示为目标图像上的拐角、曲线、线、边或区域。根据特征匹配，可确立先前图像和当前图像两者中的特征集之间的对应以估计单应性或几何变换。如果找到图像平面中的至少四个对应，则可通过线性方程来估计单应性。为了改进高精度配准的准确度以及在实时处理中跟踪移动用户和患者的解剖结构，IMU单元和UWB单元被集成到头戴式AR系统中以在显示装置中观察增强信息。

[0242] 参考图24，提供了用于配准基于激光投影仪的AR系统的示例性过程的框图。为了校准每个相机，可以使用具有许多单独的且可识别的点的已知结构。通过从不同的角度观察此结构，可计算相机针对每个图像的相对位置和定向以及相机的内点。在找到内点的相机参数后，可以执行利用多个相机的鲁棒的多视图跟踪方法以针对遮挡提供鲁棒性。跟踪由具有重叠视场的校准的多个相机所覆盖的手术室中的移动目标可通过找到不同的相机之间的对应来确立。为此，用于跟踪移动目标的示例性过程可以采用包括标记检测、特征对应、基于3D模型的对象检测、混合跟踪系统或其组合的目标跟踪器。利用目标跟踪器和混合跟踪系统的组合，可以通过使用IMU和UWB技术的混合跟踪系统来提供患者的解剖结构的定位。可通过定位外科医生移动并且通过在放置在手术室四处的多个激光投影仪当中寻找最佳激光投影仪来找到解决中的潜在问题的解决方案。

[0243] 转向图25，图式地描绘了AR系统与UWB/IMU系统的示例性集成。AR相机可以由计算机视觉跟踪系统构成，其中观察体积通过虚线来指示。AR相机可以包括UWB单元和IMU单元中的至少一个(在图25中识别为“跟踪器”)以允许知道AR相机的定位和定向并且同样地使此定位和定向被配准到全局坐标。在此图示中，AR相机1将能够跟踪其观察体积内的跟踪器C。跟踪器C也可将其位置和定向发送到AR系统，其中传感器融合算法可以连同AR视觉跟踪系统一起用于改进跟踪准确度。跟踪器B在AR相机2的跟踪体积内但是对AR相机1不可见。AR相机2可以跟踪跟踪器B的位置和定向并且以无线方式将数据发送到AR相机1。可替选地，跟踪器B可以将其定位和定向直接地发送到AR相机1。即使跟踪器A被放置在两个AR相机的观察体积外也可以跟踪它。跟踪器A的位置和定向由它自己的UWB和IMU单元两者跟踪，并且可以将其位置和定向数据发送到两个AR相机。应理解的是，AR系统可能在跟踪其观察体积内的多个对象时具有限制，所以定位系统可以替选地使用UWB/IMU跟踪器。UWB/IMU单元/跟踪器的使用可以减少AR系统的计算机视觉所需要的计算载荷，从而减轻计算负担并且改进AR系统的性能。

[0244] 虽然AR系统可以在本地与跟踪器进行通信，但是作为AR系统在头盔本地的头盔的一部分，使运行AR软件应用的AR CPU远离跟踪器也在本公开的范围内。在这种情况下，AR系统需要经由有线或无线网络(或有线和无线网络的组合)与跟踪器进行通信。在示例性形式中，AR软件应用在通过专用网络通信地耦合到跟踪器的服务器上运行。无线跟踪器应该适合于管理服务器与AR应用之间的协议。用于协议的示例性方法可以提供所有以下所有功能或部分以用于在经由网络进行数据传输期间高效地处理误差：(1)数据定序；(2)数据路由；(3)流量控制；以及(4)误差控制。一旦跟踪器被配置成连接到运行在显示器上创建虚拟对象的三维模型的AR应用的服务器，服务器就可以连续地将来自跟踪器的位置和定向数据馈送到AR应用。作为示例，跟踪器可以连续地并同时地跟踪与一个或多个外科手术规程相关联的多个外部外科手术工具以及用户和患者解剖结构。使用跟踪目标的估计坐标和等式(15)中的变换，AR应用致使三维虚拟模型被叠加到用户可观察的相应的真实世界图像中。

[0245] 如先前所提及的，跟踪器可以跟踪AR系统的用户(例如，外科医生)的运动。在示例性形式中，跟踪器可以包括下列中的一个或多个：IMU传感器、UWB传感器、深度测量传感器(例如，测距相机、双目立体相机或飞行时间相机)、成像传感器、相对测量传感器(例如，三轴陀螺仪、加速度计和磁力计)或其任何组合。如先前所讨论的，准确地跟踪穿戴AR视觉系统的用户的运动的能力对确保正确地显示的虚拟图像与用户看到的真实世界图像对准是至关重要的。作为示例，示例性AR系统可以作为具有光学透视显示器的头盔的一部分被并入或者可以作为用户的视场(FOV)内的移动装置屏幕的一部分被并入。AR系统的高度准确的配准可以通过优选地按六个自由度(DOF)：(1)用于位置的三个变量(x、y和z)以及(2)用于定向的三个角度(偏航、俯仰和滚转)适当地跟踪用户的相对移动来完成。

[0246] 如先前所讨论的，AR系统可操作来在真实世界图像之上显示虚拟图像。像一个人可能想象那样，虚拟图像的效用是以将虚拟图像配准到真实世界图像为前提的。作为示例，虚拟图像可以包括患者的骨骼的一个或多个图像。因此，以下讨论涉及虚拟患者骨模型配准到真实患者骨骼的配准。

[0247] 要跟踪的每个对象可以与被刚性地固定到对象的基于IMU和UWB技术的外部跟踪系统(跟踪器)集成在一起(参见图2-4和关于这些图的上述讨论)。为了将虚拟骨骼模型配准到真实患者骨骼，可以执行以下方法：(1)IMU和UWB技术的混合物可用于“绘制”(选择真实骨骼的表面上的多个点)并将所选择的点配准到从医学图像重建的虚拟骨骼模型；(2)患者特定配准装置可用于执行装置相对于患者解剖结构的定向已知的配准；以及(3)可选择对应于虚拟骨骼模型上的界标的具体参考界标。

[0248] 一旦虚拟骨骼模型通过使用外部跟踪系统被配准到真实患者骨骼，就可以通过将由混合跟踪系统估计的解剖定位与诸如IMU、UWB、深度和成像传感器的其传感器相组合来配准图20中的头戴式AR系统。为了将AR系统精确地配准到真实世界视图中，可以使用具有单个相机和IMU传感器的目标跟踪器(例如，标记检测、特征对应、基于3D模型的对象检测或其组合)来确定外科医生在手术室中的位置和定向以及识别目标。本文中描述的基于目标跟踪器的配准可以用直接地集成或者内置到头戴式或手持式(或身体附着式)系统中的混合跟踪系统替换。

[0249] 在如图21中所示可以由多个相机、激光投影仪以及IMU和UWB技术构成的没有头戴式或手持式显示装置的AR系统的另一示例性实施例中，可以执行同时多视图跟踪方法以在不受约束的室内环境下处置不良光照、静态或移动环境光源或遮挡。可以存在用于促进多个相机的两个原因：(a)一个相机由于有限视场而被限制为提供目标环境的适当的覆盖范围；并且，(b)多个相机可针对遮挡提供鲁棒性。可以在目标对象的位置及定向估计和识别中应用本文中描述的多视图跟踪方法以将虚拟引导件/图像连同用户的真实世界视图一起叠加在手术室中的真实患者骨骼之上。可通过在不同的相机中的相同对象的跟踪器之间确立对应来解决一致地且准确地跟踪被具有重叠视场的校准的多个相机覆盖的手术室中的移动目标的问题。对应可以是为了恢复目标对象的优先信息。为了找到不同的相机之间的对应，一个人可以采用本文中描述的包括标记检测、特征对应、基于3D模型的对象检测、外部跟踪系统或其组合的目标跟踪器。因此，可通过实时地定位外科医生移动并且通过在被放置在手术室四处的多个激光投影仪当中寻找最佳激光投影仪来解决遮挡中的潜在问题。

[0250] 在所考虑的AR系统被配准之后，渲染模块使用估计姿态来组合从AR系统中的相机传感器拍摄的输入图像和虚拟引导件，然后在显示器上渲染增强图像。接下来，通过在解剖结构上覆盖所提出的切割定位和定向来在视觉上辅助与外科手术规程相关的所有切除。附加地，可跟踪用于切割的外科手术器械并且实时地在AR覆盖图中更新切口的真实定向和定位。

[0251] 在外科手术期间，从混合跟踪系统和AR系统中的许多不同的传感器跟踪患者的解剖定位和外科医生移动的能力可被反馈到虚拟引导件的定位中以精确地将虚拟场景覆盖到外科医生的观点。此外，为了说明由AR系统中的遮挡和跟踪故障所引起的潜在配准误差，安装在患者骨骼上的跟踪器(例如，IMU和/或UWB单元)可以用于跟踪患者的解剖定位和在混合跟踪系统中作为全球参考的中央单元。在AR系统的CPU上运行的跟踪应用的软件可以经由专用网络更新以无线方式与跟踪器/单元进行通信，使得跟踪器实时地提供识别用户/外科医生的定位的数据。

[0252] 在作为示例性外科手术规程的一部分完成必要的切口之后，例如，一个人可以使用AR系统来在以下方面中评估术中运动学：(1)运动范围；(2)在伸展和屈曲时的松弛(植入物平移)；(3)韧带距离；以及(4)任何其它临床相关的运动学信息。经由AR系统评估术中运动学可被模拟如下：(1)通过在外科手术之前将切割器械配准到混合跟踪系统一次并且然后通过跟踪器械以估计切口在外科手术期间的定位和定向；(2)通过与安装在患者的解剖结构上的跟踪器/单元相结合地使用对象辨识方法以便在估计嵌入式患者的植入物在外科手术期间的几何变换之后将虚拟植入物精确地叠加到已切除的骨骼中；以及(3)通过假定切割被按计划执行。对于术后运动学的评估，一个人可以采用IMU和UWB技术来跟踪身体运动并且分析肌肉激活。与混合跟踪系统组合的AR系统技术也可允许在护理时使术后运动学可视化。

[0253] 转换到图26，描绘了用于模拟并评估术中运动学的示例性过程的框图。此示例性过程假设在手术室中适当地执行按计划用于关节置换的切割。为混合跟踪系统指定的多个单元可以被刚性地固定在患者的解剖结构的任何定位上。为了在实时处理中跟踪诸如切割器械的外科手术工具的定位和定向，以无线方式与混合跟踪系统进行通信的多个传感器被安装到目标工具上。用于使用3D模型来检测并定位无纹理对象的上述示例性过程可以用于跟踪并识别通常由金属制成的患者的植入物。在此过程中，特征应该被表示为线或边。要在特征匹配的步骤中加载的所有边模板和样本光栅点集可以作为文本或表文件被嵌入或者存储在服务器、计算机、智能电话或平板中。在估计包括切割器械、患者的植入物和患者的解剖结构的所有目标的姿态后，可以执行相应目标的虚拟模型的渲染以及与从预先计划配置的虚拟部件组合的切割以在增强现实系统的显示装置上观察增强信息。上述过程可以经由增强现实模块来模拟并评估术中和术后运动学。

[0254] 参考图27，描绘了依照即时公开的作为外科手术导航的一部分向外科手术工具提供反馈的示例性过程的框图。作为示例，CPU/处理器从支持UWB和IMU的外科手术器械收集位置和定向数据。IMU、UWB和AR系统的集成使用软件应用程序接口来完成，所述软件应用程序接口被设计成将来自每个系统的消息翻译成处理器可读的格式。可以使用相同的软件工具来将处理结果传送回到框架中的每个系统以将处理器信息翻译成用于每个系统的可读格式。可以经由被刚性地附着到患者的骨骼或AR的视觉系统的UWB和IMU单元/跟踪器来跟踪患者的位置。给外科手术工具的反馈可以被实现为允许或者禁止电池连接到外科手术工具的电子件。可替选地或此外，可以将反馈实现为使得能实现触觉反馈(例如，如先前所讨论的产生翻转感觉的触觉马达)。也可以将反馈实现为显示在AR头盔或外科手术器械中的视觉元件上的警告消息。

[0255] 继续前进到图28，描绘了AR系统的用户可穿戴装置的示例性图示。用户可穿戴装置包括可操作来将虚拟骨骼图像和虚拟部件(例如，针引导定位)放置到患者的真实世界解剖结构上的图形投影仪。用户可穿戴装置也可将经投影的切除水平和植入物的虚拟放置显示到患者的真实世界解剖结构上。

[0256] 图29描绘骨盆(被表示为“正常”)的有形患者骨骼模型的真实世界视图以及示出即时公开的AR系统将虚拟图像投影在骨骼模型上的第二视图。如可看到的，AR系统将图像对准到有形骨模型并且包括被示出为铰大与术前外科手术计划一致的髋臼杯的虚拟扩孔器的图像。

[0257] 图30是描绘为了AR外科手术导航而将解剖学跟踪从定制配准装置转移到刚性固定标记的图片。

[0258] 参考图31，照片描绘为了臀部杯定位而使用AR来相对于解剖结构跟踪外科手术器械。在此示例性照片中，视觉反馈被提供在与有形骨盆模型相邻的计算机屏幕监视器上，以及经由作为AR头盔的一部分的AR抬头显示器直接地提供給用户。

[0259] 参考图32，双图像表示在左手侧描绘依照即时公开的AR系统的用户在全髋部置换外科手术规程的上下文中的相对位置。在右手表示中，是用户将经由在左侧表示中描绘的AR头盔的护目镜上的抬头显示器看到的。在此示例性描绘中，外科医生正在使用UWB和IMU单元以及AR系统来执行全髋部关节成形术。UWB/IMU触针是允许外科医生将患者的骨骼配准到适用的跟踪系统的其余部分的工具。如先前所讨论的，外科医生可以利用触针绘制骨骼表面或者拾取具体解剖学界标。UWB/IMU外科手术器械表示由UWB/IMU单元启用的外科手术器械，其中位置和定向为外科手术导航和指导软件所知。AR头盔可辅助定位并且改进跟踪系统的准确度，并且它也可通过经由AR头盔护目镜将虚拟对象覆盖到真实世界图像上来将信息中继给外科医生。

[0260] 图33描绘装备有UWB跟踪和IMU跟踪单元的外科手术摆动锯。

[0261] 图34描绘依照即时公开的可针对多个尺寸和植入物系列利用的可机械调整的4合1切块(物理实施例)。此切割引导件的机械方面可以与图35中的切块的可编程和跟踪方面组合。作为示例，此切块中的切槽可以保持关闭直到槽处于如通过术前计划经由从安装到切割引导件的UWB跟踪和IMU跟踪单元输出的数据所确定的正确位置中的这种时间为止。可替选地，可以手动地打开和关闭槽。

[0262] 转向图35，描绘了用于在全膝盖置换中执行股骨切除的可调整的“智能”切块。切块被设计为使得切块的四个(或更多个)位置由电动系统规定以沿着两个轨道平移，以及旋转以匹配后部、前部和倒角切口的定向。可通过UWB、BLE、蓝牙或其它通信协议以无线方式对器械编程，使得植入物的尺寸被存储在装置上并且切槽的位置通过植入物尺寸的切框来规定。可使用定制器械或者通过使用所谓的虚拟引导件来执行装置的初始放置。在替选示例性实施例中，用于移动切槽的马达可被移出硬件并且经由附着、通过外部马达或者通过标准外科手术驱动器来执行。虽然示例性切块被图示成示出至少四个切割位置，但是切槽的实际位置可以是患者特定的并且由任何数目的切口构成。“智能”块的可编程方面允许定制停止位置，使得每个停止位置通过限定的切割平面来规定。

[0263] 参考图36，示例性流程图描绘用于利用图35的智能切割引导件的过程，其中智能切割引导件可以由UWB/IMU/AR系统主动地跟踪。在示例性形式中，切割引导件可以被预先编程或者以无线方式接收使用患者的实际解剖结构的虚拟模型来作为术前计划的一部分而生成的计划的切割平面定位。切割引导件可以由UWB/IMU/AR系统主动地跟踪，并且以这种方式自动地打开和关闭切槽，使得只有当引导件在正确位置和定向中以便于骨头切割时切割刀片才能通过槽。

[0264] 图37描绘利用图35的智能切割引导件的过程的替选示例性流程图，其中智能切割引导件可以由UWB/IMU/AR系统主动地跟踪。在示例性形式中，切割引导件可以被预先编程或者以无线方式接收使用患者的实际解剖结构的虚拟模型来作为术前计划的一部分而生成的计划的切割平面定位。可以由UWB/IMU/AR系统主动地跟踪的切割引导件可操作来自动地重新定位切块并且打开和关闭切槽。作为示例，术前骨骼切除平面包括一系列顺序骨骼切割。图35的示例性智能切割引导件被编程为将切块重新定位到每个渐进式骨骼切割并且仅当块对于每个特定骨骼切割处于正确位置和定向中时才打开切槽。

[0265] 参考图38，示出了用于依据术前计划相对于骨骼的真实世界图像定位真实世界切割引导件的AR抬头显示器的视觉描绘。通过将切块与增强视觉辅助装置对准，可在无需附加器械的情况下遵循患者特定规程。在此示例性实施例中，AR头盔的护目镜上的抬头显示器提供关于真实世界切割引导件相对于真实世界患者骨骼的位置偏差的反馈。

[0266] 现在转向图39，使用经由AR抬头显示器可见的虚拟引导件针来定位真实世界切块/引导件的视觉描绘。在示例性形式中，虚拟针定义相对于跟踪位置的适当位置。计划位置和跟踪位置的信息被渲染在AR显示中并相应地更新。在这种情况下切块可以是无源的(无电子件)或者可以包含通信和跟踪系统，使得切块的位置对AR系统而言是已知的或未知的。切块也可以包含机械止动件，所述机械止动件防止切穿槽直到引导件被放置在如通过术前计划或术中偏好所确定的正确位置中的这种时间为止。

[0267] 继续前进到图40，示例性摆动锯配备有用于在AR系统中跟踪的UWB和IMU单元。图40也描绘用户经由与由用户佩戴的AR头盔的护目镜相关联的抬头显示器的视图。在示例性形式中，抬头显示器示出用户的视场的AR部件，同时护目镜是透明的以允许用户使诸如患者骨骼和有形锯的真实世界元素可视化。锯和计划切割的路径可作为与AR头盔的护目镜相关联的抬头显示器的一部分被增强以提供关于切割参数的精确信息。切割刀片的位置和定向及其路径被相对于患者实时地更新，使得视线从不是问题。

[0268] 参考图41，显示了AR系统头盔护目镜在膝盖表面重修规程期间的示例性视觉表示。在示例性形式中，护目镜的抬头显示器在非增强的患者的骨骼的真实世界图像之上描绘已计划的表面重修定位。表面重修定位在护目镜屏幕上或者通过全息显示被主动地显示给用户，所述全息显示可在视觉上与患者的骨骼的真实世界图像区分开。作为用于骨骼表面重修的标准外科手术技术的一部分，使用电动骨钻或槽刨机来去除软骨和骨骼以创建为矫形植入物接合/附着准备的表面。在示例性形式中，电动骨钻或槽刨机外科手术器械可以是连接的器械并且包含或者被配置有向CPU或中央导航计算机实时地传送器械的定向和位置的IMU/UWB单元跟踪装置。CPU或中央导航计算机也通过刚性地固定到骨骼的参考IMU/UWB装置或者通过视觉跟踪的某个方面或这些方法的组合来接收有关解剖结构的跟踪数据。此信息足以确定外科手术器械相对于患者位于在的地方。当骨钻在已经由AR显示突出显示以便去除的区域内移动时，操作者可以照常除毛刺。作为示例，如果毛刺的定位被检测为在定义区域外，则开关可以防止马达激活。这可以防止意外的过切除或不正确的植入物放置。以这种方式，用于智能器械的非视线反馈系统被应用于表面重修规程。IMU/UWB系统提供毛刺的定向和除毛刺的深度的实时反馈。

[0269] 用于外科手术导航的超声和UWB

[0270] 参考图42，依照即时公开，以下是用于使用UWB跟踪和虚拟引导件的基于超声的外科手术导航的示例性方法。在此示例性实施例中，不需要术前成像步骤。替选地，在手术室中但是在切开之前使用具有跟踪超声探头的B模式超声系统来收集与骨骼表面几何形状有关的数据。此预先切开信息可以采取B模式、RF或IQ超声数据(或上述的任何组合)的形式并且使用为本领域的技术人员已知的信号处理技术被从超声转换为3D点云。一旦所有超声数据被收集，患者骨模型就被从超声数据重建并且导入到先前已校准的增强现实处理系统中。根据骨骼模型以及可选地由超声系统获得的韧带和软组织信息，创建默认外科手术计划，其可以可选地由外科手术团队修改。外科手术计划包括切除深度和定向以及植入物调整大小。并行地，使用许多选项中的一个(包括来自跟踪探头的点云配准或通过AR系统相机的视觉对象辨识)将患者解剖结构配准到AR系统。在配准之前，参考基准标记或跟踪探头被刚性地固定到真实世界解剖结构以便在整个外科手术规程中跟踪。根据经配准的解剖结构和外科手术计划，创建虚拟切割引导件。AR系统通过在真实世界图像之上渲染解剖结构和切割引导件的组合来将虚拟切割引导件显示给外科医生。当执行由切割引导件规定的切除时，可以使用跟踪外科手术器械，使得最终切除定位和定向可以由系统验证。在切除之后，可以使用AR系统来使矫形试验植入物评估可视化并且计算植入物运动学性能，所述植入物运动学性能在被视为不令人满意的情况下，可用于更新虚拟切割引导件以便进一步细化。如果放置和性能被视为令人满意的，则外科手术可进行到最终植入。

[0271] 转向图43，可以利用上述AR系统作为使用UWB跟踪和虚拟引导件的外科手术针注射规程的一部分。在此示例性实施例中，术前成像被执行以生成患者的解剖结构(例如，膝盖关节)的模型。可替选地，如本领域的技术人员已知的，用户可以利用超声探头来生成表示患者的解剖结构的超声数据并且生成可用来生成患者解剖结构的虚拟模型的点云。无论哪种方式，用户/操作者都在穿戴AR头盔，所述AR头盔包括生成患者的骨骼和针的虚拟图像的抬头显示器，患者的骨骼和针中的每一个均在3D中使用IMU和/或UWB单元来跟踪。更具体地，操作者正在用他的左手握住附于患者的小腿的外部的骨骼跟踪装置，同时用他的右手同时握住将被递送到患者的膝盖关节的内部的针。当操作者通过AR头盔的护目镜看时，患者的膝盖关节的骨骼和针的虚拟表示被以配准且对准的方式覆盖患者的腿的真实世界图像。考虑到患者的腿和针被同时跟踪，将经由真实世界视图以及患者的骨骼和针的虚拟图像同时实时地更新位置和方向中的任何变化。以这种方式，在针插入后，操作者具有直接虚拟视线以精确地知道针被注入到关节中有多远并且它位于在何处。以这种方式，操作者能够通过增强显示来使适当的针路径和解剖学结构可视化。解剖学结构可以通过超声数据的重建来创建并且在将头盔配准到超声跟踪系统之后被在适当的位置上渲染在眼镜上。

[0272] 如图44中所描绘的，可以利用上述AR系统来将超声图像的B模式图像覆盖到患者解剖结构上以辅助解剖学参考并且去除操作者观看计算机监视器的需要。

[0273] 参考图45，可以利用上述AR系统来生成从超声数据构建并且基于进一步超声扫描更新的虚拟解剖学结构。这在辅助操作者使用超声成像来找到/定位解剖学界标或者使位于经重建的解剖学结构附近的特征可视化时可能是特别有用的。

[0274] 如图46中所示，AR和超声的一种直接应用是为了创建用于为软骨下成形术规程导航的框架。术前MRI可以用于创建准确的解剖学模型以及识别要治疗的软骨下缺陷的定位。在手术室中，可以使用超声来通过对骨骼边界的识别将MRI数据配准到患者。也可以使用此信息来将增强系统配准到患者和超声数据以便为规程导航。最后，软骨下成形术器械的针路径和固定定位通过AR显示器(诸如护目镜上的头盔抬头显示器)被渲染在患者之上并且经由通过UWB单元、IMU单元或电磁传感器进行跟踪实时地更新以辅助外科医生注射软骨下成形术材料。

[0275] 用于全踝关节成形术的非视线外科手术导航的UWB和IMU

[0276] 用于全踝关节成形术的外科手术规程需要许多复杂的器械和技术。可使用无线跟踪和定制化配准来简化此规程。以下示例性系统包括用于相对于已知的术前外科手术计划和患者解剖结构经由超宽带通信执行对外科手术器械和植入物部件的无线跟踪的软件和硬件部件。

[0277] 作为此示例性规程的一部分的初始步骤是术前患者成像。这可由诸如MRI或CT的3D成像技术或多个2D图像(诸如X射线、超声或荧光透视)构成。所得图像可以被用于创建虚拟患者特定解剖学模型。对于踝关节，通常要求的是重建腓骨、胫骨和距骨以得到完整外科手术计划。在一些情况下，足以适当地缩放可以提供视觉参考的腓骨、跟骨和其它骨结构，但不是特定计划参数所必需的。

[0278] 外科手术计划是生成术前虚拟外科手术计划的过程，其可以包括来自患者特定虚拟表面模型的部件调整大小、定向和定位。外科手术计划被从计划应用传递到术中导航平台，以及到用于创建定制专利解剖学映射器(PAM)以便在手术中将虚拟计划配准到患者的可选平台(参见图47-50)。

[0279] 可以被用作此示例性外科手术规程的一部分的示例性导航系统可能需要最少两个跟踪装置。每个跟踪装置可以包括多个UWB天线(例如4个或更多个)和惯性测量单元，其可以包含加速度计、陀螺仪和磁力计。因此，可经由IMU和UWB数据的融合相对于第二跟踪装置知道跟踪装置的完整位置和定向。

[0280] 作为示例性导航系统的一部分，UWB跟踪单元可以将多个天线连接到单个收发器，这使得能实现利用同一UWB收发器单元来对多个UWB天线(目标)进行测距和跟踪的能力。在示例性配置中，UWB跟踪单元内的天线可用作主控或外围角色，其中主控单元用作系统中的外围单元的定时参考。作为另一示例，可以按照任何配置布置UWB跟踪单元内的天线，其条件是存在多于三个天线并且这些天线中的一个不与其它三个天线一起驻留在同一平面上。例如，四面体配置将满足此条件。在此配置中，四个天线可以连接到单个UWB收发器，其中每个天线将用作用于定位的参考点。利用单个定时电路和单个收发器将UWB脉冲馈送到多个天线中，此配置使得能实现单元中的所有参考点之间的时钟同步。此配置可极大地改进主控单元的安装的灵活性，以及简化校准过程。在短程本地化应用中，单个主系统足以为本地化提供足够的定位数据。在大区域定位应用中，可使用多个主控系统。在操作期间，用于主控单元的定时电路在操作期间与有线或无线方法同步。

[0281] 四面体设计允许确定每个UWB单元的位置和定向。一个或多个IMU的添加可用于更准确地确定定向。两个传感器系统输出都被融合，使得通过融合和滤波技术减小了来自UWB和IMU的误差(参见图4)。减小误差的一个示例性方法包括使用递归贝叶斯估计滤波器来补充UWB和IMU单元/系统之间的定向估计。IMU系统可能是不准确的并且经受磁伪影，其中UWB系统可用于提供校正。此外，UWB系统的多天线设计可用于监视并改进天线之间的平移估计。

[0282] 在另一配置中，UWB跟踪系统可以使用可以被安装或者放置在操作环境(例如，手术室)内的不同定位中以改进定位准确度的单个或多个外部参考单元。参考单元可以使用不同配置的单个或多个天线。参考单元可以经由有线或无线连接彼此通信。参考单元可以表现为其它UWB跟踪单元的主控单元，并且它们也可以被配置成基于到达时间差、飞行时间、到达角技术执行定位到任何其它参考单元或UWB跟踪单元。参考单元的放置可以是任意的或者使用基于位置精度因子(PDOP)的估计来优化(参见图2)。PDOP计算也可以被配置成优化2D或3D中的参考单元放置。

[0283] 在另一配置中，UWB和/或IMU跟踪系统可以被刚性地固定到形式为外科手术机器人系统的移动平台，以在不依靠在手术室四处放置外部参考单元(参见图5)的情况下改进性能。在此示例性实施例中，可以通过首先将参考UWB-IMU跟踪器刚性地固定到骨骼来将系统配准到单个骨骼解剖结构。可以相对于参考跟踪器跟踪第二跟踪器。可以多个方式执行患者解剖结构到此局部坐标系统的配准。

[0284] 一个方法是为了创建具有与患者解剖结构的“底片”匹配的至少一个表面和被刚性地附着到第二跟踪器的方法的患者解剖学映射器(PAM)，使得当被放置成与患者解剖结构匹配时，PAM上的跟踪器的位置和定向是已知的并且PAM在解剖结构上的位置和定向是已知的。当被放置在已匹配的位置和定向中时，系统在局部坐标系统中配准患者解剖结构。

[0285] 第二方法是为了利用跟踪装置触诊或者数字化解剖学表面。此方法的优点是缺少PAM。这需要刚性地固定到患者解剖结构的一个参考跟踪器。第二跟踪器用于对解剖结构的表面点进行采样。需要足够数目的表面点来获得点云。此点云表示真实解剖学表面的数字化，并且被配准到先前创建的虚拟表面模型。一个这种点云到模型配准方法被称作迭代最近点。

[0286] 图51提供用于示例性全踝关节成形术规程的过程流程图。最初，使用包括但不限于CT、MRI、X射线、超声和荧光透视的任何数目的成像模态来对患者踝关节进行成像。在踝关节成像后，通过从踝关节图像导出胫骨和距骨来创建踝关节的骨骼的虚拟模型，同时配准腓骨、跟骨和舟骨的平均比例模型。接下来，使用骨针将胫骨参考适配器固定到胫骨的近端部。参考适配器已将它安装到UWB和IMU容器/单元。此后，使用安装有IMU和UWB容器的触针来触诊胫骨关节。然后使用骨针将距骨参考适配器固定到近端胫骨，后面是将IMU和UWB容器安装到距骨参考适配器。此后，使用安装有IMU和UWB容器的触针来触诊距骨。在触诊后，配备有UWB和IMU单元的距骨切割引导件被定位在胫骨上。接下来，外科医生可以安装骨针以将距骨切割引导件固定就位。此后，距骨被导航到正确的屈曲角度(例如，20度)和正确的内侧-外侧位置。然后通过距骨切割引导件中的孔将骨针安装到距骨以锁定踝关节的角度。此后，通过距骨切割引导件中的槽来切除距骨，在此之后可去除距骨切割引导件。使用先前附着到胫骨的相同骨针，胫骨切割引导件被安装到胫骨并且使用切割引导件中的槽来切除胫骨。最终，胫骨和距骨骨骼碎片被去除，同样地先前安装到胫骨和距骨的针也被去除。应该注意的是，可以单独地对胫骨和距骨执行配准。在规程期间跟踪的是执行距骨和胫骨的与术前外科手术计划匹配的切除所需要的切块。

[0287] 用于全膝盖关节成形术的非视线外科手术导航的UWB和IMU

[0288] 参考图52，也可以利用上述示例性导航系统来执行导航的全膝盖置换/关节成形术。

[0289] 作为此过程的一部分，在手术前进行患者成像。这可由诸如MRI或CT的3D成像技术或多个2D图像(诸如X射线、超声或荧光透视)构成。这些图像被用于创建虚拟患者特定解剖学模型。对于膝盖，可能需要至少创建关节的膝盖部(远端股骨和近端胫骨)。

[0290] 在图像采集后，可以执行外科手术计划。外科手术计划是从患者特定虚拟表面模型生成虚拟外科手术计划(其可以包括部件调整大小、定向和定位)的过程。外科手术计划被从计划应用传递到术中导航平台，以及到用于创建定制专利解剖学映射器(PAM)以便在手术中将虚拟计划配准到患者的可选平台。

[0291] 示例性导航系统可能需要至少两个跟踪装置。每个跟踪装置可以包含多个UWB天线(至少4个)和惯性测量单元，其可以包含加速度计、陀螺仪和磁力计。因此，可经由IMU和UWB测距数据的融合相对于第二跟踪装置知道跟踪装置的完整位置和定向。

[0292] 在此示例性过程和设备中，UWB跟踪单元可以将多个天线连接到单个收发器，这使得能实现利用同一UWB收发器单元来对多个UWB天线(目标)进行测距和跟踪的能力。在示例配置中，UWB跟踪单元内的天线可用作主控或外围角色，其中主控单元用作系统中的外围单元的定时参考。可按照任何配置布置UWB跟踪单元内的天线，其条件是存在多于三个天线并且这些天线中的一个不与其它三个天线一起驻留在同一平面上。例如，四面体配置将满足此条件。在此配置中，四个天线可以连接到单个UWB收发器，其中每个天线将用作用于定位的参考点。利用单个定时电路和单个收发器来将UWB脉冲馈送到多个天线中，此配置使得能实现装置中所有参考点之间的时钟同步。此配置可极大地改进主控单元的安装的灵活性；以及简化校准规程。在短距离定位应用中，单个主控系统足以为定位提供适当的定位数据。
在大区域定位应用中，可使用多个主控系统。主控单元的定时电路在操作期间用有线或无线方法同步。

[0293] 通过将多个天线连接到单个收发器，它使得能实现在同一UWB单元内创建多个锚或标签的能力。可按照任何配置布置中央和外围单元中的UWB天线阵列，其条件是这些天线中的一个不与其它三个天线一起驻留在同一平面上。例如，四面体配置将满足此条件。中央单元中的UWB天线阵列用作系统的锚。例如，四面体配置将具有连接到单个UWB收发器的四个天线。这在中央单元中创建四个锚。利用单个时钟和单个收发器来将UWB脉冲馈送到多个天线中，此配置使得能实现单元中的所有锚之间的时钟同步。此配置可极大地改进锚的安装的灵活性；以及简化单元的校准规程。在短距离定位应用中，单个中央系统足以为定位提供适当的锚。在大区域定位应用中，可使用多个中央系统。中央单元的时钟在操作期间用有线或无线方法同步。

[0294] 在替选示例性配置中，UWB跟踪系统可以使用可以被安装或者放置在手术室内的不同定位中以改进定位准确度的单个或多个外部参考单元。参考单元可以使用不同配置的单个或多个天线。参考单元可以经由有线或无线连接彼此通信。参考单元可以表现为其它UWB跟踪单元的主控单元，并且它们也可以被配置成基于到达时间差、飞行时间、到达角技术来执行定位到任何其它参考单元或UWB跟踪单元。参考单元的放置可以是任意的或者使用基于位置精度因子(PDOP)的估计来优化。(图2)PDOP计算也可以被配置成优化2D或3D中的参考单元放置。

[0295] 在另一个替选示例性配置中，UWB和/或IMU跟踪系统可以被刚性地固定到可以形式为外科手术机器人系统的移动平台，以在不依靠在手术室四处放置外部参考单元的情况下改进性能。(图5)在所提出的发明中，系统通过首先将参考UWB-IMU跟踪器刚性地固定到骨骼被配准到单个骨骼解剖结构。相对于参考跟踪器跟踪第二跟踪器。可以多个方式执行患者解剖结构到此局部坐标系统的配准。

[0296] 系统通过首先将参考UWB-IMU跟踪器刚性地固定到骨骼被配准到单个骨骼解剖结构。相对于参考跟踪器跟踪第二跟踪器。可以多个方式执行患者解剖结构到此局部坐标系统的配准。

[0297] 一个方法是为了创建具有与患者解剖结构的“底片”匹配的至少一个表面和被刚性地附着到第二跟踪器的方法的患者解剖学映射器(PAM)，使得当被放置成与患者解剖结构匹配时，PAM上的跟踪器的位置和定向是已知的并且PAM在解剖结构上的位置和定向是已知的。当被放置在已匹配的位置和定向中时，系统将在局部坐标系统中配准患者解剖结构。

[0298] 第二方法是为了利用跟踪装置触诊或者数字化解剖学表面。此方法的优点是缺少PAM。这需要刚性地固定到患者解剖结构的一个参考跟踪器。第二跟踪器用于对解剖结构的表面点进行采样。需要足够数目的表面点来获得点云。此点云表示真实解剖学表面的数字化，并且被配准到先前创建的虚拟表面模型。一个这种点云到模型配准方法被称作迭代最近点。

[0299] 具体地参考图52，描绘了用于利用UWB和IMU跟踪器的示例性过程。步骤1从经由外科手术过程进行膝盖关节暴露开始。步骤2包括将参考跟踪器/单元刚性固定在股骨上并且将股骨配准到跟踪系统。图像配准是通过数字化暴露关节的表面来执行的。在替选示例性实施例中，可利用被成形以在在手术前已知的股骨(骨骼)上的独特定位和定向中匹配的定制装置来执行配准。跟踪器被附着到处于已知定位和定向中的定制配准装置，使得当被放置在患者解剖结构上时，跟踪器的位置和定向相对于患者解剖结构是已知的。步骤3涉及将跟踪器附着到用于进行远端膝盖切割的现有外科手术装置。系统跟踪器械相对于患者股骨的位置和定向，从而向外科医生提供关于预期切除深度和定向的反馈。当切块的位置与外科手术计划匹配时，块被钉到患者解剖结构。可替选地，跟踪器可被直接地系到切割器械或骨针。步骤4在远端切割之后被执行，并且类似于步骤3，其不同之处是相对于解剖结构被跟踪的外科手术器械是用于执行后部、前部和倒角切除的切块。在股骨切除被执行之后，步骤5涉及胫骨的对准，其被以如步骤2中所公开的类似方式执行。步骤6涉及跟踪胫骨切割器械的位置和定向并且将这个钉在所期望的定位中，在此之后进行切除。步骤7将跟踪系统用于在切除之后确定胫骨植入物的旋转和调整大小。这可以涉及相对于胫骨上的界标或可以耦合到股骨解剖结构的运动学界标设置旋转。在被适当地放置之后，试验植入物可与刚性地固定到植入物或患者解剖结构的跟踪器一起使用，如在步骤8中一样，以测试以得到理想的规程结果，诸如运动学或松弛。应该注意的是，单独地对股骨和胫骨执行配准。在规程期间跟踪的是执行股骨和胫骨的与术前外科手术计划匹配的切除所需要的切块。所描述的规程的替选方案包括但不限于：(i)在配准之后，可通过利用跟踪探头选择适当调整大小的界标来确定或者验证调整大小信息；以及(ii)能使用专门为跟踪探头制作的定制外科手术器械代替传规器械。

[0300] 动态患者特定植入物：形态学满足运动学。

[0301] 参考图53，用于跨越外科护理期利用动态数据来创建患者特定植入物和器械以及在手术后放置植入物并监视性能的示例性过程。该过程包括可以使用荧光透视或其它动态成像模态(与传统静态成像相反)来执行的运动学评估，所述荧光透视或其它动态成像模态被上传到处理CPU以从成像数据重建运动和解剖学结构。运动学和解剖学结构被用作预测模型的输入以用于确定最佳重建形状和正常运动学。输出形状参数用于构建动态地创建的患者特定植入物和相关器械。植入物和器械被制造并与手术室中的外科手术计划和智能器械耦合以实现精确放置。最后，为了监视性能，通过任何数目的传感器(包括IMU、UWB或其组合)来收集术后数据(诸如运动学和运动范围)以及患者报告的结果。然后可在具有预测引擎的反馈回路中利用此数据来优化将来的患者植入参数。以这种方式，可利用来自整个护理期的数据来驱动植入物和器械设计。

[0302] 图53中描绘的动态植入物创建过程中的前提步骤(步骤21)是动态患者成像。可通过使用诸如MRI或CT的静态3D成像技术来实现动态患者成像，后面是通过运动捕获系统(例如，光学、EM、UWB和/或IMU)收集的主动和被动运动学活动。也可使用如图54中所描绘的超声动态患者成像和关节重建来执行成像。如图54中所示，可从超声图像(RF数据、B模式图像或IQ数据)或其它成像模态捕获3D骨骼信息。将成像装置与患者上的跟踪传感器耦合提供重建更多的解剖结构并且捕获创建用于所描述的植入物设计方法的患者特定运动学和软组织包络所需的动态信息的能力。

[0303] 用于动态成像的另一方法是使用荧光透视成像。然后从此视频序列重建患者关节模型。为了重建患者关节模型，将患者特定形状信息覆盖到单平面数字荧光透视上(图55的左上部)。在活动期间的接触区域被跟踪以提取关节曲率和软组织信息。在图55的右上部图像中看到从荧光透视中提取的3D点和曲率信息的示例。点表示股骨的3D表面几何形状并且在铰接区域处耦合到胫骨曲率。在铰接区域内，一个人可以通过与形状和运动学的数据库相比较来提取正常曲率并且使用来自数据库的最接近输出来优化所制造的部件以与正常分布匹配。图55的底部图像图示髌股运动学(也从荧光透视或超声数据中提取)可如何驱动从髌骨的铰接表面起的髌股凹槽曲率和凹槽定向以得到最佳髌股跟踪。

[0304] 在动态成像后，执行骨骼和软组织重建步骤22。作为示例，骨骼和软组织重建步骤可以利用荧光透视并且由四个部分组成，如图56中所示，所述四个部分包括但不限于：(i)图像处理，其从荧光透视图像中提取特征；(ii)初始化，其使用集成k-最近邻居(KNN)和支持向量机(SVM)的混合分类器来估计3D模型的初始姿态；(iii)优化，其通过使2D X射线荧光透视与经重建的3D表面网格模型之间的相似性量度最大化来确定3D模型的最佳姿态和形状。相似性量度被设计为包括边分数、区域分数、同质性分数和多体配准分数的新颖能量函数；以及(iv)3D形状分析，其利用称为核主分量分析(KPCA)的非线性统计形状模型表示3D表面网格模型的训练数据集。

[0305] 如图56中所描绘的，从动态荧光透视图像数据创建解剖学信息从荧光透视图像采集开始。作为此图像采集的一部分，可以在包括深膝盖弯曲和相对步态端点的任何数目的定位处观察受试者/患者。在图像采取后，执行图像处理子步骤。

[0306] 使用校准目标，一个人可估计失真并且将它从后续图像中去除作为图像处理子步骤的一部分。此规程中的示例性第一步骤是为了估计任何2D图像的几何失真。通过拍摄金属珠子的已知矩形网格的X射线，一个人可估计用于由四个珠子界定的每个小正方形子图像的2D空间变换。在几何失真去除中使用标准技术，可以使用局部双线性模型来模拟空间映射以及灰度级插值。一旦2D失真已被去除，就可通过在平面之间具有已知位移的双平面校准网格来计算有效的源到图像平面距离(焦距)。

[0307] 图57图示在几何失真去除之前和之后的几何校准网格的荧光透视图像。作为此子步骤的一部分，一个人可以计算用于每组四个网格点的双线性变换，其将左部图像中的珠子的图像位置变换为右侧的规则隔开的网格定位。清楚地，校准规程去除枕形失真，使得网格点沿着直线位于。

[0308] 在图像处理后，可以执行初始化子步骤以确定平均模型的初始姿态。初始化基于组合k-最近邻居和支持向量机的混合分类器，如图59中所示。

[0309] 如图56中所描绘的，开发了用于从荧光透视图像构建3D患者解剖结构的两个主要重建方法。第一方法(方法1)包括顺序形状和姿态估计，然而第二方法(方法2)包括使用与或树(AoT)重建。接着是对这些模型中的每一个的更详细讨论。

[0310] 顺序形状和姿态估计3D重建基于非线性统计形状模型，即核主分量分析(KPCA)。通过将训练数据投影到高维核空间上，我们可通过形状参数的向量来表示3D模型的形状，如图60中所示。作为此第一方法的一部分，执行优化根据单平面荧光透视X射线图像的序列来确定3D模型的形状和姿态参数的优化过程，如图61中所示。优化基于组合边、区域、同质性和多体配准分数来测量3D模型与2D X射线图像之间的相似性的新颖能量函数，如表1中所示。混合能量函数既不需要费时的DRR生成也不需要容易出错的2D分段。

[0311] 此后，通过预图像近似来重建3D模型，因为输入与特征空间点之间的映射不一定是已知的。优选基于输入空间中的距离约束来重建相应测试点的预图像。这通过确立输入空间距离与特征空间距离之间的关系来实现，如图62中所示。

[0312] 可替选地，如图65中所描绘的，可以利用AOT技术执行重建。最初，通过将感兴趣体积(VOI)提取为可能存在零件模板的体积来分解几何空间。每个VOI被进一步划分成一组重叠子体积，所述子体积被用作用于零件模板的放置的有界体积。子体积的示例被示出在图65左侧的节点上。可通过对体积进行分区并且通过与或节点对表示分区来递归地生成“与或树”。“或节点”连接到将由此“或节点”表示的体积切成两个子体积的所有“与节点”。“或节点”也连接到两组叶节点，其中在每个节点上通过使体积内接或者在垂直于深度方向的表面上放置表面。每个“与节点”连接两个或节点，其中每个节点表示占据当前子体积的两个较小的子体积中的一个。此树从表示感兴趣体积(VoI)的根“或节点”开始，并且继续生长直到子体积被划分至大小极限为止。使用表面用作有界框，可进一步定义零件模板的外观。
每个零件模板的可能外观也通过“与或树”来表示，其中“与”表示组成并且“或”表示变形。
“与节点”的层将零件模板分解成曲线段。这些曲线被投影到图像平面上。可将3D对象模板转换为由活动曲线组成的2D对象模板，所述活动曲线应该类似图像平面中的对象外观。经变形的活动曲线然后作为经重建的3D模型被投影回到对象空间中。

[0313] 如图66中所示，通过检测确定感兴趣体积(VoI)。通用模型的形状是通过优化信息增益来从不同的已知姿态学习的。然后，模板作为活动分布被投影到2D图像平面上，所述活动分布在图像平面中变形。外观“与或树”的叶子作为活动分布被投影到2D图像平面上。在零件级别下，模板可执行平面内平移、旋转，这被称作3D变形。投影的活动曲线也被允许在2D中变形。2D和3D变形是通过使信息增益最大化来指导的。通过将经变形的活动曲线投影回到对象平面中，3D模型被重建。

[0314] 如图67-69中所描绘的，使用统计形状变形的一个替选方案是为了直接地识别图像上的特征并且将所谓的“与或树”用于形状识别和变形(参见Hu,Wenze和Song-Chun Zhu.“Learning 3d object templates by quantizing geometry and appearance spaces."IEEE关于模式分析和机器智能的汇编37.6(2015):1190-1205，其公开内容通过引用并入在本文中)。在上述出版物中，用于骨骼解剖结构的形状参数通过AoT的结构和对荧光透视帧中的那些结构的识别来规定。

[0315] 值得提及的是，对于膝盖来说，要求至少创建关节的膝盖部(远端股骨和近端胫骨)。然而，相同的方法能被应用于任何关节。

[0316] 返回参考图53，骨骼和软组织重建子步骤22包括使用在子步骤21中获得的动态图像来预测软组织和正常解剖结构。作为标准植入物设计或患者特定植入物和器械的一部分，一个人依靠静态CT或MRI来提取关节的形态。然而，形态通常因疾病或畸形而改变。在膝盖的关节成形术的情况下，软骨可能会丢失并且存在的骨赘改变膝盖的形态。使用静态CT和MRI可能无法准确地描述关节的韧带状况。例如，除了骨赘生长的存在之外的膝盖中的内侧隔室的塌陷改变内侧副韧带(MCL)和外侧副韧带(LCL)动态行为。考虑到软组织和骨骼上的这些大变化，骨骼分布的提取变得困难、不准确并且有时不可能。在这种情形下，特定群体的统计图谱可以用于除了准确地预测韧带定位并且然后动态地提取用于此特定患者的设计参数和曲率之外还预测原始变形的骨骼形状。不是依靠静态图像来生成患者特定植入物和器械，而是即时示例性实施例使用除了运动学数据(动态数据)之外的静态图像来生成两者都为了复制患者解剖结构和运动学而优化的植入物和器械。现有技术的患者特定植入物和器械至多是仅为了复制患者解剖结构而优化的，但是忽略运动学或者未能使用运动学作为矫形植入物的最终形状的元素。

[0317] 转向图70，作为重建与虚拟骨模型相关联的软组织的一部分，从成像数据中提取韧带定位。特别地，从MRI重建骨骼和韧带的表面模型。骨骼模型被添加到统计图谱，并且每个顶点被标记为属于附着部位或者不基于到韧带表面模型的距离。针对多个受试者执行此步骤允许为每个韧带附着部位创建概率图(在图70中示出在ACL和PCL的股骨附着部位的顶行中)。在图中，每个骨骼图谱顶点被指派属于附着部位的概率。

[0318] 参考图71，作为骨骼和软组织重建子步骤22的另一部分，在膝盖盖弯曲期间创建股骨和胫骨的接触图。对于单个受试者，股骨和胫骨两者都被指派相应的骨骼图谱的顶点对应。在每个屈曲角度下更新股骨相对于胫骨的姿态。在每个姿态下，基于与铰接骨骼的接近来确定属于接触区域的股骨和胫骨的顶点。跨越多个受试者执行此分析允许创建接触区域的在每个屈曲角度下的每个骨骼上的概率图。

[0319] 图72描绘与用于在深膝盖弯曲期间确定接触区域内的软骨厚度的示例性方法相关联的输入和输出(诸如在图53中的动态成像子步骤21期间记录的)。此方法用于映射接触区域，确定真实患者特定厚度，并且将此信息往回约束到先前创建的正常统计图谱中。以这种方式，运动学耦合到形态学。

[0320] 图73描绘示出内侧隔室中的严重软骨丢失的患者特定软骨图(从运动学分析获得，图53中的子步骤21)。利用仅此信息创建患者特定植入物将导致差植入物功能性。替选地，即时实施例使用统计方法来在创建畸形之前估计形态，从而允许真实患者特定(在病状之前)曲率提取。另外这种估计的形态导致较大的植入物功能性。

[0321] 参考图74，描绘了依照即时公开的用于根据动态数据估计软骨厚度的流程图。给定铰接表面—例如，膝盖—的多个姿态在每个姿态下的接触被确定。接触主要使用每个模型之间的一小部分最近点来确定。对于每个接触点，确定点与铰接模型之间的距离。然后可将软骨厚度估计为来自模型1的X％、模型2的Y％，使得两个厚度值的和等于表面之间的总距离。计算在每个姿态下的每个接触顶点处的厚度提供将在估计规程期间保持不变的“已知”厚度的集合。此集合可被认为是凸集上投影(POCS)算法中的凸集1。凸集2是先前根据先验数据集计算的软骨图谱—这些软骨图谱可包括正常解剖结构、特定病理组(在膝盖情况下为内翻、外翻)或其组合。按照POCS算法，凸集1被投影到凸集2上，其结果被投影回在凸集1上—这个被重复直到结果收敛为止。在所描述的算法中，图谱上的投影更新属于软骨的所有顶点。如果结果尚未收敛，则属于软骨的顶点被设置为凸集1(“已知”厚度)并且投影回到图谱上直到达到收敛为止。当收敛时，每个铰接骨骼模型上的软骨的表面被导出。此例行规程允许通过利用动态数据以捕获完整接触信息来准确地估计软骨。

[0322] 返回参考图53，在重建骨骼形状时，使用韧带形状图谱来预测韧带的定位，形状图谱具有捕获跨越群体的软组织的部位以及如图74中所示每个点是韧带部位的概率。所计算出的韧带插入点然后用于像图75中所示的那样计算运动学活动期间的韧带长度包络。

[0323] 用于软骨估计的基础是包含平均软骨模板并且使用来自分段的股骨和胫骨模型的信息来使平均软骨模板局部变形的统计模型。平均软骨模板是从手动地分段的软骨模型的数据库计算出的平均软骨厚度。每个厚度值具有与它相关联的索引，对应于骨骼图谱上的一点，所述点用于定位该值。当将平均模板添加到新骨骼模型时，骨骼上的每个点沿着法线方向向外翘曲与在该定位处离模板的平均厚度相对应的距离。平均软骨模板只有当股骨和胫骨软骨重叠时才被调整。在这种情况下软骨厚度全局地减小了小倍并且在重叠区域处减小了较大倍。此过程迭代直到没有重叠区域为止。

[0324] 连同测量的关节畸形一起使用估计的软骨图，软骨丢失的定位被确定并且可通过正常软骨模型上投影患者软骨来估计软骨丢失量，如图76中所示。通过校正软骨丢失量，可将关节置回于其正常对准中。关节对准中的这种变化直接地影响韧带长度和松弛。例如，如图78中所示内侧软骨的丢失将导致内侧副韧带松弛并且增加外侧副韧带的张力。可计算恢复韧带长度中的正常关节对准变化(参见图79)。使用软组织和形态信息从正常运动学数据库中选择最接近运动学模型。

[0325] 作为示例，确定正常健康运动学可以通过使用深度神经网络，其中可以通过由健康关节执行的运动来训练网络。深度神经网络可以采取病理运动输入并且确定最佳健康运动学(参见图73)。

[0326] 参考图80，提供了描绘用于计算患者特定韧带刚度作为图53中的正常运动学预测元素的一部分的示例性过程的流程图。在示例性形式中，相对于踝关节成形术规程所讨论的，记录了一系列被动运动学运动方面，其包括但不限于运动、运动的速度、运动的加速度和运动期间的韧带长度。这些方面被用作被动运动模型的输入，所述被动运动模型也接收关于韧带刚度和在运动期间移动的组织的质量的输入。使用这些输入，被动运动模型预测移动组织所必需的力。另外对照测量力来比较这个预测力以分析是否应该调整韧带刚度值，使得预测力等于测量力。在预测力和测量力不相等或者非常类似的情况下，韧带刚度值和/或质量输入被优化并更新以允许后续预测力计算。可以重复此过程直到预测力和测量力落入彼此的可接受公差内为止。在下面讨论如何生成测量力的更详细讨论。

[0327] 力致动器附件可以连接在踝关节附近的胫骨的远端处，从而迫使胫骨当在荧光透视监视下时被动地从相对于股骨的约90度屈曲伸展到完全伸展。致动器力在整个活动期间可以是恒定的。在此活动期间，应该小心不要移动股骨但只胫骨伸展。可以通过在每次试验中改变恒定力的量来进行多次被动试验。应该小心使得活动被以低速度进行，使得患者不会感到使他收紧他的肌肉以防止活动的不平衡感觉。可以使用2D至3D重建来根据荧光透视图像计算胫骨和髌骨相对于股骨的运动学。应该创建下肢的逆动态模型以模拟被动腿抬高活动。此模型应并入股骨、胫骨和髌骨以及横跨关节的主韧带(髌韧带、ACL、PCL、MCL、LCL)。经重建的骨骼模型以及软组织的部位定位可以用于设置模型的几何形状。模型可以基于先前公布的值以部件的韧带、质量、惯性的初始刚度值开始，并且可以预测执行活动所需要的力的量。最后，可以通过使用使预测力与在多次试验期间记录的致动器力匹配的优化算法来计算这些参数的患者特定值。

[0328] 返回到图53，来自正常运动学预测子步骤23的输出可以被用作患者特定动态创建步骤24和器械创建步骤2-4的输入。

[0329] 如图81中所描绘的，提供了阐述用于创建患者特定动态植入物的示例性过程的流程图。可能存在生成患者特定动态植入物的至少三个潜在路径，其中的全部都可以依靠包含包括分布、运动学和软组织特性的健康关节数据的数据库。这些路径中的一个可以利用由患者与健康运动学数据库相结合地执行的主动运动来估计患者特定健康运动学分布23-B，并且利用软组织特性23-C。来自子步骤23-B和23-C的输出可以被输入到植入物形状优化子步骤28以优化植入物运动学和形状。另一路径可以利用如23-B中所描述的患者特定健康运动学分布的估计并且在子步骤27中将它输入到深神经网络模型，其中可以直接地创建植入物形状。

[0330] 图82描绘使用来自健康运动学分布或韧带刚度的估计来创建患者特定植入物的示例性过程流程。

[0331] 使用像关于图81所说明的那样并且基于来自外科医生的反馈先前获得的韧带的刚度值，做出有关患者需要具有何种植入物的决定。例如，在膝盖置换的上下文中，决定可以是患者是否将接收十字形保持、后部稳定、BCS或BCR植入物。因为制造定制聚乙烯承载部件可能并不总是划算的商业模型，所以提出了要具有广泛的聚乙烯几何形状模板系列和相应的股骨模板以捕获正常膝盖解剖结构的统计形状变化。对于在系列内具有不同大小的植入物的每种植入物类型来说应该存在不同的系列以说明与特定形状相对应的不同尺寸的骨骼。因为不可能与关节铰接(软骨、半月板)中涉及的多个组织的特性完美地匹配并且仍然获得可靠的部件，所以应该优化铰接表面的形状以适当地约束运动，同时分发负载以优化部件年龄。当前植入物系列依靠矢状和冠状聚乙烯曲率来通过与股骨曲率匹配来约束运动(超一致)或者通过减小曲率或者创建全平铰接表面来减少约束(不受约束)。后者在部分关节中或者在韧带被保持时更常见，因为这些软组织将部分地约束运动学。

[0332] 取决于情形，可优化动态地设计的胫骨表面以便在与股骨模板系列相对应的整个运动范围中接触。这允许使表面与预期载荷真正匹配以得到增加的寿命和改进的性能。基于患者的预测正常解剖结构的曲率，首先选取植入物系列，然后选取该系列内的最佳尺寸的股骨和聚乙烯模板作为基础模型。想法是为了具有适合患者的解剖结构并且保存患者的中性对准的最佳模型。

[0333] 如图83中所描绘的，不同的聚乙烯矢状曲率(股骨曲率在顶部)的一对例示例。在左上部是不太受约束的一致曲率。这个设计允许通过屈曲进行更多的前-后平移。在右上部是超一致设计，这增加接触面积同时约束由于曲率更接近地反映股骨曲率而导致的平移。应该基于静态非负重图像数据优化定制设计。本文中公开的动态植入物利用允许分析负重运动学的成像，所述负重运动学用于基于预期植入物载荷、接触表面和期望的术后运动学来定义正确的曲率。

[0334] 参考图81和图84，一旦运动学分布和软组织模型已被识别，植入物形状优化子步骤28就可以包括针对下肢的正向动态屈曲驱动模拟。基于植入物类型，可以在模型中保持相关软组织并且使用自然关节对准将模板植入物装配在骨骼上。对于这种模拟，应该规定相对于胫骨的股骨屈曲，同时预测剩余五个自由度(三个平移、轴向旋转、外展/内收)。基于作为先前已被识别为适合于患者的参考的正常数据，可以执行优化以改变股骨植入物髁突的矢状和冠状曲率(和如适用的凸轮)，使得所期望的自由度与观察到的自由度之间的差异被最小化。一旦最佳模板模型已被优化(作为双重检查重复模拟，其中两个对应于较小和较高尺寸植入物以每聚乙烯几何形状模板生成最佳股骨分布)，可以基于给出正常膝盖几何形状的最佳复制并且与聚乙烯承载维持足够的接触面积以确保减少的磨损和改进的寿命的设计的加权组合来选取最终设计。

[0335] 参考图85，根据运动的牛顿方程，F＝ma(力＝质量×加速度)。因此，如果相关部件的加速度(运动学)是已知的，则可预测正在驱动运动的力，这是被称为逆动力学的过程。对于图85中描绘的被动模型，几何形状将由被假定为具有连接股骨和胫骨的适当韧带(ACL、PCL、MCL、LCL)和伸肌机构(股四头肌和髌韧带)的刚体的股骨、胫骨和髌骨构成。因为股骨是不动的，所以系统具有允许一个人针对12个输出来计算的12个自由度(胫骨6个并且髌骨6个)。模型的输入可以构胫骨和髌骨相对于股骨的平移和旋转运动学、韧带的弹簧刚度和假定的惯性参数构成。因此，韧带应该被建模为只有当伸展时才产生载荷的无质量非线性弹簧，并且应该基于它们展示的拉伸量将它们中的力指定为输入。股四头肌和髌韧带可以被建模为可以预测其中的力的无质量系统。最后可以在远端胫骨处施加力以模拟致动器力。来自模型的输出可以是股胫关节和髌股关节处的远端致动器力和接触力的预测。关节接触力在这种情况下是不感兴趣的并且也测量每次试验的输入运动学。因此，可以执行多变量优化以识别最准确地预测致动器力的最佳弹簧刚度参数和惯性值。

[0336] 参考图86，运动学驱动模型的一个实施例是屈曲驱动模型。此模型是正向动力学模型并且在性质上与上面紧接讨论的被动模型相反。想法是一旦知道力和惯性值就预测加速度。几何形状可以由被假定为具有连接股骨和胫骨的适当韧带(ACL、PCL、MCL、LCL)和伸肌机构(股四头肌和髌韧带)的刚体的股骨、股骨植入物、胫骨、胫骨植入物和髌骨骨骼构成。植入物部件可以被假定为被刚性地固定到骨骼。此模型是边界条件驱动的。在与踝关节相对应的胫骨的远端上的点改变被保持固定并且应该以恒定速度向下推动股骨头的头部以模拟膝盖关节屈曲。系统生成18个方程(胫骨6个，股骨6个并且髌骨6个)。考虑到仅对股胫运动学感兴趣，可以解决股骨相对于胫骨的5个自由度(轴向旋转、3个平移和外展/内收)。所有其它方程应该被适当地约束。股骨的运动学可能受到植入物髁突的接触几何形状影响。应该使用设法使所观察到的运动学与股骨相对于胫骨的目标运动学匹配的多变量优化算法来更新股骨和植入物的矢状和冠状曲率。

[0337] 转向图81和图87，接着是深度学习模型子步骤27的更详细讨论。在示例性形式中，一个人可以利用创建并使用网络来从运动学数据定义用于修复性患者植入物的最佳CAD参数的过程。深度神经网络的输入可以包括患者几何形状、软组织数据和运动学数据，所有这些都由网络处理以确定恢复患者解剖结构并且辅助实现最佳术后运动学的患者特定植入物的最好形状。本领域的技术人员熟悉神经网络，并且因此，为了简洁起见已省略神经网络的详细讨论。

[0338] 返回到图53，在植入物创建后，过程可以继续前进到制造子步骤25。用于患者特定动态膝盖的制造处理可以包含患者特定植入物、患者特定器械和患者特定切除切割引导件的生成或创建。经优化的膝盖植入物可以在外科手术期间通过在信息可以被传递到要在外科手术期间执行的智能切割引导件(如先前所描述的)的情况下创建患者特定切除平面来认识骨丢失。

[0339] 参考图89-92，股骨植入物切框的几何形状被设计成基于患者解剖结构和植入物曲率使切除骨骼的量(或在修正情况下为重切骨骼的量)最小化。用于植入物切框设计的输入可以包括植入物J曲线、患者解剖结构和最接近传统植入物的切框。由于与常规植入物切除平面不同的独特的切除平面，可以使用智能切割引导件(如先前所讨论的)来优化并执行手术室中的切除(参见图34-37)。

[0340] 返回到图53，来自制造子步骤25的输出为术中导航子步骤5-10提供输入。

[0341] 如图93中所示，示例性流程图概述使用智能切割引导件来在手术中进行手术计划的动态植入物创建和执行的总体构思。在手术前动态成像数据被收集并且用于像早先在图56中所概述的那样创建患者解剖结构(患者解剖学创建)。解剖学和运动学数据然后被用于像早先在图81-84中所概述的那样创建动态植入物铰接(动态植入物创建)。这种重建被制造和批准的植入物几何形状约束限制。像图88-91中所概述的那样创建患者特定切框(患者特定切框创建)。此患者特定切框的设计更容易允许一个人使用先前讨论的智能切块来在手术中执行所计划的外科手术切割。切框设计可以被盒子设计的制造约束(诸如但不限于植入物的厚度和通过智能切块的运动驱动的约束)限制。设计患者特定植入物然后为制造做出准备，其中可以使用术前外科手术计划(切口的定位和定向)来配置智能切割引导件。
植入物放置信息和术前外科手术计划可以被存储或者发送到术中导航系统，其中智能切割引导件可以用于促进切割并且外科手术导航和指导系统被用于植入物放置导航和运动范围验证。

[0342] 返回到图53，在术中导航子步骤5-10和外科手术规程已完成之后，可以在手术后利用示例性AR系统来评估患者的状况。

[0343] 如图94中所描绘的，可以在手术后与UWB和/或IMU跟踪系统相结合地利用上述示例性AR系统来通过诸如运动范围、植入物的接触面积的定量度量并且分析运动期间的肌肉激活来检查、监视并评估患者的恢复过程。在示例性形式中，可以将一组UWB和IMU跟踪器放置在关节的两侧以用于术后评估。AR系统基于患者移动覆盖植入物位置，分析肌肉激活，并且实时地向医生提供评估。在此示例性应用中，可以将UWB和/或IMU跟踪系统实现为搭接装置或贴身衣服。

[0344] 转向图95，描绘了患者特定植入物和用于创建植入物的参数的示例性列表。与膝盖特别相关的是股骨的内外侧髁突的曲率，所述曲率与彼此、股骨的髌骨沟(以及髌骨按钮的曲率)和胫骨平台的外侧唇不同，这对于真实患者特定股骨跟踪来说至关重要。将这些骨几何结构与先前讨论的患者特定软组织和病理恢复技术耦合，可创建真实患者特定膝盖植入物和规程。在底部处的流程图的部分中，概述了用于术前成像和关节重建的步骤，所述术前成像和关节重建用于驱动植入物参数的创建。根据这些参数植入物和计划被创建并实现到手术室中。

[0345] 转向图96，描绘了用于从动态数据创建患者特定植入物的示例性过程的概要。术前成像用于提取患者特定设计参数，然后对照包含正常和植入患者的运动学分析的数据库来比较所述患者特定设计参数。此比较允许创建动态数据的校正的估计并且导出恢复的解剖学曲率作为先前讨论的动态植入过程的一部分。

[0346] 参考图97，描绘了用于依照先前讨论的动态植入过程从动态数据和统计图谱中提取设计参数(诸如曲率)的示例性信息流。

[0347] 参考图98，描绘了用于从动态数据构建关节植入物的示例性过程的流程图。这里患者特定形状是根据对分析单平面数字荧光透视图像的分析而构建的。可将此患者特定数据反馈到动态数据中以依照先前讨论的动态植入过程从单个图像捕获中提取患者特定接触和软组织包络以用于植入物创建。

[0348] 转向图99，描绘了动态关节重建的另一示例。这里可从超声图像(RF数据、B模式图像或IQ数据)中捕获3D骨骼信息。用图说明的是针对膝盖或肩部的重建。将成像装置与患者上的跟踪器耦合提供重建更多的解剖结构以及捕获用于创建依照先前讨论的动态植入过程而捕获的用于所描述的植入物设计方法的患者特定运动学和软组织包络所需的动态信息的能力。

[0349] 转向图100，展示了用于跨越外科护理期利用动态数据来创建患者特定植入物和器械、放置植入物并且在手术后监视性能的示例性过程。该过程从使用荧光透视或其它动态成像模态(与传统静态成像相反)的运动学评估开始，所述荧光透视或其它动态成像模态被上传到处理CPU以从成像数据重建运动和解剖学结构。运动学和解剖学结构被用作预测模型的输入以用于确定最佳重建形状和正常运动学。输出形状参数用于构建动态地创建的患者特定植入物和相关器械。植入物和器械被制造并与手术室中的外科手术计划和智能器械耦合以实现精确放置。最后，为了监视性能，通过任何数目的传感器(包括IMU、UWB或其组合)来收集术后数据(诸如运动学和运动范围)以及患者报告的结果。然后可在具有预测引擎的反馈回路中利用此数据来优化将来的患者植入物参数。以这种方式，可利用来自整个护理期的数据来驱动植入物和器械设计。

[0350] 图101描绘来自包括如通过动态成像过程所捕获的运动学数据并且允许在整个一系列运动中创建关于软组织包络的信息以与在手术室中调整相反在开发外科手术计划时帮助改进韧带平衡的膝盖计划软件应用的屏幕截图。

[0351] 参考图102和图103，可以执行另一模拟步骤以对深膝盖弯曲进行建模并且存储结果以与在先前讨论的术前场景期间针对患者观察到的原始数据相比较，所述先前讨论的术前场景包括可利用术前荧光分光光度计来捕获并且用于驱动模拟的术后表现的负重和非负重活动。基于模拟，可以进一步优化股骨形状以便确保植入物与聚乙烯承载具有足够的接触面积以确保减少的磨损和改进的寿命。可使用患者运动学、软组织附件、提出的植入物设计和解剖学结构作为输入来确立此模型。应该基于输入优化输出以在整个屈曲中实现估计的植入运动学和动力学，包括植入物加载。如果实现的结果由于松弛或不适当的加载而是不可接受的，则可以迭代地优化形状或者更具体地曲率参数直到期望的结果被实现为止。以这种方式，可基于多个患者活动来优化用于股骨、胫骨或髌骨的植入物形状参数。

[0352] 由以上描述推断，对于本领域的普通技术人员应该显而易见的是，虽然本文中描述的方法和设备构成本发明的示例性实施例，然而本文中描述的发明不限于任何精确的实施例，并且在不脱离如由权利要求所限定的本发明的范围的情况下，可以对此类实施例做出改变。附加地，应当理解的是，本发明由权利要求限定并且描述本文中阐述的示例性实施例的任何限制或要素不旨在被并入到任何权利要求要素的解释中，除非这种限制或要素被明确地陈述。同样地，应当理解的是，没有必要满足本文中公开的本发明的所识别的优点或目的中的任一个或全部以便落入任何权利要求的范围内，因为本发明由权利要求限定并且因为即使可能尚未在本文中显式地讨论本发明的固有的和/或未预见到的优点，它们也可能存在。

标题	发布/更新时间	阅读量
用于在神经调制系统中共享治疗范例的系统和方法	2020-07-16	1
用于对车辆感应充电的包括电子辅助定位装置的系统	2020-12-16	2
用于提供增强的HMI导航的系统和方法	2020-12-25	0
描绘曲线的电子设备及曲线描绘方法	2021-01-28	0
一种基于VR设备的智能运动健身器材及其使用方法	2020-08-25	0
对观众做出反应的内容	2020-11-10	0
计算装置中的活动的卡隐喻	2020-11-04	2
TFT驱动背板及Micro-LED显示器	2020-05-25	2
Unified flow designer	2020-12-23	2
METHOD FOR IMPLEMENTING A COMPUTER GAME	2021-07-23	0

用于无线超声跟踪和通信的超宽带定位

用于无线超声跟踪和通信的超宽带定位

具体实施方式

该功能需要专业版企业版VIP权限，您可以：