以患者面部作为触摸板用户界面
阅读：1020发布：2020-06-04
专利汇可以提供以患者面部作为触摸板用户界面专利检索，专利查询，专利分析的服务。并且本 发明 题为“以患者面部作为 触摸板 用户界面 ”。本发明提供了一种配准患者面部并使用患者面部作为触摸板界面的方法。该方法包括以下步骤：采集患者面部的三维解剖图像，并在第一 坐标系 中标识患者面部上的预定义 位置 处的多个解剖点并将至少一个函数分配到至少一个预定义位置，在患者面部上的相应预定义位置处接收第二坐标系中的多个位置，通过使患者面部上的位置与相应解剖点之间相关联来配准第一坐标系和第二坐标系，触发对应于至少一个所分配的函数的命令并将该命令传送至 电子 装置。本发明描述了一种用于通过该方法配准患者面部的系统。，下面是以患者面部作为触摸板用户界面专利的具体信息内容。
1.一种方法，包括：
采集患者面部的三维解剖图像，并在第一坐标系中标识对应于所述患者面部上的相应预定义位置的多个解剖点；
将至少一个函数分配到所述患者面部上的至少一个预定义位置；
在所述患者面部上的相应预定义位置处接收第二坐标系中的多个位置；
通过使所述患者面部上的位置与相应解剖点之间相关联来配准所述第一坐标系和所述第二坐标系；
触发对应于所分配的所述至少一个函数的命令；以及
将所述命令传送至电子装置。
2.根据权利要求1所述的方法，其中所述三维解剖图像包括计算机断层摄影图像。
3.根据权利要求1所述的方法，其中所述标识的步骤还包括确定所述三维解剖图像处的预定义位置。
4.根据权利要求3所述的方法，其中所述确定的步骤包括找到所述三维解剖图像处的最高点。
5.根据权利要求4所述的步骤，其中所述确定的步骤还包括找到所述三维解剖图像处的左眼和右眼中的每只眼的中心。
6.根据权利要求5所述的方法，其中所述确定的步骤还包括通过两条正交线将患者面部的三维解剖图像分成象限，其中所述第一正交线高于且平行于连接所述右眼中心和所述左眼中心的线，并且所述第二正交线穿过所述三维图像的最高点。
7.根据权利要求1所述的方法，其中所述多个解剖点包括在所述预定义位置中的每个预定义位置处的至少两个点。
8.根据权利要求1所述的方法，其中所述至少一个预定义位置选自：所述患者面部的左上象限、右上象限、左下象限和右下象限。
9.根据权利要求1所述的方法，其中接收所述多个位置包括从配准工具接收所述位置，所述配准工具包括位置传感器。
10.根据权利要求1所述的方法，其中接收所述多个位置包括通过用三维扫描仪扫描所述患者面部而接收所述位置。
11.根据权利要求1所述的方法，其中触发所述命令包括用包括位置传感器的外科工具触碰所述患者面部上的至少一个预定义位置。
12.根据权利要求1所述的方法，其中所述电子装置为计算机。
13. 一种系统，包括：
配准工具，所述配准工具包括位置跟踪系统的位置传感器，所述位置传感器被配置成通过将所述配准工具定位在患者面部上的相应预定义位置处来采集第二坐标系中的多个位置；以及
处理器，所述处理器被配置成：
在所述患者面部的三维解剖图像中标识对应于第一坐标系中的相应预定义位置的多个解剖点；
将至少一个函数分配给所述患者面部上的至少一个预定义位置；
接收在所述第二坐标系中测量的多个位置；
通过使所述患者面部上的位置与相应解剖点之间相关联来配准所述第一坐标系和所述第二坐标系；并且
检索对应于所分配的所述至少一个函数的命令。
14.根据权利要求13所述的系统，其中所述三维解剖图像包括计算机断层摄影图像。
15.根据权利要求13所述的系统，其中所述三维解剖图像包括三维扫描。
16.根据权利要求13所述的系统，其中所述处理器被进一步配置成确定在所述三维解剖图像处的预定义位置，其中所述确定的步骤包括：
找到所述三维解剖图像处的最高点；
找到所述三维解剖图像处的左眼和右眼中的每只眼的中心；以及
通过两条正交线将患者面部的三维解剖图像分成象限，其中所述第一正交线高于且平行于连接所述右眼中心和所述左眼中心的线，并且所述第二正交线穿过所述三维图像的最高点。
17.根据权利要求13所述的系统，其中所述预定义位置选自：所述患者面部的左上象限、右上象限、左下象限和右下象限。
以患者面部作为触摸板用户界面
发明内容
[0001] 在一个方面，本发明涉及一种用于配准患者面部并使用患者面部作为触摸板用户界面的方法。该方法包括采集患者面部的三维解剖图像，在第一坐标系中标识对应于患者面部上的相应预定义位置的多个解剖点，并将至少一个函数分配给至少一个预定义位置。该方法还包括在患者面部上的相应预定义位置处接收第二坐标系中的多个位置，并通过使患者面部上的位置与相应解剖点之间相关联来配准第一坐标系和第二坐标系。该方法还包括触发对应于至少一个所分配的函数的命令，并将命令传送至电子装置。
[0002] 在一个方面，本发明涉及一种用于配准患者面部并使用患者面部作为触摸板用户界面的系统。该系统包括：配准工具，其包括位置跟踪系统的位置传感器，该位置传感器被配置成通过将配准工具定位在患者面部上的相应预定义位置处来采集第二坐标系中的多个位置；以及处理器。处理器被配置成在患者面部的三维解剖图像中标识对应于第一坐标系中的相应预定义位置的多个解剖点，并将至少一个函数分配给患者面部上的至少一个预定义位置。处理器还被配置成接收在第二坐标系中测量的多个位置，并通过使患者面部上的位置与相应解剖点之间相关联来配准第一坐标系和第二坐标系。处理器还被配置成检索对应于至少一个所分配的函数的命令。附图说明
[0003] 当结合附图阅读本发明的实施方案的以下具体实施方式时，能更好地理解具体实施方式。出于举例说明的目的，附图中示出的为目前优选的实施方案。然而应当理解，本发明不限于所示的精确布置方式和工具。在附图中：
[0004] 图1为根据本发明的实施方案的外科系统的示意图。
[0006] 图3为在图2所示的配准方法中使用的患者面部的三维计算机断层摄影图像的示意图。
[0007] 图4为用作用户界面以控制设备的患者面部的示意图。
具体实施方式
[0008] 本公开整体涉及利用患者的面部作为用户界面来促进配准设备的可用性的方法。
[0009] 如本文所用，术语“配准”是指用于确定身体部位与例如由术前计算机断层摄影(CT)扫描构建的三维(3D)计算机图像之间的空间关系的过程。外科导航系统用于指导医生在医学规程中的移动。
[0010] 在某些医学规程中，诸如耳鼻喉(ENT)外科手术，可将相关器官的解剖图像与位置跟踪系统的坐标系配准。使用配准，可以将配备有位置传感器的外科工具导航至所治疗的器官，并且可将其可视化覆盖在解剖图像上。原则上，可使用配备位置跟踪系统的位置传感器的外部配准工具进行术前配准。此工具可施用到患者面部上的预选部位(例如，前额和两个脸颊的中心)。然后，可基于在预选部位处的组织的测量位置，将解剖图像配准到位置跟踪系统的坐标系。
[0011] 计算机断层摄影成像系统和位置跟踪系统在本领域中是已知的。用于配准医学图像的方法描述于例如美国专利6,560,354和美国专利申请15/674,380中，以上专利以引用方式并入本文，如同充分阐述了一样。美国专利6,560,354描述了使用点和表面的加权组合将图像配准到物理空间的装置和方法。将通过X射线计算机断层摄影拍摄的患者图像配准到在患者的身体上获得的物理测量结果。患者身体的不同部位被赋予不同的数字权重；例如，如果认为骨测量结果比皮肤测量结果更准确，则骨可被赋予比皮肤更高的权重。权重在迭代配准过程中用于确定刚体变换函数。
[0012] 美国专利申请15/674,380描述了一种用于耳鼻喉(ENT)配准的方法和装置。该方法包括接收受检者的头部的体素的计算机断层摄影(CT)图像，并且分析该图像以标识图像中受检者的眼睛的相应位置，从而限定连接相应位置的第一线段。该方法还包括标识覆盖头部的骨部分、位于平行于第一线段的第二线段上以及位于正交于第一线段的第三线段上的体素子集。激活被配置成测量受检者的头部上的位置的磁跟踪系统，并且将在系统中操作的探头定位成靠近骨部分，以测量覆盖骨部分的头部表面的位置。形成位置与体素子集之间的对应，以及响应于该对应生成在CT图像与磁跟踪系统之间的配准。
[0013] 医生，如耳鼻喉(ENT)医生，通常在没有护士辅助的情况下执行医学规程。例如，在ENT标测和配准过程的情况下，ENT医生在无菌环境中执行规程，并且由他自己/她自己进行洗涤和消毒。因此，医生在规程期间取下手套以执行配准和触摸鼠标或键盘很不方便。然而，医生仍然需要使用计算机并且通常单独使用该设备。因此，医生需要一种改善的系统，以便当护士不在手术室中时在规程期间使用计算机。
[0014] 本发明提出的系统利用患者的面部作为触摸板用户界面。例如，在ENT配准过程中，医生(经过洗涤和消毒)不需要取下手套来操作鼠标或键盘。相反，医生可以将患者的面部以及头部的其它部位用作触摸板界面。
[0015] 系统描述
[0016] 图1为根据本发明的实施方案的外科系统100的示意图。系统100包括磁位置跟踪系统，该磁位置跟踪系统被配置成跟踪患者101的头部中的一个或多个位置传感器(未示出)的位置。磁位置跟踪系统包括磁场发生器104和一个或多个位置传感器。位置传感器响应于所感测到的来自场发生器的外部磁场而生成位置信号，并且使得处理装置102在位置跟踪系统的坐标系中映射每个传感器的位置，如本文所述。
[0017] 位置系统的方法是本领域已知的，并且描述于美国专利5,391,199、6,690,963、6,484,118、6,239,724、6,618,612和6,632,089；国际专利公布WO 96/05768；以及美国专利申请公布2002/0065455、2003/0120150和2004/0068178中，这些专利均以引用方式并入本文，如同充分阐述了一样。位置系统100包括定位垫103，该定位垫包括固定到框架105上的多个场发生器104。参见图1，垫103包括五个场发生器104，但也可使用任何其它合适数量的场发生器104。垫103包括放置在患者101的头部下方的枕头106，使得发生器104定位在患者外部的固定已知位置处。系统100还包括控制台108，该控制台包括驱动电路(未示出)，该驱动电路被配置成驱动具有合适信号的场发生器104，以便在头部107周围的预定义工作空间中生成磁场。
[0018] 在一个实施方案中，系统100包括配准工具。配准工具112可为手持式标识笔。标识笔112可被系统100用于将磁跟踪系统的坐标系与预采集的计算机化断层摄影(CT)图像的坐标系配准。配准工具112被配置成采集位置测量结果。
[0019] 在一个实施方案中，处理器102为通用计算机，其包括合适的前端电路和接口电路，这些电路用于经由缆线109从外部源接收数据以及从标识笔112的位置传感器接收测量结果，并且用于控制系统100的其它部件。控制台108还包括输入装置113和屏幕显示器114，该屏幕显示器被配置成显示数据。
[0020] 医生110可将标识笔112放置到患者头部107上的预定义位置。每个预定义位置为面部115的一部分。预定义位置可以是面部的四等分或象限中的任何一个：右上象限、左上象限、右下象限或左下象限，或任何其它合适的可标识部分。图4示出了患者面部115的示例性预定义位置。
[0021] 在一个实施方案中，处理装置102接收使用外部CT系统(未示出)获得的计算机化断层摄影(CT)图像111。
[0022] 处理装置102可使用图像111将患者面部115的表面图像投射到输入装置113上或投射到屏幕显示器114上以辅助医生和/或用作用户界面。处理装置102可区分CT图像111的不同部分。处理装置102可使用任何合适的标准或技术诸如亨氏单位(HU)来标识鼻部或眼部。处理装置102可分析CT图像111以进行标识，并且可限定面部的不同部分。面部的不同部分可为如图3所示的象限201、202、203和204。
[0023] 在一个实施方案中，当放置在患者面部上的预定义位置时，标识笔112被配置成在磁位置跟踪系统的坐标系中生成表示该预定义位置的位置信号。处理装置102存储在象限201、202、203和204中的每一者中的预定义位置处采集的位置信号或点。最小的点数可以分别为20、20、12和12。然而，最小的点数可以小于或大于这些值中的任一个，并且对于所有象限可以是相同的或不同的值。
[0024] 在一个实施方案中，处理装置102被配置成计算患者头部上的每个预定义位置的两个坐标—CT系统的坐标系中的“解剖点”，以及位置跟踪系统的坐标系中的“位置”。解剖点由预定义位置处标识笔112的位置测量结果得出，并且表示磁位置跟踪系统的坐标系中该位置处的面部部分的坐标。解剖点表示如在CT图像111中标识的面部部分的坐标。
[0025] 在一个实施方案中，处理装置102被配置成使图像111中预定义位置的解剖点和位置相关联，以便将CT图像与位置跟踪系统的坐标系配准。
[0026] 图2为根据本文所公开的实施方案的用于将患者的面部与磁跟踪系统的坐标系配准作为用户界面来控制设备的示例性方法的步骤的流程图。图3为在图2所示的配准方法中使用的患者面部的3D CT图像的示意图。如图2所示，该方法可包括采集患者面部图像和/或在显示屏上显示图像的步骤S1。图像可以是三维(3D)超声图像、CT图像、MRI图像或通过本领域已知的任何其它成像技术获得的图像。
[0028] 在步骤S3中，处理装置102找到患者眼睛的中心190和191，如图3所示。用于找到眼睛中心的方法在本领域中是已知的，并且例如在第6届国际人工智能与专家系统的工业和工程应用会议论文集中发表的名称为“Locating the Eyes of the Patient”，1993年，第507-517页的文章中进行了描述，该文章以引用方式并入本文，如同充分阐述了一样。也可使用其它用于找到眼睛中心的方法。
[0029] 在步骤S4中，处理装置102可使用在步骤S2和S3中所采集的值通过图像处理软件分析3D图像111的表面，以描绘所采集的图像中的十字形(┼)内的体素。十字形包括作为十字(┼)的垂直线194(图3)的患者鼻梁。为了确定垂直线的体素，处理器从在步骤S2中确定的鼻尖(最高点)开始，通过找到表面图像111中位于鼻尖192附近和垂直上方的局部极大值来找到鼻梁的其它体素，即鼻子的骨部分。处理器迭代地继续该过程以找到对应于十字形的完整垂直线194的体素。为了找到与十字形的水平线193对应的体素，处理器选择如下体素，其为连接患者眼睛中心的线上方的预设垂直距离，如步骤S3所示。在一个实施方案中，预设距离为眼睛中心线上方5cm，但在其它实施方案中，该距离可大于或小于5cm。选择预设距离，使得水平线的体素覆盖患者前额的骨部分。处理装置102在连接步骤S3中所找到的两个眼睛中心的线上方绘制线193。处理装置绘制与线193正交并穿过患者面部的图像上的最高点的线194。通常，体素的垂直线和水平线都超过一个体素宽。如图3所示，两条线将面部图像分成四个象限201(右上象限)、202(左上象限)、203(右下象限)和204(左下象限)。
[0030] 在图像分析步骤S4中，处理装置102可使用在步骤S2和S3中采集的值来分析在步骤S1中生成的3D图像111。处理装置可生成包括3D图像111的一组体素的四个子集。子集中的每个子集对应于四个象限201(右上象限)、202(左上象限)、203(右下象限)和204(左下象限)中的相应象限。
[0031] 在步骤S5中，处理装置102可定义命令并将函数分配给患者面部上的每个象限，如图4所示。命令可以是在医学规程期间使用的任何命令。命令可以是在配准期间使用的命令或与配准相关的命令。例如，在配准过程中触摸患者面部上的右下象限可能与“是”函数相关联，而在配准过程中触摸左下象限可能与“否”函数相关联。医生可触摸患者的前额以“重新进行”配准。所分配的函数可存储在数据库中，并且可以通过处理装置诸如计算机执行的逻辑指令或命令的形式实现。数据库可以是配准表的形式。也可以使用其它命令。例如，通用命令“菜单”可用于打开附加命令。“撤消”可用于逆转先前的操作。“显示”/“隐藏”可用于显示或隐藏内容，例如，图像。命令可以是用于放大3D CT图像、退出应用程序或打印屏幕的命令。
[0032] 在步骤6中，医生110可将包括位置传感器的标识笔112放置在患者面部的每个象限中的预定义位置处，以采集位置跟踪系统的坐标系中的位置。在一个实施方案中，预定义位置可包括如下四个点：患者鼻尖下方的点、患者面部眼睛附近的左侧和右侧以及眼睛之间的点。然而，少于四个点，例如，两个点，可足以生成配准。
[0033] 在步骤S7中，处理装置102可使用迭代最近点(ICP)算法使步骤S6中采集的点与步骤S4中生成的体素的子集相关联。所述算法使用体素的子集作为点的参考集，并且使用在步骤S6中采集的位置作为点的源集。在执行相关联时，处理装置102可在CT的坐标系与位置跟踪系统的坐标系之间配准。处理装置102可检查在步骤S7中执行的配准是否足够准确，即，与由ICP算法生成的成本函数相关联的误差是否足够小，例如低于预设阈值。如果条件返回为正，则在屏幕114上提供通知，通知医生110她/他可停止采集点。该通知还可以建议医生110诸如通过触摸预定义位置并使处理器将这些位置标记在CT图像上和/或通过测量这些位置之间的距离来执行配准的验证。如果条件返回为负，或者如果验证失败，则医生继续用标识笔112采集点。
[0034] 在步骤S8中，医生110可通过在患者面部的任何一个象限中应用配备有位置传感器的工具来触发命令。该工具可被定位在象限的相同位置中达到一段限定时间以触发命令，例如2-3秒。该工具可具有通过单击位置传感器来触发命令的能力。响应于触发，命令或函数可被传送到处理装置，该处理装置可以是计算机。
[0035] 图4为在一个实施方案中用作用户界面以控制设备的患者面部的示意图。如图4所示，患者的面部可被分成虚拟区域，诸如象限，其中为特定虚拟区域或象限分配特定的用户定义的参数，或函数。每个函数对应于可由处理装置102检索和执行的命令。
[0036] 例如，为了指示医生是否接受本发明提出的配准，医生可通过触摸患者的右下象限203来输入“是”，或者通过触摸患者的左下象限204来输入“否”。医生可以按压患者前额的右上象限201或左上象限202以“重新进行”配准。在一个实施方案中，处理装置102被配置成标识患者面部的每个象限，其对应于具体分配的函数。
[0037] 在一个实施方案中，患者面部可根据需要被分成尽可能多的虚拟部分，以适应医生的需要并提供作为用户界面的功能。
[0038] 在对患者进行外科手术或任何其它医学规程之前执行配准过程。配准过程通常在非无菌环境中进行，但也可在无菌环境中进行。医学规程可以在无菌环境中进行，但根据环境(例如手术室、办公室或诊所)而具有不同的无菌水平。在医学规程期间，医生110可使用医疗工具112或外科装置触摸患者面部115，该外科装置包括位置跟踪系统的附加位置传感器。由于CT图像已经与位置跟踪系统配准，医生110可将医疗工具112施用到患者面部115上的预定义位置以使用计算机执行某些动作。医疗工具可以是用于面部配准的标识笔，或在医学规程期间使用的任何其它工具。根据使用工具的规程或环境的类型，医疗工具可为无菌的或非无菌的。
[0040] 为了简单和清楚起见，图1仅示出了与本发明所公开的技术有关的元件。系统100可包括附加模块和元件，所述附加模块和元件与本发明所公开的技术不直接相关，因此这些附加模块和元件从图1极其描述中被有意地省略。
[0041] 处理装置102还可控制根据本文所述的实施方案的系统100的其它部件。处理装置102优选地在软件和/或硬件中被编程以执行系统所需的功能。处理装置102可在存储器中存储软件的数据。软件可通过网络以电子形式下载到处理装置102，或者可提供在诸如光学、磁性或其它非易失性存储器介质的有形介质上。另选地，处理装置102的一些或全部功能可由专用或可编程数字硬件部件执行。
[0042] 因此，已经描述了能够利用患者面部作为用户界面来促进配准设备的可用性的系统和方法。因此，本发明的系统有利于在专门规程(例如，ENT配准规程)期间设备的可用性，使得医生可以在不取下手套和没有护士帮助的情况下操作设备。
[0043] 本发明的系统有利于在各种医学规程诸如ENT配准期间当护士不在场时，在无菌环境中使用的专用设备对于所述规程的可用性。医生可利用患者的面部作为用户界面来操作设备，这使得医生能够在规程中克服护士不在场的情况。
[0044] 应当理解，基于本文的公开内容，许多变型都是可能的。虽然在上文以特定组合描述了特征和元件，但是每个特征或元件可独自使用而无需其他特征和元件，或者在具有或不具有其他特征和元件的情况下以各种组合使用每个特征或元件。
[0045] 所提供的方法包括在通用计算机、处理器或处理器核心中的具体实施。以举例的方式，合适的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)和/或状态机。可通过使用处理的硬件描述语言(HDL)指令和包括网络表的其它中间数据的结果(此类指令能够被存储在计算机可读介质上)配置制造过程来制造此类处理器。这种处理的结果可以是掩码作品(maskwork)，其随后在半导体制造过程中用于制造能实施本文所述的方法的处理器。
[0046] 本文提供的方法或流程图可在并入非暂态计算机可读存储介质中的计算机程序、软件或固件中实施，以用于由通用计算机或处理器执行。非暂态计算机可读存储介质的示例包括ROM、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘的磁介质、磁光介质和诸如CD-ROM盘的光学介质，以及数字通用光盘(DVD)。
[0047] 本文的说明中所用的某些术语仅为了方便起见且并非限制性的。词汇“右”、“左”、“上”和“下”指定附图中的方向，以此作为参照。除非另外特别说明，否则如在权利要求书中和说明书的对应部分中所用的词汇“一个(a)”和“一(one)”被定义为包括所引用的项目中的一个或多个。这些术语包括以上专门提及的词汇、它们的派生词以及具有类似含义的词汇。短语“至少一个”后接两个或更多个项目的列表，诸如“A、B或C”意指A、B或C中任何单独的一个，以及它们的任何组合。
[0048] 本文的另外的实施方案可通过用来自本文的任何一个或多个其它实施方案的一种或多种元素补充实施方案，和/或用来自本文的一个或多个其它实施方案的一种或多种元素取代一种实施方案中的一种或多种元素而构成。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 触感信号的处理方法、系统、装置及电子设备 | 2020-05-08 | 816 |
| 咖啡自动售货机 | 2020-05-11 | 462 |
| 自动驾驶车辆的主显示器的控制系统 | 2020-05-08 | 515 |
| 用于由致动器驱动调节变倍器的放大级别的装置 | 2020-05-08 | 205 |
| 一种基于VR场景视频的情绪标签连续标注系统及方法 | 2020-05-08 | 294 |
| 一种WiFi游戏控制器与APP应用软件的连接方法 | 2020-05-11 | 534 |
| 移动终端护壳及移动终端 | 2020-05-08 | 348 |
| 带操作指示的指纹锁 | 2020-05-11 | 785 |
| 一种姿态控制笔形鼠标 | 2020-05-08 | 620 |
| 皮套键盘 | 2020-05-08 | 457 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
触摸板热门专利
QQ群二维码
意见反馈
意见反馈