[0002] 本申请要求于2016年8月25日提交的美国临时申请第62/379,445号的权益，其全部内容通过引用并入本文。
技术领域
[0003] 本公开一般涉及
跟踪和校正机器人系统的运动。
背景技术
[0004] 在运动由人类控制的机器人中，由于机器人系统的机械
缺陷、可变有效
载荷和
接触力，预期的机器人运动几乎不能完美地执行。对于自动系统，在运动规划中必须考虑有效载荷，否则在期望运动和实际运动之间可能存在不匹配。在手术机器人中，缺乏依从性可能是旨在进行自动手术的系统中的挑战。然而，对于主/从系统来说，缺乏依从性也可能是问题。用这样的系统，外科医生可以学会在他/她脑中补偿这些缺陷，并且有经验的外科医生会无意识地这样做。然而，对于新手外科医生来说，该系统可能不直观，他/她必须不断调整或校正轨迹。不准确的
定位是使手术机器人难以进行的部分原因。如果工具将如预期那样精确移动，学习手术机器人将会更容易，这将转化为针对所有患者的更好的临床结果。
附图说明
[0005] 参考以下附图描述了本
发明的非限制性和非穷举性
实施例，其中除非另有说明，否则贯穿各个视图，相似的附图标记表示相似的部分。附图不一定按比例，而是强调说明所描述的原理。
[0006] 图1图示了根据本公开的实施例的用于
机器人手术的系统。
[0007] 图2A图示了根据本公开的实施例的用于
机器人手术的
控制器。
[0008] 图2B示出了图示根据本公开的实施例的补偿禁用的手术器械路径和补偿启用的手术器械路径的曲线图。
[0009] 图3图示了根据本公开的实施例的与机器人手术结合使用的
数据库和
机器学习算法。
[0010] 图4图示了根据本公开的几个实施例的手术机器人操作的方法。
[0011] 图5图示了根据本公开的几个实施例的机器人手术中的数据收集的方法。
具体实施方式
[0012] 本文描述了用于利用机器人系统的运动执行的装置和方法的实施例。在以下描述中，阐述了许多具体细节以提供对实施例的全面理解。然而，相关领域的技术人员将认识到，本文描述的技术可以在没有该具体细节中的一个或多个的情况下，或者利用其他方法、组件、材料等来实践。在其他实例中，没有详细示出或描述公知的结构、材料或操作，以避免模糊某些方面。
[0013] 贯穿本
说明书对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，贯穿本说明书的各个地方出现的短语“在一个实施例中”或“在实施例中”不一定都指相同的实施例。此外，在一个或多个实施例中，特定特征、结构或特性可以以任何合适的方式组合。
[0014] 本公开提供了用于利用手术机器人的增强运动执行的系统和方法。更具体地，这些系统和方法可以用于校正手术器械的运动。机器学习算法可以通过收集与耦合到手术机器人并由手术机器人控制的手术器械(例如，手术刀、钻取活检设备等)的移动相关的数据来训练。随后，机器学习算法可以调整手术器械的移动，以更好地考虑人体中组织的相对韧性。例如，如果手术器械遇到结实的肌肉，可能需要更多的力来将手术器械移动穿过肌肉(相对于其他组织)。机器学习算法然后可以指导手术机器人施加这个额外的力，以确保对肌肉的平滑和准确切割。
[0015] 图1图示了根据本公开的实施例的用于机器人手术的系统100。系统100包括手术机器人103、处理装置105、网络111和存储装置123。如图所示，手术机器人103可以用于(例如，在臂的远端)持有手术器械并进行手术、诊断
疾病、进行活检或进行医生可以进行的任何其他程序。虽然所描绘的手术机器人103仅具有两个臂，但是本领域技术人员将会理解，手术机器人103仅仅是一个卡通图示，并且手术机器人103可以根据需要进行的手术的类型和其他要求采取任何数量的形状。手术机器人103可以通过有线或无线地耦合到处理装置105、网络111和/或存储装置123。此外，手术机器人103可以(无线地或通过有线)耦合到用户输入/控制器(例如，耦合到图2A所描绘的控制器201)，以接收来自外科医生或医生的指令。控制器和控制器的用户可以位于非常靠近手术机器人103和患者的地方(例如，在相同房间中)或者可以位于相距数英里的地方。因此，手术机器人103可以用于在专家远离患者数英里的地方进行手术，来自外科医生的指令通过互联网或安全网络(例如，网络111)发送。可替换地，外科医生可以是本地的，并且可以简单地优选使用手术机器人103，因为它可以比外科医生的手更好地进入身体的一部分。
[0016] 在一个实施例中，图像/光学
传感器、
压力传感器(
应力、
张力等)等等都用于控制手术机器人103并确保准确的运动和压力的施加。此外，这些传感器可以向(在手术机器人103、处理装置105或其他设备中的)处理器提供信息，该处理器使用反馈回路来连续调整由手术机器人103施加的
位置、力等。
[0017] 在一个实施例中，手术机器人103可以用于数据收集，并且所收集的数据可以用于进一步改进控制手术机器人103的算法。例如，手术机器人103可以尝试将手术器械移动穿过介质(例如，人体组织)到期望位置。例如，手术机器人103可以通过将手术刀向左移动3.1cm来试图切开一片
皮肤。在切割期间或之后，测量手术器械的实际位置。随后，可以计算和记录器械的实际位置和期望位置之间的差异。例如，手术机器人103可能已经将手术刀向左仅移动了2.9cm，因为它切开的皮肤的一部分结老茧了——需要更多的力来移动手术刀。
因此，实际位置和期望位置之间的差异为0.2cm。记录介质(例如，有老茧的皮肤)的成分和将手术器械移动穿过介质所需的力。在一个实施例中，光学地确定介质的成分(例如，图像传感器拍摄手术刀切割的地方，并将该图像与图像的数据库进行比较，以确定该介质是皮肤)。介质的成分和移动穿过介质所需的力可以存储在(在处理装置105上、在网络111上或在存储装置123上的)数据库中。所有这些设备都可以是分布式系统。
[0018] 数据库中的信息可以用于训练机器学习算法。机器学习算法从介质的类型和移动手术器械所需的力学习，以调整施加到使用中的手术器械的实际位置和力。这允许手术机器人103在手术器械遇到特定类型的介质时适当地响应。例如，机器学习算法可以被训练来识别更硬的组织(厚的肌肉、
腱等)，并在手术器械(例如，手术刀、活检工具等)遇到这些介质时施加额外的力。可替换地，手术机器人103可以被训练来在通过(navigate)软组织时施加更少的力。手术机器人103可以光学地(例如，从用图像传感器捕获的图像)和/或从触觉传感器(例如，切割材料所需的压力量)两者识别不同类型的组织。
[0019] 在一个实施例中，在数据库中收集的信息可以用于使用实际位置和期望位置之间的差异来诊断手术机器人103的问题。期望位置和实际位置之间的差异可以归因于手术机器人103中的
硬件故障、或
软件故障中的至少一个。例如，手术机器人103的用户可以将手术器械移动穿过已知介质(例如，空气)，并测量期望位置和实际位置之间的差异。如果期望位置和实际位置之间存在差异，这可以用于诊断手术机器人103的问题。例如，手术器械的一部分的Y轴移动可能仅移动了它应该移动的一个小的百分比。因此，手术机器人103或处理装置105可以指导技术员检查手术机器人103的该部分中的Y
致动器是否损坏。类似地，所收集的信息也可以为系统设计提供信息，并且在手术机器人103的未来几代中被考虑在内：通过根本原因分析来调查更大不匹配的区域，并且相应地调整机械设计以最小化实际位置和期望位置之间的不匹配。
[0020] 在一个实施例中，手术机器人103的实际位置在手术期间被校正。如上所述，手术器械可以使用手术机器人103移动穿过介质，并且手术机器人103尝试将手术器械移动到期望位置。测量手术器械的实际位置和期望位置之间的差异。然后，手术器械的实际位置被调整到期望位置。这个过程可以不断地(
迭代地)、以预设的间隔或实时地出现。
[0021] 在一个实施例中，调整手术器械的实际位置包括使用机器学习算法来控制手术机器人103，以补偿切开特定
生物介质所需的力的差异。在这个和其他实施例中，机器学习算法被训练来识别介质(例如，皮肤、肌肉、腱等)的成分，并输出足以将手术器械穿过介质从实际位置移动到期望位置的力。例如，机器学习算法可以识别由手术机器人103持有的手术刀正试图切开肌腱。因此，机器学习算法可以对手术刀施加额外的力，以便进行平滑的直接切割。在一个实施例中，介质(例如，
生物组织)由机器学习算法经由光学外观、足以将手术器械移动穿过介质的力、来自手术器械的用户的输入、和/或手术器械的实际位置和期望位置之间的差异中的至少一个来识别。然而，在其他实施例中，手术机器人103可以输出足以将手术器械移动穿过介质的力，而无需明确识别介质。在另一个或相同的实施例中，当将手术器械移动到期望位置时，实际位置和期望位置之间的差异可以被转换成提供给用户的
触觉反馈(例如，期望位置没有实现，但是由于控制器振动，用户现在知道了)。
[0022] 图2A图示了根据本公开的实施例的用于机器人手术的控制器201。在所描绘的实施例中，控制器201包括用于用户(外科医生)将其
手指穿过并握住控制器201的几个环。此外，有几个枢轴点，因此用户具有接近自由的运动范围(类似于实际进行手术)。在一个实施例中，控制器201通过改变在进行手术时用户遇到的阻力(例如，触觉反馈)来允许用户感觉各种介质之间的差异。例如，如果用户移动控制器201，使得附接到手术机器人(例如，手术机器人103)的手术器械移动穿过空气，并且然后移动穿过生物组织，用户将感觉到移动穿过空气需要相对最小的努力，但是一旦遇到生物组织，用户将感觉到与手术器械遇到的阻力相等或成比例的阻力。在一些实施例中，控制器201的运动可以被缩放，使得手术器械移动比用户移动控制器201更小或更大的距离。在一个实施例中，控制器201还可以过滤出来自用户的移动的震颤或其他零星动作。尽管图2A中描绘的控制器201的实施例具有几个枢轴点和手指环，但是本领域技术人员将理解，有多种方式可以配置控制器以促进不同类型的手术。在一个实施例中，控制器201可以具有操纵杆、按钮等等。
[0023] 图2B是图示根据本公开的实施例的补偿禁用的203手术器械路径和补偿启用的205手术器械路径的曲线图。这两幅图只示出了手术机器人持有的手术器械的假想X位置和Y位置。左图示出了补偿禁用的手术机器人运动。如在手术器械移动一距离穿过介质后所示，手术器械的期望位置和手术器械的实际位置之间存在差异。这是有问题的，因为即使手术器械的期望差异和实际差异的小差异也可能给手术患者带来严重的问题。此外，实际位置和期望位置之间的差异可能会使训练手术机器人更加困难：外科医生必须学会在他/她脑中补偿所有缺陷。
[0024] 右图示出了补偿启用的手术机器人运动。在所描绘的实施例中，手术器械的实际位置被连续调整，以确保与期望位置的最小偏差。在其他实施例中，调整可以以离散间隔或其他方式出现。在一个实施例中，测量手术器械的实际位置包括利用一个或多个图像传感器光学地确定实际位置、测量预设标记和手术器械之间的距离、或者利用手术机器人机械地测量手术器械的实际位置中的至少一个。在一个实施例中，视觉伺服(视觉位置反馈)用于更新轨迹并使其符合外科医生使用用户输入设备(例如，控制器201)提供的预期路径。例如，如果外科医生向右移动2cm，视觉伺服确保工具提示在摄像机的参照系中向右移动2cm(或者相应的缩放运动，例如，如果使用缩放因子4，则为0.5cm)。这可以通过手术机器人进行的多个图像传感器布置切割来实现。多个图像可以用于实时构建手术机器人的活动部分的3D模型。这可以允许手术机器人知道该活动部分相对于被手术的身体的部分的确切位置。手术机器人然后可以不断改善手术机器人的活动部分的移动，以在正确的时间位于正确的地方，并消除潜在的误差。
[0025] 图3图示了根据本公开的实施例的与机器人手术(例如，手术机器人303)结合使用的数据库307和机器学习算法305。如以上结合图1所讨论的，手术机器人303可以用于在手术期间收集关于遇到的不同
生物材料以及切开这些材料、活检这些材料等所需的力的信息。图3图示了将该信息上传到数据库307的手术机器人303，该数据库307包括示出组织和手术器械的图像
帧(这些可以是视频或静止图像)、图像被记录的时间(这里示出为记录时间)、手术器械的期望位置、手术器械的实际位置、手术器械遇到的组织以及切开组织所需的力。如图所示，数据库307中的所有这些列可以做彼此索引。
[0026] 数据库307中的信息然后可以用于训练机器学习算法305，以帮助更好地控制手术机器人303的实际位置。这可以包括教导机器学习算法305来光学地、通过感觉、或通过这些和其他参数的组合来识别某些类型的组织。机器学习算法305可以从一个或多个手术机器人不断更新(例如，机器学习算法305可以存在于
云上，并且从世界各地的多个手术机器人接收
训练数据)。可替换地，手术机器人和相关软件可以经过定期更新。本领域技术人员将理解，有许多不同的方式来存储和更新控制手术机器人303的软件。
[0027] 图4图示了根据本公开的几个实施例的手术机器人操作的方法400。过程
块401-407中的一些或全部在方法400中出现的顺序不应被认为是限制性的。相反，受益于本公开的本领域普通技术人员将理解，方法400可以以未图示的各种顺序执行，或者甚至并行执行。
[0028] 块401示出了使用手术机器人将手术器械移动穿过介质，并且手术机器人尝试将手术器械移动到期望位置。
[0029] 块403示出了测量手术器械的实际位置。这可以使用被包括在
内窥镜中的图像传感器来完成，并且内窥镜使能视觉伺服，并且来自内窥镜的视频数据被实时分析。在其他实施例中，图像传感器可以附接到手术机器人本身。器械和器械轨迹也可以使用标记来检测。例如，棋盘图案(快速响应码、
条形码等)、附接在手术器械上的彩色点、
荧光涂料/荧
光标记都可以单独使用或与视觉成像结合使用，以确定手术器械的位置和手术机器人的移动组件。标签/标记可以与对器械/
照相机的消毒兼容。标记对于在手术期间插入人体也是无毒的。可替换地，器械可以未贴标签，并且可以通过在手术期间将手术器械的视频数据与器械的3D模型的数据库进行比较来进行跟踪。可附加地，器械跟踪可以是机器学习的。视频数据还可以与器械数据结合使用，以知道正在使用哪个器械(然后可以检索其3D模型以帮助器械检测)以及其预期位置是什么(这减少了在每个
视频帧内搜索器械的空间)。除了这种
视觉反馈，还通过整合来自手术机器人的接合处的
电机控制器的信息，从手术机器人收集预期位置。在一些实施例中，位置信息也可以通过在器械上使用类似RFID的标签和/或
磁传感器来采集。可以例如通过将接触传感器添加到器械的尖端(例如，利用电容
电路来引出从两个板之间的距离导出的压缩信息)来提供附加信息以增强对手术器械的实际位置的光学
感知。
[0030] 块405描述了计算实际位置和期望位置之间的差异。这可以通过获取手术器械的实际X、Y、Z坐标并从期望的X、Y、Z坐标中减去它们来完成。也可以考虑手术器械的旋转信息。系统然后可以计算坐标集合之间的最短距离等等。
[0031] 块407图示了使用手术机器人将手术器械的实际位置调整到期望位置。该系统(例如，图1的系统100)可以随时间学习哪些轨迹和哪些组织相互作用需要特定量的补偿，并使用该信息——在数学意义上——规范实时补偿。预计每个手术器械、器械轨迹和组织图案将触发实际位置和期望位置之间的特定不匹配。但是图案可以由机器学习算法和/或进行来减少潜在调整的空间的
降维来确定和学习。可以添加额外的约束，使得实时调整总是平滑并且在安全限制内进行(例如，没有大于预期移动的50％的调整，或者没有在未补偿位置周围大于1cm的调整)。在一个实施例中，特定外科医生可以选择手术机器人输出多少额外补偿。例如，外科医生可能不熟悉机器提供的额外帮助的量，并选择按比例缩减所提供的协助。
[0032] 图5图示了根据本公开的几个实施例的机器人手术中的数据收集的方法500。过程块501-507中的一些或全部在方法500中出现的顺序不应被认为是限制性的。相反，受益于本公开的本领域普通技术人员将理解，方法500可以以未图示的各种顺序执行，或者甚至并行执行。
[0033] 块501图示了使用手术机器人将手术器械移动穿过介质，并且手术机器人尝试将手术器械移动到期望位置。在一个实施例中，手术器械永久地耦合到手术机器人；然而，在其它实施例中，手术机器人可以被配置为接收耦合到其可移动组件中的一个或多个的任何数量的手术附件。
[0034] 块503示出了测量手术器械的实际位置。这可以经由以上结合图4中描绘的方法400讨论的任何方式，或者结合其他附图讨论的任何其他方式来实现。
[0035] 块505描述了计算实际位置和期望位置之间的差。这可以通过以上结合图4中描述的方法400讨论的任何方式，或者结合其他附图讨论的任何其他方式来实现。
[0036] 块507图示了记录手术器械移动穿过的介质的成分以及将手术器械移动穿过介质所需的力。如上面结合图3所述，记录可以涉及光学地、机械地等等捕获该信息，并将其上传到数据库以训练机器学习算法。触觉数据也可以被记录，并且其可以被添加到模型中以为补偿算法提供信息。在该实施例中，系统可以记录关于接触力和摩擦机制的有用反馈信息，这些反馈信息可以进一步为机器学习算法提供信息。
[0037] 上面解释的过程是根据计算机软件和硬件来描述的。所描述的技术可以构成体现在有形或非暂时性机器(例如，计算机)可读存储介质内的机器可执行指令，当机器执行该指令时，将使机器进行所描述的操作。可附加地，该过程可以体现在硬件(诸如
专用集成电路(“Application Specific Integrated Circuit，ASIC”)或其他)内。
[0038] 有形的非暂时性机器可读存储介质包括以可由机器(例如，计算机、网络设备、
个人数字助理、制造工具、具有一个或多个处理器的集合的任何设备等)
访问的形式提供(即，存储)信息的任何机制。例如，机器可读存储介质包括可记录/不可记录介质(例如，只读
存储器(Read Only Memory，ROM)、
随机存取存储器(Random Access Memory，RAM)、磁盘存储介质、光存储介质、闪存设备等)。
[0039] 对本发明图示实施例的以上描述(包括
摘要中描述的内容)并不旨在穷举或将本发明限制于所公开的精确形式。虽然本文出于说明性目的描述了本发明的具体实施例和示例，但是相关领域的技术人员将认识到，在本发明的范围内，各种
修改是可能的。
[0040] 根据上述详细描述，可以对本发明进行这些修改。所附
权利要求中使用的术语不应被解释为将本发明限制于说明书中公开的特定实施例。相反，本发明的范围将完全由所附权利要求确定，这些权利要求将根据权利要求解释的既定原则来解释。
