一种基于Hololens的远程手术指导装置及操作方法专利检索-混合现实显示技术专利检索查询-专利查询网

一种基于Hololens的 远程手术指导装置及操作方法

阅读：701发布：2020-05-12

专利汇可以提供一种基于Hololens的远程手术指导装置及操作方法专利检索，专利查询，专利分析的服务。并且本发明请求保护一种基于Hololens的远程手术指导装置和操作方法，涉及混合现实 (MR)领域，包括hololens混合现实眼镜、力反馈操作设备、终端设备，本地hololens将人体病灶部位的CT或MRI图像进行三维重建得到3D虚拟模型，将3D虚拟模型传输到终端设备；远程专家在终端通过力反馈设备进行虚拟手术操作，并将3D虚拟模型及手术操作发送至本地hololens混合现实眼镜，在病人病灶部位进行配准显示。本发明将混合现实、力反馈技术与远程医疗相结合，让现场的医护人员可以清楚直观的看到远程专家对于手术的操作，方便远程专家的手术指导，提高远程手术指导效率与准确率。，下面是一种基于Hololens的远程手术指导装置及操作方法专利的具体信息内容。

权利要求

1.一种基于Hololens的远程手术指导装置，包括混合现实设备Hololens，所述混合现实设备Hololens用于显示病灶部位的三维模型及远程端传回来的虚拟手术操作，其特征在于，还包括：
病灶部位三维重建单元，用于对病灶部位的CT或MRI图像进行立体几何三维重建，并将其传递给物理建模单元；
物理建模单元，用于载入病灶几何三维模型进行物理建模，并建立手术器械的几何模型与物理模型，为病灶部位和手术器械的物理模型添加碰撞检测算法及反馈力计算方法；
虚拟手术单元，用于使用力反馈设备进行虚拟手术操作，将病灶部位模型的形变与手术操作相结合，传递到hololens端；
术中指导单元，用于通过混合现实设备Hololens识别手术部位的特征点，使虚拟手术操作能够与手术部位进行配准显示，帮助远程医生进行手术规划或实时指导。
2.根据权利要求1所述的一种基于Hololens的远程手术指导装置，其特征在于，所述物理建模单元包括：手术器械几何建模模块，用于建立手术刀、镊子、手术剪、手术钳在内的常规手术器械的几何模型；物理建模模块，用于对病灶部位及手术器械的几何模型添加物理特性，为病灶部位的模型添加受到外力时发生形变的效果；力反馈计算模块，用于计算系统输出的反馈力，反馈到操纵手术设备的操作者手中。
3.根据权利要求1所述的一种基于Hololens的远程手术指导装置，其特征在于，所述虚拟手术单元包括：病灶模型控制模块，用于控制虚拟模型在终端设备上进行平移、旋转、缩放操作，供远程医生查看病灶模型的详细信息；手术操作模块，用于通过力反馈设备控制虚拟手术器械进行手术模拟操作。
4.根据权利要求1所述的一种基于Hololens的远程手术指导装置，其特征在于，所述术中指导单元包括：虚实注册模块，用于通过Hololens识别病灶部位的特征点，使虚拟手术与真实手术病灶得到配准，显示手术指导操作；手势交互模块，用于利用hololens的手势识别技术对虚拟模型进行移动、旋转操作；语音交互模块，用于利用Hololens的语音识别技术，对指定识别词进行定义，用语音对三维模型进行旋转、缩放，从而解放医生的双手，更专注于手术实施。
5.一种基于权利要求1-4之一所述装置的操作方法，其特征在于，包括以下步骤：
(1)将病人病灶部位的CT或MRI图像进行三维重建得到3D虚拟的几何模型，并将几何模型传输给远程力反馈终端；
(2)终端设备接收到病灶部位的几何模型后，对几何模型进行包括三角网格剖分、骨骼球替代网格节点、弹簧模型加入网格边在内的处理，建立其物理模型；
(3)建立常规手术器械的几何模型，在手术器械的表面末端建立物理模型；
(4)根据碰撞检测算法计算病灶物理模型的形变以及设备的反馈力；
(5)远程终端将虚拟手术操作传输给本地Hololens端；
(6)hololens将虚拟手术操作与病人病灶部位进行配准，显示手术操作过程。
6.根据权利要求5所述装置的操作方法，其特征在于，所述步骤(2)计算病灶部位的物理模型具体是：首先对病灶部位几何模型进行三角剖分，使用骨骼球覆盖三角网格中的节点位置充当质点-弹簧模型中的质点，再将弹簧和阻尼器加入到三角网格中的连线上，以此将三角网格与质点-弹簧模型相结合，构造病灶部位的物理模型。
7.根据权利要求5所述装置的操作方法，其特征在于，所述步骤(4)根据碰撞检测算法计算反馈力具体是：当操作者操纵设备控制虚拟手术器械运动时，选择一种碰撞检测算法检测手术器械是否与软组织发生碰撞，若未发生碰撞，则输出的反馈力为零，虚拟手术器械主手继续运动，直到碰撞检测算法检测到碰撞发生，记录碰撞点，手术器械继续运动，则以碰撞点为起点，当前位置为终点形成三维矢量，计算当前碰撞的软组织面片法向量，求出三维矢量沿当前面片法向量分量，根据质点-弹簧模型中的弹性弹簧的劲度系数和阻尼器的阻尼系数计算反馈力大小，反馈力方向则为沿该接触力的相反方向，质点i的反馈力f(i)计算具体公式如下：
其中，表示质点i所受的外力，包括摩擦力、重力及用户施加力，xi表示质点i的位移矢量，|xj-xi|表示两个质点之间位置矢量之差，|xj-xi|0表示发生形变前弹簧的原长，ks是弹簧的劲度系数，kd是弹簧的阻尼系数。
8.根据权利要求5所述装置的操作方法，其特征在于，所述步骤(6)将虚拟手术操作与病人病灶部位进行配准的方法是基于ORB的三维注册方法进行配准，具体是先提取病人病灶部位的特征点，并得出描述符，构建点云，再计算实时采集图像的特征点，计算特征点描述符，以此进行特征匹配，显示虚拟手术操作。
9.根据权利要求8所述装置的操作方法，其特征在于，配准的步骤为：
D1：利用hololens拍摄多幅不同角度的现场病灶部位图像；
D2：对每一幅图像利用ORB特征检测算法检测特征点并计算出描述子信息；
D3：按图像第一幅与第二幅匹配，第二幅与第三幅匹配的方式构建病灶部位的三维点云，得到各图像二维特征点与三维点的对应关系；
D4：获取当前帧图像；
D5：检测当前图像的特征点与描述子信息；
D6：将当前图像与D1拍摄的多幅图像进行匹配，比较匹配点对数，得到匹配点数量最多的图像；
D7：是找到图像的三维特征点信息与当前图像的二维特征点的匹配关系，利用P-N-P算法得到拍摄到当前图像的摄像机的旋转和平移矩阵R,T；
D8：虚拟模型与手术操作与现实场景叠加显示。

说明书全文

一种基于Hololens的远程手术指导装置及操作方法

技术领域

[0001] 本发明属于混合现实领域，具体涉及了一种基于hololens的远程手术指导装置及操作方法。

背景技术

[0002] 远程医疗是解决优势医疗资源稀缺与分布不均问题的途径之一。国外对于远程医疗开展的较早，2006年美国宇航局对国际空间站的宇航员就开展了基于超声影像的远程诊断指导，对于可穿戴式高清视频转播下的远程手术指导也较早，2013年美国伯明翰阿拉巴马大学利用谷歌眼镜开展了远程虚拟手术。国内目前基于高清视频的手术指导系统已经得到了较为广泛的应用，但是大多数远程手术指导系统都是基于2D屏幕进行观看和指示操作的，使得专家的远程指导比较粗糙，现场人员不能清楚直观的明白专家的手术指导操作。

[0003] 混合现实技术通过合并现实和虚拟世界形成新的可视化环境。近年来，远程医疗与混合现实的结合也推出了一种全新的医疗方式。2018年，武汉协和医院通过hololens混合现实眼镜进行了远程手术的交流与指导，两端的hololens视野中都可以看到患者的医学透视影像，并且可以在透视图上进行标注。虽然这种方式极大的方便了专家的远程指导，但是还是存在2D标注显示的问题，使得手术指导过程不够直观。

[0004] 综上所述，可以通过力反馈设备提供直接的手术操作流程，将三维的手术操作动画及虚拟病灶模型变化在hololens端进行显示，以此提供一种直观有效的远程手术指导系统与方法。

发明内容

[0005] 本发明旨在解决以上现有技术的问题。提出了一种基于Hololens的远程手术指导装置及操作方法。本发明的技术方案如下：

[0006] 一种基于Hololens的远程手术指导装置，包括混合现实设备Hololens，所述混合现实设备Hololens用于显示病灶部位的三维模型及远程端传回来的虚拟手术操作，其还包括：

[0007] 病灶部位三维重建单元，用于对病灶部位的CT或MRI图像进行立体几何三维重建，并将其传递给物理建模单元；

[0008] 物理建模单元，用于载入病灶几何三维模型进行物理建模，并建立手术器械的的几何模型与物理模型，为病灶部位和手术器械的物理模型添加碰撞检测算法及反馈力计算方法；

[0009] 虚拟手术单元，用于使用力反馈设备进行虚拟手术操作，将病灶部位模型的形变与手术操作相结合，传递到hololens端；

[0010] 术中指导单元，用于通过混合现实设备Hololens识别手术部位的特征点，使虚拟手术操作能够与手术部位进行配准显示，帮助远程医生进行手术规划或实时指导。

[0011] 进一步的，所述物理建模单元包括：手术器械几何建模模块，用于建立手术刀、镊子、手术剪、手术钳在内的常规手术器械的几何模型；物理建模模块，用于对病灶部位及手术器械的几何模型添加物理特性，为病灶部位的模型添加受到外力时发生形变的效果；力反馈计算模块，用于计算系统输出的反馈力，反馈到操纵手术设备的操作者手中。

[0012] 进一步的，所述虚拟手术单元包括：病灶模型控制模块，用于控制虚拟模型在终端设备上进行平移、旋转、缩放操作，供远程医生查看病灶模型的详细信息；手术操作模块，用于通过力反馈设备控制虚拟手术器械进行手术模拟操作。

[0013] 进一步的，所述术中指导单元包括：虚实注册模块，用于通过Hololens识别病灶部位的特征点，使虚拟手术与真实手术病灶得到配准，显示手术指导操作；手势交互模块，用于利用hololens的手势识别技术对虚拟模型进行移动、旋转操作；语音交互模块，用于利用Hololens的语音识别技术，对指定识别词进行定义，用语音对三维模型进行旋转、缩放，从而解放医生的双手，更专注于手术实施。

[0014] 一种基于所述装置的操作方法，其包括以下步骤：

[0015] (1)将病人病灶部位的CT或MRI图像进行三维重建得到3D虚拟的几何模型，并将几何模型传输给远程力反馈终端；

[0016] (2)终端设备接收到病灶部位的几何模型后，对几何模型进行包括三角网格剖分、骨骼球替代网格节点、弹簧模型加入网格边在内的处理，计算其物理模型；

[0017] (3)建立常规手术器械的几何模型，在手术器械的表面末端建立物理模型；

[0018] (4)根据碰撞检测算法计算病灶物理模型的形变以及设备的反馈力；

[0019] (5)远程终端将虚拟手术操作传输给本地Hololens端；

[0020] (6)hololens将虚拟手术操作与病人病灶部位进行配准，显示手术操作过程。

[0021] 进一步的，所述步骤(2)计算病灶部位的物理模型具体是：首先对病灶部位几何模型进行三角剖分，使用骨骼球覆盖三角网格中的节点位置充当质点-弹簧模型中的质点，再将弹簧和阻尼器加入到三角网格中的连线上，以此将三角网格与质点-弹簧模型相结合，构造病灶部位的物理模型。

[0022] 进一步的，所述步骤(4)根据碰撞检测算法计算反馈力具体是：当操作者操纵设备控制虚拟手术器械运动时，选择一种碰撞检测算法检测手术器械是否与软组织发生碰撞，若未发生碰撞，则输出的反馈力为零，虚拟手术器械主手继续运动，直到碰撞检测算法检测到碰撞发生，记录碰撞点，手术器械继续运动，则以碰撞点为起点，当前位置为终点形成三维矢量，计算当前碰撞的软组织面片法向量，求出三维矢量沿当前面片法向量分量，根据质点-弹簧模型中的弹性弹簧的劲度系数和阻尼器的阻尼系数计算反馈力大小，反馈力方向则为沿该接触力的相反方向，质点i的反馈力f(i)计算具体公式如下：

[0023]

[0024] 其中，表示质点i所受的外力，包括摩擦力、重力及用户施加力等，xi表示质点i的位移矢量，|xj-xi|表示两个质点之间位置矢量之差，|xj-xi|0表示发生形变前弹簧的原长，ks是弹簧的劲度系数，kd是弹簧的阻尼系数。

[0025] 进一步的，所述步骤(6)将虚拟手术操作与病人病灶部位进行配准的方法是基于ORB的三维注册方法进行配准，具体是先提取病人病灶部位的特征点，并得出描述符，构建点云，再计算实时采集图像的特征点，计算特征点描述符，以此进行特征匹配，显示虚拟手术操作。

[0026] 进一步的，配准的步骤为：

[0027] D1：利用hololens拍摄多幅不同角度的现场病灶部位图像；

[0028] D2：对每一幅图像利用ORB特征检测算法检测特征点并计算出描述子信息；

[0029] D3：按图像第一幅与第二幅匹配，第二幅与第三幅匹配的方式构建病灶部位的三维点云，得到各图像二维特征点与三维点的对应关系；

[0030] D4：获取当前帧图像；

[0031] D5：检测当前图像的特征点与描述子信息；

[0032] D6：将当前图像与D1拍摄的多幅图像进行匹配，比较匹配点对数，得到匹配点数量最多的图像；

[0033] D7：是找到图像的三维特征点信息与当前图像的二维特征点的匹配关系，利用P-N-P算法得到拍摄到当前图像的摄像机的旋转和平移矩阵R,T；

[0034] D8：虚拟模型与手术操作与现实场景叠加显示。

[0035] 本发明的优点及有益效果如下：

[0036] (1)本发明使用力反馈技术进行虚拟手术仿真能为远程专家提供一个逼真的手术场景，能让专家更加真实、准确的完成整个手术过程，为现场的人员提供较为直观的手术指导，从而提高手术的成功率；

[0037] (2)hololens混合现实眼镜将3D虚拟模型和手术操作引入、融合到现场病患的真实世界中，现场的医护人员不仅能够更为全面的获得医学影像信息，还能较为方便、直观的观看手术操作指导流程；

[0038] (3)采用hololens进行远程手术指导能够提高医疗专家的利用率，减少病人的转院时间及治疗时间，整体提高中小医院的手术水平，改善大病就医难的医疗环境。附图说明

[0039] 图1是本发明提供优选实施例基于hololens的远程手术指导系统的结构框图。

[0040] 图2是本发明基于hololens的远程手术指导系统的总流程图。

[0041] 图3是本发明基于hololens的远程手术指导系统的虚拟手术结构框图。

[0042] 图4是本发明基于hololens的远程手术指导系统的虚实配准流程图。

具体实施方式

[0043] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

[0044] 本发明解决上述技术问题的技术方案是：

[0045] 如图1所示，本发明基于hololens的远程手术指导系统，包含病灶部位三维重建单元、物理建模单元、虚拟手术单元和术中指导单元，其中：

[0046] 病灶部位三维重建单元A1和病灶部位几何模型重建模块A11，通过医学影像处理软件，对病灶部位的CT或MRI图像进行立体几何三维重建，并将其传递给物理建模单元。

[0047] 物理建模单元A2和手术器械几何建模模块A21、物理建模模块A22、力反馈计算模块A23，A21将常用的手术器械进行几何建模，A22对A11和A21建立的病灶部位及手术器械的几何模型进行物理建模，A23根据碰撞检测算法进行力反馈计算。

[0048] 虚拟手术单元A3和病灶模型控制模块A31、手术操作模块A32，A31根据病灶模型具体呈现部分调整模型的方位，扩大或缩小模型，从而方便远程医生全方位的观察，A32手术模块利用力反馈设备对A2单元的物理模型进行操作，并将模型与操作传入到术中指导单元。

[0049] 术中指导单元A4和虚实注册模块A41、手势交互模块A42、语音交互模块A43，A41构造病灶部位点云，比对现场实时图像与点云信息进行虚实配准，A41指定手势对病灶部位模型进行移动、旋转，A43指定识别词，用语音实现模型的旋转、缩放。

[0050] 如图2所示是本发明实现基于hololens的远程手术指导方法的总流程图：

[0051] B1：读取格式为.dcm或.raw的原始CT或MRI图像，对图像进行分割处理，得到病灶结构。

[0052] B2：将B1得到的病灶结构转换为.obj模型，完成三维病灶模型的几何重建。

[0053] B3：建立常用手术器械的物理模型。

[0054] B4：在手术器械的顶端以及整个病灶部位建立物理模型。

[0055] B5：利用碰撞检测算法赋予病灶模型的反馈力。

[0056] B6：是使用力反馈设备进行手术操作指导。

[0057] B7：虚拟模型及手术操作与现场场景的配准显示。

[0058] 在这里需要指出的是，本发明并不是属于专利法25条及专利审查指南中规定的手术方法以及疾病的治疗方法的范畴，本发明仅仅是作为一种辅助装置及辅助装置的操作方法，并不以有生命的人体作为直接的实施对象，本发明是用于实施疾病诊断和治疗方法的仪器和装置，其属于可被授予专利权的客体。如图3所示是本发明虚拟手术的结构框图：

[0059] 力反馈设备在虚拟场景中被抽象成为虚拟手术器械，操作者通过力反馈设备与虚拟病灶模型进行手术操作，通过碰撞检测算法来检测力反馈设备与病灶模型是否发生碰撞，如果发生了碰撞，则会将计算得到的反馈力通过力反馈设备反馈给操作者，同时病灶模型也会产生相应的形变。虚拟手术场景单元C1和手术器械建模模块C11、病灶模型和手术器械物理建模模块C12，用于构建手术器械以及病灶部位的物理模型并添加碰撞检测算法，C2是显示器，用于操作者观察病灶模型及操作显示，C3是操作者，C4是力反馈设备，用于模拟虚拟手术器械，由C3掌控，同时将反馈力返回到C3手中，C5是碰撞检测，用于计算虚拟手术器械与病灶模型是否有接触，如果有，则进行C6力反馈计算与C7形变模型计算。

[0060] 如图4所示是本发明虚实配准的流程图：

[0061] D1：利用hololens拍摄多幅不同角度的现场病灶部位图像。

[0062] D2：对每一幅图像利用ORB特征检测算法检测特征点并计算出描述子信息。

[0063] D3：按图像第一幅与第二幅匹配，第二幅与第三幅匹配的方式构建病灶部位的三维点云，得到各图像二维特征点与三维点的对应关系。

[0064] D4：获取当前帧图像。

[0065] D5：检测当前图像的特征点与描述子信息。

[0066] D6：将当前图像与D1拍摄的多幅图像进行匹配，比较匹配点对数，得到匹配点数量最多的图像。

[0067] D7：是找到图像的三维特征点信息与当前图像的二维特征点的匹配关系，利用P-N-P算法得到拍摄到当前图像的摄像机的旋转和平移矩阵R,T。

[0068] D8：虚拟模型与手术操作与现实场景叠加显示。

[0069] 以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

标题	发布/更新时间	阅读量
测量程序选择辅助设备和测量控制设备	2020-05-08	958
一种含氮炭材料负载的铱单原子催化剂及制备和应用	2020-05-11	29
管理虚拟物体所有权的方法及相关互动平台	2020-05-12	835
利用像素移位的抽取式残像补偿	2020-05-12	926
一种禾本科植物抗倒伏有机水溶肥制造工艺	2020-05-13	569
一种基于Hololens的远程手术指导装置及操作方法	2020-05-12	701
混合现实环境中的情境应用	2020-05-08	377
一种基于混合现实的搜救流程仿真与交互系统及方法	2020-05-13	451
改进的虚拟对象的激活	2020-05-11	643
信息处理装置、系统、图像处理方法、计算机程序及存储介质	2020-05-08	903

一种基于Hololens的远程手术指导装置及操作方法

一种基于Hololens的远程手术指导装置及操作方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：