一种医学模拟训练系统和方法
阅读：918发布：2020-05-12
专利汇可以提供一种医学模拟训练系统和方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种医学模拟训练系统和方法，系统包括：对象模型构建模 块 ，采集人体特定部位的三维立 体模 型数据，并基于采集的三维立体模型数据构建对应的三维虚拟模型对象；模型 数据库 ，存储三维虚拟模型对象数据； 传感器 追踪模块，采集用户对三维立体模型的操作数据； 数据处理 模块，对采集的数据处理得到三维立体模型的形状数据以及用户对三维立体模型的操作数据并输出；图像生成模块根据三维立体模型的形状数据以及用户的操作数据生成包括模拟操作结果信息的三维虚拟图像；显示模块，显示输出三维虚拟图像供用户查看模拟操作结果。本 实施例 的系统和方法 沉浸感 强、最大限度模拟真实医疗场景，降低了外科手术、静脉注射等临床教学训练成本。，下面是一种医学模拟训练系统和方法专利的具体信息内容。
1.一种医学模拟训练系统，其特征在于，所述系统包括：
对象模型构建模块，用于采集人体特定部位的三维立体模型数据，并基于采集的三维立体模型数据构建对应的三维虚拟模型对象，将构建的三维虚拟模型对象发送至模型数据库；
模型数据库，用于存储三维虚拟模型对象数据；
传感器追踪模块，用于通过用户所持器械上设置的传感器采集所持器械的实时位置数据和压力数据，以及通过该器械作用的三维立体模型中的传感器跟踪采集三维立体模型的位置数据和压力数据；
数据处理模块，对传感器追踪模块采集的位置数据和压力数据进行处理，得到三维立体模型的形状数据以及用户对三维立体模型的操作数据，并将三维立体模型的形状数据以及用户对三维立体模型的操作数据输出至图像生成模块；
图像生成模块，根据三维立体模型的形状数据以及用户对三维立体模型的操作数据生成包括模拟操作结果信息的三维虚拟图像，将生成的三维虚拟图像发送给显示模块；
显示模块，用于显示输出三维虚拟图像供用户查看模拟操作结果；
还包括验证模块，用于根据用户的操作数据，记录用户操作错误的次数，对用户的操作进行评分和评级；
所述传感器追踪模块，具体用于通过位置传感器采集用户所持器械的实时位置数据，并通过位置传感器采集器械作用的三维立体模型的实时位置数据；以及，通过压力传感器采集用户所持器械的实时压力数据，并通过压力传感器采集器械作用的三维立体模型的实时压力数据。
2.根据权利要求1所述的系统，其特征在于，所述图像生成模块，具体用于根据三维立体模型的形状数据，在预先设定的所述模型数据库中识别出所述形状数据对应的三维立体模型，并根据用户对三维立体模型的操作数据，调用三维图像处理库，生成包括模拟操作结果信息的三维图像。
3.根据权利要求1所述的系统，其特征在于，对象模型构建模块，具体用于采集人体手臂和内脏器官的三维立体模型数据，并基于采集的人体手臂和内脏器官的三维立体模型数据构建人体手臂对应的三维虚拟模型对象，以及各内脏器官对应的三维虚拟模型对象。
4.根据权利要求1所述的系统，其特征在于，用户所持器械包括：虚拟现实手术刀或虚拟现实注射器。
5.根据权利要求1所述的系统，其特征在于，所述显示模块中设置有摄像头，用于追踪用户眼球运动，或者，所述显示模块中设置有加速度传感器，用于实时采集用户头部运动数据跟踪用户的头部运动，并根据所述眼球运动或者头部运动实时确定用户的视点，当接收到所述图像生成模块发送的三维虚拟图像时，根据实时确定出的用户的视点，调整三维虚拟图像的显示输出位置。
6.根据权利要求5所述的系统，其特征在于，所述显示模块为虚拟现实眼镜或虚拟现实头盔。
7.根据权利要求6所述的系统，其特征在于，所述图像生成模块，还用于根据虚拟现实眼镜或虚拟现实头盔中的镜片的光学特性，在发送三维虚拟图像至虚拟现实眼镜或虚拟现实头盔之前，对三维虚拟图像进行畸变校正处理。
8.一种医学模拟训练方法，其特征在于，所述方法包括：
采集人体特定部位的三维立体模型数据，并基于采集的三维立体模型数据构建对应的三维虚拟模型对象，存储构建的三维虚拟模型对象；
通过用户所持器械上设置的传感器采集所持器械的实时位置数据和压力数据以及通过该器械作用的三维立体模型中的传感器跟踪采集三维立体模型的位置数据和压力数据；
对采集的位置数据和压力数据进行处理，得到三维立体模型的形状数据以及用户对三维立体模型的操作数据；
根据三维立体模型的形状数据以及用户对三维立体模型的操作数据生成包括模拟操作结果信息的三维虚拟图像；
显示输出三维虚拟图像，供用户查看模拟操作结果；
还包括根据用户的操作数据，记录用户操作错误的次数，对用户的操作进行评分和评级；
所述通过用户所持器械上设置的传感器采集所持器械的实时位置数据和压力数据以及通过该器械作用的三维立体模型中的传感器跟踪采集三维立体模型的位置数据和压力数据包括：
通过位置传感器采集用户所持器械的实时位置数据，并通过位置传感器采集器械作用的三维立体模型的实时位置数据；以及，通过压力传感器采集用户所持器械的实时压力数据，并通过压力传感器采集器械作用的三维立体模型的实时压力数据。
9.根据权利要求8所述的方法，其特征在于，所述根据三维立体模型的形状数据以及用户的操作数据生成包括模拟操作结果信息的三维虚拟图像包括：
根据三维立体模型的形状数据，在预先设定的模型数据库中识别出形状数据对应的三维立体模型，并根据用户对三维立体模型的操作数据，调用三维图像处理库，生成包括模拟操作结果信息的三维图像。
10.根据权利要求8所述的方法，其特征在于，所述采集人体特定部位的三维立体模型数据包括：
采集人体手臂和内脏器官的三维立体模型数据，
用户所持器械包括：虚拟现实手术刀或虚拟现实注射器。
一种医学模拟训练系统和方法
技术领域
背景技术
[0002] 在医学领域，传统的医学模拟训练例如，外科手术实操教学非常简陋，基本达不到临床应用水平，一些医学院校及医院使用模拟器官橡皮进行教学，通过手术录像的演示播放,利用器官实物标本讲解,尸体解剖教学,以及专家手术观摩等形式,针对外科手术培训、手术预演、临床诊断、远程手术、康复治疗等医学辅助等教学环节。
[0003] 这种方法存在有诸多不足：1、模拟器官进行教学,本身橡皮材料易老化,使用过多次后就需要更换,橡皮器官的价格比较高,经常更换教具大大增加了教学成本。2、尸体解剖教学，学生在实验室里通过尸体解剖教学,这种人体解剖教学方式，往往成本极高，且尸体与活体具有较大差距，不能起到使学生完成直观、轻松学习和动手操作。3、专家手术观摩形式,通过视听触觉等多种感官了解和学习各种手术实际操作,对于年轻医生或者实习学生而言,不能亲自操作及与专家操作方法及时进行比对,发现自己的错误和不足,无疑使得培训年轻医务人员浪费大量金钱和时间,不能获得良好的受训效果，也严重地影响了练习效率。
[0004] 综上可知，现有医学模拟训练技术方案，训练成本较高，训练效果不佳并且效率较低。
发明内容
[0005] 本发明提供了一种医学模拟训练系统和方法，以解决现有技术中现有医学模拟训练技术方案，训练成本较高，训练效果不佳并且效率较低的技术问题。
[0006] 根据本发明的一个方面，提供了一种医学模拟训练系统所述系统包括：
[0008] 模型数据库，用于存储三维虚拟模型对象数据；
[0010] 数据处理模块，对传感器追踪模块采集的位置数据和压力数据进行处理，得到三维立体模型的形状数据以及用户对三维立体模型的操作数据，并将三维立体模型的形状数据以及用户对三维立体模型的操作数据输出至图像生成模块；
[0011] 图像生成模块，根据三维立体模型的形状数据以及用户对三维立体模型的操作数据生成包括模拟操作结果信息的三维虚拟图像，将生成的三维虚拟图像发送给显示模块；
[0012] 显示模块，用于显示输出三维虚拟图像供用户查看模拟操作结果。
[0013] 根据本发明的另一方面，提供了一种医学模拟训练方法，方法包括：
[0014] 采集人体特定部位的三维立体模型数据，并基于采集的三维立体模型数据构建对应的三维虚拟模型对象；
[0015] 存储构建的三维虚拟模型对象；
[0016] 通过用户所持器械上设置的传感器采集所持器械的实时位置数据和压力数据以及通过该器械作用的三维立体模型中的传感器跟踪采集三维立体模型的位置数据和压力数据；
[0017] 对采集的位置数据和压力数据进行处理，得到三维立体模型的形状数据以及用户对三维立体模型的操作数据；
[0018] 根据三维立体模型的形状数据以及用户对三维立体模型的操作数据生成包括模拟操作结果信息的三维虚拟图像；
[0019] 显示输出三维虚拟图像，供用户查看模拟操作结果。
[0020] 本发明实施例的有益效果是：本发明实施例的这种医学模拟训练系统和方法，利用虚拟现实技术采集人体特定部位的三维立体模型数据并构建虚拟模型对象，接收用户对三维立体模型的操作数据并通过根据操作数据生成对应的虚拟现实图像，将生成的虚拟现实图像呈现在虚拟现实显示设备中，方便用户观看操作结果。由此，通过在现实空间中操作的器械和操作对象上设置传感器，实时采集用户的操作数据，并制作对应的三维虚拟现实图像，为用户提供模拟触觉感知和模拟视觉感知，提高用户的沉浸感，交互性强。可直接采集操作数据并实时更新，真实反馈操作结果，提高训练效果。满足了医疗教学及操作训练的需要，且简单、高效、易于操作，方便临床推广及普及，具有较高的应用价值。附图说明
[0021] 图1是本发明一个实施例的一种医学模拟训练系统的结构框图；
[0022] 图2是本发明一个实施例的一种静脉注射模拟训练系统的结构框图；
[0023] 图3是本发明一个实施例的一种外科手术模拟训练系统的结构框图；
[0024] 图4是本发明一个实施例的一种医学模拟训练方法的流程图。
具体实施方式
[0025] 虚拟现实(Virtual Reality)技术，也称灵境技术是近年来发展迅速的新技术。虚拟现实是利用计算机模拟产生一个三维空间的虚拟世界，提供用户关于视觉、听觉、触觉等感官的模拟，让用户如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。该技术是利用计算机图形学、人机交互技术、3D建模等一系列计算机相关科学技术，通过对现实空间的模拟，并及时感应人在虚拟环境中的行为(如身体移动、头部转动等)，并对其行为进行及时的反馈，从而最大限度模拟真实的场景。
[0026] 本发明的设计构思在于：将虚拟现实技术应用于医学模拟训练，通过虚拟现实技术，生成虚拟空间的三维图像，并实时采集用户对现实世界中人体特定部位的三维立体模型的操作数据，根据实时操作数据计算操作结果数据，并将操作结果数据与虚拟模型对象叠加，从而生成包括操作结果数据的虚拟图像，并显示输出给用户供用户查看。如此，提供用户视觉和触觉等感官的模拟，让用户如同身历其境一般，及时、没有限制地观察三维空间内的模型对象，提高了医疗训练的效果，并且不需要购买昂贵的训练设备，节省了成本。
[0027] 实施例一
[0028] 图1是本发明一个实施例的一种医学模拟训练系统的结构框图，参见图1，本实施例医学模拟训练系统10包括：
[0029] 对象模型构建模块101，用于采集人体特定部位的三维立体模型数据，并基于采集的三维立体模型数据构建对应的三维虚拟模型对象，将构建的三维虚拟模型对象发送至模型数据库104；
[0030] 模型数据库104，用于存储三维虚拟模型对象数据；
[0031] 传感器追踪模块103，用于通过用户所持器械上设置的传感器采集所持器械的实时位置数据和压力数据，以及通过该器械作用的三维立体模型中的传感器跟踪采集三维立体模型的位置数据和压力数据；
[0032] 数据处理模块102，对采集的数据进行处理，得到三维立体模型的形状数据以及用户对三维立体模型的操作数据，并将三维立体模型的形状数据以及用户对三维立体模型的操作数据输出至图像生成模块105；
[0033] 图像生成模块105，根据三维立体模型的形状数据以及用户对三维立体模型的操作数据生成包括模拟操作结果信息的三维虚拟图像，将生成的三维虚拟图像发送给显示模块106；
[0034] 显示模块106，用于显示输出三维虚拟图像供用户查看模拟操作结果。
[0035] 由图1所示可知，本实施例的基于虚拟现实的医学模拟训练系统，通过采集人体特定部位的三维立体模型数据，并基于采集的三维立体模型数据构建对应的三维虚拟模型对象，将构建的三维虚拟模型对象发送至模型数据库，然后用户可以对模型数据库中的三维虚拟模型对象进行选择，利用虚拟现实技术，当用户在现实世界中操作手术刀等器械对三维立体模型进行操作时，每一步的操作数据都可以通过手术刀等器械上的传感器以及三维立体模型上的传感器采集到，采集到的这些数据被传送到数据处理模块，数据处理模块计算并识别出用户的每一步操作数据(例如，操作力度数据，操作方向数据以及操作的部位的数据等)，然后发送给图像生成单元，图像生成单元根据操作数据生成对应的三维操作结果图像，再通过三维显示器的显示，用户即可看到每一步操作在虚拟模型对象上的操作结果，提高了医疗训练的效果并且降低了训练成本，方便大规模推广应用。
[0036] 在本发明的一个实施例中，图像生成模块105，具体用于根据三维立体模型的形状数据，在预先设定的模型数据库中识别出形状数据对应的三维立体模型，并根据用户对三维立体模型的操作数据，调用三维图像处理库，生成包括模拟操作结果信息的三维图像。
[0037] 在本发明的一个实施例中对象模型构建模块101，用于采集人体手臂和内脏器官的三维立体模型数据，并基于采集的人体手臂和内脏器官的三维立体模型数据构建人体手臂对应的三维虚拟模型对象，以及各内脏器官对应的三维虚拟模型对象。
[0038] 在本发明的一个实施例中用户所持器械包括：虚拟现实手术刀或虚拟现实注射器，传感器追踪模块103，用于通过位置传感器采集用户所持器械的实时位置数据，并通过位置传感器采集器械作用的三维立体模型的实时操作位置数据；以及，通过压力传感器采集用户所持器械的实时压力数据，并通过压力传感器采集器械作用的三维立体模型的实时压力数据。
[0039] 在本发明的一个实施例中，显示模块106中设置有摄像头，用于追踪用户眼球运动，或者，显示模块中设置有加速度传感器，用于实时采集用户头部运动数据跟踪用户的头部运动，并根据眼球运动或者头部运动实时确定用户的视点，
[0040] 当接收到图像生成模块105发送的三维虚拟图像时，根据实时确定出的用户的视点，调整三维虚拟图像的显示输出位置。在本发明的一个实施例中显示模块106为虚拟现实眼镜或虚拟现实头盔。
[0041] 在本发明的一个实施例中，图像生成模块105还用于根据虚拟现实眼镜或虚拟现实头盔中的镜片的光学特性，在发送三维虚拟图像至虚拟现实眼镜或虚拟现实头盔之前，对三维虚拟图像进行畸变校正。
[0042] 以下结合两个具体的应用场景对本发明的这种基于虚拟现实的医学模拟训练系统结构进行具体说明。这两个具体的应用场景分别为：外科手术的模拟训练和护理静脉注射模拟训练。
[0043] 实施例二
[0044] 本实施例中提供了基于虚拟现实的护理静脉注射模拟训练，具体的，基于虚拟现实的静脉注射模拟训练系统应用时需要用到如下工具：
[0045] 静脉注射模拟训练手臂三维立体模型，即，用户操作的对象；
[0046] 注射器，即，用户所持器械；
[0047] 计算机，计算机用于模型数据存储以及数据处理，图像生成，数据传输等；
[0048] VR显示设备(例如VR眼镜)，用于显示虚拟现实三维图像。
[0049] 基于虚拟现实的静脉注射模拟训练系统实现的原理是：在手臂三维立体模型内模拟血管(或肌肉注射区域)布置传感器，采集手部血管走势动态数据，对采集的数据进行集中存储。本实施例中可以对手部血管走势动态数据按照不同年龄段分类，对采集的数据进行集中存储，构建完整手臂生理代谢模型数据库，将模型中肌肉注射区域及重要血管设置传感器，所有的传感器一经触碰，将采集到的数据传至VR眼镜中，然后通过编程实现虚拟注射操作的对象模型，操作者通过佩戴3D眼镜在虚拟现实空间内对手臂模型进行静脉注射模拟，除此之外，皮肤组织脂肪层厚薄、血管粗细也可自由在模型数据库中切换，通过传感器所相连的触觉，向VR眼镜真实反馈静脉(肌肉)注射效果。本发明实施例的技术方案沉浸感强、交互性强，且简单、高效、易于操作。
[0050] 图2是本发明一个实施例的一种静脉注射模拟训练系统的结构框图，参见图2，本实施例的静脉注射模拟训练系统20包括：
[0051] 对象模型构建单元201，利用虚拟现实技术采集手臂三维立体模型数据，设定一个符合情况的虚拟三维手臂模型，存入对象模型构建单元201所运行的计算机中用于模拟操作。另外，实际应用过程中还可以将3D模型提供给3D应用程序界面，用于静脉(肌肉)注射方案的设计。
[0052] 数据处理单元202，用于处理数据传输单元204传来的数据，并获取其中的信息：例如：用户视点信息Viewport，操作对象位置信息Position，动作信息Motion，将识别出的信息传递给图像生成单元203进行三维虚拟图像的生成，根据相应的注射操作生成虚拟场景。
[0053] 其中，视点信息Viewport，可通过如下方式采集：在VR头戴设备中设置有摄像头进行用户眼球运动的追踪，根据眼球的运动确定出用户的视点。
[0054] 当用户佩戴该VR头戴设备处于静脉注射模拟训练虚拟场景时，利用人体手臂模型上的传感器感应、注射器上的传感器感应识别用户的动作，将动作指令传输到计算机的数据处理单元中。
[0055] 图像生成单元203，接收数据处理单元202发送的视点信息、位置信息、运动信息等，并对信息进行处理，提取出用户操作的三维立体模型的形状(物体轮廓)信息，而后在预先设定的模型数据库中识别出该物体形状信息对应的物体模型数据，并调用3D图像处理库(例如，OpenGL或者Direct3D)，进行三维模型的构建和三维图像的生成渲染。
[0056] OpenGL(Open Graphics Library)是指定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口，它用于三维图像(二维的亦可)，是一个功能强大，调用方便的底层图形库。
[0057] Direct 3D是基于微软的通用对象模式COM(Common Object Mode)的3D图形API，可绕过图形显示接口(GDI)直接进行支持该API的各种硬件的底层操作，提高运行速度，适合多媒体、娱乐、即时3D动画等广泛和实用的3D图形计算。
[0058] 数据传输单元204，实时接收对象传感追踪单元206发送的信息，并传送到数据处理单元202处理，跟踪注射器(注，这里的注射器即为设备接入单元中的设备，即，注射器需要接入到计算机中并与数据传输单元通信，以将注射器中的传感器数据传输给数据传输单元，使得数据传输单元将这些信息发送给数据处理单元)的操作信息，传到数据处理单元进行处理，供生成三维虚拟图像。
[0059] 数据处理单元可设置在计算机中，该计算机提供设备接入接口方便注射器和三维立体模型中对象传感器追踪单元206传输数据。
[0060] 对象传感器追踪单元206，设置在手臂三维立体模型和注射器中，实际操作时，由于手臂三维立体模型和注射器分布多个传感器，一旦注射器插入手臂三维立体模型上的血管，数据处理单元根据注射器中传感器以及手臂三维立体模型传感器提供的信息确定用户当前操作是否正确，如果用户当前的操作不正确，则将当前操作数据传至VR显示设备后，VR显示设备立即呈现血管破裂出血，红肿的三维虚拟图像，达到最真实注射模拟效果。此外，可以将各种形态手臂模拟效果数据存储至计算机的模型数据库当中，供用户练习时备用。
[0061] 这里的传感器包括：位置传感器和压力传感器，实际应用时，通过位置传感器采集用户所持器械的实时位置数据，并通过位置传感器采集器械作用的三维立体模型的实时操作位置数据；以及，通过压力传感器采集用户所持器械的实时压力数据，并通过压力传感器采集器械作用的三维立体模型的实时压力数据。
[0062] 显示单元207，用于接收图像生成单元203生成的3D图像数据并显示在显示设备中，例如VR眼镜，用户通过佩戴VR眼镜在虚拟现实互动操作平台上可查看操作模拟效果；这里的VR眼镜可替换为VR头盔，对此不做限制。
[0063] 可选地，本实施例的基于虚拟现实的静脉注射模拟训练系统还包括：验证单元205，验证单元根据用户的操作数据，记录用户操作错误的次数，然后对用户的操作进行按照模型数据库中设定的权重赋值和量化考评信息对用户的操作进行评分和评级，供后续查看和参考，提高操作成功率。
[0064] 本发明实施例的基于虚拟现实技术的静脉注射模拟训练系统的具体工作过程包括：
[0065] 启动基于虚拟现实技术的静脉注射模拟训练系统，进入初始化工作，用户可以选择操作对象(即，具体的人体手臂模型)。
[0066] 步骤201：用户拿起注射器进行操作，对象传感器追踪单元206传入位置信息和动作信息，实时感应，数据处理单元202进行手势识别等工作，根据识别出的相应操作，通知图像生成单元203生成三维图像。
[0067] 步骤202：在注射操作过程中，对象传感器追踪单元207与数据传输单元204进行交互跟踪注射操作得到注射操作信息，并传到数据处理单元202进行处理。此外，还可以将所采集到的数据周期性发送更新请求至对象传感器追踪单元207，从而从对象传感器追踪单元207中获取最新的数据，以采集用户的动作指令，精准收集用户操作信息。
[0068] 步骤203：数据处理单元202处理数据传输单元204传来的数据，并在用户对现实空间中的手臂三维立体模型执行注射操作后，图像生成单元203启动计算机中的虚拟环境子程序及调用手臂三维虚拟模型的数据，使三维虚拟模型对操作者的动作指令进行及时反馈，从而将模拟注射操作结果呈现于用户眼前。
[0069] 步骤204：经过模拟注射操作完成后，根据记录的操作的总次数以及操作错误的次数对模拟注射操作进行评价，打出参考分值。
[0070] 与现有的静脉注射模型相比，本实施例具有可重复利用率高、成本低，静脉模拟度高、静脉穿刺模拟结果直观的优点，解决了护士等医务人员静脉穿刺学习机会少，操作不熟练等问题。降低了教学成本和医疗风险，节约了培训资源，提高教学质量，且简单、高效、易于操作，方便临床推广及普及，具有较高的应用价值及意义。
[0071] 实施例三
[0072] 本实施例中提供了基于虚拟现实的外科手术模拟训练系统。具体的，基于虚拟现实的外科手术模拟训练系统应用时需要用到如下工具：
[0073] (1)虚拟现实VR手术刀(可选地还包括手术手套)，这里VR手术刀包含传感器，可以利用传感器进行数据采集和动作感应，以进行手势识别，识别出用户的手术动作。这里的传感器包括：位置传感器和压力传感器，实际应用时，通过位置传感器采集用户所持器械的实时位置数据，并通过位置传感器采集器械作用的三维立体模型的实时操作位置数据；以及，通过压力传感器采集用户所持器械的实时压力数据，并通过压力传感器采集器械作用的三维立体模型的实时压力数据。
[0074] (2)手术对象(即人体特定器官三维立体模型)，系统可以预先设定人体三维立体模型数据，供用户选择人体器官立体模型作为手术对象，并且在该模型器官的主要位置以及各大血管分布多个传感器。如此，在用户操作过程中，一旦手术刀触碰到某个血管，则传感器将发送感应信息到数据处理单元进行进一步的数据分析处理。
[0075] (3)计算机，计算机用来实现模型数据存储以及数据处理，图像生成，数据传输等功能；
[0076] (4)VR显示设备(例如VR眼镜或VR头盔)，用于显示虚拟现实三维图像。
[0077] 本发明将虚拟技术应用于外科手术模拟训练具有三大优点：第一，真实呈现生理代谢动态过程，调节不同年龄段器官代谢数据速率，高度模拟外科手术现场。第二，实时反馈手术进展，利用模型感技术感应操作者的手术结果，真实反馈手术过程，为操作者奠定良好的实操技术，提高手术成功率。第三，降低临床手术教学成本。
[0078] 图3是本发明一个实施例的一种外科手术模拟训练系统的结构框图，参见图3，该外科手术模拟训练系统30包括：
[0079] 视点确定单元301，这里的视点确定单元包括两个子单元，分别是眼球运动跟踪确定视点子单元和头部运动跟踪确定视点子单元，在虚拟现实显示设备中，例如，VR头盔中设置摄像头，利用摄像头进行眼球追踪，根据用户眼球的实时运动数据确定用户当前的视点；或者，在VR头盔中设置摄像头以及特定的传感器(例如，加速度传感器)，进行头部运动位置追踪，从而确定视点。需要说明的是，本实施例的确定视点的方式可以采用现有技术来实现，因而有关如何确定视点的更详细的实现方式本实施例中不再重复说明，可参见现有技术中的相关描述。
[0080] 手术对象模型302，这里的手术对象模型是计算机中的图像处理单元根据用户选择的人体器官立体模型对应生成的。例如，用户在现实空间中选择了一个肺器官模型进行外科手术，则，本实施例的基于虚拟现实的外科手术模拟训练系统中的图像生成单元从手术模型数据库中选择对应的肺器官的模型数据，构建三维虚拟模型，并呈现在虚拟现实显示设备中。
[0081] 手部动作采集单元303，这里的手部动作采集单元即利用手术刀或手术手套上的传感器完成用户手部动作的采集，例如，用户手部当前所处的位置，用户操作的方向信息，力度信息等，根据这些信息以及人体特定部位的三维立体模型中的传感器采集的信息即可确定出用户操作的手术对象模型的位置。接上例，用户当前对肺器官进行外科手术，则在现实空间中的三维立体肺器官模型上的传感器采集用户所持手术刀是否接触了该肺部器官上的血管，如果有接触，则传感器能够立即采集到这一数据并将这一操作数据发送给数据处理单元，然后数据处理单元进行数据后发送给图像生成单元，图像生成单元根据用户对血管的操作，生成相应的虚拟现实三维图像，呈现在用户眼前。
[0082] 手术模型数据库304，在手术模型数据库中存储有各种人体特定部位的器官模型数据，供用户选择。
[0083] 数据处理单元305，数据处理单元利用器官(如，肺部)模型中分布的多个传感器以及手术刀上分布的传感器传输的数据进行数据分析处理。一旦手术刀触碰到传感器相应位置，根据传感器提供的信息确定当前手术操作是否正确，传感器感应到的数据传至该数据处理单元进行数据分析：例如，一旦触碰到肺部血管，数据处理单元获知触碰到血管的操作数据，发送给图像生成单元，图像生成单元生成血管破裂的三维图像并发送给显示单元呈现。
[0084] 图像生成单元306，用于生成三维虚拟器官模型，并根据数据处理单元305发送的数据生成和渲染相应的三维虚拟图像。
[0085] 另外，由于VR头戴设备中镜片的光学特性(均为凹透镜，显示时会产生图像畸变)，本实施例中图像生成单元306对生成的图像进行畸变处理，即在将生成的三维虚拟图像发送给显示单元前对图像进行畸变校正，以达到预期显示效果。
[0086] 虚拟现实显示单元307，用于对图像生成单元306生成的三维虚拟图像进行显示，用户通过佩戴该虚拟现实显示单元307看到真实操作的模拟操作效果和VR手术场景。
[0087] 本发明实施例的基于虚拟现实技术的外科手术模拟训练系统的具体工作过程包括：
[0088] 步骤301：用户戴上VR头戴设备，拿起手术刀。
[0089] 步骤302：计算机中的图像处理单元根据现实空间中的手术对象生成对应的手术虚拟模型图像传入VR显示设备。
[0090] 步骤303：用户进行手术操作，进行手术动作识别。
[0091] 步骤304：VR头戴设备判定用户头部位置或对用户的眼球进行追踪，确定视点。
[0092] 步骤305：手术操作过程中，手术刀和人体立体三维模型上的传感器感应用户所持手术刀对手术对象的手术切割点，并进行反馈。
[0093] 步骤306：根据反馈的信息进行三维图像生成后传入VR头戴设备显示。
[0094] 至此，本实施例的基于虚拟现实技术的外科手术模拟训练系统通过虚拟现实技术提供视觉、触觉模拟感知，模拟真实的手术操作，交互性强。降低了教学成本和医疗风险，节约了医疗培训资源，提高了教学质量，并且简单、高效、易于操作，方便推广普及。
[0095] 实施例四
[0096] 图4是本发明一个实施例的一种医学模拟训练方法的流程图。参见图4，本实施例的基于虚拟现实的医学模拟训练方法包括如下步骤：
[0097] 步骤S401，采集人体特定部位的三维立体模型数据，并基于采集的三维立体模型数据构建对应的三维虚拟模型对象，存储构建的三维虚拟模型对象；
[0098] 步骤S402，通过用户所持器械上设置的传感器采集所持器械的实时位置数据和压力数据以及通过该器械作用的三维立体模型中的传感器跟踪采集三维立体模型的位置数据和压力数据；
[0099] 步骤S403，对采集的位置数据和压力数据进行处理，得到三维立体模型的形状数据以及用户对三维立体模型的操作数据；
[0100] 步骤S404，根据三维立体模型的形状数据以及用户对三维立体模型的操作数据生成包括模拟操作结果信息的三维虚拟图像；
[0101] 步骤S405，显示输出三维虚拟图像，供用户查看模拟操作结果。
[0102] 在本发明的一个实施例中，步骤S404，根据三维立体模型的形状数据以及用户的操作数据生成包括模拟操作结果信息的三维虚拟图像包括：
[0103] 根据三维立体模型的形状数据，在预先设定的模型数据库中识别出形状数据对应的三维立体模型，并根据用户对三维立体模型的操作数据，调用三维图像处理库，生成包括模拟操作结果信息的三维图像。
[0104] 在本发明的一个实施例中，步骤S401，采集人体特定部位的三维立体模型数据包括：
[0105] 采集人体手臂和内脏器官的三维立体模型数据，
[0106] 用户所持器械包括：虚拟现实手术刀或虚拟现实注射器，
[0107] 通过用户所持器械上设置的传感器以及该器械作用的三维立体模型中的传感器跟踪采集用户对三维立体模型的操作数据包括：
[0108] 通过位置传感器采集用户所持器械的实时位置数据，并通过位置传感器采集器械作用的三维立体模型的实时操作位置数据；以及，通过压力传感器采集用户所持器械的实时压力数据，并通过压力传感器采集器械作用的三维立体模型的实时压力数据。
[0109] 在本发明的一个实施例中，图4所示方法进一步包括：追踪用户眼球运动，或者，实时采集用户头部运动数据跟踪用户的头部运动，并根据眼球运动或者头部运动实时确定用户的视点，当接收到三维虚拟图像时，根据实时确定出的用户的视点，调整三维虚拟图像的显示输出位置。
[0110] 显示输出三维虚拟图像包括通过虚拟现实眼镜或虚拟现实头盔显示输出三维虚拟图像。
[0111] 在本发明的一个实施例中步骤S404，根据三维立体模型的形状数据以及用户的操作数据生成包括模拟操作结果信息的三维虚拟图像还包括：根据虚拟现实眼镜或虚拟现实头盔中的镜片的光学特性，在发送三维虚拟图像至虚拟现实眼镜或虚拟现实头盔之前，对三维虚拟图像进行畸变校正。
[0112] 综上所述，本实施例的医学模拟训练方法，利用虚拟现实技术采集人体特定部位的三维立体模型数据并构建虚拟模型对象，接收用户对三维立体模型的操作数据并通过根据操作数据生成对应的虚拟现实图像，将生成的虚拟现实图像呈现在虚拟现实显示设备中，方便用户观看操作结果。由此，通过在现实空间中操作的器械和操作对象上设置传感器，实时采集用户的操作数据，并制作对应的三维虚拟现实图像，为用户提供模拟触觉感知和模拟视觉感知，提高用户的沉浸感，交互性强。可直接采集操作数据并实时更新，真实反馈操作结果，提高训练效果。满足了医疗教学及操作训练的需要，且简单、高效、易于操作，方便临床推广及普及，具有较高的应用价值。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于AR智能眼镜的局部图像识别方法及系统 | 2020-05-16 | 298 |
| 一种厨房中的安全预警方法和烟灶系统 | 2020-05-22 | 722 |
| 虚拟现实眼镜 | 2020-05-20 | 852 |
| 一种头戴式助视装置 | 2020-05-08 | 555 |
| 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 | 2020-05-12 | 224 |
| 一种车载问答方法、系统、车辆及存储介质 | 2020-05-19 | 729 |
| 一种基于增强现实与数据分析的护眼系统 | 2020-05-24 | 686 |
| 一种头戴式眼动追踪装置 | 2020-05-17 | 908 |
| 一种障碍人员眼控的多功能轮椅 | 2020-05-11 | 484 |
| 显示装置以及虚拟现实显示系统 | 2020-05-14 | 52 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
眼球追踪摄像头热门专利
QQ群二维码
意见反馈
意见反馈