技术领域
[0001] 本
发明涉及对
力反馈机构的实时控制，特别是涉及一种使用Unity引擎实时控制力反馈装置参数的方法和系统。
背景技术
[0002] 虚拟医疗模拟技术是当前医疗领域非常重要的一个方面，这种技术正在逐渐成为连接医学生的理论知识与临床手术的纽带。由于成本以及
风险等因素，医学生很多时候无法真正地体验手术过程。而虚拟医疗技术由于具有极高的复用性和、灵活性和拟真性，恰到好处地填补了这一空白。在操作过程中，力学交互体验是其中至关重要的一环，决定了操作手感的真实性，与医学生的训练效果密切相关。
[0003] 目前的医疗模拟
软件均使用固定场景的模式，即通过图像引擎，配合力反馈设备程序
接口进行模拟手术场景的搭建。这种场景一般是固定的、单向交互的，用户可以通过力反馈球触碰场景中的物体，而无法对场景中的物体进行实时添加、
修改等操作。进行力反馈交互的物体一般都具备硬度、动静
摩擦力、穿透力等参数，如果不能动态实时调整，则会给模拟手术带来非常大的局限性。
发明内容
[0004] 鉴于上述问题，提出了本发明，以便提供一种解决上述问题的使用Unity引擎实时控制力反馈装置参数的方法和系统。
[0005] 在本发明的一个
实施例中，提供了一种使用Unity引擎实时控制力反馈装置参数的方法，应用于医疗模拟中，所述方法包括：
[0006] 步骤S1、初始所述化力反馈系统，包括用于储存力反馈物体信息的类型初始化、GL部分的初始化、OpenHaptics环境初始化、所述力反馈设备两个按键的按下、抬起回调函数初始化和所述力反馈设备移动回调函数的初始化；
[0007] 步骤S2、平铺所述力反馈设备空间，对所述力反馈设备平铺空间的设置，即所述力反馈设备物体空间在Unity3D引擎中的映射方式，传入的参数为由左/右/上/下/前/后距离围成的包络盒、平铺空间的中心点三维矢量、平铺空间的三个旋转欧拉
角；
[0008] 步骤S3、进行体感
渲染，从所述力反馈物体信息列表读取数据，异步添加、更新或删除所述力反馈物体信息，在力反馈开始
帧与力反馈结束帧之间对各所述力反馈物体进行渲染；
[0009] 步骤S4、结束渲染帧；
[0010] 步骤S5、判断是否渲染结束；
[0011] 步骤S6、若步骤S5中判断所述渲染未结束，则返回到步骤S3中；
[0012] 步骤S7、若步骤S5中判断所述渲染结束，则清除数据。
[0013] 进一步的，其中所述力反馈物体信息的类型包括：模型型物体、线型物体、恒力型作用力、
弹簧力型作用力、粘滞型作用力、全局摩擦力型作用力。
[0014] 进一步的，其中所述进行体感渲染，包括开启体感渲染帧、结束体感渲染帧、事件检查、渲染模型型物体、渲染线型物体、渲染恒力型作用力、渲染弹簧型作用力、渲染粘滞型作用力、渲染全局摩擦力型作用力。
[0015] 进一步的，其中所述从力反馈物体信息列表读取数据，异步添加、更新或删除所述力反馈物体信息之后还包括，用于将Unity3D中定义的所述力反馈物体信息传入力反馈物体信息列表。
[0016] 在本发明的另一个实施例中，还提供了一种使用Unity引擎实时控制力反馈装置参数的系统，应用于医疗模拟中，所述系统包括：
[0017] 初始化模
块，用于初始化所述力反馈系统，包括用于储存力反馈物体信息的类型初始化、GL部分的初始化、OpenHaptics环境初始化、力反馈设备两个按键的按下、抬起回调函数初始化和力反馈设备移动回调函数的初始化；
[0018] 设置模块，用于平铺所述力反馈设备空间，对力反馈设备平铺空间的设置，即力反馈设备物体空间在Unity3D引擎中的映射方式，传入的参数为由左/右/上/下/前/后距离围成的包络盒、平铺空间的中心点三维矢量、平铺空间的三个旋转欧拉角；
[0019] 渲染模块，用于进行体感渲染，从力反馈物体信息列表读取数据，异步添加、更新或删除所述力反馈物体信息，在力反馈开始帧与力反馈结束帧之间对各所述力反馈物体进行渲染；
[0020] 判断模块，判断是否渲染结束；
[0021] 返回模块，用于判断所述渲染未结束时返回到所述渲染模块；
[0022] 清除模块，用于判断所述渲染结束时清除数据。
[0023] 进一步的，其中所述初始化模块中的所述力反馈物体信息的类型包括：模型型物体、线型物体、恒力型作用力、弹簧力型作用力、粘滞型作用力、全局摩擦力型作用力。
[0024] 进一步的，其中所述渲染模块中的所述进行体感渲染，包括开启体感渲染帧、结束体感渲染帧、事件检查、渲染模型型物体、渲染线型物体、渲染恒力型作用力、渲染弹簧型作用力、渲染粘滞型作用力、渲染全局摩擦力型作用力。
[0025] 进一步的，还包括输入模块，用于将Unity3D中定义的所述力反馈物体信息传入力反馈物体信息列表。
[0026] 本发明实施例提供的技术方案，通过Unity3D引擎与用户的交互，通过实时监测的方式，将用户操作参数传递到力反
馈线程中，实现了对力反馈装置参数的实时修改，而非传统力反馈控制的单次参数传递，之后用户就不允许再对体感物体参数进行修改，提高了力反馈在医教模拟中的灵活性与体验效果。
附图说明
[0027] 为了更清楚地说明本发明实施例或
现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028] 图1为本发明一实施例提供的力反馈系统的结构示意图；
[0029] 图2为本发明一实施例提供的使用Unity引擎实时控制力反馈装置参数的方法的流程示意图；
[0030] 图3为本发明一实施例提供的模型型力反馈物体穿透事件的流程示意图；
[0031] 图4为本发明一实施例提供的使用Unity引擎实时控制力反馈装置参数的系统的结构示意图。
具体实施方式
[0032] 为使本
申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0033] 在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附
权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
[0034] 应当理解，尽管在本申请实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。
[0035] 取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于监测”。类似地，取决于语境，短语“如果确定”或“如果监测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当监测(陈述的条件或事件)时”或“响应于监测(陈述的条件或事件)”。
[0036] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
[0037] 实施例1
[0038] 本发明使用Unity引擎结合GeomagicTouch力反馈装置的OpenHaptics接口，通过本地
插件的形式，提出了实现模拟手术场景的双向交互，让用户可以动态添加、删除场景中的力反馈物体、修改力反馈物体参数、修改体感设备映射空间，让手术模拟过程更加真实和灵活。
[0039] 如图1所示，为解决上述问题，本发明包括下述三个主要模块(下称模块①②③)：①C++端类库文件，提供力反馈球的函数接口，供Unity端调用。同时保存Unity场景中的同步过的体感物体信息；②Unity端C#文件，以本地插件的方式调用C++类库，负责开启线程、力反馈初始化、动态添加、删除、修改体感物体等操作，对C++端类库进行二次封装，方便后续在Unity中进行调用；③Unity端C#文件，用于响应用户操作，实现对力反馈物体的实时修改。
[0040] 各模块的具体包含如下功能：
[0041] 模块①：定义了用于存储力反馈
基础信息的类，包括力反馈球的上下文句柄、三位
位置信息、旋转四元数、两个按键的按下状态、当前作用力三维矢量；
[0042] 定义了用于储存力反馈物体的信息的类型，包括模型型物体、线型物体、恒力型作用力、弹簧力型作用力、粘滞型作用力、全局摩擦力型作用力。
[0043] 定义了用于储存力反馈物体信息的列表类，以列表的形式储存以上力反馈物体的信息；
[0044] 实现了力反馈环境的初始化，包括上述用于储存信息的类初始化，GL部分的初始化、OpenHaptics环境初始化、力反馈设备两个按键的按下、抬起回调函数初始化和力反馈设备移动回调函数的初始化。
[0045] 实现了对力反馈设备平铺空间的设置，即力反馈设备物体空间在Unity3D引擎中的映射方式；
[0046] 实现了对不同类型体感物体的添加、更新、删除方法，用于将Unity3D中定义的力反馈物体信息传入力反馈物体信息列表；
[0047] 实现了力反馈作用流程，包括开启体感渲染帧、结束体感渲染帧、事件检查、渲染模型型物体、渲染线型物体、渲染恒力型作用力、渲染弹簧型作用力、渲染粘滞型作用力、渲染全局摩擦力型作用力；
[0048] 另外实现了C++端在Unity3D引擎中的调试输出文本功能，方便在Unity端进行实时数据的输出。
[0049] 模块②：定义了C++类库在Unity3D引擎中的函数接口，实现了C++与C#跨语言的交流；
[0050] 定义了某一帧中，对力反馈物体添加、删除的行为列表；
[0051] 与C++类库类似，定义了力反馈物体的信息类及列表；
[0052] OpenHaptics接口无法在Unity主线程中进行调用，否则会堵塞。因此本发明实现了独立的体感线程，使用函数接口对C++类库进行调用，从而实现对力反馈设备的控制。实现了对体感线程的安全关闭，关闭后清除OpenHaptics句柄及相关的力反馈物体信息。
[0053] 模块③：实现了Unity3D引擎中的
用户界面控制，实时改变力反馈物体的信息类及列表，由模块②传到至力反馈线程中，自此实现了用户与力反馈球的实时控制。
[0054] 参照图1，本发明提供了一种用户实时控制力反馈体感物体添加、移除及更新的方式，共分为三个主要模块，下面对各模块进行进一步的解释和说明：
[0055] 模块①参照图2，定义了以下几种类型：
[0056] 用于存储模型类力反馈物体信息的类型，包括力反馈物体编号、图形ID、模型
顶点位置信息、模型顶点数量信息、模型拓扑结构信息、模型拓扑三角形数量、材质硬度、硬度衰减、粗糙程度(静摩擦力)、粗糙程度(动摩擦力)、穿透模型所需作用力、力反馈作用面(
正面受力或
反面受力)、是否正在渲染的标志；
[0057] 用于储存线型力反馈物体信息的类型，包括力反馈物体编号、图形ID、线段顶点位置信息、线型物体吸引距离、材质硬度、硬度衰减、粗糙程度(静摩擦力)、粗糙程度(动摩擦力)、离开线段所需作用力、是否正在渲染的标志；
[0058] 用于储存恒力型作用力信息的类型，包括力反馈物体编号、图形ID、恒力强度、恒力方向三维矢量、是否正在渲染的标志；
[0059] 用于储存弹簧力型作用力信息的类型，包括力反馈物体编号、图形ID、弹簧力强度、弹簧力作用
频率、弹簧力位置三维矢量、是否正在渲染的标志；
[0060] 用于储存粘滞力型作用力信息的类型，包括力反馈物体编号、图形ID、粘滞力强度、粘滞力作用频率、是否正在渲染的标志；
[0061] 用于储存全局摩擦力型作用力的类型，包括力反馈物体编号、图形ID、摩擦力强度、摩擦力作用频率、是否正在渲染的标志；
[0062] 用于储存以上类型实例的列表。
[0063] 实现了以下几种功能：
[0064] 以上类型实例化、更新、移除的方法，供模块②外部调用，实现了力反馈物体的参数的传递。其中实例化、更新方法需要由模块②Unity端传递相应类型的各参数，而移除对象实例需要由模块②Unity端传递力反馈物体编号，在力反馈物体列表中进行遍历和移除。
[0065] 力反馈环境的初始化，包括上述用于储存信息的类初始化，GL部分的初始化、OpenHaptics环境初始化、力反馈设备两个按键的按下、抬起回调函数初始化和力反馈设备移动回调函数的初始化。
[0066] 对力反馈设备平铺空间的设置，即力反馈设备物体空间在Unity3D引擎中的映射方式，传入的参数为由左/右/上/下/前/后距离围成的包络盒、平铺空间的中心点三维矢量、平铺空间的三个旋转欧拉角，实现了在Unity引擎中传入一个位置信息，就可以便利地重新平铺力反馈空间。
[0067] 实现了对不同类型体感物体的添加、更新、删除方法，用于将Unity3D中定义的力反馈物体信息传入力反馈物体信息列表。
[0068] 实现了力反馈作用流程，包括开启体感渲染帧、结束体感渲染帧、事件检查。渲染模型型物体、渲染线型物体、渲染恒力型作用力、渲染弹簧型作用力、渲染粘滞型作用力、渲染全局摩擦力型作用力，在渲染时，遍历力反馈物体列表，依次进行渲染。
[0069] 模块②实现功能如下：开启力反馈线程后，在该线程中，首先进行初始化工作，然后设置力反馈平铺空间映射，在Unity每一帧结束后，对行为列表进行遍历，异步添加或删除力反馈物体。最后在力反馈开始帧与力反馈结束帧之间对各力反馈物体进行渲染及各种事件的检查。其中，在力反馈加入到场景或从场景中移除时，都要加入用于存储当前帧的行为列表中去，以便力反馈线程根据列表在C++端进行体感物体的添加与移除。由于OpenHaptics中的接口未实现模型型力反馈物体的穿透事件，而穿透事件在医学模拟中会频繁的用到。因此本发明在Unity中对其进行实现。
[0070] 参照图3，穿透事件需要在每一帧检测与设备位置与模型中最近三角形的距离关系，因此需要在Update函数中获得与设备位置最近的模型中的三角形，并进行位置计算。当模型较为复杂时，性能消耗较大，直接对模型三角形进行遍历不可行，故使用了以下步骤进行分析：
[0071] 在凸多面
体模型中，离设备位置最近的三角形一定是与和设备位置最近的顶点相连的，不满足该条件的多面体模型较为特殊不予考虑。找到最近的顶点，再找到与其相邻的三角形，完成对模型三角形的初步筛选。找相邻三角形的过程中，如果使用遍历的方法性能也会有问题，因此需要对多面体模型的三角形顶点进行排序，将顶点的序号从小到大排列，再通过二分法，就可以快速找到相应的三角形。一个顶点有可能对应多个三角形，因此单纯使用二分法不足以找到所有三角形，需要在二分法找到的序号附近进行二次筛选，直到找到所有顶点相邻的三角形。然后对与最近顶点相邻的三角形进行遍历，确定设备位置悬浮于哪个三角形之上。最后，监听这个三角形与设备位置的相对关系，并触发相应的事件，如在面的正面、背面、穿透、触摸等事件。其中由于
精度的转换问题，在实现时使用了
阈值这一参数，只要三角形与设备位置的距离小于该阈值，则判断为正在与模型型体感物体
接触。
[0072] 模块③实现功能如下：结合了Unity自带UGUI，根据模块②中的力反馈物体列表，读取力反馈物体数据，显示到场景画布上，并根据力反馈物体的类型，实例化相应的用户界面预制。用户可以通过拖动条、按钮等方式，改变拖动条数值，在该步骤中，将拖动条、按钮与模块②中的力反馈物体列表根据序号的方式相结合起来。由于模块②会在每一帧自动更新力反馈物体的参数，因此模块③至此可以实现对力反馈物体参数的实时控制。
[0073] 在另一个实施例中，使用Unity引擎实时控制力反馈装置参数的系统，所述系统包括：
[0074] 初始化模块，用于初始化所述力反馈系统，包括用于储存力反馈物体信息的类型初始化、GL部分的初始化、OpenHaptics环境初始化、力反馈设备两个按键的按下、抬起回调函数初始化和力反馈设备移动回调函数的初始化；
[0075] 设置模块，用于平铺所述力反馈设备空间，对力反馈设备平铺空间的设置，即力反馈设备物体空间在Unity3D引擎中的映射方式，传入的参数为由左/右/上/下/前/后距离围成的包络盒、平铺空间的中心点三维矢量、平铺空间的三个旋转欧拉角；
[0076] 渲染模块，用于进行体感渲染，从力反馈物体信息列表读取数据，异步添加、更新或删除所述力反馈物体信息，在力反馈开始帧与力反馈结束帧之间对各所述力反馈物体进行渲染；
[0077] 判断模块，判断是否渲染结束；
[0078] 返回模块，用于判断所述渲染未结束时返回到所述渲染模块；
[0079] 清除模块，用于判断所述渲染结束时清除数据。
[0080] 进一步的，其中所述初始化模块中的所述力反馈物体信息的类型包括：模型型物体、线型物体、恒力型作用力、弹簧力型作用力、粘滞型作用力、全局摩擦力型作用力。
[0081] 进一步的，其中所述渲染模块中的所述进行体感渲染，包括开启体感渲染帧、结束体感渲染帧、事件检查、渲染模型型物体、渲染线型物体、渲染恒力型作用力、渲染弹簧型作用力、渲染粘滞型作用力、渲染全局摩擦力型作用力。
[0082] 进一步的，还包括输入模块，用于将Unity3D中定义的所述力反馈物体信息传入力反馈物体信息列表。
[0083] 上述实施例提供一种解决上述问题的使用Unity引擎实时控制力反馈装置参数的方法和系统，通过Unity3D引擎与用户的交互，通过实时监测的方式，将用户操作参数传递到力反馈线程中，实现了对力反馈参数的实时修改，而非传统力反馈控制的单次参数传递，之后用户就不允许再对体感物体参数进行修改，提高了力反馈在医教模拟中的灵活性与体验效果。
[0084] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
[0085] 上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
