技术领域
[0001] 本
发明涉及模拟医疗教学领域，具体涉及一种基于动作捕捉的听诊训练系统。
背景技术
[0002] 对病人实施体格检查是医生诊治病人的一项非常重要的基本环节，医生在采集完病人病史的
基础之上实施的体格检查，是医生验证病人症状、获取病人体征的重要来源，因此，全面、完整、正确的实施体格检查才能使得临床医生做出正确的诊断，从而因病施治极为重要。
[0003] 医学生向医生
角色转变的过程中，医学见习是非常重要的一环，体格检查是医师临床工作的基本功，体格检查训练是临床医学教育的重要环节。听诊操作常用于内科病症检查，如心脏、
肺部等处，由于心脏、肺等内部器官结构复杂，杂音产生机理也很复杂，听诊内容多，所以对听诊操作的准确性要求极高，使之成为了体格检查训练中的重点和难点。
[0004] 一般而言，在正常人体上进行的体格检查所采集的
疾病症状和体征均为生理驱动。拿心脏听诊举例来讲，近年来，随着
风湿性心脏病、先天性心脏病的发病率逐年减少，患者自我保护意识逐渐增强，多数不再愿意配合当病源，使得心脏杂音听诊病源越来越少，所以临床上没有足够的病人供学生练习，心脏听诊训练也变得越来越困难。
[0005] 为此医学教育工作者开始引入多媒体教学等现代教学手段，多媒体教学虽然图文并茂，但难以让医学生进行与患者的互动，进行见习操作，仍然无法提高教学
质量。继而人们想到了以电脑模拟人代替真人患者的方法，比如有心肺电脑模拟人，电脑模拟人采用
硅胶、PVC等材料制作，内部相应部位安装有各种不同的
传感器装置，并预置好不同病例的不同声音或效果，将声音、图画、影响和文字结合在一起，由此来实现诊断人与“被诊断人”(电脑模拟人)的互动反馈，诊断出不同部位的不同病状，表现出不同体征与声音，也能供学生多次技能训练。
[0006] 目前传统的模拟医学行业采用
电磁感应、压
力传感技术对模拟人实现听诊、触诊等训练项目，即在模拟人内设置传感器，进行模拟训练，但是因为无法完全模拟人体的正常生理驱动，训练仍无法达到满意的效果。其缺点如下：1、仅能模拟某一疾病的局部声音，无法模拟患者的整体症状；2、体征多在体表，内部体征无法展现，听诊有杂音较多，效果很差；3、为诊断各种不同部位不同病例，就必须生产大量电脑模拟人，成本颇高；4、内部装置构造繁多，操作复杂，工作速度慢；4、听诊声音有很大失真；5、无法实现医患交互反馈；6、模拟人内的传感器仅能在
听诊器触及到该传感点时感应，而当听诊器位于其它点哪怕是在传感点旁边的点都无法感应，故效果是离散式的，但事实上身体检查部位听诊时在检查部位周围也是有声音的，是渐变的振动以及声音的
音调，即呈连续式效果。综上，目前各方都在努力研发的各种驱动(包括生理驱动)的体格检查模拟人，无论在触诊、叩诊和听诊，还是神经系统检查等诸多方面，都无法满足临床医生专业训练的基本要求。
发明内容
[0007] 本发明针对目前传统的模拟医疗训练设备无法满足听诊的训练培训要求的问题，提供一种基于动作捕捉的听诊训练系统，将简单的听诊模拟对象转换为与之大小匹配的数字化对象并建立与数字化对象的听诊部位相关联的病例
和声音，结合光学动作捕捉技术进行听诊器的空间三维
定位，模拟实现听诊部位的实际听诊声音，并能够直接观察数字化场景中的数字化对象，便于操作者实现练习过程中听诊
位置所对应解剖结构，帮助学习诊断技能，提高听诊训练质量与效果。
[0008] 本发明的技术方案如下：
[0009] 基于动作捕捉的听诊训练系统，其特征在于，包括听诊模拟对象、数字化3D模型处理系统和光学动作捕捉系统，所述数字化3D模型处理系统包括数字化3D建模单元、模型病例匹配单元和
数据库，所述数字化3D建模单元利用数字化3D建模技术将听诊模拟对象转换为数字化对象，所述数字化对象与听诊模拟对象大小匹配，所述数据库存储有各听诊部位的病例以及不同病例时的声音，所述模型病例匹配单元与数据库相连用于根据数字化对象的听诊部位建立相关联的病例和声音；所述光学动作捕捉系统包括采集单元和数字化3D计算处理单元，所述采集单元通过若干摄像机采集听诊器上设置的光学捕捉点，所述数字化3D计算处理单元根据采集的光学捕捉点进行空间三维坐标计算处理，获取听诊器在数字空间的操作位置并在所述数字化对象中显示所述位置以及发出所对应的声音。
[0010] 还包括听诊训练评估系统，所述听诊训练评估系统连接数字化3D模型处理系统的模型病例匹配单元和数据库，用于通过设置听诊教学病例引导操作者在听诊模拟对象上完成操作并监控操作者学习状况。
[0011] 所述模型病例匹配单元设置听诊部位所
覆盖区域的中心点并依据所述听诊部位所覆盖区域内到中心点的距离的远近设置渐变的声音，当某区域涉及被多个听诊部位覆盖时设置的声音是由与各相关的听诊部位对应的各声音混合而成。
[0012] 在所述听诊器上设置若干光学捕捉点，所述数字化3D建模单元利用数字化3D建模技术将听诊器转换为数字化听诊设备。
[0013] 所述听诊模拟对象设置在诊断空间的听诊病床上，所述数字化3D建模单元还利用数字化3D建模技术将诊断空间和听诊病床分别转换为数字化虚拟空间和数字化病床，所述数字化虚拟空间与诊断空间大小匹配，所述数字化病床与听诊病床大小匹配，并通过光学动作捕捉系统进行数字化虚拟空间和数字化病床的定位。
[0014] 所述听诊训练评估系统包括教学案例录制版
块、课程播放学习版块、模拟操作训练版块、考核评估版块和病例编辑器，所述教学案例录制版块、课程播放学习版块、模拟操作训练版块、考核评估版块均与病例编辑器相互关联，且各板块的相关信息与数据库同步更新，通过所述病例编辑器规范化编辑和调用临床实际听诊教学案例。
[0015] 在所述数字化对象上仿真显示人体各听诊部位，所述听诊训练评估系统根据训练需求显示或覆盖各听诊部位。
[0016] 所述诊断空间为真正病房或教室或四面围挡搭建的简易空间，所述听诊病床为真正病床或搭建式简易病床；所述听诊模拟对象为省却了内部结构的简易模拟人或其它简易模拟对象。
[0017] 所述采集单元通过若干摄像机采集听诊器上设置的光学捕捉点，还进行动作采集预处理，所述动作采集预处理包括根据前后
帧图像的捕捉点信息及运动轨迹预测，对混淆或遮挡的目标点采用多帧分析的方法自动矫正，对捕捉点的跳动则采用
信号平滑
算法自动对数据进行平滑处理；所述数字化3D计算处理单元根据采集的光学捕捉点进行空间三维坐标计算处理，获取听诊器在数字空间的听诊点，并通过计算听诊部位的位置，模拟实现听诊部位的位置区域的实际听诊声音，从而在所述数字化对象中进行听诊操作仿真。
[0018] 所述摄像机采用高清红外摄像机，若干所述高清红外摄像机环绕诊断空间排列，高清红外摄像机
视野重叠区域为听诊模拟对象以及听诊器动作范围，多个高清红外摄像机连续快速拍摄听诊器操作动作并记录，所述高清红外摄像机拍摄速率不低于每秒90帧。
[0019] 本发明的技术效果如下：
[0020] 本发明涉及了一种基于动作捕捉的听诊训练系统，包括听诊模拟对象、数字化3D模型处理系统和光学动作捕捉系统，数字化3D模型处理系统将简单的听诊模拟对象转换为与之大小匹配的数字化对象并建立与数字化对象的听诊部位相关联的病例和声音，结合光学动作捕捉系统利用光学动作捕捉技术进行听诊器的空间三维定位，模拟实现听诊部位在不同病例时的实际听诊声音，并能够直接观察数字化场景中的数字化对象，便于操作者实现练习过程中听诊位置所对应解剖结构，帮助学习诊断技能。听诊模拟对象为医学生提供更快速的学习途径，从根本上解决了学生多、病患少的问题，还解决了传统的模拟医学行业采用电磁感应、压力传感技术对模拟人进行听诊训练存在的弊端，本发明打破常规思维，在听诊模拟对象中无需设置传感器，听诊模拟对象可以是省却了内部结构的简易模拟人，甚至可以是任意其它简易模拟对象，如一个板，一个屏幕等等，听诊模拟对象通过数字化3D建模技术转换为数字化对象，或者说是转换为数字化仿真人
体模型，医学生可以直接观察该数字化仿真
人体模型。在动作捕获技术的基础上，运用模拟与数字相结合，虚拟与现实相融合的现代技术，研发体格检查训练系统，以期攻克体格检查训练过程中出现的动作、部位、声音等不能精确同步的世界性难题，通过光学动作捕捉系统对于听诊模拟对象、听诊器在空间三维坐标进行计算，以此获得精确的听诊点，匹配到数字化虚拟场景中的虚拟模型——数字化对象上，以实现听诊操作精确仿真，增强操作者与“病患”的交互体验，简化训练流程、提高训练质量，且数字化对象的相关数据可重复多次利用，提高应用效率，丰富听诊操作案例，极大降低听诊训练的成本，提高了听诊训练质量与效果。
[0021] 本发明听诊训练系统优选设置听诊训练评估系统，用于通过设置听诊教学病例引导操作者在听诊模拟对象上完成操作并监控操作者学习状况，也可以进一步用于对整个系统的账户、参数、操作流程、安全的管理及对学生学习效果的考核评估，在虚拟结合现实的场景中，医学生可交互体验听诊操作和观察病例表现，激发了医学生浓厚的学习兴趣、提高了听诊训练质量与效果，根据听诊训练需求，能够让医学生反复多次学习与操作，提升动手听诊能力，节约听诊训练成本，同时能够实时测验学生学习效果，打分评估，提升了训练与验收效率。
[0022] 优选地，可在模型病例匹配单元设置听诊部位所覆盖区域的中心点并依据所述听诊部位所覆盖区域内到中心点的距离的远近设置渐变的声音，当某区域涉及被多个听诊部位覆盖时设置的声音是由与各相关的听诊部位对应的各声音混合而成，这样结构设计得到进一步优化，将听诊部位设置为区域性，在中心点振动和声音最强，在同一区域离中心点越远的振动和声音逐渐衰减，不同距离产生不同的振动和声音，即呈现连续性效果，与传统的模拟医学行业依靠传感器仅能进行离散式感应有更本质性区别，本发明还原真人，使得听诊培训更加仿真，进一步改善了训练质量以及提高了训练效果。
附图说明
[0023] 图1为本发明基于动作捕捉的听诊训练系统的结构
框图。
[0024] 图2为本发明基于动作捕捉的听诊训练系统的优选结构框图。
[0025] 图3为数字化3D模型处理系统的优选效果展示图。
[0026] 图4为本发明基于动作捕捉的听诊训练系统的整体优选效果展示图。
[0027] 图5为听诊训练评估系统的优选工作状态图。
[0028] 图中各标号列示如下：
[0029] 101－摄像机；102－光学捕捉点；103－听诊模拟对象；104－听诊器；
[0030] 201－数字化对象；202－数字化病床；203－数字化虚拟空间；204－数字化听诊设备。
具体实施方式
[0031] 下面结合附图对本发明进行说明。
[0032] 本发明涉及一种基于动作捕捉的听诊训练系统，其结构如图1所示，包括听诊模拟对象、数字化3D模型处理系统和光学动作捕捉系统，其中，数字化3D模型处理系统包括数字化3D建模单元、模型病例匹配单元和数据库，数字化3D建模单元利用数字化3D建模技术将听诊模拟对象转换为数字化对象，所述数字化对象与听诊模拟对象大小匹配，数据库存储有各听诊部位的病例以及不同病例时的声音，模型病例匹配单元与数据库相连用于根据数字化对象的听诊部位建立相关联的病例和声音；光学动作捕捉系统包括采集单元和数字化3D计算处理单元，采集单元通过若干摄像机采集听诊器上设置的光学捕捉点，数字化3D计算处理单元根据采集的光学捕捉点进行空间三维坐标计算处理，获取听诊器在数字空间的操作位置并在所述数字化对象中显示所述位置以及发出所对应的声音。
[0033] 下面对本发明基于动作捕捉的听诊训练系统进行详细说明，如图2所示优选
实施例，优选的听诊训练系统还包括听诊训练评估系统，听诊训练评估系统连接数字化3D模型处理系统的模型病例匹配单元和数据库，听诊训练评估系统通过设置听诊教学病例引导操作者在听诊模拟对象上完成操作并监控操作者学习状况。进一步地，听诊训练评估系统包括教学案例录制版块、课程播放学习版块、模拟操作训练版块、考核评估版块和病例编辑器，所述教学案例录制版块、课程播放学习版块、模拟操作训练版块、考核评估版块均与病例编辑器相互关联，且各板块的相关信息与数据库同步更新，通过所述病例编辑器规范化编辑和调用临床实际听诊教学案例。听诊训练评估系统也用于对整个系统的账户、参数、操作流程、安全的管理及对学生学习效果的考核评估。听诊训练评估系统可以采用如APP、网页端等多种方式展现，还支持自定义模式，可以根据需要个性化定制不同功能版块，诸如账户权限管理、合同管理、学生上课的课程排课、课表分配，学生考试的考点布置，考试管理、
电子评分等，适应性更强，管理界面更加系统更加清晰，方便训练管理。
[0034] 本发明所述的听诊训练系统中的听诊模拟对象和听诊器的结构都得到简化，均无需设置传感器，听诊模拟对象理解为是省却了内部结构的简易模拟人或其它简易模拟对象，将听诊模拟对象设置在诊断空间的听诊病床上，这里所述的诊断空间可以是真正病房、教室或四面围挡搭建的简易空间，听诊病床可以是真正病床或搭建式简易病床。如图2所示，在诊断空间四周排列若干摄像机101，优选地，摄像机101采用高清红外摄像机，若干所述高清红外摄像机环绕诊断空间排列，高清红外摄像机视野重叠区域为听诊模拟对象以及听诊器动作范围，多个高清红外摄像机连续快速拍摄听诊器操作动作并记录，所述高清红外摄像机拍摄速率不低于每秒90帧。如图2所示，在听诊器上设置若干光学捕捉点102，如图4所示系统整体效果展示图，可以在听诊器上设置3-4个光学捕捉点，听诊器104对听诊模拟对象103在心脏和肺脏等各听诊部位进行听诊。
[0035] 数字化3D模型处理系统中的数字化3D建模单元利用数字化3D建模技术将听诊模拟对象转换为数字化对象，利用数字化3D建模技术将听诊器转换为数字化听诊设备，还利用数字化3D建模技术将诊断空间和听诊病床分别转换为数字化虚拟空间和数字化病床，数字化虚拟空间与诊断空间大小匹配，所述数字化病床与听诊病床大小匹配，并通过光学动作捕捉系统进行数字化虚拟空间和数字化病床的定位。如图3所示的数字化3D模型处理系统的优选效果展示图，也可以理解为是虚拟场景中的效果图，展示了一个虚拟
手术室，包括数字化对象201(即一个虚拟人体模型或者说是数字化人体模型)、数字化病床202和数字化虚拟空间203。
[0036] 数字化3D模型处理系统中的模型病例匹配单元根据数字化对象的听诊部位建立相关联的病例和声音，即根据不同病情、不同的点位去匹配设置不同的声音。如病例为听诊是否有胸膜炎时，在胸腔区域，按照正常、轻微和严重等级可依次设置不同的声音。优选设置听诊部位所覆盖区域的中心点并依据所述听诊部位所覆盖区域内到中心点的距离的远近设置渐变的声音，当某区域涉及被多个听诊部位覆盖时设置的声音是由与各相关的听诊部位对应的各声音混合而成，这样结构设计得到进一步优化，将听诊部位设置为区域性，在中心点振动和声音最强，在同一区域离中心点越远的振动和声音逐渐衰减，不同距离产生不同的振动和声音，即呈现连续性效果，可建立表格按照区根据不同病情设置不同声音，这与传统的模拟医学行业依靠传感器仅能进行离散式感应有更本质性区别，本发明还原真人，使得听诊训练培训更加仿真，进一步改善了训练质量以及提高了训练效果。
[0037] 光学动作捕捉系统用于听诊动作的捕捉、分析与处理，其采集单元通过若干摄像机采集听诊器上设置的光学捕捉点，故采集单元内包括若干摄像机和若干光学捕捉点，各光学捕捉点布置在听诊器前端，可直接在听诊器前端贴上光点标志，故可理解为是听诊操作位置
跟踪装置，用于跟踪光学捕捉点的位置信息；摄像机可理解为是听诊信号捕捉装置，用于捕捉采集听诊操作
位置跟踪装置的位置信息进而进行听诊器的定位。在采集单元工作后还进行动作采集预处理，具体可包括根据前后帧图像的捕捉点信息及运动轨迹预测，对混淆或遮挡的目标点采用多帧分析的方法自动矫正，对捕捉点的跳动则采用信号平滑算法自动对数据进行平滑处理，消除抖动，保证信息采集质量。光学动作捕捉系统中的数字化3D计算处理单元根据采集的光学捕捉点以及听诊模拟对象进行空间三维坐标计算处理，获取听诊器在数字空间操作位置，获取听诊器在数字空间的听诊点，并通过计算心脏、肺脏、胸、后背等听诊部位的位置，模拟实现听诊部位的位置区域的实际听诊声音，从而在所述数字化对象中进行听诊操作仿真。
[0038] 图4为本发明基于动作捕捉的听诊训练系统的整体优选效果展示图，包括了现实场景(右下角)和虚拟场景，现实场景中有操作者和听诊模拟对象103，操作者手持听诊器104，在听诊器104上设置光学捕捉点，通过听诊器104对听诊模拟对象103进行听诊。通过数字化3D模型处理系统中的数字化3D建模单元构建虚拟场景，包括人物建模、场景建模和听诊器建模，构成了数字化对象201、数字化病床202、数字化虚拟空间203和数字化听诊设备
204。由数字化3D模型处理系统中的模型病例匹配单元从数据库中调用数据以根据数字化对象的听诊部位建立相关联的病例和声音。通过光学动作捕捉系统对听诊模拟对象和听诊器进行空间三维坐标计算处理，获取精确的听诊点，从而进行听诊操作仿真和操作评估，同时在所述数字化对象中显示所述位置以及发出所对应的声音。
[0039] 听诊训练评估系统通过设置听诊教学病例引导操作者在听诊模拟对象上完成操作并监控操作者学习状况，可通过病例编辑器规范化编辑和调用临床实际听诊教学案例，即规范化编写不同部位、不同症状的病例，丰富病例库并可随时被补充和调用，结合老师选择不同的病例，可以在虚拟人体模型(即数字化对象)上展现不同的体征变化，彻底实现听诊诊断技能的仿真操作训练。如图3和图4所示，在所述数字化对象上可仿真显示人体各听诊部位，听诊训练评估系统可以根据训练需求显示或覆盖各听诊部位，如在教学训练时显示各听诊部位，在考试或测验时覆盖各听诊部位。图5为听诊训练评估系统的优选工作状态图，可理解为是模拟操作训练版块的操作界面，如可选择心脏或肺部，如心脏时病例涉及主动脉瓣狭窄、主动脉瓣关闭不全、动脉
导管关闭、第二心音分裂、第二心音增强和心包摩擦音等等，并可选择显示部位、胸骨是否透明、左肺是否透明等等设置，便于教学训练等各种需求。考核评估版块可以有效测验医学生的学习效果，进行考试与评分，改变了传统听诊教学与考试模式，提高了教学质量与学习效果。
[0040] 本发明基于动作捕捉的听诊训练系统，在动作捕获的基础上，采用模拟与数字相结合，虚拟与现实相融合的技术，多层次、多维度呈现训练所需内容，最大限度的实现了动作、部位、声音三者的适时、同步、高保真的完美呈现，从而实现了与生理驱动无限接近一致的效果。将简单的听诊模拟对象转换为与之大小匹配的数字化对象，并进行动作绑定，预置相应的正常或异常状态的声音效果，就可以将现实场景中的听诊模拟人和听诊器的表态与动作在实现虚拟场景中通过虚拟人体模型和数字化听诊设备展现出来，并可以进一步展现听诊模拟对象无法展现的体表伤，面容神态等，能为医学生提供更快速的学习途径，从根本上解决了学生多、病患少的问题，本发明光学动作捕捉系统进行动作捕捉得到在虚拟场景中的位置和定位，获得精确的听诊操作位置，匹配到虚拟场景中的数字化人体模型上，以实现听诊操作精确模拟，增强操作者与“病患”的交互体验，简化训练流程、提高训练质量，且数字化模型数据与动作数据可重复多次利用，提高应用效率，结合听诊训练评估系统，丰富听诊操作案例，极大降低听诊训练的成本。
[0041] 应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造，但不以任何方式限制本发明创造。因此，尽管本
说明书参照附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行
修改或者等同替换，总之，一切不脱离本发明创造的精神和范围的技术方案及其改进，其均应涵盖在本发明创造
专利的保护范围当中。
