技术领域
[0001] 本
发明属于虚拟训练领域，特别涉及一种基于语音技术的复杂设备智能虚拟训练方法和系统。
背景技术
[0002] 在实际生产工作中，大型复杂设备，如大型机电设备、航天测控系统、大型精密医疗系统、复杂武器装备等，其操作人员训练多结合实装进行，这种训练模式存在许多问题，主要表现在：(l)训练成本高。大型复杂设备价格昂贵，训练易造成磨损和老化，从而严重影响设备寿命，同时因训练带来的操作
费用也很高；(2)大型复杂设备实装训练受场地
气候条件、人员号位协同等限制，训练时间受限，影响操作能
力和
水平提高；(3)实装训练所见故障现象和所能体会的排故维修操作非常有限，不能在有限培训时间内迅速提高操作人员在面对实装故障时的应对能力；(4)实装训练没有自动的训练结果量化分析系统，操作人员无法实时准确把握训练的不足之处，不能及时有针对性的改进训练方法，从而影响训练水平。(5)在设备研发阶段，研发人员无法了解操作人员对设备使用的直观感受，不能将操作流程优化工作做在产品定型前；(6)对于新设备的实装训练，由于新设备到位有一个相对较长的周期，在这个周期里，操作使用人员无法
接触设备，不能提前进行操作训练，出现“人等设备”现象。这些问题严重制约和影响了对操作人员的训练，从而直接影响到大型复杂设备作用的及时有效发挥。
[0003] 虚拟训练系统能够有效克服完全依赖实装进行训练带来的诸多问题，如成本高、易磨损、限制条件多等，为大型复杂设备训练提供先进的操作环境和虚拟手段，对于改进训练效果、提高操作使用水平以及应对设备故障、加强设备维护等都具有重要意义。因此，虚拟训练系统受到了极大的关注，也取得了较多成果，如手术虚拟训练系统、飞机机务虚拟训练系统、航天员虚拟训练系统、舰船虚拟训练系统等。但目前已有虚拟训练系统大多依赖于
机器视觉、三维仿真、
虚拟现实等视觉交互技术，对视觉图像信息利用较为充分，而对其它信息的利用则稍显不足，如语音信息，尤其是虚拟训练中对语音进行采集识别以及自动合成、实现训练过程中人-机直接对话，这方面的公开报道非常少。
[0004] 在本发明以前的
现有技术中，有以下参考文献：
[0005] [1]金雷,潘巨辉,王春财.
语音识别在指挥引导训练系统中的应用与实现[C].第三届中国指挥控制大会,2015.07.
[0006] [2]景春进,陈东东,周琳琦.基于中文语音识别技术的舰艇指挥训练系统的研究[J].计算机测量与控制,2014.22(8).
[0007] [3]袁伟伟,胡军,刘万凤.空管模拟训练中指令的语音识别与合成技术研究[J].
电子设计工程,2013.21(6).
[0008] [4]耿睿,崔德光.基于复合信息空间的语音识别训练系统研究[J].计算机工程与应用,2002.38(1).
[0009] 文献[1]采用基于隐
马尔可夫模型局部最优状态路径的数据重建
算法，提高了语音识别的准确性和鲁棒性，并可识别指挥引导员连续发出的指挥口令；文献[2]分析了舰艇指挥指令的语言特点，研究了基于Sphinx平台的汉语连续语音识别的相关问题，并设计实现了一个非特定人、中等专用词汇量的连续汉语语音识别系统；文献[3]对空管模拟训练中指令的自动语音识别及自动语音合成应答问题进行了分析研究，并基于开源
语音识别引擎及语音合成引擎，设计并实现了一个语音指令识别及合成系统；文献[4]提出了一种在复合信息空间中基于知识的、定性与定量相结合的分析方法，并基于该方法对语音识别产品进行使用训练。以上文献均是侧重于语音识别、合成技术，或者是语音识别产品方面，对于语音技术在虚拟训练中的具体应用没有详细阐述。
[0010] 因此，需要一种能够采用语音自动识别与合成技术提升人-机交互的智能化水平，针对确定任务要求实现人-机直接对话的虚拟训练方法。本发明正是以实际问题为牵引，设计了一种基于语音技术的复杂设备智能虚拟训练方法，为大型复杂设备的训练使用维护及操作人员的训练考核提供了形象化、高效化的技术手段。
发明内容
[0011] 本发明的目的在于提供一种基于语音技术的复杂设备智能虚拟训练方法，该方法通过训练人员语音的自动识别与精确合成，并结合虚拟演示或操作，实现复杂设备虚拟训练的智能化原理示教、规程背对训练、虚拟操作、考核评估，以及辅助故障诊断与决策支持等功能，从而提高复杂设备的训练水平。
[0012] 本发明采用如下技术方案来实现的：
[0013] 一种基于语音技术的复杂设备智能虚拟训练方法，包括以下步骤：
[0014] 首先，建立复杂设备虚拟仿真操作环境，作为后续操作的公共平台；
[0015] 然后，结合训练过程中的人员岗位配置，进行多路语音并行采集与处理，为语音识别提供准确的输入信息；
[0016] 其次，针对确定的设备操作规程，提取有效的训练人员语音特征，实现语音的自动识别，完成与规程中口令文字模式的匹配分析，为后续任务与决策提供依据；
[0017] 再次，进行设备操作信息的自动语音合成，包括规程口令信息、操作提示信息和设备故障信息，同时通过设备及组件任务协同，实现虚拟训练的动作、语音、现象和提示要素的同步；
[0018] 最后，根据设备训练与使用要求，建立面向原理示教、规程背对、虚拟训练、任务考核、故障诊断的学习资源库、操作规程库、考核成绩库、虚拟设备库与维修故障库，实现资料规程自动导入、任务模
块智能链接、训练效果定量分析以及信息故障快速查询的功能。
[0019] 本发明进一步的改进在于，该方法包括五种训练模式，分别是机器合成训练模式、人机背对训练模式、人员协同背对训练模式、虚拟操作训练模式和语音操作协同训练模式。
[0020] 本发明进一步的改进在于，机器合成训练模式中，完成设备操作所有岗位均由计算机虚拟操作人员担任，训练过程中计算机按照岗位任务分工自动完成所有虚拟操作人员的语音合成，并结合虚拟训练设备同步显示设备操作状态及现象。
[0021] 本发明进一步的改进在于，人机背对训练模式中，完成设备操作的部分岗位由训练人员担任，其余部分岗位由计算机虚拟操作人员担任，训练过程中计算机按照岗位任务分工自动完成训练人员的语音采集、识别与判读，同时完成虚拟操作人员的语音合成，并通过分析训练人员背对时间及准确性，给出训练效果的定量评价。
[0022] 本发明进一步的改进在于，人员协同背对训练模式中，完成设备操作的所有岗位均由训练人员担任，训练过程中计算机自动完成训练人员语音的采集、识别与判读，并通过分析训练人员背对时间及准确性，给出训练效果的定量评价。
[0023] 本发明进一步的改进在于，虚拟操作训练模式中，结合虚拟训练设备，训练人员按规程要求进行相应操作，训练过程中计算机结合设备操作情况适时给出文字、语音方面的信息提示，并通过分析训练人员操作动作的准确性，给出训练效果的定量评价；还能够结合故障库，在虚拟设备上设置故障状态，训练人员按要求进行故障分析及排故训练，同样通过分析训练人员操作动作的准确性，给出训练效果的定量评价。
[0024] 本发明进一步的改进在于，语音操作协同训练模式中，结合虚拟训练系统，在语音训练的同时，同步进行设备操作训练，使训练人员能“听着口令、做着动作、看着现象、报着状态”全方位协同训练，训练过程中计算机按照岗位任务分工自动完成训练人员的语音采集、识别与判读，同时完成虚拟操作岗位的语音合成，依据训练人员操作情况，同步显示虚拟设备操作状态及现象，并通过分析训练人员的规程口令连贯性和操作动作准确性，给出训练效果的定量评价。
[0025] 一种基于语音技术的复杂设备智能虚拟训练系统，包括
计算机系统、语音采集系统、
键盘鼠标输入系统、语音输出系统和显示投影系统；其中，
[0026] 计算机系统内包含机器合成训练模块、人机背对训练模块、人员协同背对训练模块、虚拟操作训练模块和语音操作协同训练模块；语音采集系统内包含语音采集模块和语音综控模块；
[0027] 工作时，计算机系统通过语音采集系统和键盘鼠标输入系统采集训练人员的口令和操作动作信息，将相应信息送入
选定的机器合成训练模块、人机背对训练模块、人员协同背对训练模块、虚拟操作训练模块或语音操作协同训练模块，再由选定的训练模块根据录入的操作规程进行语音识别分析和自动语音合成，以及虚拟设备状态信息更新，最后将相关信息送到语音输出系统和显示投影系统进行播放显示。
[0028] 本发明进一步的改进在于，机器合成训练模块中，虚拟操作人员根据录入的规程，在计算机系统内进行语音合成，通过语音输出系统输出语音；
[0029] 人机背对训练模块中，不同训练人员的训练语音通过不同的语音采集模块，在语音综控模块的控制下并行采集，经过处理后，在计算机系统内进行语音识别；与此同时，虚拟操作人员根据录入的规程，配合训练人员进行语音合成，将识别结果与录入的相应规程进行比对分析，最后输出训练结果；
[0030] 人员协同背对训练模块中，不同训练人员的训练语音通过不同的语音采集模块，在语音综控模块的控制下并行采集，经过处理后，在计算机系统内进行语音识别，并依据录入的相应规程文件对语音识别结果进行判读分析，根据各训练人员背对时间、报错次数，输出训练结果；
[0031] 虚拟操作训练模块，根据录入的规程，合成语音、文字信息提示，训练人员按照信息提示在虚拟设备上进行相应操作，计算机系统根据操作动作更新相应虚拟设备的状态，并依据规程对虚拟设备操作结果进行判读分析，最后输出训练结果；
[0032] 语音操作协同训练模块中，不同训练人员的训练语音通过不同的语音采集模块，在语音综控模块的控制下并行采集，经过处理后，在计算机系统内进行语音识别，训练人员在虚拟设备上进行相应操作；虚拟操作人员根据录入的规程，在相应时间配合训练人员进行语音合成，更新相应虚拟设备的状态，并依据录入的相应规程对训练人员语音识别结果和虚拟设备操作结果进行判读分析，最后输出训练结果。
[0033] 本发明具有如下有益的技术效果：
[0034] 本发明提出的一种基于语音技术的复杂设备智能虚拟训练方法，首先，可提高训练环境的逼真度和虚拟训练的
沉浸感。在现实世界中，人们通过视觉、听觉等多种
感知通道感知周围环境，其中，听觉通道是人类获取外界信息的第二大感知通道，通过在虚拟训练中引入自动语音识别与合成，可提供声音
定位，增强训练人员的立体感，并在信息
可视化基础上增加信息可听化，使虚拟训练环境更加接近实际操作环境，提高操作人员的训练沉浸感；其次，可实现训练人员眼、
耳、口、手、脑五维综合联动，提高训练效率。通过设备及组件任务协同，实现虚拟训练的动作、语音、现象和提示要素同步，可实现训练人员眼看、耳听、口说、手动、脑想同时进行，有利于提高训练效率；最后，可实现训练效果的综合评价。通过对训练人员口令的准确性和熟练程度、操作的准确性和熟练程度以及故障排除的准确性等信息进行综合处理，可实现训练人员的训练效果综合评价，并建立相应
数据库，为训练人员下一步针对性提高训练水平提供参考，为管理人员准确掌握训练人员的操作水平提供依据。
[0035] 进一步，机器合成训练模式中，所有岗位均由虚拟操作人员担任，便于训练人员初步熟悉操作规程和后期各个不同岗位操作人员进一步熟练掌握规程，为轮岗轮训打下基础，训练难度低，可以用来训练新的操作人员，也可以用来演示设备操作流程。
[0036] 进一步，人机背对训练模式中，由于部分操作岗位采用虚拟操作人员，可以对个别训练人员进行单独强化训练，针对性强，也可以将部分流程操作过于简单或者复杂的号位设为虚拟操作人员，可以大大提高训练效率。
[0037] 进一步，人员协同背对训练模式中，所有操作岗位均由训练人员担任，训练
覆盖面广，能够有效训练各岗位人员之间协同配合，便于指挥员掌握整体训练情况。
[0038] 进一步，虚拟操作训练模式中，根据语音或者文字提示进行操作，训练人员能够加深对操作规程内容的理解和掌握，提高协同操作的能力，同时由于结合了虚拟训练系统，对应的训练方法更加灵活，并可以进行故障诊断与排除的操作训练考核。
[0039] 进一步，语音操作协同训练模式中，将语音识别与合成同虚拟操作结合起来，不仅对规程背对进行了训练，同时也对设备操作进行了训练，其内部包含了机器合成训练模式、人机背对训练模式和人员协同背对训练模式，训练方式灵活多样。
[0040] 本发明提出的一种基于语音技术的复杂设备智能虚拟训练系统，可根据训练人员情况灵活选择训练模式，不受人员、时间等限制，使用方便，有助于提高训练人员的训练积极性和训练效率。针对刚开始训练的人员，对规程口令及操作流程还不是很熟悉，可选择机器合成训练模式，通过观看学习虚拟操作人员的口令及操作，可尽快熟悉复杂设备操作的全流程，训练难度低并且形象直观；针对规程背对已经熟悉但还没有进行操作的人员，可选择虚拟操作训练模式，根据语音或者文字提示进行操作，便于尽快掌握复杂设备的操作要领，并有效克服规程背对后直接操作实际装备容易紧张的问题；针对需多人协同训练但人员不齐的情况，可选择人机背对训练模式或语音操作协同训练模式，将缺席的岗位设置为由虚拟操作人员担任，从而实现训练不受人员在位情况限制，同时还可针对部分岗位训练任务重采取个别岗位针对性训练，避免出现相同训练时间有的岗位训练时间不够，有的岗位训练时间太长的“吃大锅饭”现象，增强训练的针对性和有效性，提高训练效率；另外，指挥员还可在虚拟训练平台上人为设置故障现象，进行训练人员的故障诊断与排除操作训练，提高训练人员在实际装备操作中应对设备故障及突发情况的能力。
附图说明
[0041] 图1为本发明的方法原理示意图。
[0042] 图2为本发明的一个具体
实施例总体结构图。
[0043] 图3为具体实施例中机器合成训练
流程图。
[0044] 图4为具体实施例中人机背对训练流程图。
[0045] 图5为具体实施例中人员协同背对训练流程图。
[0046] 图6为具体实施例中虚拟操作训练流程图。
[0047] 图7为具体实施例中语音操作协同训练流程图。
具体实施方式
[0048] 下面结合附图和实施例对本发明进行详细说明。
[0049] 如图1所示，本发明提供的一种基于语音技术的复杂设备智能虚拟训练方法，包括以下步骤：
[0050] 首先，建立复杂设备虚拟仿真操作环境，作为后续操作的公共平台；
[0051] 然后，结合训练过程中的人员岗位配置，进行多路语音并行采集与处理，为语音识别提供准确的输入信息；
[0052] 其次，针对确定的设备操作规程，提取有效的训练人员语音特征，实现语音的自动识别，完成与规程中口令文字模式的匹配分析，为后续任务与决策提供依据；
[0053] 再次，进行设备操作信息的自动语音合成，包括规程口令信息、操作提示信息和设备故障信息，同时通过设备及组件任务协同，实现虚拟训练的动作、语音、现象和提示要素的同步；
[0054] 最后，根据设备训练与使用要求，建立面向原理示教、规程背对、虚拟训练、任务考核、故障诊断的学习资源库、操作规程库、考核成绩库、虚拟设备库与维修故障库，实现资料规程自动导入、任务模块智能链接、训练效果定量分析以及信息故障快速查询的功能。
[0055] 本发明提供的一个实施例总体结构如图2所示，包括计算机系统6、语音采集系统7、键盘鼠标输入系统8、语音输出系统9和显示投影系统10。计算机系统6内包含机器合成训练模块601、人机背对训练模块602、人员协同背对训练模块603、虚拟操作训练模块604和语音操作协同训练模块605；语音采集系统7内包含语音采集模块701和语音综控模块702。计算机系统6通过语音采集系统7和键盘鼠标输入系统8采集训练人员的口令和操作动作信息，将相应信息送入选定的机器合成训练模块601、人机背对训练模块602、人员协同背对训练模块603、虚拟操作训练模块604或语音操作协同训练模块605，再由选定的训练模块根据录入的操作规程进行语音识别分析和自动语音合成，以及虚拟设备状态信息更新，最后将相关信息送到语音输出系统9和显示投影系统10进行播放显示。
[0056] 计算机系统6内机器合成训练模块601、人机背对训练模块602、人员协同背对训练模块603、虚拟操作训练模块604和语音操作协同训练模块605的实现流程如下：
[0057] 机器合成训练模块601流程如图3所示，虚拟操作人员根据录入的规程，在计算机系统6内进行语音合成，通过语音输出系统9输出语音。其中在语音合成过程中，对不同岗位的虚拟操作人员合成出不同的语音，避免出现语音混淆，影响训练效果。
[0058] 人机背对训练模块602流程如图4所示，不同训练人员的训练语音通过不同的语音采集模块701，在语音综控模块702的控制下并行采集，经过处理后，在计算机系统6内进行语音识别；与此同时，虚拟操作人员根据录入的规程，配合训练人员进行语音合成，将识别结果与录入的相应规程进行比对分析，最后输出训练结果。其中在比对分析过程中，由于语音识别结果受外界环境的影响较大，为提高判读分析的准确性，设计合理的容错机制。具体策略为：结合规程和实际训练使用过程中语音识别的结果，对不同的口令设计对应的关键字或者“容错口令”，运用关键字进行搜寻匹配，从而提高搜索效率和匹配成功率。在语音合成过程中，需根据不同岗位合成出不同的语音，具体见机器合成训练模块601。
[0059] 人员协同背对训练模块603流程如图5所示，不同训练人员的训练语音通过不同的语音采集模块701，在语音综控模块702的控制下并行采集，经过处理后，在计算机系统6内进行语音识别，并依据录入的相应规程文件对语音识别结果进行判读分析，根据各训练人员背对时间、报错次数，输出训练结果。其中在判读分析过程中，需设计合理的容错机制，具体见人机背对训练模块602。
[0060] 虚拟操作训练模块604流程如图6所示，根据录入的规程，合成语音、文字信息提示，训练人员按照信息提示在虚拟设备上进行相应操作，计算机系统6根据操作动作更新相应虚拟设备的状态，并依据规程对虚拟设备操作结果进行判读分析，最后输出训练结果。其中在语音合成过程中，需根据不同岗位合成出不同的语音，具体见机器合成训练模块601；文字合成则是根据规程内容形成文字提示。
[0061] 语音操作协同训练模块605流程如图7所示，不同训练人员的训练语音通过不同的语音采集模块701，在语音综控模块702的控制下并行采集，经过处理后，在计算机系统6内进行语音识别，训练人员在虚拟设备上进行相应操作。虚拟操作人员根据录入的规程，在相应时间配合训练人员进行语音合成，更新相应虚拟设备的状态，并依据录入的相应规程对训练人员语音识别结果和虚拟设备操作结果进行判读分析，最后输出训练结果。其中在语音合成过程中，需根据不同岗位合成出不同的语音，具体见机器合成训练模块601；在判读分析过程中，需设计合理的容错机制，具体见人机背对训练模块602。
