一种航海模拟器语音通话方法、设备、介质 |
|||||||
| 申请号 | CN202310064956.7 | 申请日 | 2023-01-12 | 公开(公告)号 | CN116095243A | 公开(公告)日 | 2023-05-09 |
| 申请人 | 上海海事大学; | 发明人 | 贾东星; 陈锦标; 庄新庆; 张曙辉; | ||||
| 摘要 | 本 发明 涉及一种航海 模拟器 语音通话方法、设备、介质，所述方法应用于服务端，包括如下步骤：建立与 船舶 模拟终端的第一连接，建立与控制端的第二连接，其中，船舶模拟终端部署在航海模拟器上；通过第一连接获取训练语音信息并通过第二连接转发至控制端，针对训练语音信息，通过 语音识别 获取文本信息，基于文本信息与预设的通话情景进行匹配，判断是否匹配成功，若是，将与匹配的通话情景对应的响应语音信息通过第一连接发送到对应的船舶模拟终端，若否，通过第二连接向控制端发送提示 信号 ；侦听第二连接，若接收到人工干预话音信号，则通过第一连接转发至对应的船舶模拟终端。与 现有技术 相比，本发明改善了受训学员及控制台教练员的体验。 | ||||||
| 权利要求 | 1.一种航海模拟器语音通话方法，其特征在于，应用于服务端，包括如下步骤： |
||||||
| 说明书全文 | 一种航海模拟器语音通话方法、设备、介质技术领域[0001] 本发明涉及培训评估领域，尤其是涉及一种航海模拟器语音通话方法、设备、介质。 背景技术[0002] 在使用航海模拟器对船员进行实操培训的过程中，受训学员在模拟驾驶台中使用模拟电话、模拟VHF及模拟全船广播系统与机舱、外部其他船舶、交管中心、引航站、港口调度中心、船公司进行联系沟通。现阶段的所有场外互动沟通都是由控制台教练员扮演相应的角色进行的，为了减少信息干扰，一个控制台教练员班组无法搭载太多的模拟训练本船。在由两个及以上模拟训练本船搭载一个控制台组成的航海模拟器系统中，经常会有两个及以上驾驶台团队同时呼叫机舱、交管中心、引航站、港口调度、船公司乃至其他外部船舶的情况，在航海模拟器训练场地空间有限、控制台教练员班组搭配人员数量有限、单通VHF和双通声力电话通信资源有限的情况下，多方面的语音呼叫及交流会造成极大的信息干扰，这些会极大地降低受训学员的环境体验度并分散控制台教练员的精力，进而影响整个实操训练效果，这在一定程度上导致了船员培训机构无法在同一批次规模化地培训船员的现状。 [0003] 中国专利申请号CN201510995377.X公开了一种船舶交通管理(VTS)系统值班人员适任能力智能评估系统，所述VTS值班人员适任能力智能评估系统包括智能评估教练员指挥控制端,智能评估客户端，VHF(甚高频)语音采集器，智能评估服务器端。智能评估教练员指挥控制端,智能评估客户端，VHF语音采集器，智能评估服务器端用数据信号线连接起来。该申请VTS值班人员适任能力智能评估系统能够实现对学员的VTS操作技能与航海信息服务标准化用语的智能评估。为VTS值班人员提高自身VTS操作技能并能熟练使用航海标准化通信用语提供信息服务提供了一个更加客观的适任能力训练与评估平台。该系统包含了VHF语音采集器，但是其主要是向VTS管理人员提供了一种训练与评估平台，其侧重点是值班人员语音对话评估模型的建立，并未解决现有应用于航海模拟器的语音通话系统存在多个驾驶台团队训练的情况下由于资源受限导致训练效果不理想的问题。 [0004] 综上，当前缺少一种语音通话方法，以解决现有应用于航海模拟器的语音通话方案在多个驾驶台团队同时进行训练的情况下由于资源受限导致训练效果不理想的问题。 发明内容[0005] 本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种航海模拟器语音通话方法、设备、介质，通过获取各船舶模拟终端的训练语音信息，经过语音识别及匹配返回预设的响应语音信息实现同时对多个驾驶台团队的训练，解决或部分解决传统的应用于航海模拟器的语音通话方案在多个驾驶台团队同时进行训练的情况下由于资源受限导致训练效果不理想的问题。 [0006] 本发明的目的可以通过以下技术方案来实现： [0007] 本发明的一个方面，提供了一种航海模拟器语音通话方法，应用于服务端，包括如下步骤： [0008] 建立与至少一个船舶模拟终端的第一连接，建立与控制端的第二连接，其中，所述船舶模拟终端部署在航海模拟器上； [0009] 通过所述第一连接获取训练语音信息并通过所述第二连接转发至所述控制端，针对所述训练语音信息，通过语音识别获取文本信息，基于所述文本信息与预设的通话情景进行匹配，判断是否匹配成功，若是，将与匹配的通话情景对应的响应语音信息通过所述第一连接发送到对应的船舶模拟终端，若否，通过所述第二连接向所述控制端发送提示信号； [0010] 侦听所述第二连接，若接收到人工干预话音信号，则通过所述第一连接转发至对应的船舶模拟终端。 [0011] 作为优选的技术方案，所述的通话情景基于通话对象的角色进行设置，所述通话情景包括锚地抛起锚、进出航道、航道行驶、应急操作、进港靠泊、出港离泊中的至少一个。 [0012] 作为优选的技术方案，所述角色包括VTS管理人员角色、引航站人员角色、船公司角色、其他船舶驾驶台团队角色中的至少一个。 [0013] 作为优选的技术方案，若接收到人工干预话音信号则通过所述第一连接转发至对应的船舶模拟终端的过程具体为： [0014] 若在预设的时间内接收到人工干预话音信号，则通过所述第一连接转发至对应的船舶模拟终端，若超过预设的时间后仍未接收到信号，则通过所述第一连接发送预设的报警回复信息。 [0015] 作为优选的技术方案，接收到人工干预话音信号时通过第一连接转发至对应的船舶模拟终端之后，还包括： [0016] 基于所述人工干预话音信号，更新所述通话场景。 [0017] 作为优选的技术方案，所述的训练语音信息来自模拟VHF通讯设备、模拟声力电话设备、模拟全船广播设备中的任一个。 [0018] 作为优选的技术方案，当所述的训练语音信息来自模拟声力电话设备或模拟全船广播设备时，所述服务端通过有线线路建立与所述船舶模拟终端的连接；当所述的训练语音信息来自模拟VHF设备时，所述服务端通过有线线路或无线通信的方式建立与所述船舶模拟终端的连接。 [0019] 作为优选的技术方案，基于所述文本信息与预设的通话情景进行匹配具体为： [0020] 针对所述文本信息，提取目标角色信息并尝试进行匹配，若匹配成功，则获取与所述目标角色信息对应的响应语音信息，若匹配失败，则将预设的提示信息作为所述响应语音信息。 [0022] 本发明的另一个方面，提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行上述航海模拟器语音通话方法的指令。 [0023] 与现有技术相比，本发明具有以下优点： [0024] (1)针对现有应用于航海模拟器的语音通话方案在多个驾驶台团队同时进行训练的情况下由于资源受限导致训练效果不理想的问题，本发明提供了一种航海模拟器语音通话方法，通过获取各个船舶模拟终端的训练语音信息，经过语音识别并基于预设的通话情景进行匹配获取并返回响应语音信息，从而能够针对训练语音信息进行预设的回复，相较于现有的由控制台教练员实现互动沟通的方案，由于在训练过程中容易出现多个驾驶台团队同时呼叫同一对象的情况，而控制台教练员无法同时处理多个呼叫，本方法缩短了模拟本船驾驶台训练团队的人工回复的等待时间，有效地改善了受训学员的用户体验，实现同时对多个驾驶台团队的高效训练。 [0025] (2)除了用于训练的船舶模拟终端还设置了教练员使用的控制端，控制端实时获取各路船舶模拟终端的语音信息，在服务端无法识别训练语音信息并进行回复时控制端将收到提示信号，教练员能够进行干预，能够大量地减轻控制台教练员的语音回复工作量，使控制台教练员将更多的工作精力关注在受训学员的船舶操纵技艺、驾驶台团队协作、应急措施的采取等方面，使控制台教练员有更充裕的时间归纳、总结受训学员的训练表现成为可能，极大地改善了控制台教练员的用户体验。 [0026] (3)教练员进行干预后，服务器将人工干预话音信号转发给对应的船舶模拟终端并对内置的通话情景进行更新，采用了交互式自适应技术，对暂时未识别的语音给出了默认语音回复的方式，预留的交互式人工干预的方式可以及时有效地升级语音词库数据，方便后续语音模式的匹配。附图说明 [0027] 图1为实施例2中航海模拟器语音通话系统的架构示意图； [0028] 图2为模拟VHF设备的结构示意图； [0029] 图3为模拟VHF设备的外观示意图； [0030] 图4为模拟声力电话的结构示意图； [0031] 图5为模拟声力电话的外观示意图； [0032] 图6为控制台教练员讲解设备的结构示意图； [0033] 图7为模拟全船广播结构示意图； [0034] 图8为使用模拟VHF通话时的流程图； [0035] 图9为使用模拟全船广播进行通话流程图； [0036] 图10为使用模拟声力电话通话流程图； [0037] 图11为受训学员进行通话的流程图。 具体实施方式[0038] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。 [0039] 实施例1 [0040] 本实施例提供了一种航海模拟器语音通话方法，包括如下步骤： [0041] 步骤1，建立与至少一个船舶模拟终端的第一连接，建立与控制端的第二连接，其中，船舶模拟终端部署在航海模拟器上。 [0042] 步骤2，通过第一连接获取训练语音信息并通过第二连接转发至控制端，针对训练语音信息，通过语音识别获取文本信息，基于文本信息与预设的通话情景进行匹配，判断是否匹配成功，若是，将与匹配的通话情景对应的响应语音信息通过第一连接发送到对应的船舶模拟终端，若否，通过第二连接向控制端发送提示信号。 [0043] 其中，训练语音信息来自模拟VHF通讯设备、模拟声力电话设备、模拟全船广播设备中的任一个。当训练语音信息来自模拟声力电话设备或模拟全船广播设备时，服务端通过有线线路建立与船舶模拟终端的连接；当训练语音信息来自模拟VHF设备时，服务端通过有线线路或无线通信的方式建立与船舶模拟终端的连接。 [0044] 基于文本信息与预设的通话情景进行匹配具体为： [0045] 针对文本信息，提取目标角色信息并尝试进行匹配，若匹配成功，则获取与目标角色信息对应的响应语音信息，若匹配失败，则将预设的提示信息作为响应语音信息。 [0046] 通话情景基于通话对象的角色进行设置，通话情景包括锚地抛起锚、进出航道、航道行驶、应急操作、进港靠泊以及出港离泊。角色包括VTS管理人员角色、引航站人员角色、船公司角色以及其他船舶驾驶台团队角色。 [0047] 步骤3，侦听第二连接，若接收到人工干预话音信号，则通过第一连接转发至对应的船舶模拟终端，基于人工干预话音信号，更新通话场景。 [0048] 其中，若接收到人工干预话音信号则通过第一连接转发至对应的船舶模拟终端的过程具体为：若在预设的时间内接收到人工干预话音信号，则通过第一连接转发至对应的船舶模拟终端，若超过预设的时间后仍未接收到信号，则通过第一连接发送预设的报警回复信息。 [0049] 实施例2 [0050] 如图1所述，本实施例提供了一种航海模拟器语音通话系统，包括交换机以及分别与交换机连接的至少一个模拟本船、控制端和服务器，服务器上内置有执行如实施例1所述航海模拟器语音通话方法的指令。图1所示为1个控制台搭载4个模拟本船组成的航海模拟器系统，一个控制台搭载8台及更多模拟本船组成的航海模拟器系统结构类似。模拟固定式VHF设备和模拟手持式VHF设备，模拟声力电话设备，由话筒设备、放音设备、拾音器设备组成的模拟全船广播设备，这些分别安装在每条模拟主本船的驾驶舱中；考虑到场地限制、设备预算和教练员的用户习惯，控制台安装了模拟固定式VHF设备和模拟手持式VHF设备，模拟声力电话设备，由话筒设备、放音设备组成的教练员讲解系统；各个模块设备使用网络双绞线或无线WIFI通过路由器组建成局域网，该局域网中搭载了一台小型的数据库服务器。 [0051] 在航海模拟器提供的实操训练场景中，为了保证受训学员的沟通能够得到外界的及时回复，本系统模拟了和机舱人员、VTS管理人员、船公司、港口码头调度人员、其他模拟目标船舶值班驾驶团队人员的情景对话。本系统在减轻控制台教员班组语音沟通工作量的前提下，使教练员有更多的精力关注受训学员的驾驶台资源管理的能力，提供了一种一个控制台搭载尽量多模拟本船训练终端组成超大型航海模拟器系统的方案，为同一培训期、批量化、大规模进行船员航海模拟器实操培训提供了一种可能。 [0052] 本系统的工作原理如下： [0053] 航海模拟器提供的一个完整的船员实操训练场景是由锚地抛起锚、进出航道、航道行驶、应急操作、进港靠泊、出港离泊几个部分组成，需要对这几个部分根据船员任职岗位和培训目的的不同进行调序设置。在这几个部分分别进行的过程中，对驾驶团队与外界发生的语音通话进行采集备份，建立船员实操语音通话数据库，对机舱人员、VTS管理人员、船公司、港口调度人员、其他模拟目标船值班驾驶团队分别设置默认的模拟语音回复，在语音通话的过程中控制台教练员可以随时进行人工语音干预，教练员的语音干预会补充完善语音回复，进而进一步更新语音数据词库。 [0054] 如表1所述为不同模拟角色的默认语音回复词条，VTS管理人员角色、引航站人员角色、船公司角色、其他船舶驾驶台团队角色是采用单通VHF通信模式，回复关键词包含“Roger”、”Copy that”、”Over”，在匹配了预留的角色后可以给出默认的回复词条，未知的角色直接回复“No answer”，教练员扮演角色干预回复的词条需要后续进一步更新、补充、完善到相应的词条数据库。 [0055] 表1不同模拟角色的默认语音回复词条 [0056] [0057] [0058] 考虑到网络的稳定性和用户使用的便携性，模拟声力电话设备和模拟全船广播系统采用有线网卡，模拟VHF设备包括有线和无线两种类型，这些模拟设备分别安装在每个模拟驾驶台的相应位置，使用网络双绞线或无线WIFI通过路由器与控制台的模拟VHF设备、模拟声力电话和教练员讲解设备组建成一个语音通信局域网，该局域网中同时搭载了一台小型的语音数据库服务器。语音数据库服务器主要用来存储语音数据词条，并及时地同步更新各个模拟主本船训练客户端及控制台的语音干预反馈词条数据。 [0059] 如图2‑7所述，本实施例给出了模拟VHF设备、模拟声力电话设备、模拟全船广播设备的通用模块结构图，其中的语音识别模块需要采购市场上的通用语音识别模块，目前市场上音频识别领域的方便进行二次开发的语音识别模块已经大量普及。 [0060] 如图2‑3所示分别为模拟VHF设备结构示意图和外观图样。VHF设备是单通道通信模式，每一次呼叫通话都需要以按下发送按钮开始和以松开发送按钮结束，VHF需要显示当前使用频道，所以模拟VHF设备需要配置一个发送按钮和状态显示框。 [0061] 如图4‑5所示分别为模拟声力电话设备结构示意图和外观图样。声力电话采用双通模式进行语音通话，每一次呼叫通话以摇号开始和以挂机结束，简易的模拟声力电话需要配置摇柄及旋钮进行拨号。 [0062] 如图6‑7所示分别为控制台教练员讲解设备和模拟全船广播系统结构示意图。在真实的或模拟的驾驶舱中，广播话筒、拾音器和外放音响一般位于船舶的不同位置，控制台的讲解系统和驾驶台的模拟广播系统类似，需要把话筒和音响通过数据线分别接到核心单元上。 [0063] 如图8所述为使用模拟VHF设备进行通话的流程图，按下发送按钮表示通话呼叫的开始，通话末尾出现”Over”关键词或者松开发送按钮表示呼话的结束，需要对通话内容进行辅助回复。 [0064] 如图9所述为受训学员使用模拟全船广播设备进行通话的流程图，按下发送按钮表示通话呼叫的开始，松开发送按钮或者通话沉默时长超过最大等待时长表示一段广播的结束。 [0065] 如图10所述为受训学员使用模拟声力电话进行通话的流程，摇号拨号开始一段对话，通话沉默时长超过最大等待时长或者挂机表示一段对话的结束，需要对通话内容进行辅助回复。 [0066] 如图11为受训学员在航海模拟器中使用本实施例语音通话智能辅助系统进行通话的流程图，图8、图9、图10分别表示图11流程图中选择通话工具的子流程。对子流程的通话内容进行语音识别，判断识别的内容是否匹配预留情景模块，这些预留的情景模块包括了本船值班驾驶团队与机舱人员、VTS管理人员、船公司、港口调度人员、其他模拟目标船值班驾驶团队情景对话。如果识别后的内容匹配预留模块，系统及时给出回复；如果识别后的内容不完全匹配预留模块，控制台教练员可以及时进行人工干预，教练员干预回复后的语音内容可以更新预留的语音内容，补充完善局域网内服务器上的语音数据库；如果控制台教练员对无法完全匹配的内容没有进行及时地干预，需要进一步判断识别的内容是否匹配预留的对话角色；如果内容匹配预留角色，针对模拟角色回复的不同特点，回复相应角色的默认留言；如果内容无法匹配预留角色，系统给出默认报警回复。 [0067] 本系统和方法改变了使用航海模拟器培训船员需要控制台教练员扮演各种角色配合受训学员进行语音对话通信这一现状，可以在一定程度上补充和完善航海模拟器的交互式语音通信功能。减少了模拟多本船对抗训练过程中出现的信息干扰，在由一台控制台搭载多台模拟本船进行船员实操训练的过程中，模拟机舱、模拟引航站、模拟VTS、模拟港口调度、模拟船公司可以对各个主本船给出及时的信息回复，避免了以往训练过程中的信息干扰，缩短了模拟本船驾驶台训练团队的人工回复的等待时间，有效地改善了受训学员的用户体验，使一台控制台搭载4台及以上模拟训练主本船终端组建大型多船对抗模拟器系统成为可能。 [0068] 本系统和方法还可以大量地减轻控制台教练员的语音回复工作量，使控制台教练员将更多的工作精力关注在受训学员的船舶操纵技艺、驾驶台团队协作、应急措施的采取等方面，使控制台教练员有更充裕的时间归纳、总结受训学员的训练表现成为可能，极大地改善了控制台教练员的用户体验。采用了交互式自适应技术，对暂时未识别的语音给出了默认语音回复的方式，预留的交互式人工干预的方式可以及时有效地升级语音词库数据，方便后续语音模式的匹配。 [0069] 另外，本系统和方法设计了模拟VHF设备、模拟声力电话设备、模拟全船广播设备、教练员讲解设备。与真机设备相比较，利用模拟设备进行训练可以大幅度降低设备的采购成本。同时，局域网中的模拟VHF设备并不会占用海事通信公共频道，保证了受训学员与邻近值班船员之间的信息隔离，保障了邻近值班船员的通信安全。 [0070] 最后，系统和方法设计了受训学员智能语音通话的常规流程，与目前市场上的智能居家语音聊天设备相比，本实施例匹配了受训学员在航海模拟器中完成实操训练这一特定应用场景，本发明系统的语音数据库服务器位于局域网中，采购、运行、维护成本远低于市场上的云服务器。 [0071] 实施例3 [0072] 本实施例提供了一种电子设备，包括：一个或多个处理器以及存储器，所述存储器内储存有一个或多个程序，所述一个或多个程序包括用于执行如实施例1所述的航海模拟器语音通话方法的指令。 [0073] 实施例4 [0074] 本实施例提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如实施例1所述航海模拟器语音通话方法的指令。 [0075] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。 |
||||||
QQ群二维码
意见反馈
意见反馈