首页 / 专利库 / 专利权 / 发明 / 一种基于空管语音识别与合成的管制指令发布系统及方法

一种基于空管语音识别与合成的管制指令发布系统及方法

阅读:133发布:2020-11-24

专利汇可以提供一种基于空管语音识别与合成的管制指令发布系统及方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于空管 语音识别 与合成的管制指令发布系统及方法,通过在地空通话过程中,对管制员输入的文本指令进行 风 险监测,当判断指令安全后,利用相应的语音合成模型将管制员输入的指令直接转换相应的管制语音数据,从而使得管制员无需在写入指令的同时发出语音指令,减轻管制员的工作负荷,同时提高管制指令发布的安全性;并在飞行员做出下行应答语音时,利用相应的语音识别解析模型对飞行员的语音进行语音识别、解析,并对飞行员的应答做一致性判断,从而进一步减轻管制员的工作负荷、提高地空通话的准确度。通过 整理 并统计所有地空通话数据,并将其制作成相应的训练样本对系统中的模型进行更新训练,提高模型 精度 。,下面是一种基于空管语音识别与合成的管制指令发布系统及方法专利的具体信息内容。

1.一种基于空管语音识别与合成的管制指令发布系统,其特征在于,包括:地空通话语音接入模、空管数据处理模块、空管语音合成模块、空管语音识别解析模块、空管语音数据监测模块;
所述空管数据处理模块能够从空管内话系统实时获取飞行环境信息,并根据所述飞行环境信息生成空管态势数据,并将所述空管态势数据输出至所述空管语音数据监测模块;
所述空管语音数据监测模块能够接收管制员通过空管内话系统发出的文本管制指令,根据所述空管态势数据判断所述文本管制指令中包含的指令类型和指令参数是否存在险;若存在风险,通过空管内话系统向管制员发送指令错误的提示信息;若不存在风险,则将所述文本管制指令发送至空管语音合成模块;所述空管语音数据监测模块还用于接收所述空管语音识别解析模块输出的文本应答数据,并提取所述文本应答数据中包含的指令类型和指令参数;判断所述文本应答数据中包含的指令类型和指令参数是否与所述文本指令数据中包含的指令类型和指令参数一致,若一致,认为指令发布成功,向管制员发送指令发布成功的提示信息;若不一致,则向所述空管语音合成模块发出重发语音指令;
所述空管语音合成模块能够接收所述文本管制指令,并将所述文本管制指令合成转换为管制语音数据,再通过空管内话系统中的上行通话信道将所述管制语音数据发送至飞行员;并基于所述空管语音数据监测模块或者所述地空通话语音接入模块的重发语音指令向飞行员重新发送所述管制语音数据;
所述地空通话语音接入模块用于实时监测空管内话系统中的下行通话信道是否有飞行员发出的下行应答语音数据,如果预设时间内未监测到所述飞行员发出的下行应答语音数据,则向所述空管语音合成模块发出重发语音指令;当监测到所述下行应答语音数据后,拦截所述下行应答语音数据,并将所述下行应答语音数据输出至空管语音识别解析模块;
所述空管语音识别解析模块能够接收所述下行应答语音数据,并将其识别解析为文本应答数据传输给所述空管语音数据监测模块。
2.根据权利要求1所述的系统,其特征在于,所述空管语音合成模块中还包括语音标记子模块,所述语音标记子模块用于将管制员身份标识信息以音频数据的方式添加到所述管制语音数据中。
3.根据权利要求1所述的系统,其特征在于,所述地空通话语音接入模块还包括控制信号接入子模块,所述控制信号接入子模块能够基于管制员的语音通话控制信号拦截管制员向空管内话系统的上行通话信道发出的语音管制指令;并将所述语音管制指令输出至所述空管语音识别解析模块;
所述空管语音识别解析模块能够接收所述语音管制指令,并将所述语音管制指令将所述语音管制指令识别解析为文本数据发送至所述空管语音数据监测模块;
所述空管语音数据监测模块能够提取所述文本数据中包含的指令类型和文本指令参数;根据所述空管态势数据判断所述指令类型和指令参数是否存在风险;若存在风险,通过空管内话系统向管制员发送指令错误的提示信息;若不存在风险,则允许将所述语音管制指令通过上行通话信道上传至飞行员。
4.根据权利要求2或3所述的系统,其特征在于,还包括空管数据存储模块,所述空管数据存储模块通过交换机与所述地空通话语音接入模块、空管数据处理模块、空管语音合成模块、空管语音识别解析模块、空管语音数据监测模块、空管内话系统进行实时数据交换,并用于记录一定时间间隔内的所述地空通话语音接入模块、空管数据处理模块、空管语音合成模块、空管语音识别解析模块、空管语音数据监测模块、空管内话系统中的数据,用于管制工作的统计与查阅。
5.一种采用权利要求1-4所述的基于空管语音识别与合成的管制指令发布系统发布管制指令的方法,其特征在于,包括:
实时获取飞行环境信息,并根据所述飞行环境信息生成空管态势数据;当管制员通过空管内话系统发出文本管制指令时,接收所述文本管制指令,根据所述空管态势数据判断所述文本管制指令中包含的指令类型和指令参数是否存在风险;若存在风险,通过空管内话系统向管制员发送指令错误的提示信息;若不存在风险,则将所述文本管制指令合成转换为管制语音数据通过上行通话信道发送至飞行员;
拦截飞行员向下行通话信道发出的下行应答语音数据,并将所述下行应答语音数据识别解析为文本应答数据,提取所述文本应答数据中包含的指令类型和指令参数;判断所述文本应答数据中包含的指令类型和指令参数是否与所述文本指令数据中包含的指令类型和指令参数一致,若一致,认为指令发布成功,向管制员发送指令发布成功的提示信息;若不一致,则重新向飞行员发送所述管制语音数据。
6.根据权利要求5所述的方法,其特征在于,还包括:在将所述文本管制指令合成转换为管制语音数据后,将管制员身份标识信息以音频数据的方式添加到所述管制语音数据中,并将带有管制员身份标识信息的管制语音数据发送给飞行员。
7.根据权利要求6所述的方法,其特征在于,在将标记后的管制语音数据发送给飞行员后,实时监测下行通话信道中是否有飞行员发出的下行应答语音数据,如果预设时间内未监测到所述飞行员发出的下行应答语音数据,则向飞行员重新发送标记后的管制语音数据。
8.根据权利要求7所述的方法,其特征在于,所述飞行环境信息包括:雷达数据、飞行器飞行计划、气象信息、飞行器当前飞行高度以及飞行器当前飞行速度。
9.根据权利要求8所述的方法,其特征在于,当指令发布成功后,根据实时获取到的飞行环境信息,判断飞行员是否执行管制员发布的指令。
10.根据权利要求6所述的方法,其特征在于,若管制员在通过空管内话系统发出文本管制指令时,同时输出了语音管制指令,则拦截所述语音管制指令在上行通话信道的传输,并将所述语音管制指令识别解析为文本数据,提取所述文本数据中包含的文本指令类型和文本指令参数;根据所述空管态势数据判断所述文本指令类型和文本指令参数是否存在风险;若存在风险,通过空管内话系统向管制员发送指令错误的提示信息;若不存在风险,则允许将所述语音管制指令上传给飞行员,并等待接收飞行员发出的下行应答语音数据。
11.根据权利要求10所述的方法,其特征在于,所述根据所述空管态势数据判断所述文本指令类型和文本指令参数是否存在风险,具体包括:
判断所提取的文本数据中包含的文本指令类型和文本指令参数述与所述文本管制指令中包含的指令类型和指令参数是否匹配,当二者不匹配时,认为存在风险;
当二者匹配时,再根据所述空管态势数据对所提取的文本数据中包含的文本指令类型和文本指令参数进行准确性判断;若判断其为准确指令,则认为不存在风险;若判断其为错误指令,则认为存在风险。
12.根据权利要求10所述的方法,其特征在于,所述空管语音识别解析模块采用基于深度学习的语音识别解析模型将所述下行应答语音数据识别解析为文本应答数据,以及将所述语音管制指令识别解析为文本数据;
所述空管语音合成模块采用基于深度学习的语音合成模型将所述文本管制指令合成转换为管制语音数据。
13.根据权利要求11所述的方法,其特征在于,统计一定时间间隔内的下行应答语音数据及其对应的文本应答数据、以及语音管制指令及其对应的文本数据,以生成第一数据样本;利用所述第一数据样本对所述基于深度学习的语音识别解析模型进行训练;
统计一定时间间隔内的文本管制指令及其对应的管制语音数据,以生成第二数据样本;利用所述第二数据样本对所述基于深度学习的语音合成模型进行训练。

说明书全文

一种基于空管语音识别与合成的管制指令发布系统及方法

技术领域

[0001] 本发明涉及空中交通管制技术领域,尤其涉及一种基于空管语音识别与合成的管制指令发布系统及方法。

背景技术

[0002] 随着我国民航快速发展,飞行流量急剧增加,空管指挥日益复杂,管制员工作负荷与压越来越大。地空通话是维系管制员和飞行员信息交流与指挥指令传达的关键环节,是管制员与飞行员进行沟通的主要方式,一般的通话过程为:“管制员下达指令”->“飞行员复诵指令”->“管制员监听复诵”。通话过程中,管制员指令是否正确、飞行员是否准确抄收管制指令并正确复诵以及执行、管制员监听飞行员复诵是否正确,直接关系到飞行安全。这是一种高强度、高负荷工作模式,在实际运行中,由于语速过快、非标准通话用语、通信波道阻塞、相似航班号、背景噪音等原因很可能造成“错、忘、漏”等通信失误情况,最终导致空管不安全事件甚至事故征候等严重后果。
[0003] 现有空管指令发布模式是一种人在回路的模式,即管制员根据空管自动化系统(ATC)提供的融合监视信息、飞行计划、气象信息等实时空情态势,通过地空VHF电台以语音对话的方式对飞行员进行指挥控制。但是现有的ATC空管自动化系统提供的空情态势显示是一种二维显示,在航路/航线图上显示航班的位置,以数据标牌方式显示航班号、高度、速度等文字信息。这需要管制员在大脑中形成四维(位置+时间)航空器动态来判断安全间隔是否可控以及为保持安全间隔需要发布的各种调配指令(文本指令),再以地空VHF电台通话形式下达语音管制指令,并通过监听飞行员的复诵来确认飞行员是否准确无误理解指令。在管制员人机交互方面,管制员既要持续观察管制席位屏幕上的二维态势显示,分析可能出现的冲突险,又要通过地空通话下达语音调控指令,同时还要将相关指令通过键盘/鼠标以文本的形式将指令输入至系统进行冲突计算,不时还要低头在纸质或电子进程单上进行相关记录与排序工作,一方面会大大影响管制员的注意力分配,另一方面可能会造成输入系统的指令和管制员下达指令不一致,或者未监听到飞行员的复诵不一致,这是安全风险大、指挥效率低、工作负荷大的重要原因之一。较大的工作负荷也限制了一个管制员可以同时指挥的航班数数量,因而造成了很多的航班延误。

发明内容

[0004] 本发明的目的之一至少在于,针对如何克服上述现有技术存在的问题,提供一种基于空管语音识别与合成的管制指令发布系统及方法,管制员在通过本系统进行指令发布时,只需写入文本指令即可,无需同时发出语音指令,从而极大地减轻了管制员的工作负荷、增加地空通话的准确度。
[0005] 为了实现上述目的,本发明采用的技术方案包括以下各方面。
[0006] 一种基于空管语音识别与合成的管制指令发布系统,包括:地空通话语音接入模、空管数据处理模块、空管语音合成模块、空管语音识别解析模块、空管语音数据监测模块;
[0007] 所述空管数据处理模块能够从空管内话系统实时获取飞行环境信息,并根据所述飞行环境信息生成空管态势数据,并将所述空管态势数据输出至所述空管语音数据监测模块;
[0008] 所述空管语音数据监测模块能够接收管制员通过空管内话系统发出的文本管制指令,根据所述空管态势数据判断所述文本管制指令中包含的指令类型和指令参数是否存在风险;若存在风险,通过空管内话系统向管制员发送指令错误的提示信息;若不存在风险,则将所述文本管制指令发送至空管语音合成模块;所述空管语音数据监测模块还用于接收所述空管语音识别解析模块输出的文本应答数据,并提取所述文本应答数据中包含的指令类型和指令参数;判断所述文本应答数据中包含的指令类型和指令参数是否与所述文本指令数据中包含的指令类型和指令参数一致,若一致,认为指令发布成功,向管制员发送指令发布成功的提示信息;若不一致,则向所述空管语音合成模块发出重发语音指令;
[0009] 所述空管语音合成模块能够接收所述文本管制指令,并将所述文本管制指令合成转换为管制语音数据,再通过空管内话系统中的上行通话信道将所述管制语音数据发送至飞行员;并基于所述空管语音数据监测模块或者所述地空通话语音接入模块的重发语音指令向飞行员重新发送所述管制语音数据;
[0010] 所述地空通话语音接入模块用于实时监测空管内话系统中的下行通话信道是否有飞行员发出的下行应答语音数据,如果预设时间内未监测到所述飞行员发出的下行应答语音数据,则向所述空管语音合成模块发出重发语音指令;当监测到所述下行应答语音数据后,拦截所述下行应答语音数据,并将所述下行应答语音数据输出至空管语音识别解析模块;
[0011] 所述空管语音识别解析模块能够接收所述下行应答语音数据,并将其识别解析为文本应答数据传输给所述空管语音数据监测模块。
[0012] 优选的,所述空管语音合成模块中还包括语音标记子模块,所述语音标记子模块用于将管制员身份标识信息以音频数据的方式添加到所述管制语音数据中。
[0013] 优选的,所述地空通话语音接入模块还包括控制信号接入子模块,所述控制信号接入子模块能够基于管制员的语音通话控制信号拦截管制员向空管内话系统的上行通话信道发出的语音管制指令;并将所述语音管制指令输出至所述空管语音识别解析模块;
[0014] 所述空管语音识别解析模块能够接收所述语音管制指令,并将所述语音管制指令将所述语音管制指令识别解析为文本数据发送至所述空管语音数据监测模块;
[0015] 所述空管语音数据监测模块能够提取所述文本数据中包含的指令类型和文本指令参数;根据所述空管态势数据判断所述指令类型和指令参数是否存在风险;若存在风险,通过空管内话系统向管制员发送指令错误的提示信息;若不存在风险,则允许将所述语音管制指令通过上行通话信道上传至飞行员。
[0016] 优选的,还包括空管数据存储模块,所述空管数据存储模块通过交换机与所述地空通话语音接入模块、空管数据处理模块、空管语音合成模块、空管语音识别解析模块、空管语音数据监测模块、空管内话系统进行实时数据交换,并用于记录一定时间间隔内的所述地空通话语音接入模块、空管数据处理模块、空管语音合成模块、空管语音识别解析模块、空管语音数据监测模块、空管内话系统中的数据,用于管制工作的统计与查阅。
[0017] 本发明还提供一种采用上述基于空管语音识别与合成的管制指令发布系统来发布管制指令的方法,包括:
[0018] 实时获取飞行环境信息,并根据所述飞行环境信息生成空管态势数据;当管制员通过空管内话系统发出文本管制指令时,接收所述文本管制指令,根据所述空管态势数据判断所述文本管制指令中包含的指令类型和指令参数是否存在风险;若存在风险,通过空管内话系统向管制员发送指令错误的提示信息;若不存在风险,则将所述文本管制指令合成转换为管制语音数据通过上行通话信道发送至飞行员;
[0019] 拦截飞行员向下行通话信道发出的下行应答语音数据,并将所述下行应答语音数据识别解析为文本应答数据,提取所述文本应答数据中包含的指令类型和指令参数;判断所述文本应答数据中包含的指令类型和指令参数是否与所述文本指令数据中包含的指令类型和指令参数一致,若一致,认为指令发布成功,向管制员发送指令发布成功的提示信息;若不一致,则重新向飞行员发送所述管制语音数据。
[0020] 优选的,还包括:在将所述文本管制指令合成转换为管制语音数据后,将管制员身份标识信息以音频数据的方式添加到所述管制语音数据中,并将带有管制员身份标识信息的管制语音数据发送给飞行员
[0021] 优选的,在将标记后的管制语音数据发送给飞行员后,实时监测下行通话信道中是否有飞行员发出的下行应答语音数据,如果预设时间内未监测到所述飞行员发出的下行应答语音数据,则向飞行员重新发送标记后的管制语音数据。
[0022] 优选的,所述飞行环境信息包括:雷达数据、飞行器飞行计划、气象信息、飞行器当前飞行高度以及飞行器当前飞行速度。
[0023] 优选的,当指令发布成功后,根据实时获取到的飞行环境信息,判断飞行员是否执行管制员发布的指令。
[0024] 优选的,若管制员在通过空管内话系统发出文本管制指令时,同时输出了语音管制指令,则拦截所述语音管制指令在上行通话信道的传输,并将所述语音管制指令识别解析为文本数据,提取所述文本数据中包含的文本指令类型和文本指令参数;根据所述空管态势数据判断所述文本指令类型和文本指令参数是否存在风险;若存在风险,通过空管内话系统向管制员发送指令错误的提示信息;若不存在风险,则允许将所述语音管制指令上传给飞行员,并等待接收飞行员发出的下行应答语音数据。
[0025] 优选的,所述根据所述空管态势数据判断所述文本指令类型和文本指令参数是否存在风险,具体包括:
[0026] 判断所提取的文本数据中包含的文本指令类型和文本指令参数述与所述文本管制指令中包含的指令类型和指令参数是否匹配,当二者不匹配时,认为存在风险;
[0027] 当二者匹配时,再根据所述空管态势数据对所提取的文本数据中包含的文本指令类型和文本指令参数进行准确性判断;若判断其为准确指令,则认为不存在风险;若判断其为错误指令,则认为存在风险。
[0028] 优选的,所述空管语音识别解析模块采用基于深度学习的语音识别解析模型将所述下行应答语音数据识别解析为文本应答数据,以及将所述语音管制指令识别解析为文本数据;
[0029] 所述空管语音合成模块采用基于深度学习的语音合成模型将所述文本管制指令合成转换为管制语音数据。
[0030] 优选的,统计一定时间间隔内的下行应答语音数据及其对应的文本应答数据、以及语音管制指令及其对应的文本数据,以生成第一数据样本;利用所述第一数据样本对所述基于深度学习的语音识别解析模型进行训练;
[0031] 统计一定时间间隔内的文本管制指令及其对应的管制语音数据,以生成第二数据样本;利用所述第二数据样本对所述基于深度学习的语音合成模型进行训练。
[0032] 综上所述,由于采用了上述技术方案,本发明至少具有以下有益效果:
[0033] 通过在地空通话过程中,对管制员输入的文本指令进行风险监测,当判断指令安全后,利用相应的语音合成模型将管制员输入的指令直接转换相应的管制语音数据,从而使得管制员无需在写入指令的同时发出语音指令,减轻管制员的工作负荷,并且进一步避免由于管制员输入的指令与其发出的语音指令不一致而造成的安全隐患,提高管制指令发布的安全性;并在飞行员做出下行应答语音时,利用相应的语音识别解析模型对飞行员的语音进行语音识别、解析,基于管制员写入的指令对飞行员应答内容做出一致性判断,从而进一步减轻管制员的工作负荷、提高地空通话的准确度。
[0034] 进一步的,通过在空管语音合成模块中设置语音标记子模块,将管制员身份标识信息以音频数据的方式添加到其发布的管制语音数据中,便于事后追踪。同时本系统中还设置有相应的数据存储模块,其可以记录并存储所有地空通话数据,对该模块存储的数据进行整理,可以提取相应的语音数据样本对管制员、飞行员进行视听训练。并且通过将统计整理出来的地空通话数据,制作成相应的样本对语音识别模型、语音解析模型进行继续训练,可以不断提高语音识别模型、语音解析模型的精度附图说明
[0035] 图1为本发明示例性实施例的基于空管语音识别与合成的管制指令发布系统系统结构示意图。
[0036] 图2为本发明示例性实施例的空管语音合成模块组成结构示意图。
[0037] 图3为本发明示例性实施例的空管语音识别与指令解析模块组成结构示意图。
[0038] 图4为管制指挥席结构示意图。

具体实施方式

[0039] 下面结合附图及实施例,对本发明进行进一步详细说明,以使本发明的目的、技术方案及优点更加清楚明白。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
[0040] 本发明的目的是设计一种基于空管语音识别与合成的管制指令发布系统及方法,能够对管制员写入的文本的管制指令进行风险检测,当管制员写入的文本指令存在风险(与飞行环境相冲突的指令)时停止向飞行员发送语音,向管制员发出提示信息,以提示管制员重新写入准确的指令,从而降低管制员工作负荷、也能减小管制员发出错误指令而带来的安全隐患。当相应的文本指令通过风险检测时,再采用空管语音合成技术将其合成转化为管制语音发布给飞行员,并在飞行员做出下行复诵语音时,将飞行员发出的复诵语音识别解析为文本数据,并基于管制员写入的文本指令对解析出的文本数据进行一致性判断,当判断不一致时,系统自动向飞行员发送管制员重新发送合成的管制语音(可根据需要设置重发次数,一般为重发1~3次),当一致时,再向管制员发出指令发送成功的提示信息,从而进一步减轻管制员的工作负荷。
[0041] 实施例1
[0042] 图1示出了本发明示例性实施例的一种基于空管语音识别与合成的管制指令发布系统,本系统通过数据交换机与空管内话系统(包括地空通话设备、管制指挥席,图4示出了管制员通过管制指挥席快速输入管制指令的示意图)进行数据交互,包括:地空通话语音接入模块、空管数据处理模块、空管语音合成模块、空管语音识别解析模块、空管语音数据监测模块。
[0043] 其中,所述空管数据处理模块用于实时接收空管内话系统中的雷达等监视数据、飞行计划、气象和航行情报、其他动态信息以及管制信息等飞行环境信息,经综合处理后形成空管态势数据输出至所述空管语音数据监测模块,具体包括:数据接入预处理、空管数据综合处理、结合管制指令的航班轨迹估算等功能。
[0044] 同时空管语音数据监测模块则用于接收管制员通过空管内话系统写入的文本管制指令,根据其从空管数据处理模块接收到的空管态势数据对管制员写入的文本管制指令进行风险判断,即提取管制员输入的文本指令中包含的指令类型和指令参数,根据相应的空管态势数据来计算该文本管制指令中包含的指令类型和指令参数是否存在各种安全风险,若存在风险,空管语音数据监测模块会通过空管内话系统向管制员发送指令错误的提示信息;若不存在风险,空管语音数据监测模块会将所述文本管制指令按《空中交通无线电通话用语》(MH/T4014-2003)规范对所述文本管制指令的指令结构进行规范修正,再将规范后的文本管制指令发送到发送至空管语音合成模块进行处理。此时,由空管语音合成模块接收所述文本管制指令,并将所述文本管制指令合成转换为管制语音数据,再通过空管内话系统中的上行通话信道将所述管制语音数据发送至飞行员;并且在该空管语音合成模块中还包括语音标记子模块,所述语音标记子模块用于将管制员身份标识信息以音频数据的方式添加到所述管制语音数据中,通过音频身份信息的标记可以便于事后追踪发布者。
[0045] 在地空通话过程中,飞行员在通过空管内话系统接收到该管制语音数据后,会向空管内话系统中的下行通话信道发出下行应答语音数据。在本系统中,由地空通话语音接入模块对空管内话系统中的下行通话信道进行实时监测如果预设时间内(可根据需要进行预设时间参数的配置,在本实施例中,设置为5秒)未监测到所述飞行员发出的下行应答语音数据,则向所述空管语音合成模块发出重发语音指令;由空管语音合成模块将其合成的管制语音数据重发n次(可根据需要设置重发次数的,在本实施例中,默认重发1次),无需管制员重新输入指令即可自动向飞行员重发指令,进而在保证飞行员接收到准确的管制语音指令的同时,进一步减轻管制员的工作负荷。当地空通话语音接入模块监测到飞行员复诵的下行应答语音数据后,拦截所述下行应答语音数据,并将所述下行应答语音数据输出至空管语音识别解析模块;由空管语音识别解析模块接收下行应答语音数据,并将其识别解析为文本应答数据传输给所述空管语音数据监测模块。此时,由所述空管语音数据监测模块对该文本应答数据做一致性检查,提取该文本应答数据中包含的指令类型和指令参数,并判断所述文本应答数据中包含的指令类型和指令参数是否与所述文本指令数据中包含的指令类型和指令参数一致,若一致,认为指令发布成功,向管制员发送指令发布成功的提示信息;若不一致,则向所述空管语音合成模块发出重发语音指令,由空管语音合成模块向飞行员重发相应的管制语音数据n次(可根据需要设置重发次数的,在本实施例中,默认重发1次)。
[0046] 进一步的,图2示出了本发明示例性实施例的空管语音合成模块,该模块由以下功能组成:(1)空管通话文本生成子模块303:将空管语音数据监测模块传输来的文本管制指令中的指令类型及参数,按照《空中交通无线电通话用语》(MH/T4014-2003)规范生成对应的通话文本,可自动根据航班属性(国际航班)或管制员设定生成中文/英文管制通话文本。(2)空管语音合成处理子模块302:采用基于深度学习的空管语音合成模型,根据输入的值班管制员信息获取对应的语音特征,将管制通话文本合成为管制通话语音信息。(3)空管语音身份特征合成处理(语音标记子模块)301:用于将管制员身份标识信息以音频数据的方式添加到所述管制语音数据中,形成含管制员特征的可追溯的空管通话语音,再发送给飞行员,以为事后调查及分析提供支持。
[0047] 进一步的,图3示出了本发明示例性实施例的空管语音识别解析模块,该模块采用基于深度学习的语音识别解析模型将其接收到的下行应答语音数据识别解析为文本应答数据,再将所述文本应答数据传输给所述空管语音数据监测模块进行一致性判断。由于地空通话是一种半双工、中英文、多人共用一个信道的工作模式,因此将该空管语音识别解析模块设计为一种并行处理架构,兼顾识别准确度及实时性,具体来说有如下功能:
[0048] (1)空管语音预处理:对接收的语音数据进行去噪、平滑等增强处理,并基于静音和地空通话特征进行语音自适应分段处理,形成一段一段的语音流送以下3个并行处理子模块处理。(2)空管语音属性分类:利用基于深度学习训练出的分类模型进行语音属性分类,将输入的语音片段流分为中文、英文和噪音三类以及三种类型对应的概率值。(3)空管中文语音识别:利用基于深度学习训练出的空管中文语音模型进行识别,将输入的语音片段识别为中文文本及其对应的概率值。(4)空管英文语音识别:利用基于深度学习训练出的空管英文语音模型进行识别,将输入的语音片段识别为英文文本及其对应的概率值。(5)空管语音识别综合处理:将空管语音段的属性分类、空管中文语音识别、空管英文识别输出的概率值,经加权计算去最高的概率值的语音属性类别及其空管语音识别文本,其计算公式为: i=1表示中文,i=2表示英文,i=3表示噪音等其它声音,Ci为对应权重系数,取值范围0-1之间,,Ci的和为1,Pi为对应识别出来的文本对应的概率。(6)空管指令解析:将空管语音识别综合处理输出的文本,按《空中交通无线电通话用语》(MH/T4014-2003)规范指令结构,解析成空管指令类型及其对应参数。如一组对话管制员:“国航幺四洞八下八千四下降率两千”,飞行员应答:“下八千四下降率两千国航幺四洞八”,解析成:{指令类别:下降高度,高度:8400米,航班号:CCA1408,下降率:2000英尺/分钟,色:管制员},{指令类别:下降高度,高度:8400米,航班号:CCA1408,下降率:2000英尺/分钟,角色:飞行员}。其中,管制员下达指令,需要先呼叫航班号,飞行员应答时则最后再说自己的航班号。
[0049] 在本发明进一步的实施例中,该地空通话语音接入模块还包括控制信号接入子模块,所述控制信号接入子模块用于接收空管内话系统中管制员的语音通话控制信号,根据该信号拦截管制员向空管内话系统的上行通话信道发出的语音管制指令,并将所述语音管制指令输出至所述空管语音识别解析模块。在实际工作中,尤其是在紧急情况下,管制员依然会选择语音通话的方式与飞行员进行直接通话,一旦管制员按下管制席上的通话手柄PTT(Push To Talk)按键,地空通话语音接入模块即根据该信号对上行语音进行拦截处理,具体包括:1、拦截该语音数据在上行通话信道的传输并录取该语音数据:空管语音数据为模拟音频信号,采用计算机自带的声卡Line-In或外置声卡方式录取,设置为16000bps(适应性参数)采样率,16位(适应性参数)量化音频信号。2、由控制信号接入子模块接收地空通话控制信号(PPT按键状态信号):地空通话一般采用甚高频(VHF)电台,是一种半双工通信模式,采用E&M第5类控制信令来控制上下行通话,在空管系统中管制员利用空管内话终端通过内话服务器与外部电台通信。当管制员需要通话、发布语音管制指令时,会按下地空通话手柄的PTT按键,通话完毕松开按键。PTT按键信号线是一个物理开关,按下则与信号地短接,松开则与信号地开路,PTT按键信号线开路时维持3V-5V电平。为避免影响正常的通信控制,本方案采用光电耦合方式以获取该通断信号,如为低电平(按下),则判断为管制员通话,如为高电平(松开)则管制员通话结束(未通话),其它情况为飞行员通话。3、语音数据输出:录取语音数据达到设置的缓冲区长度(10~40毫秒,即160~640个采样值,适应性参数)则将该数据通过网络或者共享内存等方式发送给空管语音识别解析模块。此时,由空管语音识别解析模块接收所述语音管制指令,并将所述语音管制指令将所述语音管制指令识别解析为文本数据发送至所述空管语音数据监测模块;
[0050] 所述空管语音数据监测模块能够提取所述文本数据中包含的指令类型和文本指令参数;根据所述空管态势数据判断所述指令类型和指令参数是否存在风险;若存在风险,通过空管内话系统向管制员发送指令错误的提示信息;若不存在风险,则允许将所述语音管制指令通过上行通话信道上传至飞行员。并等待飞行员做出下行应答语音数据,在接收到飞行员的下行应答语音数据时,对该下行应答语音数据做一致性判断。
[0051] 在本发明进一步的实施例中,本系统中还包括空管数据存储模块,该空管数据存储模块通过交换机与所述地空通话语音与控制信号接入模块、空管数据处理模块、空管语音合成模块、空管语音识别解析模块、空管语音数据监测模块、空管内话系统进行实时数据交换,并用于记录一定时间间隔内的所述地空通话语音与控制信号接入模块、空管数据处理模块、空管语音合成模块、空管语音识别解析模块、空管语音数据监测模块、空管内话系统中的所有数据,以便于对管制工作的查阅。主要用于记录系统各处理环节的数据,一方面提供事后的数据回放、数据统计等功能;另一方面提供空管语音及指令标注工具,对空管语音识别、指令解析、中英文空管语音分类不准确,以及语音合成效果不好文本等样本进行校正,形成可以用于重新训练模型的样本数据。
[0052] 实施例2
[0053] 本发明还提供一种采用上述基于空管语音识别与合成的管制指令发布系统来发布管制指令的方法,包括:
[0054] 实时获取飞行环境信息,并根据所述飞行环境信息生成空管态势数据;当管制员通过空管内话系统发出文本管制指令时,接收所述文本管制指令,根据所述空管态势数据判断所述文本管制指令中包含的指令类型和指令参数是否存在风险;若存在风险,通过空管内话系统向管制员发送指令错误的提示信息;若不存在风险,则将所述文本管制指令合成转换为管制语音数据通过上行通话信道发送至飞行员;
[0055] 拦截飞行员向下行通话信道发出的下行应答语音数据,并将所述下行应答语音数据识别解析为文本应答数据,提取所述文本应答数据中包含的指令类型和指令参数;判断所述文本应答数据中包含的指令类型和指令参数是否与所述文本指令数据中包含的指令类型和指令参数一致,若一致,认为指令发布成功,向管制员发送指令发布成功的提示信息;若不一致,则重新向飞行员发送所述管制语音数据。
[0056] 具体的,在实际管制指挥中,管制员会通过空管内话系统的管制指挥席显示的空中交通态势信息(包括管制区域内航空器的当前位置、高度、速度、航向以及未来飞行意图等数据,各类预警告警信息及消息提示等)持续监视空中航空器动态,同时通过地空通话模块监听飞行员的通话情况,以确保足够安全间隔及合理的空中交通流量。接着管制员会根据航空器的飞行计划或保持安全间隔的需要,在管制指挥席上输入管制指令(如改变航空器飞行参数、移交航空器的管制权限等),并根据需要在语音合成通话和人工通话模式间自由切换,当管制员选择通过智能的语音合成通话模式时,其只需要在管制指挥席上输入文本管制指令即可,此时由空管语音数据监测模块对其输入的文本管制指令进行风险监测:提取该文本管制指令中包含的指令类型和指令参数,结合空管态势数据,按照空管安全间隔标准进行分析与检测,判断该指令中包含的指令类型和指令参数是否会带来冲突风险,如果指令被判断为无风险、符合要求,则将文本管制指令按《空中交通无线电通话用语》(MH/T4014-2003)规范指令结构对所述文本管制指令进行结构规范修正,再发送到空管指令语音合成模块进行合成,否则反馈一个指令错误的提示信息给管制指挥席,以提醒管制员。空管指令语音合成模块对接收到的文本管制指令进行语音合成并,并将管制员身份标识信息以音频数据的方式添加到所述管制语音数据,并通过空管内话系统将管制语音数据传输给飞行员(发送给VHF地空通信网)。在将标记后的管制语音数据发送给飞行员后,实时监测下行通话信道中是否有飞行员发出的下行应答语音数据,如果预设时间内未监测到所述飞行员发出的下行应答语音数据,则向飞行员重新发送标记后的管制语音数据n次。当监测到飞行员向下行通话信道发出的发出的下行应答语音数据后,对其进行拦截,通过空管语音识别解析模块的基于深度学习的语音识别解析模型将接收到的下行应答语音数据识别解析为文本应答数据,提取所述文本应答数据中包含的指令类型和指令参数;判断所述文本应答数据中包含的指令类型和指令参数是否与管制员写入的文本指令数据中包含的指令类型和指令参数一致,若一致,认为指令发布成功,向管制员发送指令发布成功的提示信息,此时在管制指挥席上会显示出相应的指令发布成功标志;若不一致,则重新向飞行员发送所述管制语音数据n次。本系统利用相应的语音合成模型将管制员输入的指令直接转换相应的管制语音数据,从而使得管制员无需在写入指令的同时发出语音指令,减轻管制员的工作负荷,并且进一步避免由于管制员输入的指令与其发出的语音指令不一致而造成的安全隐患,提高管制指令发布的安全性。
[0057] 进一步的,考虑到在管制员的实际管制指挥中,如有需要,管制员依然会在发出文本管制指令时,同时输出语音管制指令,此时由控制信号接入子模块监测是否有来自PPT按钮的按键信号(管制员的语音通话控制信号),当监测到该信号时,则拦截管制员向空管内话系统的上行通话信道发出的语音管制指令;并录取该语音管制指令,再由空管语音识别解析模块将所述语音管制指令识别解析为文本数据,提取所述文本数据中包含的文本指令类型和文本指令参数;根据所述空管态势数据判断所述文本指令类型和文本指令参数是否存在风险;此时,判断所述文本指令类型和文本指令参数是否存在风险具体包括:判断所提取的文本数据中包含的文本指令类型和文本指令参数述与所述文本管制指令中包含的指令类型和指令参数是否匹配,当二者不匹配时,认为存在风险;当二者匹配时,再根据所述空管态势数据对所提取的文本数据中包含的文本指令类型和文本指令参数进行准确性判断;若判断其为准确指令,则认为不存在风险;若判断其为错误指令,则认为存在风险。若存在风险,通过空管内话系统向管制员发送指令错误的提示信息;若不存在风险,则允许将所述语音管制指令上传给飞行员,并等待接收飞行员发出的下行应答语音数据。当监测到飞行员向下行通话信道发出的发出的下行应答语音数据后,对其进行拦截,通过空管语音识别解析模块的基于深度学习的语音识别解析模型将接收到的下行应答语音数据识别解析为文本应答数据,提取所述文本应答数据中包含的指令类型和指令参数;判断所述文本应答数据中包含的指令类型和指令参数是否与管制员写入的文本指令数据中包含的指令类型和指令参数一致,若一致,认为指令发布成功,向管制员发送指令发布成功的提示信息,此时在管制指挥席上会显示出相应的指令发布成功标志;若不一致,则重新向飞行员发送所述管制语音数据n次。本系统利用相应的语音识别解析模型将管制员输入的指令直接转换相应的管制语音数据,从而使得管制员无需在写入指令的同时发出语音指令,减轻管制员的工作负荷,并且进一步避免由于管制员输入的指令与其发出的语音指令不一致而造成的安全隐患,提高管制指令发布的安全性。
[0058] 在当日管制工作结束后,管制员可以通过空管数据存储模块提供的相关记录及统计信息,进行总结讲评。同时由训练专家组对空管数据存储模块提供的相关记录进行整理统计,包括:1、统计一定时间间隔内的下行应答语音数据及其对应的文本应答数据、以及语音管制指令及其对应的文本数据,以生成第一数据样本,从而可以利用该第一数据样本对空管语音识别解析模块中的基于深度学习的语音识别解析模型进行训练。2、统计一定时间间隔内的文本管制指令及其对应的管制语音数据,以生成第二数据样本,从而可以利用该第二数据样本对空管语音合成模块中的基于深度学习的语音合成模型进行训练。
[0059] 如图1所示,本系统包括:地空通话语音接入模块、空管数据处理模块、空管语音合成模块(服务器)、空管语音识别解析模块(服务器)、空管语音数据监测模块(服务器)、还包括用于数据交互的网络交换机,本系统还连接到空管内话系统中的管制指挥席-席位工作站。服务器、交换机、数据存储设备和席位工作站均采用通用货架产品。空管地空通话设备利用计算机声卡(或类似的声音采集卡)实现地空通话的采集录取和语音输出,实现与外部VHF电台的信息交换。并且在实际配置系统时,可以根据空管数据量的大小、同时支持的空管地空通话通道数、系统配置硬件设备性能等要求对系统设备具体组成数量进行合理的增加或合并,系统应用软件根据硬件设备组成合理部署运行在相应的硬件设备上,这可以用信息系统设计与部署的通用技术实现。
[0060] 本发明提出的系统与方法为解决现有管制指挥中地空语音通话这一没有数字化的关键环节,兼容现有航空器配置的通信设备及VHF地空通话模式,可支持语音识别和语音合成智能发布工作模式,也可以自由(或紧急情况下)切换到传统人工通话模式上。以较小的系统建设成本,获得更大的安全裕度,进而提升管制效率,增强管制的智能化程度。
[0061] 本发明实施例所提供的系统为安装于设备上的软件或固件等来实现。本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
[0062] 在本发明所提供的实施例中,应该理解到,所揭露系统和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0063] 所述作为组成模块可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0064] 在本发明提供的实施例中的各功能模块可以集成在一个处理单元中,也可以是各个处理模块单独物理存在,也可以两个或两个以上功能模块集成在一个单元中。
[0065] 以上所述的,仅为本发明的较佳实施样例,并非用以限定本发明的范围,本发明的上述实施例还可以做出各种变化。即凡是依据本发明申请权利要求书及说明书内容所作的简单、等效变化与修饰,皆落入本发明专利的权利要求保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施步骤中未明确的各组成部分均可用现有技术加以实现。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈