技术领域
[0001] 本
发明涉及一种
工程机械设备的控制技术领域，具体地涉及一种基于离 线虹膜识别和语音识别的工程设备控制系统。
背景技术
[0002] 在工程机械领域，由于所涉及的大多为大型重工设备，因此，对于设备 的操作安全非常注重，往往在验证操作人员的身份后需要进一步确认操作人 员的操作权限，以确认是由
指定的人员在预定的权限内操作设备。关于操作 员人身份识别以及操作权限识别的技术，目前已发展出现多种，例如、语音 识别技术已日渐成熟并普及，通过语音向
电子设备发出控制指令的功能已经 成功地应用在不少
消费电子产品中，例如苹果手机的Siri功能。然而，这些 技术直接应用到工程机械领域却存在很多问题。
[0003] 首先，由于语音自身容易受其他条件影响而导致的不稳定，而且，对于 语音内容的确定，将其由自然语言转换为电子设备可接受的计算机语言往往 要求相关设备在线连接一个用于语义转换的外部
数据库等。这些问题都提高 了基于语音的电子设备控制技术的使用成本。
[0004] 其次，语音控制系统常常是基于声纹验证的方式确定操作人员的身份和 权限，在接收到语音命令的时候，同时采集其声纹，并根据验证结果执行反 馈。针对这种形式的身份验证型语音识别系统，每次接收到语音都会进行判 断，信息经过判断和识别两个
节点，增加了误执行或不执行的几率。同时， 声纹识别无法保证在同一用户不同
健康状态下声纹识别的准确性和安全性， 声纹验证型的语音识别技术已经不再具有普适性。
[0005] 另一种基于指纹识别的语音识别系统，但在工程机械领域，受污染程度 较高，指纹很难采集，因此也不能适应更广的范围。还有一种带
人脸识别的 语音识别系统，其对环境光照和人脸距离要求较高，无法在某些较暗环境使 用，且人脸识别的
算法工程量大难以在离线或资源较少的
嵌入式系统中高效 运行，需要联网，增加了使用要求，限制了使用。
发明内容
[0006] 本发明是为了解决上述问题而进行的，目的在于提供一种身份及操作权 限识别准确度高、安全性强、并能够广泛应用于工程机械领域的基于离线虹 膜识别和语音识别的工程设备控制系统。
[0007] 本发明提供了一种基于离线虹膜识别和语音识别的工程设备控制系统， 其特征在于，包括：虹膜识别单元，用于实时采集当前操作员的当前虹膜信 息从而判断其身份是否合法，并进一步在身份合法时获取当前操作员的操作 权限语音指令集；语音识别单元，与虹膜识别单元相连接，用于采集当前操 作员发出的待执行语音指令，并在虹膜识别单元识别出该当前操作员的身份 合法时将采集到的待执行语音指令转换为用于控制工程设备执行对应操作 的控制指令；以及反馈单元，用于显示工程设备反馈的设备操作状态信息。
[0008] 在本发明提供的基于离线虹膜识别和语音识别的工程设备控制系统中， 还可以具有这样的特征，其中，虹膜识别单元包含：人员信息数据库，一一 对应存储有预定至少一个操作员的标准虹膜信息、操作权限语音指令集；虹 膜采集模
块，用于实时采集当前操作员的当前虹膜信息；虹膜判断模块，将 采集到的当前虹膜信息与人员信息数据库中存储的标准虹膜信息进行对比， 从而判断出该当前操作员的身份是否合法；权限获取模块，在当前操作员的 身份合法时获取其对应的操作权限语音指令集，语音识别单元包含：语音指 令数据库，一一对应存储有所有语音指令对应的语音关键词；语音采集模块， 用于采集当前操作员发出的语音信息；语音处理模块，根据语音指令数据库 中存储的语音关键词对采集到的语音信息进行识别处理从而得到匹配的语 音指令；执行判断模块，基于权限获取模块获取的操作权限语音指令集判断 语音指令是否合法；命令转换模块，在执行判断模块判断为合法时将语音指 令转换成对应的控制命令。
[0009] 在本发明提供的基于离线虹膜识别和语音识别的工程设备控制系统中， 还可以具有这样的特征，其中，人员信息数据库和语音指令数据库为本地离 线数据库。
[0010] 在本发明提供的基于离线虹膜识别和语音识别的工程设备控制系统中， 还可以具有这样的特征，其中，虹膜识别单元还包含：语音使能模块，在虹 膜判断模块判断出该当前操作员的身份合法时激活语音识别单元中的执行 判断模块。
[0011] 在本发明提供的基于离线虹膜识别和语音识别的工程设备控制系统中， 还可以具有这样的特征，其中，虹膜识别单元还包含：计时模块，用于在虹 膜采集模块未采集到当前虹膜信息时开始计时，警醒提示模块，用于在计时 模块计时达到第一预设时间
阈值时发出警示信息从而提醒当前操作员继续 执行虹膜采集动作。
[0012] 在本发明提供的基于离线虹膜识别和语音识别的工程设备控制系统中， 还可以具有这样的特征，其中，警醒提示模块还用于在虹膜判断模块判断为 该操作员不合法时或者在计时模块计时超出第二预设时间阈值时发出警告 信息。
[0013] 在本发明提供的基于离线虹膜识别和语音识别的工程设备控制系统中， 还可以具有这样的特征，其中，语音识别单元还包含：语音唤醒模块，用于 通过
关键词识别、虹膜识别或者按键操作唤醒语音采集模块执行语音采集功 能。
[0014] 在本发明提供的基于离线虹膜识别和语音识别的工程设备控制系统中， 还可以具有这样的特征，其中，控制单元，根据命令转换模块得到的控制指 令控制工程设备执行对应操作。
[0015] 在本发明提供的基于离线虹膜识别和语音识别的工程设备控制系统中， 还可以具有这样的特征，还包括：操作面板单元，具有至少一个指令按键， 一旦任意的指令按键被按下，控制单元控制工程设备执行对应操作。
[0016] 在本发明提供的基于离线虹膜识别和语音识别的工程设备控制系统中， 还可以具有这样的特征，其中，虹膜采集模块为双目摄像头，根据操作员所 处于的驾驶座的
位置朝向操作员的眼睛倾斜设置。
[0017] 发明的作用与效果
[0018] 根据本发明所涉及的基于离线虹膜识别和语音识别的工程设备控制系 统，通过虹膜识别单元实时采集当前操作员的当前虹膜信息，从而判断其身 份是否合法，并进一步在身份合法时获取当前操作员的操作权限语音指令集， 进一步通过语音识别单元采集该操作员发出的待执行语音指令，并在其身份 合法时将采集到的待执行语音指令转换为用于控制工程设备执行对应操作 的控制指令，最终设备的操作状态信息显示在反馈单元上，通过虹膜实时采 集验证身份以及语音识别指令代替原有声纹、指纹和面部识别等其他验证方 式，提高了操作员身份及操作权限识别的准确度和安全性，而且身份识别与 语音识别在离线环境下进行，不需要连接网络保持在线状态，因此不受任何 工程环境困扰，具有很强的适应性，应用广泛。
附图说明
[0019] 图1是本发明的
实施例中基于离线虹膜识别和语音识别的工程设备控制 系统的结构
框图。
[0020] 图2是本发明的实施例中基于离线虹膜识别和语音识别的工程设备控制 系统的虹膜识别处理
流程图。
[0021] 图3是本发明的实施例中基于离线虹膜识别和语音识别的工程设备控制 系统的语音识别处理流程图。
具体实施方式
[0022] 下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在 所述的实施例范围之中。
[0023] <实施例>
[0024] 图1是本发明的实施例中基于离线虹膜识别和语音识别的工程设备控制 系统的结构框图。
[0025] 如图1所示，在本实施例中，基于离线虹膜识别和语音识别的工程设备 控制系统100用于对工程设备的启停、运行进行控制，例如启、停、升、降 等，尤其适用于对矿用工程机械的控制。首先通过虹膜识别来判断当前操作 员200的身份是否合法，然后对语音命令进行采集并判断出其所做出的操作 权限是否合法。基于离线虹膜识别和语音识别的工程设备控制系统100包括： 虹膜识别单元10、语音识别单元20、反馈单元30、控制单元40以及操作面 板单元50。
[0026] 虹膜识别单元10用于实时采集当前操作员的当前虹膜信息，从而判断 其身份是否合法，并进一步在身份合法时获取当前操作员的操作权限语音指 令集。
[0027] 虹膜识别单元10包含：人员信息数据库11、虹膜采集模块12、虹膜判 断模块13、权限获取模块14、语音使能模块15、计时模块16以及警醒提示 模块17。
[0028] 人员信息数据库11一一对应存储有预定至少一个操作员的标准虹膜信 息、操作权限语音指令集，在本实施例中，人员信息数据库11为本地离线 数据库，优选地，标准虹膜信息包含每名操作员的左右眼各两个标准虹膜信 息模板，这样无需联网即可在本地进行虹膜识别和操作权限获取操作。另外， 操作权限语音指令集包含预定的至少一个语音指令。
[0029] 虹膜采集模块12用于实时采集当前操作员的当前虹膜信息，在本实施 例中，虹膜采集模块12为双目摄像头，根据操作员所处于的驾驶座的位置 朝向操作员的眼睛倾斜设置，让操作员能够以舒适的姿势实时进行虹膜采集。 另外，该双目摄像头被设置为以间隔预定时间循环进行采集的方式运行，从 而实现实时采集虹膜信息，进一步实时判断操作员的身份是否合法，防止在 合法的操作员离开时，其他非法的操作员进行非法不当操作。
[0030] 虹膜判断模块13将虹膜采集模块12采集到的当前虹膜信息与人员信息 数据库11中存储的标准虹膜信息进行虹膜
生物特征对比，从而判断出该当 前操作员的身份是否合法。具体地，若采集到的当前虹膜信息与任意的标准 虹膜信息的比对结果为相匹配时，则该当前操作员的身份为合法；若不存在 标准虹膜信息与采集到的当前虹膜信息匹配时，则该当前操作员的身份为不 合法，也就是说其不具有任何操作权限。
[0031] 权限获取模块14在虹膜判断模块13判断出当前操作员的身份合法时， 从人员信息数据库11中获取该操作员对应的操作权限语音指令集。在本实 施例中，不同的操作员可能具有不同的操作权限，只有通过虹膜识别操作员 的身份后才能进一步获取其对应的操作权限语音指令集，从而获知其具体的 操作权限内容。
[0032] 语音使能模块15在虹膜判断模块13判断出该当前操作员的身份合法时 激活语音识别单元20的语音指令执行功能，具体地，语音使能模块15向语 音识别单元20发送激活
信号或使能信号。
[0033] 计时模块16用于在虹膜采集模块12未采集到任何当前虹膜信息时开始 计时。
[0034] 警醒提示模块17用于在计时模块16计时达到第一预设时间阈值时发出 警示信息，从而提醒当前操作员继续执行虹膜采集动作。这样，防止操作人 员中途离开太久导致本次的身份验证有效状态即将失效，提醒操作人员及时 返回并通过虹膜识别验证身份合法性，从而维持操作权限的有效状态。
[0035] 另外，警醒提示模块17还用于在虹膜判断模块13判断为该操作员身份 不合法而不具有任何操作权限时，或者在计时模块16计时超出第二预设时 间阈值时，发出警告信息，从而提醒操作员当前的身份验证为无效状态，具 体包含两种情况：一是身份验证未通过，身份非法；二是因超时而导致身份 验证从有效状态变为失效状态，都需重新进行身份识别、重新对设备进行操 作，提高设备使用安全性。这里，第二预设时间阈值大于第一预设时间阈值。
[0036] 语音识别单元20与虹膜识别单元10相连接，用于采集当前操作员发出 的待执行语音指令，并在虹膜识别单元10识别出该当前操作员的身份合法 时，将采集到的待执行语音指令转换为用于控制工程设备执行对应操作的控 制指令。
[0037] 语音识别单元20包含：语音指令数据库21、语音采集模块22、语音处 理模块23、执行判断模块24、命令转换模25以及语音唤醒模块26。
[0038] 语音指令数据库21一一对应存储有所有语音指令对应的语音关键词； 在本实施例中，语音指令数据库21为本地离线数据库，所有语音指令对应 的语音关键词所包含的命令词语模板是通过训练预先收集的语音生成的，这 样无需联网即可在本地进行语音指令识别操作。
[0039] 语音采集模块22用于采集当前操作员发出的语音信息。
[0040] 语音处理模块23根据语音指令数据库21中存储的语音关键词对采集到 的语音信息进行识别处理，从而得到匹配的语音指令。
[0041] 执行判断模块24首先基于语音使能模块15发来的激活信号或使能信号 执行判断动作，从而确保语音识别操作的安全合法性。执行判断模块24具 体的判断动作为：基于虹膜识别单元10中的权限获取模块14获取的操作权 限语音指令集判断语音指令是否合法。具体地，若识别到的语音指令与对应 的操作权限语音指令集中包含的任意语音指令的比对结果为相匹配时，则该 语音指令的操作权限为合法；若对应的操作权限语音指令集中不存在任意语 音指令与识别到的语音指令匹配时，则该语音指令的操作权限为不合法。
[0042] 命令转换模块25在执行判断模块24判断为合法时将语音指令转换成对 应的控制命令。
[0043] 语音唤醒模块26用于通过关键词识别、虹膜识别或者按键操作唤醒语 音采集模块22执行语音采集功能。
[0044] 反馈单元30用于显示工程设备反馈的设备操作状态信息。在本实施例 中，反馈单元30为显示屏，实现显示功能即可。而且，反馈的设备操作状 态信息可以为已执行、识别失败、验证超时重新验证等信息，同时可匹配语 音提醒。
[0045] 控制单元40根据命令转换模块25得到的控制指令控制工程设备执行对 应操作。
[0046] 操作面板单元50具有至少一个指令按键，一旦任意的指令按键被按下， 控制单元40控制工程设备执行对应操作。在本实施例中，操作面板单元50 具有两个按键：急停按键和停止按键，设置该指令按键的目的是为了急停、 停止等应急情况的需要，无需发出语音指令，只要按下对应的指令按键即可， 快速准确。
[0047] 基于以上具体结构，基于离线虹膜识别和语音识别的工程设备控制系统 100的虹膜识别处理流程和语音识别处理流程分别如下。
[0048] 图2是本发明的实施例中基于离线虹膜识别和语音识别的工程设备控制 系统的虹膜识别处理流程图。
[0049] 如图2所示，基于离线虹膜识别和语音识别的工程设备控制系统100的 虹膜识别处理流程具体包含以下步骤：
[0050] 步骤S101，虹膜采集模块12采集当前操作员的当前虹膜信息，然后进 入步骤S102。
[0051] 步骤S102，虹膜判断模块13将虹膜采集模块12采集到的当前虹膜信 息与人员信息数据库11中存储的标准虹膜信息进行虹膜生物特征对比，从 而判断出该当前操作员的身份是否合法，若是，则进入步骤S103；若否， 则进入步骤S101。
[0052] 步骤S103，权限获取模块14获取该操作员对应的操作权限语音指令集， 然后进入步骤S104。
[0053] 步骤S104，语音使能模块15发送激活信号或使能信号激活语音识别单 元20的执行判断模块24中，然后进入步骤S105。
[0054] 步骤S105，判断虹膜采集模块12是否采集到当前虹膜信息，若是，则 进入步骤S102；若否，则进入步骤S106。
[0055] 步骤S106，计时模块16开始计时，然后进入步骤S107。
[0056] 步骤S107，判断计时模块16计时是否达到第一预设时间阈值，若是， 则进入步骤S108；若否，则进入步骤S105。
[0057] 步骤S108，警醒提示模块17发出警示信息，然后进入结束状态。
[0058] 图3是本发明的实施例中基于离线虹膜识别和语音识别的工程设备控制 系统的语音识别处理流程图。
[0059] 如图3所示，基于离线虹膜识别和语音识别的工程设备控制系统100的 语音识别处理流程具体包含以下步骤：
[0060] 上述实施例中的语音识别流程图如图3所示，语音识别控制的先决条件 是虹膜状态有效S301，通过声音提示操作人员已进入语音控制等待状态 S302，由语音采集模块采集操作人员语音指令S303，从身份认证后进入的 对应语音指令权限库中匹
配对应指令S304，由执行模块执行相应语音代码 S305，任意状态下的操作失败由反馈模块提示S306。
[0061] 步骤S201，语音采集模块22采集当前操作员发出的语音信息，然后进 入步骤S202。
[0062] 步骤S202，语音处理模块23根据语音指令数据库21中存储的语音关 键词对采集到的语音信息进行识别处理，从而得到匹配的语音指令，然后进 入步骤S203。
[0063] 步骤S203，判断是否收到语音使能模块15发来的激活信号或使能信号， 若是，则进入步骤S204；若否，则进入结束状态。
[0064] 步骤S204，执行判断模块24基于虹膜识别单元10中的权限获取模块14获取的操作权限语音指令集判断处理得到的语音指令是否合法，若是，则 进入步骤S205；若否，则进入结束状态。
[0065] 步骤S205，命令转换模块25将语音指令转换成对应的控制命令，然后 进入结束状态。
[0066] 实施例的作用与效果
[0067] 根据本实施例所涉及的基于离线虹膜识别和语音识别的工程设备控制 系统，通过虹膜识别单元实时采集当前操作员的当前虹膜信息，从而判断其 身份是否合法，并进一步在身份合法时获取当前操作员的操作权限语音指令 集，进一步通过语音识别单元采集该操作员发出的待执行语音指令，并在其 身份合法时将采集到的待执行语音指令转换为用于控制工程设备执行对应 操作的控制指令，最终设备的操作状态信息显示在反馈单元上，通过虹膜实 时采集验证身份以及语音识别指令代替原有声纹、指纹和面部识别等其他验 证方式，提高了操作员身份及操作权限识别的准确度和安全性，而且身份识 别与语音识别在离线环境下进行，不需要连接网络保持在线状态，因此不受 任何工程环境困扰，具有操作便捷、对环境光照要求低、适应性强的特点， 应用广泛，能尽量降低外部条件对语音识别的影响的效果。
[0068] 虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理 解，这仅是举例说明，本发明的保护范围是由所附
权利要求书限定的。本领 域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式 做出多种变更或
修改，但这些变更和修改均落入本发明的保护范围。
