基于异常声音和图像事件驱动的智能服务机器人及方法
专利汇可以提供基于异常声音和图像事件驱动的智能服务机器人及方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于异常声音和图像事件驱动的智能服务 机器人 及处理方法，包括 移动机器人 单元、声音和图像 传感器 、声音和图像事件控制单元以及远程客户端，声音和图像传感器设置在移动机器人单元上，并通过 接口 与声音和图像事件控制单元相连，声音和图像事件控制单元安装在移动机器人单元上并通过接口与移动机器人单元连接，声音和图像事件控制单元通过网络与远程客户端通信，当智能服务机器人听到或者看到有异常的事件时，则导航到事件发生的地点，融合声音和图像进一步识别该事件并根据识别结果做相应处理。本发明避免了摄像头一直拍摄人员特别是家庭环境所造成的隐私泄露以及不舒服感；大大降低了功耗，提高了效率。，下面是基于异常声音和图像事件驱动的智能服务机器人及方法专利的具体信息内容。
1.一种基于异常声音和图像事件驱动的智能服务机器人，其特征在于包括移动机器人单元(1)、声音和图像传感器(2)、声音和图像事件控制单元(3)以及远程客户端(12)，声音和图像传感器(2)设置在移动机器人单元(1)上，并通过接口与声音和图像事件控制单元(3)相连，声音和图像事件控制单元(3)安装在移动机器人单元(1)上并通过接口与移动机器人单元(1)连接，声音和图像事件控制单元(3)通过网络与远程客户端(12)通信。
2.根据权利要求1所述的基于异常声音和图像事件驱动的智能服务机器人，其特征在于移动机器人单元(1)为地面移动机器人或空中无人机。
3.根据权利要求1或2所述的基于异常声音和图像事件驱动的智能服务机器人，其特征在于移动机器人单元(1)为地面移动机器人时，包括移动机器人本体(6)、障碍检测传感器(7)和控制器(8)，所述障碍检测传感器(7)安装在移动机器人本体(6)上与控制器(8)连接，用于导航中获取障碍物的距离；控制器(8)安装在移动机器人本体(6)上，用于导航中控制移动机器人本体(6)的速度和方向。
4.根据权利要求1所述的基于异常声音和图像事件驱动的智能服务机器人，其特征在于所述声音和图像传感器(2)包括Kinect传感器的麦克风阵列(4)和图像传感器(5)，由麦克风阵列(4)获取事件声音信号，图像传感器(5)获得事件场景图像以及深度信息。
5.根据权利要求1所述的基于异常声音和图像事件驱动的智能服务机器人，其特征在于所述声音和图像事件控制单元(3)包括计算机(9)、声音和图像采集模块(10)和串口通讯模块(11)，所述声音和图像采集模块(10)连接声音和图像传感器(2)和计算机(9)，用于读取声音和图像的数据；串口通讯模块(11)连接控制器(8)和计算机(9)，用于计算机(9)向控制器(8)传输异常事件的位置信息。
6.一种利用权利要求1至5任一项所述基于异常声音和图像事件驱动的智能服务机器人的处理方法，其特征在于在正常情况下，智能服务机器人停在原处或者在指定区域移动，当听到或者看到有异常的事件时，则导航到事件发生的地点，融合声音和图像进一步识别该事件并根据识别结果做相应处理。
7.根据权利要求6所述的基于异常声音和图像事件驱动的智能服务机器人处理方法，其特征在于
1)正常情况下，移动机器人单元(1)停在原处或者在指定区域移动；
2)同时声音和图像事件控制单元(3)通过声音和图像传感器(2)获取声音和图像信息；
3)若声音和图像事件控制单元(3)识别到声音和图像异常事件，则定位事件发生的位置；
4)声音和图像事件控制单元(3)控制移动机器人单元(1)导航到事件发生位置；
5)声音和图像事件控制单元(3)融合声音和图像进一步识别该事件；
6)若判断为异常事件，则声音和图像事件控制单元(3)发送事件预警信息给远程客户端(12)；
7)若判断为正常事件，则返回到步骤1)。
8.根据权利要求6所述的基于异常声音和图像事件驱动的智能服务机器人处理方法，其特征在于移动机器人单元(1)对于异常事件的识别、定位以及导航步骤如下：
1)移动机器人单元(1)上的声音和图像事件控制单元(3)通过Kinect传感器内部的麦克风阵列(4)获取异常声音信号；
2)声音和图像事件控制单元(3)中的计算机(9)首先对获取的声信号进行端点检测、分帧加窗处理，通过倒谱分析提取声信号的特征梅尔频率倒谱系数，采用支持向量机对特征系数进行分类，得到声信号的分类结果；
3)若分类结果为异常事件，声音和图像事件控制单元(3)中的声音和图像采集模块(10)获取麦克风阵列(4)的声信号数据，计算机(10)对声信号数据进行分帧加窗处理后，声信号矩阵和背景噪声矩阵进行广义特征值分解，将分解的噪声特征向量构造空间谱函数，通过求解极大值得到异常事件发生的方位角；
4)移动机器人单元(1)得到异常事件的方位角后，计算机(3)通过串口通讯模块(11)向控制器(8)发送方位角，控制器(8)调整移动机器人单元(1)向异常事件的发生位置移动；同时控制器(8)根据移动机器人单元(1)的运动距离，结合方位角利用三角测量得到异常事件发生的位置距离；
5)在移动机器人单元(1)移动过程中，根据障碍检测传感器(7)获取障碍物区域，选择非障碍物区域移动，重复步骤4)，最终移动机器人单元(1)到达异常事件发生位置。
9.根据权利要求6所述的基于异常声音和图像事件驱动的智能服务机器人处理方法，其特征在于所述的声音和图像事件控制单元(3)融合声音和图像进一步识别事件的，具体步骤如下：
1)移动机器人单元(1)到达发生事件的位置后，声音和图像采集模块(10)读取声音和图像传感器(2)采集人的语音信号和人脸图像；
2)声音和图像事件控制单元(3)提取语音信号的特征梅尔频率倒谱系数进行矢量量化的说话人识别，同时声音和图像事件控制单元(3)使用Haar分类器对人脸图像进行人脸检测，定位人脸区域，然后声音和图像事件控制单元(3)对人脸区域进行分块，将小波分解和奇异值分解结合提取人脸特征，最后采用稀疏表示进行人脸识别；
3)声音和图像事件控制单元(3)在做决策时，采用模糊积分融合语音和人脸，将说话人识别和人脸识别的匹配相似度进行归一化处理分别作为语音和人脸的分类证据，将说话人识别和人脸识别的识别率分别作为语音和人脸的模糊密度，最后通过模糊积分进行非线性加权决策得到最终身份验证的结果，再将分析结果通过网络发送到远程客户端(12)。
基于异常声音和图像事件驱动的智能服务机器人及方法
技术领域
背景技术
发明内容
附图说明
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于实时声道形状修正的构音障碍多维测量系统及其方法 | 2020-05-12 | 947 |
| 老年人手机助听器 | 2020-05-15 | 570 |
| 训练构音障碍的说话者的系统和方法 | 2020-05-11 | 502 |
| 一种智能导盲距离提示装置 | 2020-05-14 | 277 |
| 一种成人听力言语康复系统 | 2020-05-13 | 146 |
| 一种评测言语状态的方法及装置 | 2020-05-13 | 499 |
| 具有求助功能的障碍物检测提示装置 | 2020-05-15 | 160 |
| 基于超声相控阵的盲人用拐杖 | 2020-05-14 | 85 |
| 一种脑卒中后构音障碍患者言语康复训练和疗效评估系统及方法 | 2020-05-12 | 475 |
| 一种构音障碍元音评估模板及评估方法 | 2020-05-11 | 498 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
