一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法专利检索-标记语言电脑编程专利检索查询-专利查询网

一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法

阅读：902发布：2020-05-08

专利汇可以提供一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法，该方法包括以下步骤：1)在车内设置摄像头与麦克风；2)对采集的音频进行语音识别，获取车内氛围识别结果；3)对采集的视频图像进行目标检测，获取目标检测对象离车窗的距离；4)当目标检测对象离车窗的距离小于设定值时，则判定婴儿/宠物有趴窗的趋势，并进行预警。本发明通过摄像头硬件架设的方式限制，将硬件与识别方式紧密结合，更具系统性；只通过目标检测便可判断出婴儿/宠物是否趴窗，方法简易有效，时效性强。，下面是一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法专利的具体信息内容。

权利要求

1.一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法，其特征在于，包括以下步骤：
1)在车内设置摄像头与麦克风。考虑到婴儿/宠物在前排趴窗的行为会被司机发现，因此此发明只在后排放置摄像头，检测婴儿/宠物趴窗行为；
2)对采集的音频进行语音识别，获取车内氛围识别结果；
3)对采集的视频图像进行目标检测，获取目标检测对象离车窗的距离；具体如下：
3.1)将视频转为视频帧序列；
3.2)将图片输入到特征提取网络，得到多尺度特征图，将每个特征图被分为若干块，对每一块进行预测，得到预测的目标检测对象边界框中心点和对象边界框大小；
3.3)通过YOLOv3模型，获取目标检测对象边界框的中心点坐标和边界框的宽和高在内的参数，通过参数计算目标检测对象离车窗的距离；
4)当目标检测对象离车窗的距离小于设定值时，则判定婴儿/宠物有趴窗的趋势，并进行预警。
2.根据权利要求1所述的面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法，其特征在于，所述步骤1)中摄像头设置如下：所述摄像头设置为两个安装在后排的摄像头；
两个摄像头分别安装在车内左右两侧，视角朝向后排，同时保证这两个摄像头一边的视野范围与车窗的边线对齐。
3.根据权利要求1所述的面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法，其特征在于，所述步骤2)中采集的音频进行语音识别，获取车内氛围识别结果；具体如下：
2.1)将语音信号转换为神经网络需要的二维频谱图像信号，即语谱图；
2.2)将语谱图作为输入，放入声学模型，将声学信号转为拼音标签序列；
2.3)CTC解码：在语音识别系统的声学模型的输出中，将连续相同的符号合并为同一个符号，然后再去除静音分隔标记符，得到最终实际的语音拼音符号序列；
2.4)使用统计语言模型，将拼音转换为最终的识别文本并输出；
2.5)使用LDA主题分类模型将识别到的文本进行主题分类；
2.6)根据主题分类的结果获得车内氛围识别结果。
4.根据权利要求1所述的面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法，其特征在于，所述步骤3.2)中得到预测的目标检测对象边界框中心点和对象边界框大小具体如下：
将图片输入到Darknet-53特征提取网络，得到多尺度特征图，每个特征图被分为若干块，对每一块进行预测，通过K-Means聚类得到目标检测对象边界框中心点，通过线性回归得到目标检测对象边界框大小。

说明书全文

一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别

方法

技术领域

[0001] 本发明涉及计算机视觉技术，尤其涉及一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法。

背景技术

[0002] 近些年来越来越多的人拥有了自己的汽车，为了更好的出行感受，私家车也应该更加智能，像检测到车内氛围并主动打开氛围灯、消息推送，在后排出现婴儿/宠物时，预测趴窗场景并及时通知司机。这些问题是汽车为乘员提供暖心、便捷服务的重要体现。在此背景下，我们亟需一种面向私家车内后排婴儿/ 宠物趴窗判别及车内氛围识别方法。

[0003] 私家车内场景识别包括后排婴儿/宠物趴窗识别和车内氛围识别。对于这些场景，目前也没有一套完整的识别系统。因此，本发明描述了完整的识别方案并提出了一种简单而有效的检测方法：将采集到的音频信息进行语音识别和主题分类，再把从特定角度拍摄到的视频仅通过目标检测识别出婴儿/宠物到车窗距离，实现私家车内场景的识别。

发明内容

[0004] 本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法。

[0005] 本发明解决其技术问题所采用的技术方案是：一种面向私家车内后排婴儿/ 宠物趴窗判别及车内氛围识别方法，包括以下步骤：

[0006] 1)在车内设置摄像头与麦克风，所述摄像头设置如下：后排设置两个；

[0007] 2)对采集的音频进行语音识别，获取车内氛围识别结果；

[0008] 3)对采集的视频图像进行目标检测，获取目标检测对象离车窗的距离；具体如下：

[0009] 3.1)将视频转为视频帧序列；

[0010] 3.2)将图片输入到特征提取网络，得到多尺度特征图，将每个特征图被分为若干块，对每一块进行预测，得到预测的目标检测对象边界框中心点和对象边界框大小；

[0011] 3.3)通过YOLOv3模型，获取目标检测对象边界框的中心点坐标和边界框的宽和高在内的参数，通过参数计算目标检测对象离车窗的距离；

[0012] 4)当目标检测对象离车窗的距离小于设定值时，则判定婴儿/宠物有趴窗的趋势，并进行预警。

[0013] 按上述方案，所述步骤1)中摄像头设置如下：两个摄像头分别安装在车内左右两侧，视角朝向后排，同时保证这两个摄像头一边的视野范围与车窗的边线对齐，如安装在右边的摄像头，保证摄像头视野的右边与车窗的右边线对齐，左边同理；。

[0014] 按上述方案，所述步骤2)中采集的音频进行语音识别，获取车内氛围识别结果；具体如下：

[0015] 2.1)将语音信号转换为神经网络需要的二维频谱图像信号，即语谱图；

[0016] 2.2)将语谱图作为输入，放入声学模型，将声学信号转为拼音标签序列；

[0017] 2.3)CTC解码：在语音识别系统的声学模型的输出中，将连续相同的符号合并为同一个符号，然后再去除静音分隔标记符，得到最终实际的语音拼音符号序列；

[0018] 2.4)使用统计语言模型，将拼音转换为最终的识别文本并输出；

[0019] 2.5)使用LDA主题分类模型将识别到的文本进行主题分类；

[0020] 2.6)根据主题分类的结果获得车内氛围识别结果。

[0021] 按上述方案，所述步骤3.2)中得到预测的目标检测对象边界框中心点和对象边界框大小具体如下：

[0022] 将图片输入到Darknet-53特征提取网络，得到多尺度特征图，每个特征图被分为若干块，对每一块进行预测，通过K-Means聚类得到目标检测对象边界框中心点，通过线性回归得到目标检测对象边界框大小。

[0023] 本发明产生的有益效果是：

[0024] 1、通过摄像头硬件架设的方式限制，将硬件与识别方式紧密结合，更具系统性；

[0025] 2、只通过目标检测便可判断出婴儿/宠物是否趴窗，方法简易有效，时效性强；

[0026] 3、实时检测婴儿/宠物趴窗，同时具备一定预测性，不是等婴儿/宠物真正趴在窗户上时才识别出趴窗，而是当婴儿/宠物离车窗的距离过小时进行预警，防患于未然；

[0027] 4、氛围检测时允许有一定的时间延迟，语音识别和主题分类车中的对话内容，可以更加准确地确定车内氛围，是家庭出游还是商务出行又或是通勤等氛围。附图说明

[0028] 下面将结合附图及实施例对本发明作进一步说明，附图中：

[0029] 图1是本发明实施例的方法流程图；

[0030] 图2是本发明实施例的目标检测模型示意图；

[0031] 图3是本发明实施例的语音识别&主题分类模型示意图。

具体实施方式

[0032] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

[0033] 如图1所示，一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法，包括以下步骤：

[0034] 1)在车内设置摄像头与麦克风，所述摄像头设置如下：在后排设置两个；

[0035] 这两个摄像头分别安装在车内左右两侧，靠近驾驶座与副驾驶靠背，视角朝向后排，同时保证这两个摄像头一边的视野范围与车窗的边线对齐，如安装在左边的摄像头，保证摄像头视野的左边与车窗的左边线对齐(规定朝向挡风玻璃为前)，右边同理；

[0036] 2)对采集的音频进行语音识别，获取车内氛围识别结果；如图3；

[0037] 2.1)将语音信号转换为神经网络需要的二维频谱图像信号，即语谱图；

[0038] 2.2)将语谱图作为输入，放入声学模型，将声学信号转为拼音标签序列；

[0039] 2.3)CTC解码：在语音识别系统的声学模型的输出中，将连续相同的符号合并为同一个符号，然后再去除静音分隔标记符，得到最终实际的语音拼音符号序列；

[0040] 2.4)使用统计语言模型，将拼音转换为最终的识别文本并输出；

[0041] 2.5)使用LDA主题分类模型将识别到的文本进行主题分类；

[0042] 2.6)根据主题分类的结果获得车内氛围识别结果。

[0043] 3)对采集的视频图像进行目标检测，获取目标检测对象离车窗的距离；具体如下：

[0044] 3.1)将两个摄像头收集到的视频转为视频帧序列，并分为两组，一组为左侧摄像头拍摄的视频帧序列，记为1组，一组为右侧摄像头拍摄的视频帧序列，记为2组；

[0045] 3.2)将图片输入到Darknet-53特征提取网络，得到多尺度特征图，每个特征图被分为若干块，对每一块进行预测，通过K-Means聚类得到目标检测对象边界框中心点，通过线性回归得到目标检测对象边界框大小，如图2；

[0046] 3.3)通过YOLOv3模型，获取目标检测对象边界框的中心点坐标和边界框的宽和高在内的参数，通过参数计算目标检测对象离车窗的距离，具体如下：

[0047] 通过YOLOv3模型，可以得到一些参数：是婴儿/宠物对象的box参数，一共四个值，即box的中心点坐标(x,y)和box的宽和高(w,h)；

[0048] bx＝σ(tx)+cx

[0049] by＝σ(ty)+cy

[0050]

[0051]

[0052] 其中，bx，by是预测的边界框(bounding box)在特征图(feature map)中的中心点坐标；bw，bh是预测的边界框(bounding box)在特征图(feature map) 中的长和宽；pw、ph是预设的参考框(anchor box)映射到特征图(feature map) 中的宽和高；tx，ty，tw，th是为网络学习的相对于先验框(prior,anchor)的预测偏移(offset)，tx，ty是预测的坐标偏移值，tw，th是尺度缩放；cx，cy是特征图 (feature map)中网格单元(grid cell)的左上角坐标，在yolov3中每个网格单元(grid cell)在特征图(feature map)中的宽和高均为1，b0是特征图 (feature map)右上角横坐标(即整个特征图的宽)。

[0053] 因此，我们设边框离车窗一侧的距离为d，图像的组数标记为n，[0054]

[0055] 当d小于一设定值时，则判定婴儿/宠物有趴窗的趋势，并进行预警。

[0056] 本发明针对私家车内后排婴儿/宠物趴窗进行实时检测，所提方法具备一定预测性，不是等婴儿/宠物真正趴在窗户上时才识别出趴窗，而是当婴儿/宠物离车窗的距离过小时进行预警，防患于未然。本发明针对私家车内氛围检测时允许有一定的时间延迟，语音识别和主题分类车中的对话内容，可以更加准确地确定车内氛围。

[0057] 应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

标题	发布/更新时间	阅读量
桑葚病原菌高通量鉴定及种属分类方法及其应用	2020-05-11	818
一种对微电阻率成像图像的修复方法	2020-05-08	448
一种电网综合管理系统	2020-05-08	55
一种基于人工神经元网络的SQL漏洞检测方法	2020-05-11	530
一种基于医疗系统爬虫提取数据的方法	2020-05-08	223
一种功能模块的调用方法、装置及设备	2020-05-08	511
一种基于对象和空间位置的搜索查询工具	2020-05-08	842
一种关键内容定位方法	2020-05-08	213
一种基于句法模式和机器学习的开放式关系的抽取方法	2020-05-08	159
留学文书智能自动创作系统	2020-05-11	587