基于音频的圈养大熊猫自然交配结果的预测方法及系统
专利汇可以提供基于音频的圈养大熊猫自然交配结果的预测方法及系统专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于音频的圈养大熊猫自然交配结果的预测方法和系统，包括：采集圈养大熊猫自然交配时的叫声数据，得到原始音频数据；对采集到的原始音频数据进行预处理，得到预处理后的音频 片段 ；对预处理后的音频片段提取梅尔 倒谱 系数特征；利用神经网络模型对提取的梅尔倒谱系数特征进行判断，分析预测音频片段中每一 帧 所预示的交配结果的预测概率；统计输入神经网络模型中的音频片段中的多个音频帧的预测概率，根据统计数据得到大熊猫交配结果的预测判断。该方法通过对大熊猫交配时的叫声进行分析，实现自动预测大熊猫自然交配的结果。辅助大熊猫繁育科研人员在大熊猫短暂的最佳交配期间实现最优的自然交配 配对 选择。，下面是基于音频的圈养大熊猫自然交配结果的预测方法及系统专利的具体信息内容。
1.一种基于音频的圈养大熊猫自然交配结果的预测方法，其特征在于，包括：
采集圈养大熊猫自然交配时的叫声数据，得到原始音频数据；
对采集到的原始音频数据进行预处理，得到预处理后的音频片段；
对预处理后的音频片段提取梅尔倒谱系数特征；
利用神经网络模型对提取的梅尔倒谱系数特征进行判断，分析预测音频片段中每一帧所预示的交配结果的预测概率；
统计输入神经网络模型中的音频片段中的多个音频帧的预测概率，根据统计数据得到大熊猫交配结果的预测判断。
2.如权利要求1所述的基于音频的圈养大熊猫自然交配结果的预测方法，其特征在于，所述对采集到的原始音频数据进行预处理的具体方法包括：
将所述原始音频数据分割为2秒固定长度的音频片段，不足2秒的音频片段采用静音填充到2秒的长度；计算每个音频片段的音频强度最大值和理论强度最大值的缩放关系，将每个音频片段中的每个采样点按照该缩放关系进行缩放。
3.如权利要求1所述的基于音频的圈养大熊猫自然交配结果的预测方法，其特征在于，所述对预处理后的音频片段提取梅尔倒谱系数特征的具体步骤包括：
将预处理后的音频片段根据采样窗口进行分帧处理，分帧后进行加窗处理；
对分帧加窗处理后的各帧音频信号进行快速傅里叶变换得到各帧的频谱；
将所述各帧的频谱通过一个梅尔滤波器组映射到梅尔刻度；
在每个梅尔刻度上提取对数能量；
对所述对数能量进行离散傅里叶反变换，变换到倒频谱域，提取得到每一帧的梅尔倒谱系数特征。
4.如权利要求1所述的基于音频的圈养大熊猫自然交配结果的预测方法，其特征在于，所述神经网络模型包括卷积模块、max-pooling层、Drop Out层、Reshape层、双向GRU模块、注意力模块和soft-max层，所述卷积模块包括3个相同的卷积层和批量归一化层。
5.如权利要求4所述的基于音频的圈养大熊猫自然交配结果的预测方法，其特征在于，所述利用神经网络模型对提取的梅尔倒谱系数特征进行判断，分析预测音频片段中每一帧所预示的交配结果的预测概率的具体方法包括：
将提取的每一帧梅尔倒谱系数特征依次经过卷积层、批量归一化层、卷积层、批量归一化层、卷积层和批量归一化层后，通过ReLU激活函数输出第一输出特征；
将第一输出特征依次经过max-pooling层、Drop Out层和Reshape层处理，得到第二输出特征；
将第二输出特征输入到双向GRU模块中进行双向的时序信息学习，输出第三输出特征；
将所述第三输出特征依次经过全连通层和合并层处理，得到输出结果；
将输出结果经过soft-max层计算出每一个音频段的每一帧代表大熊猫交配成功和失败的概率。
6.一种基于音频的圈养大熊猫自然交配结果的预测系统，其特征在于，包括音频采集装置、音频预处理模块、特征提取模块、数据处理模块和预测判断模块，所述音频采集装置采集圈养大熊猫自然交配时的叫声数据，得到原始音频数据；
所述音频预处理模块对采集到的原始音频数据进行预处理，得到预处理后的音频片段；
所述特征提取模块对预处理后的音频片段提取梅尔倒谱系数特征；
所述数据处理模块利用神经网络模型对提取的梅尔倒谱系数特征进行判断，分析预测音频片段中每一帧所预示的交配结果的预测概率；
所述预测判断模块统计输入神经网络模型中的音频片段中的多个音频帧的预测概率，根据统计数据得到大熊猫交配结果的预测判断。
7.如权利要求6所述的基于音频的圈养大熊猫自然交配结果的预测系统，其特征在于，所述音频预处理模块对采集到的原始音频数据进行预处理的具体方法包括：
将所述原始音频数据分割为2秒固定长度的音频片段，不足2秒的音频片段采用静音填充到2秒的长度；计算每个音频片段的音频强度最大值和理论强度最大值的缩放关系，将每个音频片段中的每个采样点按照该缩放关系进行缩放。
8.如权利要求6所述的基于音频的圈养大熊猫自然交配结果的预测系统，其特征在于，所述特征提取模块对预处理后的音频片段提取梅尔倒谱系数特征的具体步骤包括：
将预处理后的音频片段根据采样窗口进行分帧处理，分帧后进行加窗处理；
对分帧加窗处理后的各帧音频信号进行快速傅里叶变换得到各帧的频谱；
将所述各帧的频谱通过一个梅尔滤波器组映射到梅尔刻度；
在每个梅尔刻度上提取对数能量；
对所述对数能量进行离散傅里叶反变换，变换到倒频谱域，提取得到每一帧的梅尔倒谱系数特征。
9.如权利要求6所述的基于音频的圈养大熊猫自然交配结果的预测系统，其特征在于，所述神经网络模型包括卷积模块、max-pooling层、Drop Out层、Reshape层、双向GRU模块、注意力模块和soft-max层，所述卷积模块包括3个相同的卷积层和批量归一化层。
10.如权利要求9所述的基于音频的圈养大熊猫自然交配结果的预测系统，其特征在于，所述数据处理模块利用神经网络模型对提取的梅尔倒谱系数特征进行判断，分析预测音频片段中每一帧所预示的交配结果的预测概率的具体方法包括：
将提取的每一帧梅尔倒谱系数特征依次经过卷积层、批量归一化层、卷积层、批量归一化层、卷积层和批量归一化层后，通过ReLU激活函数输出第一输出特征；
将第一输出特征依次经过max-pooling层、Drop Out层和Reshape层处理，得到第二输出特征；
将第二输出特征输入到双向GRU模块中进行双向的时序信息学习，输出第三输出特征；
将所述第三输出特征依次经过全连通层和合并层处理，得到输出结果；
将输出结果经过soft-max层计算出每一个音频段的每一帧代表大熊猫交配成功和失败的概率。
基于音频的圈养大熊猫自然交配结果的预测方法及系统
技术领域
背景技术
发明内容
对采集到的原始音频数据进行预处理，得到预处理后的音频片段；
对预处理后的音频片段提取梅尔倒谱系数特征；
利用神经网络模型对提取的梅尔倒谱系数特征进行判断，分析预测音频片段中每一帧所预示的交配结果的预测概率；
统计输入神经网络模型中的音频片段中的多个音频帧的预测概率，根据统计数据得到大熊猫交配结果的预测判断。
计算每个音频片段的音频强度最大值和理论强度最大值的缩放关系，将每个音频片段中的每个采样点按照该缩放关系进行缩放。
对分帧加窗处理后的各帧音频信号进行快速傅里叶变换得到各帧的频谱；
将所述各帧的频谱通过一个梅尔滤波器组映射到梅尔刻度；
在每个梅尔刻度上提取对数能量；
对所述对数能量进行离散傅里叶反变换，变换到倒频谱域，提取得到每一帧的梅尔倒谱系数特征。
将第一输出特征依次经过max-pooling层、Drop Out层和Reshape层处理，得到第二输出特征；
将第二输出特征输入到双向GRU模块中进行双向的时序信息学习，输出第三输出特征；
将所述第三输出特征依次经过全连通层和合并层处理，得到输出结果；
将输出结果经过soft-max层计算出每一个音频段的每一帧代表大熊猫交配成功和失败的概率。
所述特征提取模块对预处理后的音频片段提取梅尔倒谱系数特征；
所述数据处理模块利用神经网络模型对提取的梅尔倒谱系数特征进行判断，分析预测音频片段中每一帧所预示的交配结果的预测概率；
所述预测判断模块统计输入神经网络模型中的音频片段中的多个音频帧的预测概率，根据统计数据得到大熊猫交配结果的预测判断。
计算每个音频片段的音频强度最大值和理论强度最大值的缩放关系，将每个音频片段中的每个采样点按照该缩放关系进行缩放。
对分帧加窗处理后的各帧音频信号进行快速傅里叶变换得到各帧的频谱；
将所述各帧的频谱通过一个梅尔滤波器组映射到梅尔刻度；
在每个梅尔刻度上提取对数能量；
对所述对数能量进行离散傅里叶反变换，变换到倒频谱域，提取得到每一帧的梅尔倒谱系数特征。
将第一输出特征依次经过max-pooling层、Drop Out层和Reshape层处理，得到第二输出特征；
将第二输出特征输入到双向GRU模块中进行双向的时序信息学习，输出第三输出特征；
将所述第三输出特征依次经过全连通层和合并层处理，得到输出结果；
将输出结果经过soft-max层计算出每一个音频段的每一帧代表大熊猫交配成功和失败的概率。
图3示出了本发明第一实施例中使用的神经网络模型结构示意图；
图4示出了本发明第二实施例所提供的一种基于音频的圈养大熊猫自然交配结果的预测系统的结构示意图。
具体实施方式
其中， 是理论最大强度， 是待处理音频片
段中的最大强度。得到 之后再将整个待处理音频片段按照该缩放关系进行缩
放即可实现整个音频片段的强度归一化。
，
，
a为调控参数，不同的a值会产生不同的汉明窗，本实施方式中设置 。由于信号在时域上的变换通常很难看出信号的特性，所以通常将它转换为频域上的能量分布来观察，不同的能量分布，就能代表不同语音的特性。因此，在乘上汉明窗后，每帧还必须再经过快速傅里叶变换以得到频谱上的能量分布。对分帧加窗后的各帧信号进行快速傅里叶变换得到各帧的频谱。并对语音信号的频谱取模平方得到语音信号的功率谱。则语音信号的快速傅里叶变换为：
，
其中， 为输入的语音信号， 表示傅里叶变换的点数，本实施方式中设置 。
，
其中， ，
使用三角形滤波器组的主要目的是消除谐波的作用，对频谱进行平滑化，突显原先音频的共振峰，去除了音频音调变化的影响。此外，还可以降低运算量。
，
，
，
，
，
其中，是指更新门控信号，作用是决定上一层隐藏层状态 多少信息传递到当前隐藏状态 中， 是重置门控信号，决定上一时刻隐藏状态 的信息中有多少是需要被遗忘的， 是计算结果和输入 的权重矩阵， 是计算结果和前一个隐藏态 的权重矩阵，⊙是逐元素乘法，是hard sigmoid函数，其计算公式如下：
第一层双向GRU接收 作为输入并通过沿着两个方向传播产生了两个中间层特征
和 ，则输入序列的任意一帧 对应的输出 为：
其中的 是同维度的元素的相加， 。第二层双向GRU接收 为输
入，设置和第一个双向GRU层一样的输出维度为32。经过和第一个双向GRU类似的计算过程之后，得到双向GRU模块最终的输出 。
之后，通过一个soft-max层计算一个段中86个帧为交配正确和交配失败的概率。计算结果是一个概率矩阵 ，矩阵的每一行是一个帧的预测结果，第一列和第二列分别代表该帧预示着交配成功的概率和交配失败的概率。整个训练过程我们使用了交叉熵损失函数进行分类:
，
其中， 为特征Fin的对应的标签，为独热码形式，（1,0）代表该音频帧为交配成功的情况下采集的样本，（0,1）代表该音频帧为交配失败情况下采集的样本。在成都大熊猫繁育基地收集了过去9年（2011年-2019年）的13头成年大熊猫的自然交配音频，总时长为
138分钟，交配成功情况下采集的音频为72分钟，交配失败情况下采集的音频为66分钟。经过预处理之后得到2016个交配成功的音频段和1859个交配失败的音频段。将这批数据进行了五折交叉验证，进行了训练和测试。
当预测自然交配成功的总概率大于预测自然交配失败的总概率时 ，可以认为
该输入音频段预示着此次圈养大熊猫自然交配将成功，反之为失败。在成都大熊猫繁育基地收集得到的数据集上，采用本实施例提出的方法，取得了89.9%的五折交叉验证平均识别准确率。
所述音频预处理模块对采集到的原始音频数据进行预处理，得到预处理后的音频片段；
所述特征提取模块对预处理后的音频片段提取梅尔倒谱系数特征；
所述数据处理模块利用神经网络模型对提取的梅尔倒谱系数特征进行判断，分析预测音频片段中每一帧所预示的交配结果的预测概率；
所述预测判断模块统计输入神经网络模型中的音频片段中的多个音频帧的预测概率，根据统计数据得到大熊猫交配结果的预测判断。
计算每个音频片段的音频强度最大值和理论强度最大值的缩放关系，将每个音频片段中的每个采样点按照该缩放关系进行缩放。
对分帧加窗处理后的各帧音频信号进行快速傅里叶变换得到各帧的频谱；
将所述各帧的频谱通过一个梅尔滤波器组映射到梅尔刻度；
在每个梅尔刻度上提取对数能量；
对所述对数能量进行离散傅里叶反变换，变换到倒频谱域，提取得到每一帧的梅尔倒谱系数特征。
将第一输出特征依次经过max-pooling层、Drop Out层和Reshape层处理，得到第二输出特征；
将第二输出特征输入到双向GRU模块中进行双向的时序信息学习，输出第三输出特征；
将所述第三输出特征依次经过全连通层和合并层处理，得到输出结果；
将输出结果经过soft-max层计算出每一个音频段的每一帧代表大熊猫交配成功和失败的概率。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种影片多版本整合存储和提取系统 | 2020-05-08 | 323 |
| 一种单声道说话人分离模型、训练方法和分离方法 | 2020-05-11 | 119 |
| 一种钢琴学习系统 | 2020-05-14 | 514 |
| 基于音频的圈养大熊猫自然交配结果的预测方法及系统 | 2020-05-13 | 955 |
| 一种基于DFT的双通道语声分离方法 | 2020-05-14 | 72 |
| 图像处理方法、装置、计算机存储介质及电子设备 | 2020-05-08 | 549 |
| 在native层实现无缝录像的方法、装置及终端设备 | 2020-05-08 | 161 |
| 从音频文件中提取有声片段的方法、装置设备及存储介质 | 2020-05-14 | 714 |
| 一种基于深度模糊森林的情绪识别方法 | 2020-05-11 | 169 |
| 一种带式振膜的励磁扬声器 | 2020-05-14 | 817 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
