一种基于声纹比对和生成对抗网络的语音增强方法
专利汇可以提供一种基于声纹比对和生成对抗网络的语音增强方法专利检索，专利查询，专利分析的服务。并且本 发明 公开一种基于声纹比对和生成对抗网络的语音增强方法，1）建立三个语音 数据库 ,分别对应声纹识别 编码器 、噪声分离系统和语音分离系统；2）训练声纹识别编码器提取目标说话者的声纹特征，得目标声纹特征；3）将带噪音频转 化成 语谱图送入噪声分离系统中的生成器中，得预测干净音频；4）将预测干净音频和真实干净音频送入噪声分离系统中的 鉴别 器训练；5）调整鉴定器权重参数，使鉴定器更好地分辨出真实干净音频和预测干净音频的区别，得到产生近乎真实的干净音频的生成器；6）将说话者的声音送入已经训练好的生成器中，生成预测干净语谱图，得到增强的语音 信号 。该方法规模小、计算低、易于移植、保持一定的空间不变性且去噪效果好。，下面是一种基于声纹比对和生成对抗网络的语音增强方法专利的具体信息内容。
1.一种基于声纹比对和生成对抗网络的语音增强方法，其特征在于，包括如下步骤：
1)建立三个语音数据库,分别对应声纹识别编码器、噪声分离系统和语音分离系统；
2)训练声纹识别编码器提取目标说话者的声纹特征，得到目标声纹特征；
3)将带噪的音频转化成语谱图送入噪声分离系统中的生成器中，生成器根据声纹识别编码器提取的目标声纹特征分离出目标说话人的声音，得到预测干净音频；
4)将步骤3)得到的预测干净音频和步骤1)语音分离系统中真实干净音频送入噪声分离系统中的鉴别器进行训练,使鉴别器分辨出说话者的声音通过噪声分离系统所生成的预测语谱图是否符合真实音频的分布；
5)调整鉴定器权重参数，使鉴定器更好地分辨出真实干净音频和生成器产生的预测干净音频的区别，根据鉴别器区分结果更新生成器的权重参数，直至鉴别器分辨不出生成器产生的预测音频和真实的干净音频的区别，得到可以产生近乎真实的干净音频的生成器；
6)通过传声器收集说话者的声音，经短时傅里叶变换转化成语谱图送入已经训练好的生成器中，生成预测干净语谱图，再通过反短时傅里叶变换转化成语音模拟信号，语音模拟信号经扬声器播放出来，即得到增强的语音信号。
2.根据权利要求1所述的一种基于声纹比对和生成对抗网络的语音增强方法，其特征在于，所述的应声纹识别编码器为2000NISI Speaker Recongnition Evaluation语音库的应声纹识别编码器；所述的噪声分离系统为100-nonspeech噪音库的噪声分离系统；所述的语音分离系统为TIMIT语音库的语音分离系统。
3.根据权利要求1所述的一种基于声纹比对和生成对抗网络的语音增强方法，其特征在于，步骤2)中，所述的声纹识别编码器提取目标说话人的声纹特征，具体是：将音频信号转换为宽度为25ms和步长为10ms的帧，经过mel滤波器对每帧进行滤波，并且从结果中提取尺寸为40的能量谱作为网络输入，在这些帧上构建固定长度的滑动窗口，并在每个窗口上运行长短期记忆网络，然后将长短期记忆网络最后帧输出作为该滑动窗口的声纹特征(d-vector)表示。
4.根据权利要求1所述的一种基于声纹比对和生成对抗网络的语音增强方法，其特征在于，所述的生成器，是由一个8层的卷积网络、一个1层的长短期记忆循环网络和一个2层的全连接网络组成，每层都用Relu激活函数，最后一层全连接网络使用sigmoid激活函数，输入信号的语谱图经过卷积层后，参考音频的声纹特征(d-vector)会被逐帧拼接到卷积层的输出上，一同输入长短期记忆层，最终，网络的输出是一段与输入语谱图维度相同的掩码(mask)，将输出掩码与输入语谱图相乘，即可得到输出音频的预测干净音频谱图
5.根据权利要求1所述的一种基于声纹比对和生成对抗网络的语音增强方法，其特征在于，所述的鉴别器，是由一个2层的卷积网络和一个2层的全连接神经网络组成，每层都用Relu激活函数，最后一层全连接网络使用sigmoid激活函数，生成器将生成的预测干净音频谱图 送入鉴别器，再将步骤1)中真实干净音频X送入鉴别器，训练鉴别器神经网络，鉴别器对生成器产生的预测干净音频谱图 判定为虚假数据给予低分(接近0),对步骤1)中真实干净音频X判定为真实数据给予高分(接近1)，以此学习真实数据和预测数据的分布，使鉴别器分辨出步骤6)中说话者的声音通过噪声分离系统所生成的预测语谱图是否符合真实音频的分布。
6.根据权利要求1所述的一种基于声纹比对和生成对抗网络的语音增强方法，其特征在于，所述的调整鉴定器权重参数，具体是将真实虚假的消息传递给生成器，生成器调整网络模型的参数，修正其输出的语谱图，使其更接近于真实的分布，消除被鉴别器判定为虚假的噪音信号，即使生成器产生的预测干净语谱图 可以“骗过”鉴别器，鉴别器判定生成器产生的预测干净语谱图是从TIMIT语音库中得到的真实干净音频的语谱图X，在神经网络反向传播的过程中，鉴别器能够更好地分辨出真实干净音频和生成器产生的预测干净音频的区别，也就是更好地找到真实干净音频的特征；同样的，生成器也会随着不断更新的鉴别器，调整其参数，使其产生的预测语谱图向着真实干净音频语谱图移动。
7.根据权利要求1所述的一种基于声纹比对和生成对抗网络的语音增强方法，其特征在于，所述的生成器、鉴别器，相互博弈，相互对抗，生成对抗网络算法，算法公式如下：
为解决经典方法面临梯度消失的问题，采用最小二乘生成对抗网络(the least-squares GAN)代替交叉熵损失(the cross-entropy loss)，则：
上述公式中，G表示生成器(Generator)，D表示鉴别器(Discriminator)，V代表损失值，data表示步骤1)语音分离系统中真实干净音频的语音库，x表示data中抽取出的真实干净语音音频，noise表示步骤1)语音分离系统中的带噪音频语音库，n表示从noise中抽取与x对应的带噪音频，G(n)表示生成器对带噪语音进行去噪处理，得到预测干净音频 D(G(n))表示鉴别器对预测干净音频 进行判定为虚假数给予低分(接近0),对真实干净音频X判定为真实数据给予高分(接近1)。
一种基于声纹比对和生成对抗网络的语音增强方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 采用无线音频通道传输按键信号的语音系统 | 2021-04-05 | 0 |
| 一种信号处理的方法和装置 | 2021-06-29 | 0 |
| 球面全景视频拍摄系统 | 2021-12-15 | 1 |
| 一种播放语音信号的方法和装置 | 2022-06-18 | 0 |
| 一种抗噪的SVM分类器的音频特征选择方法 | 2020-08-30 | 1 |
| 一种医用诊断终端及医用诊断方法 | 2020-07-17 | 0 |
| 一种基于麦克风阵列的回声消除方法与系统 | 2020-10-18 | 1 |
| 一种智能家居语音红外控制模块 | 2022-05-11 | 1 |
| 전자 장치 및 전자 장치의 오디오 신호 처리 방법 | 2020-11-22 | 2 |
| 基于音频信号的空调器运行参数调整方法和系统 | 2022-05-28 | 0 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
