[0002] 本申请案主张2013年7月19日申请且标题为“用于基于听觉场景分析及语音模型化进行
语音信号分离及合成的系统及方法(System and Method for Speech Signal Separation and Synthesis Based on Auditory Scene Analysis and Speech Modeling)”的第61/856,577号美国临时申请案及2014年3月28日申请且标题为“同时
跟踪多个目标的多个属性(Tracking Multiple Attributes of Simultaneous Objects)”的第61/972,112号美国临时申请案的权利。前述提及的申请案的标的物出于全部目的以引用的方式并入本文。
技术领域
[0003] 本
发明大体上涉及音频处理，且更特定地说涉及从噪声与语音的混合物产生清晰语音。
背景技术
[0004] 例如维纳(Wiener)滤波的当前噪声抑制技术尝试改善全局
信噪比(SNR)且使低SNR区域衰减，因此将失真引入到语音信号中。惯例是：执行此滤波作为变换域中的量值
修改。通常，被破坏的信号用来以所修改的量值重组信号。此途径可能丢失由噪声主导的信号分量，从而导致非所需且反常的
频谱-时间调制。
[0005] 当目标信号由噪声主导时，经由修改合成清晰语音信号而非增强被破坏的音频的系统有利于实现高的信噪比改善(SNRI)值及低的信号失真。
发明内容
[0006] 此发明内容经提供来以简化形式引入概念选择，所述概念在下文【具体实施方式】中予以进一步描述。此发明内容不旨在识别所主张的标的物的关键特征或本质特征，也不旨在用作辅助确定所主张的标的物的范围。
[0007] 根据本发明的方面，提供一种用于从噪声与语音的混合物产生清晰语音的方法。所述方法可包含：基于噪声与语音的所述混合物及语音模型导出合成语音参数；及至少部分基于所述语音参数合成清晰语音。
[0008] 在一些
实施例中，导出语音参数开始于对噪声与语音的所述混合物执行一或多次频谱分析以产生一或多个频谱表示。所述一或多个频谱表示可接着用于导出特征数据。接着可根据语音模型，将对应于所述目标语音的特征进行分组且使其与所述特征数据分离。特征表示的分析可允许分段及分组语音分量候选者。在某些实施例中，通过凭借所述语音模型辅助的多重假设跟踪系统评估对应于目标语音的特征的候选者。可至少部分基于对应于所述目标语音的特征产生所述合成语音参数。
[0009] 在一些实施例中，所产生的合成语音参数包含频谱包络及发声信息。所述发声信息可包含音高数据及声音分类数据。在一些实施例中，从稀疏频谱包络估计所述频谱包络。
[0010] 在各个实施例中，所述方法包含基于噪声模型确定所述特征数据中的非语音分量。如确定的所述非语音分量可部分用来区分语音分量及噪声分量。
[0011] 在各个实施例中，所述语音分量可用来确定音高数据。在一些实施例中，所述非语音分量也可用于音高确定。(例如，可使用对关于噪声分量在何处遮盖语音分量的了解)。所述音高数据可经内插以在合成清晰语音之前填充丢失
帧；其中丢失帧是指其中可能未确定良好的音高估计的帧。
[0012] 在一些实施例中，所述方法包含基于所述音高数据产生表示发声语音的谐波映射。所述方法可进一步包含基于所述非语音分量从特征数据及所述谐波映射估计非发声语音的映射。谐波映射及非发声语音的映射可用来产生用于从噪声与语音的混合物的频谱表示提取稀疏频谱包络的屏蔽。
[0013] 在本发明的其它实例实施例中，方法步骤存储于包括当由一或多个处理器实施时执行所叙述步骤的指令的机器可读媒体上。在又其它实例实施例中，
硬件系统或装置可经调适以执行所叙述步骤。下文描述其它特征、实例及实施例。
附图说明
[0014] 实施例是通过实例说明且不限制附图的图，其中相同参考指示类似元件，且其中：
[0015] 图1展示适用于实施用于从噪声与语音的混合物产生清晰语音的方法的各个实施例的实例系统。
[0016] 图2说明根据实例实施例的语音处理的系统。
[0017] 图3说明根据实例实施例的用于分离及合成语音信号的系统。
[0018] 图4展示发声帧的实例。
[0019] 图5是根据实例实施例的发声帧的稀疏包络估计的时间-
频率标绘图。
[0020] 图6展示包络估计的实例。
[0021] 图7是说明根据实例实施例的语音合成器的图。
[0022] 图8A展示清晰女性语音样本的实例合成参数。
[0023] 图8B是图8A的特写，其展示清晰女性语音样本的实例合成参数。
[0024] 图9说明根据实例实施例的用于分离及合成语音信号的系统的输入及输出。
[0025] 图10说明用于从噪声与语音的混合物产生清晰语音的实例方法。
[0026] 图11说明可用以实施本技术的实施例的实例
计算机系统。
具体实施方式
[0027] 以下详细描述包含对形成详细描述的部分的附图的参考。所述图式展示根据示范性实施例的说明。在本文也称为“实例”的这些示范性实施例经足够详细描述以使得所属领域技术人员能够实践标的物。可组合所述实施例，可使用其它实施例或在不脱离所主张的范围的情况下可作出结构、逻辑及电改变。以下详细描述因此不被视为具有限制意义，且所述范围是由所附
权利要求书及其等效物定义。
[0028] 本发明提供允许从噪声与语音的混合物产生清晰语音的系统及方法。本文描述的实施例可在经配置以接收及/或提供语音信号的任何装置上实践，所述任何装置包含(但不限于)个人计算机(PC)、平板计算机、移动装置、蜂窝电话、手机、头戴式
耳机、媒体装置、用于电话会议应用的因特网连接(
物联网)装置及系统。本发明的技术也可用于个人助听装置、非医疗
助听器、助听器及耳蜗
植入物。
[0029] 根据各个实施例，用于从噪声与语音的混合物产生清晰语音信号的方法包含使用听觉(例如，
感知)及语音产生原理(例如，声源及
滤波器组件的分离)由噪声混合物估计语音参数。所估计的参数接着用于合成清晰语音或可潜在地用于其它应用，其中可能并不一定合成语音信号，但是需要对应于清晰语音信号的某些参数或特征(例如，自动语音辨识及扬声器识别)。
[0030] 图1展示适用于实施本文描述的各个实施例的方法的实例系统100。在一些实施例中，系统100包括接收器110、处理器120、麦克
风130、音频处理系统140及输出装置150。系统100可包括更多或其它组件以提供特定操作或功能。类似地，系统100可包括执行类似或等效于图1中描绘的功能的功能的更少组件。此外，系统100的元件可为基于
云的，包含(但不限于)处理器120。
[0031] 接收器110可经配置以与例如因特网、广域网(WAN)、局域网(LAN)、蜂窝网络等等的网络通信以接收音频数据流，其可包括音频数据的一或多个信道。所接收的音频数据流接着可被转发到音频处理系统140及输出装置150。
[0032] 处理器120可包含取决于系统100的类型(例如，通信装置或计算机)实施音频数据的处理及各种其它操作的硬件及
软件。
存储器(例如，非暂时性计算机可读存储媒体)可至少部分存储由处理器120执行的指令及数据。
[0033] 音频处理系统140包含实施根据本文揭示的各个实施例的方法的硬件及软件。音频处理系统140经进一步配置以经由麦克风130(其可为一或多个麦克风或声
传感器)从声源接收声信号并处理声信号。在由麦克风130接收之后，声信号可由
模数转换器转换为
电信号。
[0034] 输出装置150包含将音频输出提供给监听器的任何装置(例如，声源)。例如，输出装置150可包括扬声器、D类输出、头戴式耳机的听筒或系统100上的手机。
[0035] 图2展示根据实例实施例的用于语音处理的系统200。实例系统200包含至少分析模
块210、特征估计模块220、分组模块230及语音信息提取及模型化模块240。在某些实施例中，系统200包含语音合成模块250。在其它实施例中，系统200包含扬声器辨识模块260。在又其它实施例中，系统200包含自动语音辨识模块270。
[0036] 在一些实施例中，分析模块210可操作以接收一或多个时域语音
输入信号。可使用以各个预定时间-频率
分辨率产生频谱表示的多分辨率前端来分析语音输入。
[0037] 在一些实施例中，特征估计模块220从分析模块210接收各种分析数据。可从根据特征类型的各种分析(例如，
音调检测的窄带频谱分析及瞬态检测的宽带频谱分析)而导出信号特征，以产生多维特征空间。
[0038] 在各个实施例中，分组模块230从特征估计模块220接收特征数据。接着可根据听觉场景分析原理(例如，共同原则)，将对应于目标语音的特征分组且使其与干扰或噪声的特征分离。在某些实施例中，在多通话器输入或其它类似语音扰乱器的情况下，多重假设分组器可用于场景组织。
[0039] 在一些实施例中，可颠倒分组模块230及特征估计模块220的顺序，使得分组模块230在特征估计模块220中导出特征数据之前将频谱表示(例如，来自分析模块210)进行分组。
[0040] 可从分组模块230传递所得稀疏多维特征集到语音信息提取及模型化模块240。语音信息提取及模型化模块240可操作以产生表示噪声语音输入中的目标语音的输出参数。
[0041] 在一些实施例中，语音信息提取及模型化模块240的输出包含合成参数及声特征。在某些实施例中，合成参数被传递到语音合成模块250以合成清晰语音输出。在其它实施例中，由语音信息提取及模型化模块240产生的声特征被传递到自动语音辨识模块270或扬声器辨识模块260。
[0042] 图3展示根据另一实例实施例的用于语音处理(具体地说，用于噪声抑制的语音分离及合成)的系统300。系统300可包含多分辨率分析(MRA)模块310、噪声模型模块320、音高估计模块330、分组模块340、谐波映射单元350、稀疏包络单元360、语音包络模型模块370及合成模块380。
[0043] 在一些实施例中，MRA模块310接收语音输入信号。语音输入信号可被加性噪声及室内混响污染。MRA模块310可操作以产生一或多个短时频谱表示。
[0044] 来自MRA模块310的此短时分析最初可用于经由噪声模型模块320导出背景噪声的估计。噪声估计接着可用于在分组模块340中分组且在音高估计模块330中改善音高估计的稳健度。由音高估计模块330产生的音高轨道(包含发声决定)可用于(在谐波映射单元350处)产生谐波映射且作为合成模块380的输入。
[0045] 在一些实施例中，来自谐波映射单元350的谐波映射(表示发声语音)及来自噪声模型模块320的噪声模型用于估计非发声语音的映射(即，非发声帧中的输入与噪声模型之间的差)。发声映射及非发声映射可接着(在分组模块340处)被分组及用来(在稀疏包络单元360处)产生用于从输入信号表示提取稀疏包络的屏蔽。最后，语音包络模型模块370可从稀疏包络估计频谱包络(ENV)且可将ENV馈送到语音合成器(例如，合成模块380)，频谱包络连同来自估计模块330的发声信息(音高F0及例如发声/非发声(V/U)的发声分类)一起可产生最终语音输出。
[0046] 在一些实施例中，图3的系统是基于人类听觉感知及语音产生原理两者。在某些实施例中，单独(但并非一定独立)对包络及激发执行分析及处理。根据各个实施例，从噪声观察提取语音参数(即，此例子中的包络及发声)且使用估计以经由合成器产生清晰语音。
[0047] 噪声模型化
[0048] 噪声模型模块320可识别来自音频输入的非语音分量且从音频输入提取非语音分量。这可通过产生多维表示(例如皮层表示)而实现，例如其中可区分语音与非语音。M.
艾尔哈拉里(M.Elhilali)及S.A.沙玛(S.A.Shamma)发表的“具有皮层扭转的鸡尾酒会：皮层机制如何促进声分离(A cocktail party with a cortical twist:How cortical mechanisms contribute to sound segregation)”(美国声学学会杂志(J.Acoust.Soc.Am.)124(6)：第3751页到第3771页(2008年12月))中提供关于皮层表示的某种背景，所述文献的全部内容是以引用的方式并入本文。
[0049] 在实例系统300中，多分辨率分析可用于由噪声模型模块320估计噪声。例如音高的发声信息可在估计中用以区分语音与噪声分量。对于宽带稳态噪声(stationary noise)，调制域滤波器可经实施用于估计并提取噪声的变化缓慢(低调制)的分量特性，但是未估计并提取目标语音的分量特性。在一些实施例中，可使用交替噪声模型化途径，例如最小统计数据。
[0050] 音高分析及跟踪
[0051] 音高估计模块330可基于自动相关图特征而实施。Z.金(Z.Jin)及D.王(D.Wang)发表在《关于音频、语音和语言处理的
电子电气工程师学报(IEEE Transactions on Audio,Speech,and Language Processing),19(5)》的第1091页到第1102页(2011年7月)的“用于噪声及回响语音的基于HMM的多音高跟踪(HMM-Based Multipitch Tracking for Noisy and Reverberant Speech)”中提供关于自相关图特征的某种背景，所述文献的全部内容是以引用的方式并入本文。多分辨率分析可用以从已解析的谐波(窄带分析)及未解析的谐波(宽带分析)两者提取音高信息。噪声估计可经并入以通过忽略其中噪声主导信号的不可靠子频带来使音高
质量因子精细化。在一些实施例中，接着使用贝氏滤波器或贝氏跟踪器(例如，隐
马尔可夫模型(HMM))以整合每个帧的音高质量因子及时间约束以产生连续音高轨道。所得音高轨道接着可用于估计谐波映射，其强调其中存在谐波
能量的时间-频率区域。在一些实施例中，使用除基于自相关图特征的方法以外的合适的交替音高估计及跟踪方法。
[0052] 为了分析，音高轨道可经内插用于丢失的帧且经平滑化以产生更加自然的语
音轮廓。在一些实施例中，统计音高轮廓模型用于内插/外插及平滑化。可从音高估计的显著性及
置信度而导出发声信息。
[0053] 稀疏包络提取
[0054] 一旦识别发声语音及背景噪声区域，可导出非发声语音区域的估计。在一些实施例中，如果帧为非发声，那么特征区域被宣称为非发声(所述确定可基于(例如)音高显著性，其是帧的音高程度的衡量)，且信号不符合噪声模型，例如信号电平(或能量)超过噪声
阈值或特征空间中的信号表示落到特征空间中的噪声模型区域以外。
[0055] 发声信息可用以识别并选择对应于音高估计的谐波频谱峰值。此过程中发现的频谱峰值可经存储用于产生稀疏包络。
[0056] 对于非发声帧，可识别所有频谱峰值并将其加到稀疏包络信号。图4中展示发声帧的实例。图5是发声帧的稀疏包络估计的示范性时间-频率标绘图。
[0057] 频谱包络模型化
[0058] 可通过内插而从稀疏包络导出频谱包络。可应用许多方法以导出稀疏包络，包含简单的二维网格内插(例如，
图像处理技术)或可产生更加自然且不失真的语音的更复杂的数据驱动方法。
[0059] 在图6中展示的实例中，基于每个帧应用对数域中的立方内插于稀疏频谱以获得平滑频谱包络。使用此途径，可移除或最小化归因于激发而产生的精细结构。如果噪声超过语音谐波，那么可基于某种抑制法则(例如，维纳滤波器)或基于语音包络模型给包络指派加权值。
[0060] 语音合成
[0061] 图7是根据实例实施例的语音合成器700的
框图。实例语音合成器700可包含线性预测编码(LPC)模型化块710、脉冲块720、白色高斯噪声(WGN)块730、扰动模型化块760、扰动滤波器740及750以及合成滤波器780。
[0062] 一旦计算音高轨道及频谱包络，可合成清晰语音表达。运用此类参数，可如下实施混合激发合成器。可由高阶线性预测编码(LPC)滤波器(例如，第64阶)模型化频谱包络(ENV)以保留声道细节，但是排除其它激发相关的假声(LPC模型化块710，图7)。可通过凭借每一帧中的音高值驱动的过滤的脉冲列(脉冲块720，图7)与过滤的白色高斯噪声源(WGN块730，图7)的和来模型化(发声信息(音高F0及例如图7中的实例中的发声/非发声(V/U)的发声分类)的)激发。如图7中的实例实施例可知，音高F0及例如发声/非发声(V/U)的发声分类可被输入到脉冲块720、WGN块730及扰动模型化块760。可从包络的频谱-时间能量分布曲线导出扰动滤波器P(z)750及Q(z)740。
[0063] 根据各个实施例，与其它已知方法相比，可只基于频谱包络的相对局部及全局能量且并非基于激发分析控制周期脉冲列的扰动。滤波器P(z)750可加入频谱整形到激发中的噪声分量，且滤波器Q(z)740可用以修改脉冲列的
相位以增加散布及自然度。
[0064] 为了导出扰动滤波器P(z)750及Q(z)740，可计算每一帧内的动态范围，且可基于每一频谱值相对于帧中的最小能量及最大能量的电平应用取决于频率的加权。接着，可基于帧相对于随时间变化而跟踪的最大全局能量及最小全局能量的电平应用全局加权。此途径背后的基本原理是：在开始及结束(低相对全局能量)期间，声
门区域减小，从而产生较高的
雷诺数(增加紊流的可能性)。在稳定状态期间，可在紊流能量主导之处以较低能量观察局部频率扰动。
[0065] 应注意，可从发声帧中的频谱包络计算扰动，但是实际上对于一些实施例，扰动在非发声区域期间被指派最大值。图8A中展示(图8B中也更详细地展示)清晰女性语音样本的合成参数的实例。扰动函数在dB域中被展示为非周期函数。
[0066] 图9中说明系统300的性能的实例，其中由系统300处理噪声语音输入，从而产生合成无噪声输出。
[0067] 图10是用于由噪声与语音的混合物产生清晰语音的方法1000的
流程图。方法1000可通过处理逻辑执行，处理逻辑可包含硬件(例如，
专用逻辑、可编程逻辑及
微码)、软件(例如在通用计算机系统或专用机器上运行)或两者的组合。在一个实例实施例中，处理逻辑驻留在音频处理系统140处。
[0068] 在操作1010处，实例方法1000可包含基于噪声与语音的混合物及语音模型导出语音参数。语音参数可包含频谱包络及声音信息。声音信息可包含音高数据及声音分类。在操作1020处，方法1000可进行由语音参数合成清晰语音。
[0069] 图11说明可用以实施本发明的一些实施例的示范性计算机系统1100。图11的计算机系统1100可实施于计算系统、网络、
服务器或其组合等等的背景中。图11的计算机系统1100包含一或多个处理器单元1110及主存储器1120。主存储器1120部分存储由处理器单元
1110执行的指令及数据。在此实例中，主存储器1120在操作时存储可执行代码。图11的计算机系统1100进一步包含大容量数据存储装置1130、便携式存储装置1140、输出装置1150、用户输入装置1160、图形显示系统1170及外围装置1180。
[0070] 图11中所示的组件被描绘为经由单个总线1190连接。所述组件可通过一或多个数据输送构件连接。处理器单元1110及主存储器1120经由本地
微处理器总线连接，且大容量数据存储装置1130、外围装置1180、便携式存储装置1140及图形显示系统1170经由一或多个输入/输出(I/O)总线连接。
[0071] 可使用磁盘
驱动器、固态磁盘驱动器或光盘驱动器实施的大容数据量存储装置1130是用于存储由处理器单元1110使用的数据及指令的非易失性存储装置。大容数据量存储装置1130存储用于实施本发明的实施例的
系统软件以将所述软件加载到主存储器1120中。
[0072] 便携式存储装置1140结合便携式非易失性存储媒体(例如闪存盘、
软盘、光盘、数字视频光盘或通用
串行总线(USB)存储装置)操作，以输入并输出数据及代码到图11的计算机系统1100及从图11的计算机系统1100输入并输出数据及代码。用于实施本发明的实施例的系统软件存储在此便携式媒体上且经由便携式存储装置1140输入到计算机系统1100。
[0073] 用户输入装置1160可提供用户
接口的部分。用户输入装置1160可包含一或多个麦克风、用于输入字母数字及其它信息的字母数字小
键盘(例如键盘)或指向装置(例如
鼠标、
轨迹球、尖笔或
光标方向键)。用户输入装置1160还可包含
触摸屏。此外，如图11中所示的计算机系统1100包含输出装置1150。合适的输出装置1150包含扬声器、
打印机、网络接口及监视器。
[0074] 图形显示系统1170包含
液晶显示器(LCD)或其它合适的显示装置。图形显示系统1170可经配置以接收文字及图形信息并处理所述信息以输出到显示装置。
[0075] 外围装置1180可包含任何类型的计算机支持装置以将额外功能添加到计算机系统。
[0076] 图11的计算机系统1100中提供的组件是计算机系统中通常发现且可适用于搭配本发明的实施例使用的组件，且旨在表示所属领域中已知的此类计算机组件的广泛类别。因此，图11的计算机系统1100可为个人计算机(PC)、手持式计算机系统、电话、移动计算机系统、工作站、平板计算机、平板手机、
移动电话、服务器、微型计算机、大型计算机、可穿戴式因特网连接装置或任何其它计算机系统。计算机还可包含不同的总线配置、网络平台、多处理器平台等等。可使用包含UNIX、LINUX、WINDOWS、MAC OS、PALM OS、QNX ANDROID、IOS、CHROME、TIZEN的各种
操作系统及其它合适的操作系统。
[0077] 各个实施例的处理可实施于基于云的软件中。在一些实施例中，计算机系统1100被实施为基于云的计算环境，例如在计算云内操作的
虚拟机。在其它实施例中，计算机系统1100本身可包含基于云的计算环境，其中计算机系统1100的功能是以分布式方式执行。因此，如下文将更详细描述，计算机系统1100在配置为计算云时可包含呈各种形式的多个计算装置。
[0078] 一般而言，基于云的计算环境是通常组合大群组处理器(例如网页服务器内)的计算能
力及/或组合大群组计算机存储器或存储装置的存储容量的资源。提供基于云的资源的系统可由其拥有者专用，或部署计算
基础设施内的应用程序的外部用户可存取此类系统以获得大量计算或存储资源的优势。
[0079] 云可由(例如)包括多个计算装置(例如计算机系统1100)的网页服务器的网络形成，其中每一服务器(或其至少多个服务器)提供处理器及/或存储器资源。这些服务器可管理由多个用户(例如，云资源客户或其它用户)提供的工作量。通常，每一用户将工作量需求置于实时变动(有时候显著变动)的云上。这些变动的本质及范围通常取决于与用户相关联的业务类型。
[0080] 上文参考实例实施例描述本技术。因此，关于实例实施例的其它变动旨在由本发明涵盖。
