技术领域
[0001] 本
发明涉及语音
信号处理领域，特别是一种音视频信息融合的麦克风阵列语音增强系统。
背景技术
[0002] 通话设备在实际使用环境中容易受到
背景噪音和混响等干扰，使
语音信号的
质量和可懂度受到影响，因此在许多通话应用中都需要进行有效的语音增强处理，以抑制噪声，提高语音清晰度、可懂度和舒适度。
[0003] 目前常用的语音增强方法主要包括两类，一类是基于单麦克风的语音增强方法，包括谱减法、维纳滤波、MMSE、卡尔曼滤波、
小波变换等，这类方法利用单麦克风接收语音信号，通过时域、频域、小波变换域等滤波和处理来抑制噪声，提高语音的质量；另一类是基于麦克风阵列的语音增强方法，利用多个麦克风接收到的语音信号里包含的空间
相位信息对输入语音进行空间滤波，形成具有
指向性的空间波束，对
指定方向上的语音信号进行增强，能取得比单麦克风更好的增强效果。
[0004] 现有的麦克风阵列语音增强技术可以大致分为固定波束形成法、自适应波束形成法、后置滤波法三类。固定波束形成法采用延迟相加进行时延补偿且
滤波器的权值固定不变，具有运算量低，容易实现等优点，但不具备自适应抑制强干扰的能
力。自适应波束形成法中，滤波器系数随着
输入信号统计特性的变化而变化，使波束方向零陷对准噪声方向，而注视方向上信号的
频率响应固定不变，以此来抑制其它方向上的干扰噪声。后置滤波法根据各信道接收信号间的自相关和互相关特性调整维纳滤波器的系数，含噪的语音信号经过维纳滤波后得到
最小均方误差准则下的目标语音估计信号，可以在不相关噪声的环境下以较少的麦克风数目获得较好的消噪性能。但现有的麦克风阵列语音增强技术均基于空气传导的语音
传感器，在实际应用中存在着以下的不足：(1)当环境噪声较强时，输出的语音质量不高；(2)当使用环境中存在多个声源时，麦克风阵列的来波方向估计容易出现错误判断；(3)当使用环境中存在多个声源时，传统的来波方向估计通常选择声音最强的声源信号进行增强，不方便使用者指定某个声源进行监听。
发明内容
[0005] 针对现有麦克风阵列语音增强技术的不足，本发明提供一种音视频信息融合的麦克风阵列语音增强系统及方法，该系统利用音频和视频信息受噪声影响方式的不同，将视频信息用于提高麦克风阵列来波方向估计准确度和麦克风阵列增强语音的质量，能显著提高现有麦克风阵列语音增强系统的性能，可以广泛应用于视频会议、车载电话、移动视频通话终端等场合。
[0006] 本发明的目的至少通过如下技术方案之一实现。
[0007] 一种音视频信息融合的麦克风阵列语音增强系统，其包括视频采集模
块、麦克风阵列接收模块、音视频来波方向联合估计模块、麦克风阵列语音增强模块和音视频联合语音增强模块，其中视频采集模块与音视频来波方向联合估计模块、音视频联合语音增强模块连接，用于采集应用场景中说话人的
视频信号；麦克风阵列接收模块与音视频来波方向联合估计模块、麦克风阵列语音增强模块连接，用于接收说话人的
音频信号；音视频来波方向联合估计模块与视频采集模块、麦克风阵列接收模块、麦克风阵列语音增强模块连接，利用音视频信息联合估计说话人音频的来波方向；麦克风阵列语音增强模块与麦克风阵列接收模块、音视频来波方向联合估计模块、音视频联合语音增强模块连接，利用麦克风阵列接收模块接收到的阵列语音信号来对语音信号进行增强；音视频联合语音增强模块与视频采集模块、麦克风阵列语音增强模块连接，利用经麦克风阵列语音增强模块增强后的语音和视频采集模块输出的视频信号联合对语音进行二次增强处理。
[0008] 进一步地，所述音视频来波方向联合估计模块包括视频声源
定位模块、麦克风阵列声源定位模块和音视频定位信息融合模块，其中视频声源定位模块与音视频定位信息融合模块、上述视频采集模块连接，根据视频信号估计说话人在视频画面中的
位置；麦克风阵列声源定位模块与音视频定位信息融合模块、上述麦克风阵列接收模块连接，根据麦克风阵列接收模块接收到的阵列语音信号来估计说话人语音的来波方向；音视频定位信息融合模块与视频声源定位模块、麦克风阵列声源定位模块和上述麦克风阵列语音增强模块连接，由视频定位信息与麦克风阵列声源定位信息估计当前说话人语音的来波方向。
[0009] 进一步地，所述音视频联合语音增强模块包括噪声估计模块、音视频联合分类模块、音视频联合模型库、最佳滤波器系数生成模块和滤波模块，其中噪声估计模块与最佳滤波器系数生成模块、所述麦克风阵列语音增强模块连接，用于估计麦克风阵列语音增强模块输出语音中的噪声
频谱；音视频联合分类模块与音视频联合模型库、最佳滤波器系数生成模块、上述视频采集模块、所述麦克风阵列语音增强模块连接，根据说话人产生的视频和音频信号对当前语音
帧进行分类；音视频联合模型库与音视频联合分类模块连接，用于保存音视频联合分类的模型；最佳滤波器系数生成模块与噪声估计模块、音视频联合分类模块、滤波模块连接，根据音视频联合分类模块的分类结果和噪声计算当前语音帧的最佳滤波器系数；滤波模块与最佳滤波器系数生成模块、所述麦克风阵列语音增强模块连接，用于对麦克风阵列语音增强模块输出语音进行滤波增强。
[0010] 利用所述的一种音视频信息融合的麦克风阵列语音增强系统的麦克风阵列语音增强方法，包括以下步骤：
[0011] 步骤1：通过视频采集模块、麦克风阵列接收模块同步采集视频和音频信号；
[0012] 步骤2：音视频来波方向联合估计模块根据步骤1采集得到的同步音视频信号估计说话人音频的来波方向；
[0013] 步骤3：麦克风阵列语音增强模块根据说话人音频的来波方向，对麦克风阵列接收模块采集到的音频信号进行增强；
[0014] 步骤4：将步骤3中麦克风阵列语音增强模块输出的音频信号与步骤1中视频采集模块采集的视频信号进行同步，并通过音视频联合语音增强模块对麦克风阵列语音增强模块输出的音频信号进行增强。
[0015] 进一步地，步骤2中，音视频来波方向联合估计模块采用以下步骤估计说话人语音的来波方向：
[0016] 步骤2.1：根据视频采集模块和麦克风阵列接收模块的相对位置，确定视频画面中
像素坐标与麦克风阵列的来波方向之间的映射关系；
[0017] 步骤2.2：通过视频声源定位模块估计说话人唇部在视频画面中的位置，在音视频定位信息融合模块中将其映射为麦克风阵列的来波方向(θlc,φlc)，其中θlc为方位
角，φlc为仰视角；
[0018] 步骤2.3：通过麦克风阵列声源定位模块确定当前所有声源的来波方向(θi,φi)，其中0≤i≤I-1，I为所确定的声源个数；在音视频定位信息融合模块中，选择与(θlc,φlc)差异最小的(θi,φi)作为需监听的说话人音频的来波方向。
[0019] 进一步地，步骤2.2采用以下步骤实现：
[0020] 步骤2.2.1：利用人脸资源库建立人脸肤色模型；
[0021] 步骤2.2.2：根据步骤2.2.1中的人脸肤色模型，分割出视频画面中的人脸区域，并对人脸中的唇部进行定位，得到视频画面中说话人唇部中心的像素坐标(xlc,ylc)；
[0022] 步骤2.2.3：根据步骤2.1得到的视频画面中像素坐标与麦克风阵列的来波方向之间的映射关系，将说话人唇部中心的像素坐标(xlc,ylc)映射为麦克风阵列的来波方向(θlc,φlc)。
[0023] 进一步地，步骤2中，当视频中检测不到说话人时，采用信号最强的音频来波方向作为声源的来波方向；步骤2中，若存在多个说话人，由使用者在视频画面上指定需监听的说话人；步骤2中，当使用者未指定说话人时，采用信号最强的音频来波方向作为声源的来波方向。
[0024] 进一步地，步骤4中，音视频联合语音增强模块采用以下方法对麦克风阵列语音增强模块输出的音频信号进行增强：
[0025] 步骤4.1：同步采集说话人干净的视频信号和语音信号并分帧，提取每帧的音视频联合特征，训练音视频联合分类模型，并保存每一分类的语音频谱均值；
[0026] 步骤4.2：噪声估计模块对麦克风阵列语音增强模块输出的音频信号进行端点检测，提取其中的纯噪声音频
片段，计算噪声的线性频谱均值；
[0027] 步骤4.3：音视频联合分类模块将视频采集模块采集的视频信号和麦克风阵列语音增强模块输出的音频信号进行同步和分帧，提取每帧的音视频联合特征，并利用步骤4.1中得到的音视频联合分类模型，计算当前音
视频帧属于各分类的得分；
[0028] 步骤4.4：最佳滤波器系数生成模块采用式(1)或式(2)构造当前语音帧的最佳维纳滤波器：
[0029]
[0030]
[0031] 其中p(m|z)为步骤4.3中得到的音视频联合特征z对音视频联合分类模型中第m分类的得分，K为音视频联合分类模型第m分类的均值矢量维数，M是音视频联合分类模型的混合分量数， 为音视频联合分类模型第m分类对应的干净语音频谱均值矢量 的第i个分量， 为说话人语音经麦克风阵列增强后残留噪声的线性频谱均值矢量 的第
i个分量；
[0032] 步骤4.5：滤波模块采用步骤4.4得到的最佳维纳滤波器对麦克风阵列语音增强模块输出的音频进行滤波，得到滤波增强后的语音信号。
[0033] 进一步地，步骤4.1中音视频联合分类模型采用高斯混合模型或者隐
马尔科夫模型。
[0034] 进一步地，步骤4.3中，音视频联合特征属于各分类的得分采用以下方法计算：
[0035] 对于每帧音视频联合特征，估计其每个特征分量的可靠性，并采用下式计算相对于联合统计模型第m分类的边缘概率pm(zr)：
[0036]
[0037] 上式中λm是音视频联合统计模型第m分类的模型参数，p(z|λm)是音视频联合统计模型第m分类的概率
密度函数； 其中xr、yr分别为视频特征x和音频特征y中可靠性大于预设
阈值的特征分量构成的矢量，xu、yu分别为视频特征x和音频特征y中可靠性小于预设阈值的特征分量构成的矢量；
[0038] 音视频联合特征每个特征分量的可靠性采用以下方法计算：估计每个特征分量的
信噪比，当信噪比小于预设阈值时，该特征分量的可靠性为0，否则该特征分量的可靠性为1；步骤4.4中，p(m|z)＝pm(zr)。
[0039] 与
现有技术相比，本发明的有益之处有：
[0040] (1)本发明采用了两级增强的结构，对麦克风阵列增强后的说话人语音进行了二次增强，并在两级增强系统中充分地利用视频和音频信息，因此能有效地减少环境噪声的影响，显著提高系统的抗噪声性能。
[0041] (2)本发明同时使用音频和视频信息来确定说话人语音的来波方向，即使使用环境中存在多个声源时，也能保证来波方向估计的准确性，避免了传统麦克风阵列来波方向估计出现声源误判的不足。
[0042] (3)使用者可以方便地通过视频画面指定需监听的说话人，克服了传统麦克风阵列难以指定目标说话人的不足。
附图说明
[0044] 图2为本发明实施例中麦克风阵列与视频采集装置位置关系的示意图；
[0045] 图3为本发明实施例中音视频信息融合的麦克风阵列语音增强方法的
流程图；
[0046] 图4为本发明实施例中来波方向联合估计的流程图。
[0047] 图5为本发明实施例中对麦克风阵列语音增强模块输出的音频信号进行增强的流程图。
具体实施方式
[0048] 下面结合附图和实施例对本发明的具体实施步骤作进一步的说明，但本发明的实施方式不限于此。
[0049] 本发明实施例的系统结构如图1所示，由视频采集模块、麦克风阵列接收模块、音视频来波方向联合估计模块、麦克风阵列语音增强模块、音视频联合语音增强模块共同构成，其中视频采集模块与音视频来波方向联合估计模块、音视频联合语音增强模块连接，用于采集应用场景中说话人的视频信号；麦克风阵列接收模块与音视频来波方向联合估计模块、麦克风阵列语音增强模块连接，用于接收说话人的音频信号；音视频来波方向联合估计模块与视频采集模块、麦克风阵列接收模块、麦克风阵列语音增强模块连接，利用音视频信息联合估计说话人音频的来波方向；麦克风阵列语音增强模块与麦克风阵列接收模块、音视频来波方向联合估计模块、音视频联合语音增强模块连接，利用麦克风阵列接收模块接收到的阵列语音信号来对语音信号进行增强；音视频联合语音增强模块与视频采集模块、麦克风阵列语音增强模块连接，利用经麦克风阵列语音增强模块增强后的语音和视频采集模块输出的视频信号联合对语音进行二次增强处理。上述实施例中，视频采集模块采用摄像头来实现，麦克风阵列接收模块由6个麦克风m1，m2，m3，m4，m5，m6及相应的放大
电路和A/D转换电路构成，麦克风与摄像头的安装位置如图2所示，其中摄像头C位于原点，其光轴与x轴重合，麦克风m1，m4位于x轴，m2，m5位于y轴，m3，m6位于z轴，均以原点为对称中心。音视频来波方向联合估计模块、麦克风阵列语音增强模块、音视频联合语音增强模块由CPU或嵌入式芯片及相应的外围电路构成，音视频联合语音增强模块还包含D/A转换及放大驱动电路。
[0050] 上述音视频来波方向联合估计模块，由视频声源定位模块、麦克风阵列声源定位模块和音视频定位信息融合模块共同构成，其中视频声源定位模块与音视频定位信息融合模块、上述视频采集模块连接，根据视频信号估计说话人在视频画面中的位置；麦克风阵列声源定位模块与音视频定位信息融合模块、上述麦克风阵列接收模块连接，根据麦克风阵列接收模块接收到的阵列语音信号来估计说话人语音的来波方向；音视频定位信息融合模块与视频声源定位模块、麦克风阵列声源定位模块和上述麦克风阵列语音增强模块连接，由视频定位信息与麦克风阵列声源定位信息估计当前说话人语音的来波方向。上述实施例中，视频声源定位模块、麦克风阵列声源定位模块和音视频定位信息融合模块在CPU或嵌入式芯片中用
软件来实现。
[0051] 上述音视频联合语音增强模块，由噪声估计模块、音视频联合分类模块、音视频联合模型库、最佳滤波器系数生成模块、滤波模块共同构成，其中噪声估计模块与最佳滤波器系数生成模块、上述麦克风阵列语音增强模块连接，用于估计麦克风阵列语音增强模块输出语音中的噪声频谱；音视频联合分类模块与音视频联合模型库、最佳滤波器系数生成模块、上述视频采集模块、上述麦克风阵列语音增强模块连接，根据说话人产生的视频和音频信号对当前语音帧进行分类；音视频联合模型库与音视频联合分类模块连接，用于保存音视频联合分类的模型；最佳滤波器系数生成模块与噪声估计模块、音视频联合分类模块、滤波模块连接，根据音视频联合分类模块的分类结果和噪声计算当前语音帧的最佳滤波器系数；滤波模块与最佳滤波器系数生成模块、上述麦克风阵列语音增强模块连接，用于对麦克风阵列语音增强模块输出语音进行滤波增强。上述实施例中，噪声估计模块、音视频联合分类模块、音视频联合模型库、最佳滤波器系数生成模块、滤波模块在CPU或嵌入式芯片中用软件来实现。
[0052] 本发明提供的音视频信息融合的麦克风阵列语音增强系统，采用以下方法对输入的语音进行增强，其流程如图3所示：
[0053] 步骤1：通过视频采集模块、麦克风阵列接收模块同步采集视频和音频信号。上述实施例中，麦克风阵列接收模块通过每一个麦克风采集到说话人的多通道语音信号，同时视频采集模块利用摄像头对前方连续拍摄，作为视频输入信号。
[0054] 步骤2：音视频来波方向联合估计模块根据步骤1采集得到的同步音视频信号估计说话人语音的来波方向，具体又可以分为以下几步，流程如图4所示：
[0055] 步骤2.1：根据视频采集模块和麦克风阵列接收模块的相对位置，确定视频画面中像素坐标与麦克风阵列的来波方向之间的映射关系。
[0056] 上述实施例中，如图2所示，以摄像头C为空间
坐标系原点O建立空间坐标系Oxyz，摄像头C的焦距为f，摄像头成像的像素平面大小为Px×Py，成像中心的像素坐标为(xc,yc)，
水平方向和垂直方向单位距离上的像素点数分别是Wx和Wy。若声源s的方位角为θ，仰视角为φ，视频画面中的说话人唇部中心位置与成像中心的水平距离为dx，垂直距离为dy，即说话人唇部中心在成像平面的像素坐标为(xc+dx,yc+dy)，则视频画面中说话人唇部中心位置与麦克风阵列的来波方向(θlc,φlc)的映射关系为：
[0057]
[0058]
[0059] 在其他的一些实施例中，根据视频采集模块和麦克风阵列接收模块摆放位置的不同，上述视频画面中说话人唇部中心位置与麦克风阵列的来波方向具有不同的映射关系。
[0060] 步骤2.2：通过视频声源定位模块估计说话人唇部在视频画面中的位置，在音视频定位信息融合模块中将其映射为麦克风阵列的来波方向(θlc,φlc)，其中θlc为方位角，φlc为仰视角。
[0061] 上述实例中，首先通过建立高斯人脸肤色模型来对视频画面中说话人脸部区域进行检测定位，然后根据定位到的说话人人脸位置，采用自适应
色度滤波
算法对说话人唇部中心位置进行定位，具体采用以下步骤实现：
[0062] 步骤2.2.1：利用人脸资源库建立人脸肤色模型。
[0063] 上述实施例中，在人脸图像库中选取J幅人脸彩色图像，预处理后保留人脸区域，然后将其每个像素点从RGB
颜色空间分别用式(6)和式(7)投影到YCbCr颜色空间和chromatic颜色空间
[0064]
[0065]
[0066] 采用高斯模型对矢量t＝[Cb,Cr,r,g]T进行建模，其概率密度函数为：
[0067] p(t)＝exp{-0.5(t-μ)T∑-1(t-μ)} (8)
[0068] 上式中均值μ和方差矩阵∑为：
[0069] μ＝[μCb,μCr,μr,μg]T (9)
[0070]
[0071] 其中 Kj为第j幅人脸图像中像素点的数目，Cbjk、Crjk、rjk、gjk分别为第j幅人脸图像中第k个像素点Cb、Cr、r、g的值，∑(*)是颜色空间元素(*)的方差(矩阵)。
[0072] 步骤2.2.2：根据步骤2.2.1中的人脸肤色模型，分割出视频画面中的人脸区域，并对人脸中的唇部进行定位，得到视频画面中说话人唇部中心的像素坐标(xlc,ylc)。
[0073] 上述实施例中，将待检测的视频画面中的第k个像素点在联合颜色空间上表示为tk＝[Cbk,Crk,rk,gk]T，根据步骤2.2.1中的高斯人脸肤色模型可以计算得到该像素点属于人脸肤色的概率为：
[0074] p(tk)＝exp{-0.5(tk-μ)T∑-1(tk-μ)} (11)
[0075] 若p(tk)>δ，其中δ为预设的阈值，则判断该像素点位于人脸区域，否则该像素点为非人脸区域，由此将待检测视频画面中的人脸区域分割出来。得到人脸的位置信息后，采用自适应色度滤波算法对说话人唇部中心位置进行定位，得到视频画面中说话人唇部中心的像素坐标(xlc,ylc)。
[0076] 步骤2.2.3：根据步骤2.1得到的视频画面中像素坐标与麦克风阵列的来波方向之间的映射关系，将说话人唇部中心的像素坐标(xlc,ylc)映射为麦克风阵列的来波方向(θlc,φlc)。上述实施例中，根据式(4)和式(5)将(xlc,ylc)映射为(θlc,φlc)。
[0077] 步骤2.3：通过麦克风阵列声源定位模块确定当前所有声源的来波方向(θi,φi)，其中0≤i≤I-1，I为所确定的声源个数。在音视频定位信息融合模块中，选择与(θlc,φlc)差异最小的(θi,φi)作为需监听的说话人音频的来波方向。
[0078] 上述实例中，空间存在I个声源，空间噪声为零均值且与信号相互独立的高斯白噪声，麦克风阵列声源定位模块采用三维MUSIC近场声源识别算法来确定当前所有声源的来波方向。如图2所示，将坐标系原点O(0,0,0)设为麦克风阵列的参考点，声源si(1≤i≤I)的空间坐标为(li,θi,π-φi)，声源si与第j个麦克风的距离为lij(j＝1～6)，则麦克风接收的信号为：
[0079] X＝AS+N (12)
[0080] 其中S为声源信号矩阵，N为噪声信号矩阵，A为阵列方向矩阵，A每个元素可以表示为 是声音从si到达阵列参考点O(0,0,0)与到达第j个麦克风之间的时间差，c＝340m/s是声音的传播速度。
[0081] 计算麦克风接收信号X的协方差，然后对所得协方差矩阵进行分解可得到信号子空间Us和噪声子空间UN：
[0082] R＝Us∑sUsH+UN∑NUNH (13)
[0083] 计算
[0084]
[0085] 其中 为信号的方向向量，L为对空间谱
加窗的长度，wj是第j个频率点的权重，实施例中声源信号的频率特性未知，wj设置为1。PMUSIC取得极大值时所对应的(li,θi,φi)即为当前声源si的位置，(θi,φi)为声源si的来波方向。
[0086] 得到所有声源的来波方向后，采用下式计算所有(θi,φi)与(θlc,φlc)的距离，[0087]
[0088] 令di最小的(θi,φi)即为当前指定说话人相对于麦克风阵列的来波方向。
[0089] 上述步骤2中，当视频中检测不到说话人时，采用信号最强的音频来波方向作为声源的来波方向。
[0090] 上述步骤2中，若存在多个说话人，由使用者在视频画面上指定需监听的说话人，摄像机对说话人进行
跟踪，获取指定检测的说话人脸部及唇部定位信息。
[0091] 上述步骤2中，当使用者未指定说话人时，采用信号最强的音频来波方向作为声源的来波方向。
[0092] 步骤3：麦克风阵列语音增强模块根据说话人音频的来波方向，对麦克风阵列接收模块采集到的音频信号进行增强。
[0093] 上述实施例中，麦克风阵列m1、m2、m3、m4、m5、m6采集到的待检测语音信号为S＝{x1,x2,x3,x4,x5,x6}，麦克风阵列语音增强模块采用广义旁瓣抵消器(GSC)算法对麦克风接收到的音频信号进行阵列增强。广义旁瓣抵消器由延时-累加波束形成器、阻塞矩阵和噪声抵消器组成。输入的语音信号分为上下两条支路进行处理，其中上支路中利用延时-累加波束形成器对阵列的输入语音在来波方向进行增强，并抑制其他方向的干扰噪声，其输出为：
[0094] yc＝ATS
[0095] (16)
[0096] 其中A＝C(CHC)-1F为权系数向量，C为约束矩阵，F为对应的约束响应向量。下支路包含阻塞矩阵和噪声抵消器，首先通过构造一个秩r(B)≤3的阻塞矩阵B来滤除期望信号，其输出为干扰和噪声的组合N：
[0097] N＝BS
[0098] (17)
[0099] 然后噪声抵消器根据N估算出延时-累加波束形成器
输出信号中的噪声信号yn：
[0100] yn＝WTN
[0101] (18)
[0102] 根据式(16)和式(18)可以计算得到干净语音信号的估计值ye：
[0103] ye＝yc-yn (19)
[0104] 式(18)中WT＝[w1,w2,...,w6]T为权重矢量，采用下式进行调整，式中i为
迭代步数：
[0105]
[0106] 步骤4：将步骤3中麦克风阵列语音增强模块输出的音频信号与步骤1中视频采集模块采集的视频信号进行同步，并通过音视频联合语音增强模块对麦克风阵列语音增强模块输出的音频信号进行增强。
[0107] 上述步骤4中，音视频联合语音增强模块采用以下方法对麦克风阵列语音增强模块输出的音频信号进行增强，其流程如图5所示：
[0108] 步骤4.1：同步采集说话人干净的视频信号和语音信号并分帧，提取每帧的音视频联合特征，训练音视频联合分类模型，并保存每一分类的语音频谱均值。
[0109] 上述实施例中，同步采集1000段不同说话人干净的音频信号和视频信号，然后分别提取每一帧音频信号的mfcc参数，将音频信号帧的mfcc特征矢量序列记为x，用活动形状模型提取视频信号帧中说话人的唇部几何信息，再加上图像灰度外观特征构成唇部特征序列，记为y，将第h帧音频信号特征矢量和第h帧唇部特征矢量进行拼接，得到第h帧音视频联合特征矢量为 由此得到联合模型库的
训练数据集。
[0110] 获得训练数据集后，采用混合高斯模型(GMM)来拟合音视频联合特征矢量的概率分布，令Z＝{z1,z2,...,zn}表示训练用的音视频联合特征矢量集合，则混合高斯模型联合概率密度函数为：
[0111]
[0112] 其中M是GMM中的混合分量数，πm是模型混合分量先验权重，1≤m≤M， 且πm≥0，μm和∑m分别表示混合高斯模型第m分量的均值矢量和方差矩阵，混合高斯模型每一混合分量概率密度函数 为单高斯函数，代表一个分类。令λ＝{(πm,μm,∑m)|1≤m≤M}表示混合高斯模型的参数集，采用最大期望算法求出λ的最大似然估计。
[0113] 建立音视频联合分类模型后，计算该模型中属于每一分类的所有干净音频帧的频谱均值 保存在音视频联合模型库中。
[0114] 在另外一些实施例中，采用隐马尔科夫模型作为联合统计模型，并以隐马尔科夫模型中的每个混合高斯分量表示一个分类。
[0115] 步骤4.2：噪声估计模块对麦克风阵列语音增强模块输出的音频信号进行端点检测，提取其中的纯噪声音频片段，计算噪声的线性频谱均值；
[0116] 上述实施例中，经麦克风阵列获取增强语音后，噪声估计模块对其进行分帧，然后根据每帧的短时自相关函数Rw(τ)和短时
能量Ew，计算每帧阵列增强语音的短时平均过
门限率Cw(n)：
[0117]
[0118] 其中sgn[·]为取符号运算， 是调节因子，w(n)是矩形窗函数，Nw为其窗长，τ是时延，T是门限初值。当Cw(n)大于预设的门限值时，判断该帧为语音，否则为噪声信号。根据每帧的判决结果得到阵列增强语音的端点位置。
[0119] 提取麦克风阵列语音增强模块输出的音频信号中的纯噪声音频片段，计算并保存其线性频谱均值 作为经麦克风阵列增强后的说话人语音残留噪声的幅度均值参数。
[0120] 步骤4.3：音视频联合分类模块将视频采集模块采集的视频信号和麦克风阵列语音增强模块输出的音频信号进行同步和分帧，提取每帧的音视频联合特征，并利用步骤4.1中得到的音视频联合分类模型，计算当前音视频帧属于各分类的得分。
[0121] 上述实施例中，采用与步骤4.1相同的方法对视频采集模块采集的视频信号和麦克风阵列语音增强模块输出的音频信号进行同步和分帧，并提取每帧的音视频联合特征。
[0122] 对于每帧音视频联合特征，采用以下方法计算其属于各分类的得分：估计当前音视频联合特征中每个特征分量的可靠性，并采用下式计算相对于联合统计模型第m分类的边缘概率pm(zr)：
[0123]
[0124] 上式中λm是音视频联合统计模型第m分类的模型参数，p(z|λm)是音视频联合统计模型第m分类的概率密度函数； 其中xr、yr分别为视频特征x和音频特征y中可靠性大于预设阈值的特征分量构成的矢量，xu、yu分别为视频特征x和音频特征y中可靠性小于预设阈值的特征分量构成的矢量。上述音视频联合特征中每个特征分量的可靠性采用以下方法计算：估计每个特征分量的信噪比，当信噪比小于预设阈值时，该特征分量的可靠性为0，否则该特征分量的可靠性为1。
[0125] 步骤4.4：最佳滤波器系数生成模块根据步骤4.3的分类结果，构造当前语音帧的最佳维纳滤波器。
[0126] 上述实施例中，根据步骤4.2估计的噪声线性频谱均值 和步骤4.1音视频联合模型库中存储的每个分类模型对应的干净语音频谱均值 以及音视频联合特征z对音视频联合分类模型中第m个分类的得分p(m|z)，计算当前语音帧最佳滤波器的频域增益函数：
[0127]
[0128] 其中K为音视频联合分类模型第m分类的均值矢量维数，M是音视频联合分类模型的混合分量数， 为音视频联合分类模型第m分类对应的干净语音频谱均值矢量的第i个分量， 为说话人语音经麦克风阵列增强后残留噪声的线性频谱均值矢量
的第i个分量。上述实施例中，p(m|z)＝pm(zr)，即音视频联合特征z在高斯混合模型中的得分等于音视频联合统计模型第m分量的边缘概率。
[0129] 在另一实施例中，最佳滤波器的频域增益函数还可以采用下式计算：
[0130]
[0131] 步骤4.5：滤波模块采用步骤4.4得到的最佳维纳滤波器对麦克风阵列语音增强模块输出的语音进行滤波，得到滤波增强后的语音信号。
