首页 / 专利库 / 电脑编程 / 算法 / 一种用于自助终端设备的语音降噪摄像头的实现方法

一种用于自助终端设备的语音降噪摄像头的实现方法

阅读:170发布:2024-01-10

专利汇可以提供一种用于自助终端设备的语音降噪摄像头的实现方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种用于自助终端设备的语音降噪摄像头的实现方法,包括摄像头、阵列麦克 风 、视频 传感器 、AD采集器、主 控制器 和终端设备;所述摄像头上集成有阵列麦克风、视频传感器、AD采集器、 主控制器 ;所述阵列麦克风与AD采集器连接并接入主控制器;所述视频传感器通过图像 接口 连接到主控制器,将视频 信号 送入主控制器;所述主控制器利用内部波束成形 算法 对接收到的阵列麦克风信号进行降噪处理,将处理后的 语音信号 和 视频信号 通过USB接口送入终端设备;本发明将阵列麦克风与摄像头集成为一体,成本降低且可控;大大提高音视频通话 质量 ,而且可简化设备安装流程,同时提供优质的 音频信号 ,提升业务办理效率和客户满意度。,下面是一种用于自助终端设备的语音降噪摄像头的实现方法专利的具体信息内容。

1.一种用于自助终端设备的语音降噪摄像头的实现方法,其特征在于:包括摄像头、阵列麦克、视频传感器、AD采集器、主控制器和终端设备;所述摄像头上集成有阵列麦克风、视频传感器、AD采集器、主控制器;所述阵列麦克风与AD采集器连接并接入主控制器;所述视频传感器通过图像接口连接到主控制器,将视频信号送入主控制器;所述主控制器利用内部波束成形算法对接收到的阵列麦克风信号进行降噪处理,将处理后的语音信号视频信号通过USB接口送入终端设备;采用基于时延估计的定位降噪算法,第一步计算麦克风对之间的时延;第二步根据前一步得到的时间延迟和麦克风阵列中各个麦克风的位置定位声源;
设麦克风数目为M,第m个麦克风的接收信号为xm(n),信号从声源到麦克的时延为τm,麦克风阵列中各个麦克风采集信号的增益相同,而且背景噪声统计独立,那么对语音信号s(n)用下式表示:
设声源到阵列的辐射为θ,则方向矢量 延迟求和波束
形成器的输出y(n)的频域描述Y(k)为
其中X(k)是麦克风阵列采集信号的频域表示,W(k)是阵列方向矢量,即W(k)=A(k,θ),在本算法中,声源位置由波束最大输出能量确定,即 其
中,Rxx(k)=E{X(k)XT(k)},AH(k,θ)为A(k,θ)的共轭;
根据求得的θ值,得到此时各个阵元的加权值,从而增强信号来向方向的信号,抑制其他方向的信号,其输出信号可根据下式得到:y(n)=x(n)wH(n),其中x(n)={x1(n),x2(n),...xm(n)},w(n)={w1(n),w2(n),...wm(n)}。
2.如权利要求1所述的一种用于自助终端设备的语音降噪摄像头的实现方法,其特征在于:所述阵列麦克风采用4麦线性阵列麦克风,麦克风选用驻极体电容麦克,阵元间距为
35mm,平放置。
3.如权利要求1所述的一种用于自助终端设备的语音降噪摄像头,其特征在于:所述主控制器的主控芯片选用瑞芯微RK3288。

说明书全文

一种用于自助终端设备的语音降噪摄像头的实现方法

技术领域

[0001] 本发明涉及一种一种用于自助终端设备的语音降噪摄像头的实现方法,属于自助终端设备技术领域。

背景技术

[0002] 为分流柜台业务缓解柜台业务的压,现代行已大批量应用一种新型设备——虚拟柜员机,其结合了视、听、自助和专人服务,使客户在办理业务时不用排队等待,通过远程音视频方式来办理柜台业务,能够很快速的完成各项业务的处理,提高了银行的业务办理效率,在银行中得到了非常广泛的应用。
[0003] 然而,在使用虚拟柜员机办理业务时,需要与银行后台服务人员进行音视频交互,由于银行的环境嘈杂,环境噪声会通过自助设备的前置麦克传输到服务后台,影响通话质量
[0004] 现代自助终端设备对音视频交互的应用越来越广泛,同时对交互的质量要求也越来越高,自助终端多采用单独的麦克采集音频信号和单独的图像传感器采集视频信号,不仅语音信号质量得不到保证而且分立实现的成本相对较高。
[0005] 市面上的摄像头虽然集成语音接收功能,但多采用单麦克来实现,单麦克只能进行单一的语音接收,并不能进行降噪处理,因此集成单麦克的摄像头号不能保证语音质量,尤其应用在自助终端设备中,其对语音通话质量要求更是严格。

发明内容

[0006] 针对上述存在的技术问题,本发明的目的是:提出了一种用于自助终端设备的语音降噪摄像头的实现方法,提高了业务办理过程中的音视频交互质量,而且降低了实现成本。
[0007] 本发明的技术解决方案是这样实现的:一种用于自助终端设备的语音降噪摄像头的实现方法,包括摄像头、阵列麦克风、视频传感器、AD采集器、主控制器和终端设备;所述摄像头上集成有阵列麦克风、视频传感器、AD采集器、主控制器;所述阵列麦克风与AD采集器连接并接入主控制器;所述视频传感器通过图像接口连接到主控制器,将视频信号送入主控制器;所述主控制器利用内部波束成形算法对接收到的阵列麦克风信号进行降噪处理,将处理后的语音信号和视频信号通过USB接口送入终端设备;采用基于时延估计的定位降噪算法,第一步计算麦克风对之间的时延;第二步根据前一步得到的时间延迟和麦克风阵列中各个麦克风的位置定位声源;
[0008] 设麦克风数目为M,第m个麦克风的接收信号为xm(n),信号从声源到麦克的时延为τm,麦克风阵列中各个麦克风采集信号的增益相同,而且背景噪声统计独立,那么对语音信号s(n)用下式表示:
[0009]
[0010] 设声源到阵列的辐射为θ,则方向矢量 延迟求和波束形成器的输出y(n)的频域描述Y(k)为
[0011]
[0012] 其中X(k)是麦克风阵列采集信号的频域表示,W(k)是阵列方向矢量,即W(k)=A(k,θ),在本算法中,声源位置由波束最大输出能量确定,
[0013] 即 其中,Rxx(k)=E{X(k)XT(k)},AH(k,θ)为A(k,θ)的共轭;
[0014] 根据求得的θ值,得到此时各个阵元的加权值,从而增强信号来向方向的信号,抑制其他方向的信号,其输出信号可根据下式得到:y(n)=x(n)wH(n),其中x(n)={x1(n),x2(n),...xm(n)},w(n)={w1(n),w2(n),...wm(n)}。
[0015] 优选的,所述阵列麦克风采用4麦线性阵列麦克风,麦克风选用驻极体电容麦克,阵元间距为35mm,平放置。
[0016] 优选的,所述主控制器的主控芯片选用瑞芯微RK3288。
[0017] 由于上述技术方案的运用,本发明与现有技术相比具有下列优点:
[0018] 本发明的一种用于自助终端设备的语音降噪摄像头的实现方法,将阵列麦克风与摄像头集成为一体,成本降低且可控;利用阵列麦克风的良好降噪功能,大大提高音视频通话质量,本发明不仅成本降低,而且可简化设备安装流程,同时提供优质的音频信号,提升业务办理效率和客户满意度。附图说明
[0019] 下面结合附图对本发明技术方案作进一步说明:
[0020] 附图1为本发明的方案系统框图
[0021] 附图2为本发明的4麦线性阵列麦克风示意图。

具体实施方式

[0022] 下面结合附图来说明本发明。
[0023] 如附图1、2所示为本发明所述的一种用于自助终端设备的语音降噪摄像头的实现方法,包括摄像头、阵列麦克风、视频传感器、AD采集器、主控制器和终端设备;所述摄像头上集成有阵列麦克风、视频传感器、AD采集器、主控制器;所述阵列麦克风与AD采集器连接并接入主控制器;所述视频传感器通过图像接口连接到主控制器,将视频信号送入主控制器;所述主控制器利用内部波束成形算法对接收到的阵列麦克风信号进行降噪处理,将处理后的语音信号和视频信号通过USB接口送入终端设备;采用基于时延估计的定位降噪算法,第一步计算麦克风对之间的时延;第二步根据前一步得到的时间延迟和麦克风阵列中各个麦克风的位置定位声源;
[0024] 设麦克风数目为M,第m个麦克风的接收信号为xm(n),信号从声源到麦克的时延为τm,麦克风阵列中各个麦克风采集信号的增益相同,而且背景噪声统计独立,那么对语音信号s(n)用下式表示:
[0025]
[0026] 设声源到阵列的辐射角为θ,则方向矢量 延迟求和波束形成器的输出y(n)的频域描述Y(k)为
[0027]
[0028] 其中X(k)是麦克风阵列采集信号的频域表示,W(k)是阵列方向矢量,即W(k)=A(k,θ),在本算法中,声源位置由波束最大输出能量确定,即其中,Rxx(k)=E{X(k)XT(k)},AH(k,θ)为A(k,θ)的共轭;
[0029] 根据求得的θ值,得到此时各个阵元的加权值,从而增强信号来向方向的信号,抑制其他方向的信号,其输出信号可根据下式得到:y(n)=x(n)wH(n),其中x(n)={x1(n),x2(n),...xm(n)},w(n)={w1(n),w2(n),...wm(n)}。
[0030] 为了满足所述阵列麦克风采用4麦线性阵列麦克风,麦克风选用驻极体电容麦克,阵元间距为35mm,水平放置。
[0031] 系统各功能部分介绍如下:
[0032] 阵列麦克风:阵列麦克风采用4麦线性阵列麦克风,麦克风选用驻极体电容麦克,阵元间距为35mm,水平放置,拾音距离可达5米,麦克1、麦克2、麦克3、麦克4负责采集音频信号,并将音频信号转为电信号,送入主控制器进行处理。
[0033] AD采集器:AD采集器主要负责将麦克风阵列信号转换为数字信号,用于降噪处理。
[0034] 视频传感器:视频传感器内通过图像接口连接到主控,将视频信号送入控制器。
[0035] 主控制器:主控制器的芯片选用瑞芯微RK3288,主要实现语音降噪、视频处理等功能,首先主控制器利用内部波束成形算法对接收到的阵列麦克风信号进行降噪处理,最终将处理后的语音信号和视频信号通过USB接口送入自助终端设备。
[0036] 终端设备:终端设备接收处理之后的音视频信号,用于后续处理,或送入VTM后台,或进行语义识别从而执行某些操作。
[0037] 工作原理如下:当阵列麦克风接收到语音信号后,通过处理器内部波束成形算法计算出语音信号来向,并增强语音信号来向方向的接收强度,抑制其他方向的语音信号及背景噪音,得到降低噪音的语音信号,将处理后的语音信号与视频图像信号一并送入主机。
[0038] 本发明的一种用于自助终端设备的语音降噪摄像头的实现方法,将阵列麦克风与摄像头集成为一体,成本降低且可控;利用阵列麦克风的良好降噪功能,大大提高音视频通话质量,本发明不仅成本降低,而且可简化设备安装流程,同时提供优质的音频信号,提升业务办理效率和客户满意度。
[0039] 上述实施例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人士能够了解本发明的内容并加以实施,并不能以此限制本发明的保护范围,凡根据本发明精神实质所作的等效变化或修饰,都应涵盖在本发明的保护范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈