技术领域
[0001] 本
发明属于监控技术领域，涉及一种利用麦克风阵列对突发声源进行检测及测向，并引导摄像头捕捉该突发声源的装置及方法。
背景技术
[0002] 目前，视频监控是监控领域中的一个重要手段，已经得到广泛应用。然而，摄像头有盲区，一般摄像头的视
角为52°，监控范围有限，可转动的摄像头通常是有规律的旋转或由人工控制，很难及时捕捉到突发事件，如公共场所的骚乱、居民小区车辆偷窃报警、交通事故等。如果这些事件没有在摄像头的监控区域，传统的视频
监控系统就无能为
力了。
[0003] 众所周知，人可以通过
耳朵对突发事件的声音进行
定位，进而及时调整视角。借鉴人的
感知机理，可以为摄像头装上“耳朵”，这个“耳朵”就是麦克风阵列。利用麦克风阵列对突发事件的声音进行检测及测向，并引导摄像头，实现对突发事件的音视频实时监控。
[0004] 目前利用麦克风阵列对声源进行定位，进而引导摄像头对准声源已有多个
专利。美国专利US 6,826,284 B1中利用6个麦克风组成立体阵列，通过时间延迟测向
算法(TDOA)对声源进行定位，从而引导摄像头指向声源。中国专利CN10156798B披露了基于麦克风阵列声音智导的智能视频导播方法，其首先对关键区域进行拍摄参数设置，将示例保存在训练集中，然后利用麦克风阵列对声源进行定位，并将定位结果与训练集中的示例进行比对计算，最后引导摄像头按给定参数进行拍摄。中国实用新型专利CN203151672U披露了一种声源定位功能的视频系统，其在自己搭建的
硬件系统上实现了声源定位并控制
云台上的摄像头对准声源。
[0005] 但是，以上这些专利中共同的缺点是：1.没有声音检测模
块，如果不加入声音检测模块则摄像头并不能有的放矢的对准突发事件，且整个系统容易受外界噪声干扰；2.以上专利中利用的都是TDOA类声源定位方法，该类方法要求
传声器间隔较大，因此导致整个装置体积庞大，在实际中难以实用；并且该类测向算法属于时域处理方法，而不同场景下的声音
信号的
频率范围是不同的，该类方法没有对声音频率进行选择。
发明内容
[0006] 本发明针对上述
现有技术的不足，提出了一种利用麦克风阵列引导摄像头捕捉突发声源的装置及方法，其中使用了噪声谱估计技术和宽带信号
波达方向 估计技术，因此具有自适应性，应用范围广，能避免摄像头没有目的的转动；同时，方向的估计
精度和系统的鲁棒性高。
[0007] 为了实现上述目的，本发明提供如下技术方案：一种基于麦克风阵列的摄像头引导装置，其包括带有控制云台的摄像头、由多个麦克风组成的围绕所述摄像头设置的麦克风阵列和多通道
声音信号同步采集处理系统，其中，所述多个麦克风通过音频线连接到所述多通道声音信号同步采集处理系统从而将多通道麦克风信号输送到所述多通道声音信号同步采集处理系统中，所述多通道声音信号同步处理系统包括调理
电路、Codec芯片、DSP芯片和485
接口，其中，所述调理电路用于对所述多个麦克风采集的
模拟信号进行调理，所述Codec芯片用于将经所述调理电路调理过的模拟信号转换为
数字信号并将所述数字信号送入所述DSP芯片中，所述DSP芯片用于根据所接收到的数字信号进行突发声信号检测以及突发声信号测向，并将测向结果通过所述485接口传送给所述摄像头的控制云台，从而调整所述摄像头的视角以对准目标进行拍摄。
[0008] 此外，本发明还提供一种采用上述基于麦克风阵列的摄像头引导装置的摄像头引导方法，其包括以下步骤：第一步：启动所述摄像头引导装置，通过所述Codec芯片将所述多个麦克风采集到的模拟信号转换为数字信号，并将所述数字信号送入所述DSP芯片；第二步：由所述DSP芯片根据其中一个麦克风接收到的信号自适应地估计环境噪声
能量；第三步：由所述DSP芯片计算该麦克风接收到的信号的能量和所述环境噪声能量的比值，根据该比值判断是否有突发声信号出现，如果有转入第四步；如果没有则转入第二步，继续根据麦克风接收到的信号自适应地估计环境噪声能量；第四步：由所述DSP芯片根据第三步的突发声检测结果，截取出所述多个麦克风中有突发声的信号段；第五步：由所述DSP芯片将所述第四步中截取的麦克风的信号分别进行快速傅里叶变换，变成多个窄带信号，根据不同的应用场景和突发声信号的特点，选取合适的频带利用宽带波达方向估计算法估计目标的方位角和
俯仰角；第六步：由所述DSP芯片将所述方位角和俯仰角通过所述485接口发送给所述摄像头的控制云台，所述控制云台根据该方位角和俯仰角调整所述摄像头的视角进行拍摄。
[0009] 进一步地，其中，所述第二步中，假设某个麦克风接收到的信号为x(t)，则根据该麦克风接收到的信号自适应地估计环境噪声能量Pn(t)用公式可以表示为
[0010]
[0011] 其中，fL和fH为麦克风接收到的信号的最低频率和最高频率，Pn(t，f)是麦克风 接收到的信号在频率f处的能量，Pn(t-1，f)是麦克风接收到的信号在前一时刻频率f处的能量，X(t，f)是麦克风接收到的信号的傅里叶变换，α(t)是平滑系数。
[0012] 更进一步地，其中，所述第三步中，该麦克风接收到的信号的能量为 则该麦克风接收到的信号的能量和环境噪声能量的比值SNR＝Ps(t)/Pn(t)，当SNR＞Th时，检测到突发声信号；当SNR≤Th时，没有检测到突发声信号，其中Th为检测
阈值。
[0013] 再进一步地，其中，所述第五步中，所述宽带波达方向估计算法选用频域波束形成算法，频域波束形成算法通过对接收信号做傅里叶变换，将不同麦克风之间的时间延迟转换为各个频带上的
相位差，然后在每个频带上应用波束形成算法获得该频带上的角度估计，最后将这些频带上的角度估计结果取平均获得目标信号的角度估计。
[0014] 再更进一步地，其中，具体地，假定所述麦克风阵列接收到的信号为xn(t)，n＝1，2，...，N，其中N为麦克风阵列中麦克风的个数，
[0015] 首先对接收到的信号做快速傅里叶变换，得到信号在各个频带上的表示Xn(f)，将N个麦克风的信号表示成列向量的形式
[0016] X(f)＝[X1(f)，X2(f)，...，XN(f)]T
[0017] 其中[·]T表示向量转置变换，
[0018] 根据向量X(f)获得阵列信号在频带f处的协方差矩阵R(f)，用公式可以表示为[0019] R(f)＝E[X(f)X(f)H]
[0020] 其中E[·]为取均值运算，
[0021] 利用协方差矩阵R(f)就可以获得宽带波束形成算法的代价函数
[0022]
[0023] 其中θ和 分别为目标信号的俯仰角和方位角， 为麦克风阵列的导向矢量
[0024]
[0025] 其中 为目标信号到第n个麦克风和第1个麦克风之间的时间延迟，该延迟可以根据麦克风陈列的形状和
位置确定，
[0026] 最后通过对代价函数的搜索就可以获得目标信号的俯仰角和方位角，用公式可以表示为
[0027]
[0028] 与现有技术相比，本发明具有如下优点：
[0029] 1、加入了声音检测，利用噪声谱估计技术实时估计周围环境中平稳噪声的能量，然后根据
信噪比对突发声信号进行检测，该检测方法具有自适应性，避免了硬阈值的设定，应用范围广；同时，也可以避免摄像头没有目的的转动。
[0030] 2、测向算法使用了宽带波达方向估计算法，与时域的TDOA算法相比，阵列的尺寸可以明显缩小，这样可以将麦克风固定在摄像头的周围，将麦克风阵列
坐标系与摄像头的坐标系吻合；并且可以根据目标信号的特点，有选择的选取特定的某些频带计算目标信号的角度，提高方向的估计精度和系统的鲁棒性。
附图说明
[0031] 图1是本发明的基于麦克风阵列的摄像头引导装置的示意图。
[0032] 图2是本发明的多通道声音信号同步采集处理系统的
框图。
[0033] 图3是本发明的摄像头引导方法的
流程图。
[0034] 图4是一个示例性的应用场景。
具体实施方式
[0035] 下面结合附图详细描述本发明的具体实施方式，具体实施方式的内容不作为对本发明的保护范围的限定。
[0036] 本发明涉及利用麦克风阵列引导摄像头捕捉突发声源的装置及方法，其中使用了噪声谱估计技术和宽带信号波达方向估计技术，因此具有自适应性，应用范围广，能避免摄像头没有目的的转动；同时，方向的估计精度和系统的鲁棒性高。
[0037] 图1示出了本发明的基于麦克风阵列的摄像头引导装置的示意图。如图1 所示，本发明的基于麦克风阵列的摄像头引导装置包括带有控制云台的摄像头1。优选地，所述摄像头1为HIVISION DS一2AF4262高速球机，该摄像头配有控制云台，可以
水平360°，竖直90°任意旋转。该控制云台有控制端接口，用户可以通过该接口调整摄像头视角。
[0038] 此外，所述基于麦克风阵列的摄像头引导装置还包括由多个麦克风组成的围绕所述摄像头1设置的麦克风阵列2和多通道声音信号同步采集处理系统3。其中，所述多个麦克风通过音频线连接到所述多通道声音信号同步采集处理系统3从而将多通道麦克风信号输送到所述多通道声音信号同步采集处理系统3中。
[0039] 如图2所示，所述多通道声音信号同步处理系统包括调理电路、Codec芯片、DSP芯片和485接口。其中，所述调理电路用于对所述多个麦克风采集的模拟信号进行调理，以便于所述Codec芯片将所述模拟信号转换成数字信号。所述Codec芯片用于将经所述调理电路调理过的模拟信号转换为数字信号并将所述数字信号送入所述DSP芯片中。所述DSP芯片用于根据所接收到的数字信号进行突发声信号检测以及突发声信号测向，并将测向结果通过所述485接口传送给所述摄像头1的控制云台，从而调整所述摄像头1的视角以对准目标进行拍摄。
[0040] 如图3所示，在采用上述基于麦克风阵列的摄像头引导装置的引导摄像头时，第一步是启动所述摄像头引导装置，通过所述多个麦克风获取周围可能出现的突发声信号，并通过所述Codec芯片将所述多个麦克风采集到的模拟信号转换为数字信号，并将所述数字信号送入所述DSP芯片。
[0041] 第二步是由所述DSP芯片根据一个麦克风接收到的信号自适应地估计环境噪声能量。具体地，假设某个麦克风接收到的信号为x(t)，则根据该麦克风接收到的信号自适应地估计环境噪声能量Pn(t)用公式可以表示为
[0042]
[0043] 其中，fL和fH为麦克风接收到的信号的最低频率和最高频率，Pn(t，f)是麦克风接收到的信号在频率f处的能量，Pn(t-1，f)是麦克风接收到的信号在前一时刻在频率f处的能量，X(t，f)是麦克风接收到的信号的傅里叶变换，α(t)是平滑系数，该系数根据麦克风接收到的信号的特点进行适当选取。
[0044] 第三步是由所述DSP芯片计算该麦克风接收到的信号的能量和所述环境噪声能量的比值，即信噪比，根据该比值判断是否有突发声信号出现，如果有转 入第四步；如果没有则转入第二步，继续根据麦克风接收到的信号自适应地估计环境噪声能量。具体地，该麦克风接收到的信号的能量为 则该麦克风接收到的信号的能量和环境噪声能量的比值SNR＝Ps(t)/Pn(t)，当SNR＞Th时，检测到突发声信号，进入下述的第四步进行处理；当SNR≤Th时，没有检测到突发声信号，继续根据麦克风的信号自适应地估计环境噪声能量，其中Th为检测阈值，根据该麦克风接收到的信号的特点进行选取。
[0045] 第四步是由所述DSP芯片根据第三步的突发声检测结果，截取出所述多个麦克风中有突发声的信号段。
[0046] 第五步是由所述DSP芯片将所述第四步中截取的麦克风的信号分别进行快速傅里叶变换，变成多个窄带信号，根据不同的应用场景和突发声信号的特点，选取合适的频带利用宽带波达方向估计算法估计目标的方位角和俯仰角。具体地，所述宽带波达方向估计算法选用频域波束形成算法，频域波束形成算法通过对接收信号做傅里叶变换，将不同麦克风之间的时间延迟转换为各个频带上的
相位差，然后在每个频带上应用波束形成算法获得该频带上的角度估计，最后将这些频带上的角度估计结果取平均获得目标信号的角度估计。其中，假定所述麦克风阵列接收到的信号为xn(t)，n＝1，2，...，N，其中N为麦克风阵列中麦克风的个数，
[0047] 首先对接收到的信号做快速傅里叶变换，得到信号在各个频带上的表示Xn(f)，将N个麦克风的信号表示成列向量的形式
[0048] X(f)＝[X1(f)，X2(f)，...，XN(f)]T
[0049] 其中[·]T表示向量转置变换，
[0050] 根据向量X(f)获得阵列信号在频带f处的协方差矩阵R(f)，用公式可以表示为[0051] R(f)＝E[X(f)X(f)H]
[0052] 其中E[·]为取均值运算，
[0053] 利用协方差矩阵R(f)就可以获得宽带波束形成算法的代价函数
[0054]
[0055] 其中θ和 分别为目标信号的俯仰角和方位角， 为麦克风阵列的导向矢量
[0056]
[0057] 其中 为目标信号到第n个麦克风和第1个麦克风之间的时间延迟，该延迟可以根据麦克风陈列的形状和位置确定，
[0058] 最后通过对代价函数的搜索就可以获得目标信号的俯仰角和方位角，用公式可[0059] 以表示为
[0060] 第六步是由所述DSP芯片将所述方位角和俯仰角通过所述485接口发送给所述摄像头的控制云台，所述控制云台根据该方位角和俯仰角调整所述摄像头的视角进行拍摄。
[0061] 调整之后，继续进入所述第二步，用以判断是否有新的突发声信号的出现，继续进行监控和调整。
[0062] 下面以一个示例性的例子说明本发明的基于麦克风阵列的摄像头引导方法是如何实现摄像头的视角的调整的。
[0063] 本
实施例在一个6m×8m的房间中进行，设备放置在房间中央，突发声信号为音响，音响播放一段
语音信号。设备如图1所示，摄像头为HIVISIONDS-2AF4262高速球机，该摄像头配有云台，可以水平360°，竖直90°任意旋转，该云台有控制端接口，用户可以通过该接口调整摄像头视角。摄像头周围布置了4个MEMS麦克风，组成了一个圆阵，圆阵的半径为74mm。4个麦克风通过音频线连接到多通道声音信号同步采集处理系统中，同步采集处理系统的原理框图如图2所示。同步采集处理系统中，Codec芯片负责将4路传声器的模拟信号转换为数字信号送入DSP芯片中，DSP芯片根据接收到的信号进行突发声信号检测以及突发声信号测向，并将测向结果通过485接口传送给摄像头的云台，从而调整摄像头视角对准目标进行拍摄。
[0064] 本实例的具体布置如图4所示，假定设备放置在房间的中央，音响分别放在设备的90°，135°，180°三个位置上，音响距离设备2.5m，音响与设备在同一水平面上，因此本实例中只需要考虑方位角即可。本实例的具体步骤如下：
[0065] 第一步：摄像头引导装置通电，麦克风阵列对周围声信号进行采集，多通道声音信号同步采集处理系统中的Codec芯片将麦克风采集的模拟信号转换为数字信号，
采样率为8k。
[0066] 第二步：DSP芯片对接收到的4路信号进行分
帧和
加窗处理后，根据第一路信号实时估计周围环境噪声能量。
[0067] 第三步：DSP芯片根据估算的噪声能量计算信噪比，判断信噪比是否大于某个阈值。如果信噪比大于阈值，则转入第四步；否则转入第二步。
[0068] 第四步：DSP芯片根据第三步的信号检测结果，截取出4路麦克风中有目标信号的数据。
[0069] 第五步：DSP芯片将截取的4路麦克风信号分段，并对每段数据分别进行FFT(快速傅里叶)变换，得到Xl(f)，l＝1，2，...，L，其中L为分段个数，利用这L个向量估计阵列信号的协方差矩阵 估计方法如下
[0070]
[0071] 其中[·]T为向量的共轭转置。
[0072] 根据4路麦克的位置，确定阵列的导向矢量为
[0073]
[0074] 其中r＝0.074m，c＝340m/s。
[0075] 根据阵列协方差矩阵 和阵列导向矢量a(f，θ)就可以得到宽带波束形成算法的代价函数J(θ)
[0076] 通过对代价函数进行搜索，J(θ)的最大值对应的角度就是目标的方向估计。
[0077] 第六步：DSP芯片将目标的方向估计通过485接口发送给控制云台，控制云台转动调整摄像头视角进行拍摄。
[0078] 第七步：转入第二步。
[0079] 将音响分别置于90°，135°和180°三个位置上，突然打开音响后，摄像头经过1s钟的延迟后可以正确的指向音响。
[0080] 具体实施方式的内容是为了便于本领域技术人员理解和使用本发明而描述的， 并不构成对本发明保护内容的限定。本领域技术人员在阅读了本发明的内容之后，可以对本发明进行合适的
修改。本发明的保护内容以
权利要求的内容为准。在不脱离权利要求的实质内容和保护范围的情况下，对本发明进行的各种修改、变更和替换等都在本发明的保护范围之内。
