首页 / 专利库 / 诊断设备和程序 / 彩色速度成像 / 室内突发异常事件报警系统

室内突发异常事件报警系统

阅读:799发布:2020-12-05

专利汇可以提供室内突发异常事件报警系统专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种室内突发异常事件报警系统,包括视频采集模 块 ,音频采集模块,热释放红外线检测模块,振动检测模块,玻璃 破碎 检测模块、 门 磁检测模块, 信号 处理模块,无线接收模块,报警发送模块,报警联动模块,语音输出模块,红外LED补光灯模块和电源管理模块。本发明实时动态检测分析室内布控区域内人员跌倒长时间不起、非法闯入、偷盗、严重肢体冲突、火灾、 煤 气 泄漏 、爆炸等突发性异常安全事件,并将音视频或图片为载体的直观报警信号通过有线或无线通信方式,第一时间 送达 诸如户主手机或计算机、小区监控计算机等报警接收处理终端,同时联动声光报警器报警,并接收终端设备的语音输出,实现语音对讲。,下面是室内突发异常事件报警系统专利的具体信息内容。

1.一种室内突发异常事件报警系统,其特征在于:包括
视频采集模,采用视频传感器采集视频流信号,完成图像信号的数字化,图像信号的预处理,得到满足信号处理模块要求的数字视频信号并向信号处理模块输出;
音频采集模块,完成语音信号数模转换,语音信号的采样编码及滤波处理,得到满足信号处理模块要求的数字音频信号并向信号处理模块输出;
热释放红外线检测模块,感应移动物体与背景物体的温度的差异,当人体移动时热释红外能够感应到人体温度与背景温度的差异信息,转换成电压信号后向信号处理模块输出;
振动检测模块,将外界振动产生形变或受信息转变为电压信号,向信号处理模块输出;
玻璃破碎检测模块和磁检测模块,通过有线或无线通信方式将相应的信息转变成电压信号向信号处理模块输出;
信号处理模块,收集热释放红外线检测报警模块、振动检测模块、视频采集模块和音频采集模块传输过来的信号,进行综合分析,分辨非法入侵、暴力冲突、跌倒长时间不起、泄漏等异常事件,并向报警发送模块发出报警信号;
无线接收模块,用于接收振动检测模块,玻璃破碎检测模块,烟雾探测器、紧急呼叫按钮和门磁检测模块上的报警传感器发送的报警信号;
报警发送模块,采用有线或无线通信方式,主要用于接收信号处理模块发出的报警信号及向向户主手机或小区管理中心发送报警信息;
报警联动模块,联动声光报警设备同时工作;
语音输出模块,实现来自远程终端设备如手机、监控中心的语音输出;
红外LED补光灯模块,在环境照度不足时,给视频采集模块提供辅助光源,保证其在低照度的环境下仍然能够采集到有效的图像数据;
电源管理模块,连接外接电源和电池,当外接电源正常供电时,整个产品使用外接电源,当外界电源断电时,内部备用蓄电池自动启用,保证上述各模块在外接电源中断后继续正常工作。
2.根据权利要求1所述的室内突发异常事件报警系统,其特征在于:该系统安装在一个机壳内,所述视频采集模块、音频采集模块、热释放红外线检测报警模块、振动检测模块、报警发送模块、无线接收模块、报警联动模块和报警发送模块安装在一个机壳内,所述信号处理模块和电源管理模块以及开关灯控制模块安装在外壳中部,红外LED补光灯模块设置在机壳外边缘和中部之间。
3.根据权利要求1或2所述的一种室内突发异常事件报警系统,其特征在于:所述信号处理模块中核心处理芯片采用“主处理器+从处理器”双核架构模式,主处理器主要完成音视频信号的收集,音视频编码,热释电红外报警信号收集,通过无线接收模块接收振动检测模块,玻璃破碎检测模块,门磁检测模块,烟雾探测器、紧急呼叫按钮等分布式报警传感器发送的报警信号,将多源报警信号连同音视频数据传送给从处理器;从处理器主要用于运行音视频智能分析算法,通过视频和声音判断是否存在突发异常事件,同时结合热释电红外报警信号,振动报警信号,玻璃破碎报警信号,门磁报警信号等多源信息,形成最终的决策信号,如果确定异常事件发生,向主处理器端发送报警信号,并启动声光报警器报警。
4.根据权利要求3所述的室内突发异常事件报警系统,其特征在于:所述户主身份判断包括通过人脸识别进行身份确认,其中所述人脸识别主要分为
人脸注册,采集同一个人的不同度的正面人脸照片,通过人脸定位找到人脸在图像中的位置,并标准化人脸尺寸,人脸角度和光照,提取标准化人脸图像的特征,录入注册用户数据库
人脸识别,采用HAAR特征结合adaboost算法实现人脸检测实现人脸定位,采用了两层人眼定位器,都是通过adaboost算法获得人眼定位,利用人脸定位结果通过图像旋转将双眼校正为平实现人脸标准化,通过二维Gabor滤波器进行特征提取,利用向量间的欧式距离作为匹配度量方式,通过最近邻分类法实现查询的人脸图像与数据库人脸图像的匹配。
5.根据权利要求1所述的室内突发异常事件报警系统,其特征在于:所述信号处理模块连接有存储模块;
通过电源管理模块连接有外接电源和电池;
连接有用于主控CPU运行的内存;
连接有用于存储系统启动程序、配置参数、日志信息的闪存;
连接有通过外接警灯,警号联动设备,实现本地声光报警,或控制其它关联设备的联动报警模块。
6.根据权利要求1所述的室内突发异常事件报警系统,其特征在于:所述视频采集模块包括图像数据相互对齐的普通摄像检测模块和深度摄像检测模块,对于图像中的一点P得到六维信息分量<x,y,d,r,g,b>,其中<x,y>为象素点在图像中的坐标,d为拍摄物体距离摄像机的距离,<r,g,b>为颜色分量,本室内突发异常事件报警系统用于检测运动目标和跟踪的的方法如下:
将彩色图像转换为灰度图像,分别针对灰度图像和深度图像建立背景模型,采用混合高斯建立背景模型,混合高斯背景建模假设信号变化的概率分布可以用K个高斯分布拟合,表示为
其中μ和σ为高斯分布的均值和方差,模型中每个高斯分布都赋予一个权重ωi,其中μi和σi分别表示高斯分布的均值和标准差,多个高斯分布通过线性组合得到信号的概率分布,K个高斯分布按照ω/σ的降序排列,排列靠前的高斯分布够代表背景的分布;同时混合高斯模型能够自动的维护场景的变化,同时对于误检测的情况能够通过学习更正错误。
将前B个高斯分布作为背景模型,剩余的高斯分布认为是前景,B应该满足
将当前象素值I(x)与前B个高斯分布进行匹配,如果和其中的任何一个高斯分布匹配成功则该象素为背景象素,否则为前景运动象素,匹配方式如下式
|I(x)-μi(x)|<c×σi(x)i=1.....B;
目标确认,通过背景建模的方式检测得到了运动物体,但很多运动都是由室内光线变化,窗帘的摆动,电视画面的闪烁等运动的产生,而这里的监控对象是人,因此需要将人的运动从大量的无关运动中分离出来。这里通过光线干扰过滤器,人脸检测过滤器和头肩检测过滤器,采用灰度图像分析为主,深度图像分析为辅,同时结合人脸检测及头肩检测实现监控目标的确认,
其中光线干扰过滤器:光线的变化使得图像的灰度值发生了变化,当灰度值变化的速度和幅度超过了背景模型的适应范围,则检测为运动目标,通过深度图像过滤光线变化引起的运动,深度图像由于采用了红外光探测方法,基本不受光照变化的干扰,通过灰度图像背景建模检测得到运动区域为 对应深度图像中的运动区域为 真正的目标区域必须满足如下条件:
其中Pd(x)和Pg(x)分别为深度图像和灰度图像运动检测结果,P(x)=1表示运动象素,P(x)=0表示背景象素;
人脸及头肩检测过滤器:实际监控场景中存在大量真实的运动,如扇的转动,窗帘的摆动,电视画面的闪烁,宠物的运动,而本发明只关心人的运动,人具有区别于这些运动的明显外观特征,如人脸特征和头肩特征。这里在灰度图像中采用haar小波结合adaboost分类器实现人脸检测,HOG特征结合SVM分类器实现头肩检测,当在运动区域检测到人脸特征或头肩特征时说明为运动的人,否则认为是干扰,予以滤除;
目标跟踪,在目标确认的基础上通过间的目标关联,形成目标的运动轨迹,为后续目标行为分析提供依据。目标跟踪主要包括:目标位置预测,目标特征选择,目标关联匹配和目标特征更新,其中
目标位置预测是根据当前帧及之前目标的位置估计目标在下一帧的位置,有利于提高后续关联匹配的精度。这里采用估计目标速度的方式,利用以下公式预测位置的,和
其中 和 分别表示t时刻目标在x方向和y方向的速度,N为时间窗口,xt-n和yt-n分别表示t-n时刻目标外界矩形框中心的横坐标和纵坐标,同理xt-n-1和yt-n-1分别表示t-n-1时刻目标外界矩形框中心的横坐标和纵坐标;
目标特征选择是选择相对稳定可靠的目标面积S和目标外接矩形框的中心C两个特征。目标关联匹配是找到前一帧目标在当前帧的位置,实现目标的定位,。根据相关跟踪原理,只要保证足够图像采样率的情况下,同一个目标在相邻两帧之间的位置变化不会太大,因此可以将目标的搜索范围限定在一个较小的距离范围,同时也大大降低了误匹配的风险,设t时刻目标j为 t-1时刻目标i为 当满足下式时才进行特征匹配,
其中γ为搜索距离阈值,需要根据实际场景进行确定。
匹配的准则为下式
其中ω为特征的权重因子,取值0.5,T为误差上限,防止误匹配,取值0.4。
目标特征的更新均采用滤除突变的数据,保证数据不会出现较大的波动的一阶平滑的方式更新,具体实现见下一行的公式
其中α为更新因子,取值0.2。
7.根据权利要求1所述的室内突发异常事件报警系统,其特征在于:本室内突发异常事件报警系统用于检测跌倒的方法如下,
地面自动三维建模,将与视频采集模块相连的摄像机倾斜向下与地面成一定角度安装,将摄像机坐标系的原点设定在图像坐标系的Z轴上,这样平移矩阵T简化为 其中H表示摄像机光心到地面的距离,摄像机坐标系和世界坐标系的转换公式如下摄像机坐标系的三条坐标轴与世界坐标系的三条坐标轴夹角为α,β和γ,假设图像坐标系的原点与摄像机坐标系的原点重合,则深度图像中的一点(u,v,d)在摄像机坐标系下的坐标为 其中(u,v)为象素点在图像中的坐标,d为拍摄物体距
离摄像机的距离,fx和fy为摄像机在成像平面上水平和垂直方向的焦距;
设地面上的点F(x,y,z)在摄像机坐标系下满足如下平面约束:
ax+by+cz+d=0
其中 为地平面的法向量,通过法向量可以计算得到三条坐标轴的夹角
α,β和γ:
当得到一帧深度图像数据后,采用RANSAC算法实现平面拟合,通过拟合可以得到多个候选的地平面Fi=1...n{ai,bi,ci,di},通过如下的先验知识对平面进行粗筛选;:一,地面在图像中占据了较大的面积,即真实的地平面应该包括了较多的图像象素点;二,通常情况下摄像机与z轴的夹角γ在40度和80度之间,与x轴的夹角α在0度到20度之间,与y轴的夹角β基本等于0度。
粗筛选后剩余的平面中选择离摄像头最远的平面作为地平面,即满足:
摄像机坐标下任一点到地平面的距离为:
通过上式计算目标中心到地平面的距离;
目标静止判断,通过计算目标区域内灰度图像的时域差分来判断目标是否静止:
其中gt(x,y)表示t时刻灰度图像中(x,y)处象素点的灰度值,R表示目标区域,SR为目标区域的象素面积。当M<ε时说明目标静止,其中ε是一个很小的正数。
8.根据权利要求1所述的室内突发异常事件报警系统,其特征在于:音频采集模块还对特定声音进行检测,其检测方法包如下,
语音信号预处理,假设音频信号X(t)的采样率为fs,fs取值8kHz,将X(t)依次经过预加重,分帧和加窗处理,窗函数选择汉宁窗,并去除均值,避免直流分量对ω=0处附近的谱线产生影响;
特征提取,采用经典谱估计中的周期图法,使用FFT实现,最终得到归一化的功率谱X(fn),提取数目为24的Mel滤波器组。功率谱X(fn)经过Mel滤波器组滤波取对数,再经过离散余弦变换得到梅尔倒谱MFCC系数;Mel滤波器组由一组按照Mel频标分布的三角带通滤波器组成
GMM音频辨识模型的训练,采用期望最大EM算法求取GMM模型,给定训练样本集X={x1,x2,...,xn},GMM的似然函数为
其中模型参数 pi表示高斯模型的概率, Σi分别表示高斯模型的均值
向量和协方差矩阵。
EM算法包括两步,E步求取期望,计算辅助函数 M步期望最大化,最大化
得到 通过E步和M步的不断迭代直至算法收敛,
其中X为观测值,Y为隐含状态。
当相邻两次迭代计算的期望值最大值相差不大时,则算法收敛,停止迭代,如下式所示:
其中t表示迭代的次数,ε为一个较小的正数;
使用训练模型识别,通过GMM训练得到模型参数λ,语音片段提取特征后送入GMM模型中计算得到相似度,通过相似度判断该语音片段的类别。
9.根据权利要求1所述的室内突发异常事件报警系统,其特征在于检测肢体冲突的方法如下:包括光流矢量分析和音频分析
在爆发肢体冲突时伴随着剧烈无规则的运动及大声的啸叫,因此可以通过光流矢量分析和音频分析检测肢体冲突,当两种方法都检测到肢体冲突时,触发肢体冲突报警,同时抓拍一张现场照片。
光流矢量分析,通过目标跟踪可以得到目标所在的区域,采用KLT特征点光流计算目标区域内的光流矢量V={ν1,ν2,...,νn},采用幅度加权直方图Hp={hj}j=1,2,...,n实现区域光流矢量的统计分析,再通过下式得出第j阶直方hj,
阶数取值12,Ch为归一化参数, 为归一化光流矢量 的幅值,b(vi)为光流矢量vi对应的直方图区间,通过矢量的方向确定,δ(.)为Kronecker delta函数,采用区域熵EH实现剧烈无规则运动的度量,EH的表达式如下:
其中hj表示第j阶幅度加权直方图。EH越大说明区域内的运动越剧烈无规则,设定阈值T,当EH>T时说明区域内爆发了肢体冲突。

说明书全文

室内突发异常事件报警系统

技术领域

[0001] 本发明涉及一种报警系统,具体涉及一种室内突发异常事件报警系统。

背景技术

[0002] 我们知道,为了防止盗窃,一般会在小区或者室外走廊、窗等处安装摄像头之类的防盗装置,例如一种基于智能视频的室内人员闯入的监控和报警系统,主要是通过对摄像头图像的智能分析,实现对室内场所移动目标的分析,对人员的非法闯入达到及时发现和报警,同时忽略没有危险的运动,降低虚警。还有一种家居智能防盗系统,其至少由防盗门、机械式具、窗户、露天阳台及阳台门构成。通过安装在:(1)防盗门上的门网传感器、防盗门磁传感器,(2)安装在锁具上的锁舌传感器、钥匙插入/拔出传感器、单子跳动传感器,(3)安装在外侧把手组合件内的把手位置传感器,同时设置从露天阳台进入阳台门通道中的阳台路径探测区,从窗户进入居室的通道中的窗户路径探测区,实现自动识别居家中的主人与盗贼的智能家居防盗系统。
[0003] 现有的门窗防入侵系统存在如下的缺点:
[0004] 1.现有市场大多产品功能单一,且不具备综合分析能
[0005] 2.单一的防入侵检测技术存在各自的缺陷,在某些情况下无法正常工作,一旦无法正常工作,整个检测系统处于瘫痪状态,系统的稳定性差。如:智能视频分析检测可能会受到环境光线变化、镜面反射等无关运动的干扰,造成大量的误报;热释电红外检测易受温度、强光、环境复杂运动的干扰;振动检测易受到等外力引起引起门窗振动产生的干扰;玻璃破碎检测易受到外界环境杂音的干扰;门磁检测需要门窗严格闭合,在室内需要通风的情况下将无法使用,如炎热的夏天,用户往往需要开窗通风。
[0006] 3.传统的报警系统如“家居智能防盗系统”,涉及大量的各式传感器,安装调试通常非常复杂,同时报警信息不直观,无法得知现场情况;
[0007] 4.传统的报警系统在切断外接电源的情况下无法工作,给非法入侵者以可乘之机。
[0008] 5.无法对室内合法人员进行一定的监控,例如对子女经常外出或者独居的老人,其健康状况是需要一定的措施加以监控,以保证出现异常情况时如跌倒等能及时解救,而目前却没有这类功能。

发明内容

[0009] 本发明的目的在于提供一种室内突发异常事件报警系统,解决了现有的报警系统功能单一,误报率高,容易被干扰瘫痪无法正常工作,以及无法对合法人员如老人跌倒、遭受暴力袭击异常事件报警的问题。
[0010] 为解决上述的技术问题,本发明采用以下技术方案:
[0011] 一种室内突发异常事件报警系统,其特征在于:包括
[0012] 视频采集模,采用视频传感器采集视频流信号,完成图像信号的数字化,图像信号的预处理,得到满足信号处理模块要求的数字视频信号并向信号处理模块输出;
[0013] 音频采集模块,完成语音信号数模转换,语音信号的采样编码及滤波处理,得到满足信号处理模块要求的数字音频信号并向信号处理模块输出;
[0014] 热释放红外线检测模块,感应移动物体与背景物体的温度的差异,当人体移动时热释红外能够感应到人体温度与背景温度的差异信息,转换成电压信号后向信号处理模块输出;
[0015] 振动检测模块,将外界振动产生形变或受力信息转变为电压信号,向信号处理模块输出;
[0016] 玻璃破碎检测模块和门磁检测模块,通过有线或无线通信方式将相应的信息转变成电压信号向信号处理模块输出;
[0017] 信号处理模块,收集热释放红外线检测报警模块、振动检测模块、视频采集模块和音频采集模块传输过来的信号,进行综合分析,分辨非法入侵、暴力冲突、跌倒长时间不起、泄漏等异常事件,并向报警发送模块发出报警信号;
[0018] 无线接收模块,用于接收振动检测模块,玻璃破碎检测模块,烟雾探测器、紧急呼叫按钮和门磁检测模块上的报警传感器发送的报警信号;
[0019] 报警发送模块,采用有线或无线通信方式,主要用于接收信号处理模块发出的报警信号及向向户主手机或小区管理中心发送报警信息;
[0020] 报警联动模块,联动声光报警设备同时工作;
[0021] 语音输出模块,实现来自远程终端设备如手机、监控中心的语音输出;
[0022] 红外LED补光灯模块,在环境照度不足时,给视频采集模块提供辅助光源,保证其在低照度的环境下仍然能够采集到有效的图像数据;
[0023] 电源管理模块,连接外接电源和电池,当外接电源正常供电时,整个产品使用外接电源,当外界电源断电时,内部备用蓄电池自动启用,保证上述各模块在外接电源中断后继续正常工作。
[0024] 更进一步的技术方案是将产品集成在一个机壳内,所述视频采集模块、音频采集模块、热释放红外线检测报警模块、振动检测模块、报警发送模块、无线接收模块、报警联动模块和报警发送模块安装在一个机壳内,所述信号处理模块和电源管理模块以及开关灯控制模块安装在外壳中部,红外LED补光灯模块设置在产品外边缘和中部之间。
[0025] 更进一步的技术方案是上述信号处理模块中核心处理芯片采用双核架构模式,即“主处理器+从处理器”双核架构模式,主处理器主要完成音视频信号的收集,音视频编码,热释电红外报警信号收集,通过无线接收模块接收振动检测模块,玻璃破碎检测模块,门磁检测模块,烟雾探测器、紧急呼叫按钮等分布式报警传感器发送的报警信号,将多源报警信号连同音视频数据传送给从处理器;从处理器主要用于运行音视频智能分析算法,通过视频和声音判断是否存在突发异常事件,同时结合热释电红外报警信号,振动报警信号,玻璃破碎报警信号,门磁报警信号等多源信息,形成最终的决策信号,如果确定异常事件发生,向主处理器端发送报警信号,并启动声光报警器报警。
[0026] 更进一步的技术方案是上述户主身份判断包括通过人脸识别进行身份确认,其中所述人脸识别主要分为
[0027] 人脸注册,采集同一个人的不同度的正面人脸照片,通过人脸定位找到人脸在图像中的位置,并标准化人脸尺寸,人脸角度和光照,提取标准化人脸图像的特征,录入注册用户数据库
[0028] 人脸识别,采用HAAR特征结合adaboost算法实现人脸检测实现人脸定位,采用了两层人眼定位器,都是通过adaboost算法获得人眼定位,利用人脸定位结果通过图像旋转将双眼校正为平实现人脸标准化,通过二维Gabor滤波器进行特征提取,利用向量间的欧式距离作为匹配度量方式,通过最近邻分类法实现查询的人脸图像与数据库人脸图像的匹配。
[0029] 更进一步的技术方案是上述信号处理模块
[0030] 连接有存储模块;
[0031] 通过电源管理模块连接有外接电源和电池;
[0032] 连接有用于主控CPU运行的内存;
[0033] 连接有用于存储系统启动程序、配置参数、日志信息的闪存;
[0034] 连接有通过外接警灯,警号联动设备,实现本地声光报警,或控制其它关联设备的联动报警模块。
[0035] 更进一步的技术方案是上述视频采集模块包括图像数据相互对齐的普通摄像检测模块和深度摄像检测模块,对于图像中的一点P得到六维信息分量<x,y,d,r,g,b>,其中<x,y>为象素点在图像中的坐标,d为拍摄物体距离摄像机的距离,<r,g,b>为颜色分量,本室内突发异常事件报警系统用于检测运动目标和跟踪的的方法如下:
[0036] 将彩色图像转换为灰度图像,分别针对灰度图像和深度图像建立背景模型,采用混合高斯建立背景模型,混合高斯背景建模假设信号变化的概率分布可以用K个高斯分布拟合,表示为
[0037]
[0038] 其中μ和σ为高斯分布的均值和方差,模型中每个高斯分布ηi(x,μi,σi)都赋予一个权重ωi,其中μi和σi分别表示高斯分布的均值和标准差,多个高斯分布通过线性组合得到信号的概率分布,K个高斯分布按照ω/σ的降序排列,排列靠前的高斯分布够代表背景的分布,同时混合高斯模型能够自动的维护场景的变化,同时对于误检测的情况能够通过学习更正错误,
[0039] 将前B个高斯分布作为背景模型,剩余的高斯分布认为是前景,B应该满足[0040]
[0041] 将当前象素值I(x)与前B个高斯分布进行匹配,如果和其中的任何一个高斯分布匹配成功则该象素为背景象素,否则为前景运动象素,匹配方式如下式
[0042] |I(x)-μi(x)|<c×σi(x)i=1.....B;
[0043] 目标确认,通过背景建模的方式检测得到了运动物体,但很多运动都是由室内光线变化,窗帘的摆动,电视画面的闪烁等运动的产生,而这里的监控对象是人,因此需要将人的运动从大量的无关运动中分离出来。这里通过光线干扰过滤器,人脸检测过滤器和头肩检测过滤器,采用灰度图像分析为主,深度图像分析为辅,同时结合人脸检测及头肩检测实现监控目标的确认,
[0044] 其中光线干扰过滤器:光线的变化使得图像的灰度值发生了变化,当灰度值变化的速度和幅度超过了背景模型的适应范围,则检测为运动目标,通过深度图像过滤光线变化引起的运动,深度图像由于采用了红外光探测方法,基本不受光照变化的干扰,通过灰度图像背景建模检测得到运动区域为 ,对应深度图像中的运动区域为 ,真正的目标区域必须满足如下条件:
[0045]
[0046] 其中Pd(x)和Pg(x)分别为深度图像和灰度图像运动检测结果,P(x)=1表示运动象素,P(x)=0表示背景象素;
[0047] 人脸及头肩检测过滤器:实际监控场景中存在大量真实的运动,如风扇的转动,窗帘的摆动,电视画面的闪烁,宠物的运动,而本发明只关心人的运动,人具有区别于这些运动的明显外观特征,如人脸特征和头肩特征,这里在灰度图像中采用haar小波结合adaboost分类器实现人脸检测,HOG特征结合SVM分类器实现头肩检测,当在运动区域检测到人脸特征或头肩特征时说明为运动的人,否则认为是干扰,予以滤除;
[0048] 目标跟踪,在目标确认的基础上通过间的目标关联,形成目标的运动轨迹,为后续目标行为分析提供依据。目标跟踪主要包括:目标位置预测,目标特征选择,目标关联匹配和目标特征更新,其中
[0049] 目标位置预测是根据当前帧及之前目标的位置估计目标在下一帧的位置,有利于提高后续关联匹配的精度。这里采用估计目标速度的方式,利用以下公式预测位置的,[0050] 和
[0051] 其中 和 分别表示t时刻目标在x方向和y方向的速度,N为时间窗口,xt-n和yt-n分别表示t-n时刻目标外界矩形框中心的横坐标和纵坐标,同理xt-n-1和yt-n-1分别表示t-n-1时刻目标外界矩形框中心的横坐标和纵坐标。;
[0052] 目标特征选择是选择相对稳定可靠的目标面积S和目标外接矩形框的中心C两个特征。目标关联匹配是找到前一帧目标在当前帧的位置,实现目标的定位,根据相关跟踪原理,只要保证足够图像采样率的情况下,同一个目标在相邻两帧之间的位置变化不会太大,因此可以将目标的搜索范围限定在一个较小的距离范围,同时也大大降低了误匹配的风险,设t时刻目标j为 时刻目标i为 当满足下式时才进行特征匹配:
[0053]
[0054] 其中γ为搜索距离阈值,需要根据实际场景进行确定。
[0055] 匹配的准则为下式
[0056]
[0057] 其中ω为特征的权重因子,取值0.5,T为误差上限,防止误匹配,取值0.4。
[0058] 目标特征的更新均采用滤除突变的数据,保证数据不会出现较大的波动的一阶平滑的方式更新,具体实现见下一行的公式
[0059]
[0060] 其中α为更新因子,取值0.2。
[0061] 本室内突发异常事件报警系统用于检测跌倒的方法如下,地面自动三维建模,将与视频采集模块相连的摄像机倾斜向下与地面成一定角度安装,将摄像机坐标系的原点设定在图像坐标系的Z轴上,这样平移矩阵T简化为 其中H表示摄像机光心到地面的距离,摄像机坐标系和世界坐标系的转换公式如下
[0062]
[0063] 摄像机坐标系的三条坐标轴与世界坐标系的三条坐标轴夹角为α,β和γ,假设图像坐标系的原点与摄像机坐标系的原点重合,则深度图像中的一点(u,v,d)在摄像机坐标系下的坐标为 其中(u,v)为象素点在图像中的坐标,d为拍摄物体距离摄像机的距离,fx和fy为摄像机在成像平面上水平和垂直方向的焦距;
[0064] 设地面上的点F(x,y,z)在摄像机坐标系下满足如下平面约束:
[0065] ax+by+cz+d=0
[0066] 其中 为地平面的法向量,通过法向量可以计算得到三条坐标轴的夹角α,β和γ:
[0067]
[0068] 当得到一帧深度图像数据后,采用RANSAC算法实现平面拟合,通过拟合可以得到多个候选的地平面Fi=1...n{ai,bi,ci,di},通过如下的先验知识对平面进行粗筛选;:一,地面在图像中占据了较大的面积,即真实的地平面应该包括了较多的图像象素点;二,通常情况下摄像机与z轴的夹角γ在40度和80度之间,与x轴的夹角α在0度到20度之间,与y轴的夹角β基本等于0度。
[0069] 粗筛选后剩余的平面中选择离摄像头最远的平面作为地平面,即满足:
[0070]
[0071] 摄像机坐标下任一点到地平面的距离为:
[0072]
[0073] 通过上式计算目标中心到地平面的距离;
[0074] 目标静止判断,通过计算目标区域内灰度图像的时域差分来判断目标是否静止:
[0075]
[0076] 其中gt(x,y)表示t时刻灰度图像中(x,y)处象素点的灰度值,R表示目标区域,SR为目标区域的象素面积。当M<ε时说明目标静止,其中ε是一个很小的正数。
[0077] 更进一步的技术方案是音频采集模块还对特定声音进行检测,其检测方法包如下:
[0078] 语音信号预处理,假设音频信号X(t)的采样率为fs,fs取值8kHz,将X(t)依次经过预加重,分帧和加窗处理,窗函数选择汉宁窗,并去除均值,避免直流分量对ω=0处附近的谱线产生影响;
[0079] 特征提取,采用经典谱估计中的周期图法,使用FFT实现,最终得到归一化的功率谱X(fn),提取数目为24的Mel滤波器组。功率谱X(fn)经过Mel滤波器组滤波取对数,再经过离散余弦变换得到梅尔倒谱MFCC系数,Mel滤波器组由一组按照Mel频标分布的三角带通滤波器组成;
[0080] GMM音频辨识模型的训练,采用期望最大EM算法求取GMM模型,给定训练样本集X={x1,x2,...,xn},GMM的似然函数为
[0081]
[0082] 其中模型参数 pi表示高斯模型的概率, Σi分别表示高斯模型的均值向量和协方差矩阵。
[0083] EM算法包括两步,E步求取期望,计算辅助函数 M步期望最大化,最大化得到 通过E步和M步的不断迭代直至算法收敛,
[0084]
[0085] 其中X为观测值,Y为隐含状态。
[0086] 当相邻两次迭代计算的期望值最大值相差不大时,则算法收敛,停止迭代,如下式所示:
[0087]
[0088] 其中t表示迭代的次数,ε为一个较小的正数;
[0089] 使用训练模型识别,通过GMM训练得到模型参数λ,语音片段提取特征后送入GMM模型中计算得到相似度,通过相似度判断该语音片段的类别。
[0090] 更进一步的技术方案是检测肢体冲突的方法包括光流矢量分析和音频分析,在爆发肢体冲突时伴随着剧烈无规则的运动及大声的啸叫,因此可以通过光流矢量分析和音频分析检测肢体冲突,当两种方法都检测到肢体冲突时,触发肢体冲突报警,同时抓拍一张现场照片。
[0091] 光流矢量分析,通过目标跟踪可以得到目标所在的区域,采用KLT特征点光流计算目标区域内的光流矢量V={ν1,ν2,...,νn},采用幅度加权直方图Hp={hj}j=1,2,...,n实现区域光流矢量的统计分析,再通过下式得出第j阶直方hj,
[0092]
[0093] 这里阶数可以取值12,Ch为归一化参数, 为归一化光流矢量 的幅值,b(vi)为光流矢量vi对应的直方图区间,通过矢量的方向确定,δ(.)为Kronecker delta函数,[0094] 采用区域熵EH实现剧烈无规则运动的度量,EH的表达式如下:
[0095]
[0096] 其中hj表示第j阶幅度加权直方图。EH越大说明区域内的运动越剧烈无规则,设定阈值T,当EH>T时说明区域内爆发了肢体冲突。
[0097] 与现有技术相比,本发明的有益效果是:本发明以目标行为分析、人脸识别、声音辨识等智能音视频分析为核心技术,并结合先进的热释电红外检测、振动检测、音频检测、玻璃破碎检测、门磁检测和烟雾检测等物联网及无线通信技术,实时动态检测分析室内布控区域内人员跌倒长时间不起、非法闯入、偷盗、严重肢体冲突、火灾、煤气泄漏、爆炸等突发性异常安全事件,并将音视频或图片为载体的直观报警信号通过有线或无线通信方式,第一时间送达诸如户主手机或计算机、小区监控计算机等报警接收处理终端,同时联动声光报警器报警,并接收终端设备的语音输出,实现语音对讲;本发明还采用了以异常事件复核算法、移动目标特征分析为基础的虚警过滤器,融合多源探测信息,较好地解决了传统室内安防系统(如红外探测器、智能防盗锁等)误报率高,可靠性较差等问题;最后,本产品自带备用蓄电池,在无外接电源的情况下可以为自身供电2-24个小时。附图说明
[0098] 图1为本发明室内突发异常事件报警系统一个实施例的连接示意图。
[0099] 图2为本发明室内突发异常事件报警系统的硬件连接示意图。
[0100] 图3为本发明明室内突发异常事件报警系统的软件结构图。
[0101] 图4为本发明室内突发异常事件报警系统的信号处理模块中主处理器端流程示意图。
[0102] 图5为本发明室内突发异常事件报警系统的信号处理模块中从处理器端流程示意图。
[0103] 图6为本发明室内突发异常事件报警系统的人脸注册和人脸识别流程示意图。
[0104] 图7为本发明室内突发异常事件报警系统的人脸标准化时对接取人脸图像分析示意图。
[0105] 图8为本发明室内突发异常事件报警系统的用于跌倒检测流程示意图。
[0106] 图9为本发明室内突发异常事件报警系统的用于跌倒检测时的坐标建模示意图。
[0107] 图10为本发明室内突发异常事件报警系统的特定声音检测流程示意图。
[0108] 图11为本发明室内突发异常事件报警系统的产品实验系统连接示意图。

具体实施方式

[0109] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0110] 图1示出了本发明室内突发异常事件报警系统的一个实施例:一种室内突发异常事件报警系统,包括
[0111] 视频采集模块,采用视频传感器采集视频流信号,完成图像信号的数字化,图像信号的预处理,得到满足信号处理模块要求的数字视频信号并向信号处理模块输出;
[0112] 音频采集模块,完成语音信号的数模转换,语音信号的采样编码及滤波处理,得到满足信号处理模块要求的数字音频信号并向信号处理模块输出;
[0113] 热释放红外线检测模块,感应移动物体与背景物体的温度的差异,当人体移动时热释红外能够感应到人体温度与背景温度的差异信息,转换成电压信号后向信号处理模块输出;
[0114] 振动检测模块,将外界振动产生形变或受力信息转变为电压信号,向信号处理模块输出;
[0115] 玻璃破碎检测模块和门磁检测模块,通过有线或无线通信方式将相应的信息转变成电压信号向信号处理模块输出,辅助信号处理模块做出相应判断;
[0116] 信号处理模块,收集热释放红外线检测报警模块、振动检测模块、视频采集模块和音频采集模块传输过来的信号,进行综合分析,分辨非法入侵、暴力冲突、跌倒长时间不起、煤气泄漏等异常事件,并向报警发送模块发出报警信号;
[0117] 无线接收模块,用于接收振动检测模块,玻璃破碎检测模块,烟雾探测器、紧急呼叫按钮和门磁检测模块上的报警传感器发送的报警信号;
[0118] 报警发送模块,采用有线或无线通信方式,主要用于接收信号处理模块发出的报警信号及向向户主手机或小区管理中心发送报警信息;
[0119] 报警联动模块,联动声光报警设备同时工作;
[0120] 语音输出模块,实现来自远程终端设备如手机、监控中心的语音输出;
[0121] 红外LED补光灯模块,在环境照度不足时,给视频采集模块提供辅助光源,保证其在低照度的环境下仍然能够采集到有效的图像数据;
[0122] 电源管理模块,连接外接电源和蓄电池,当外接电源正常供电时,整个产品使用外接电源,当外界电源断电时,内部备用蓄电池自动启用,保证上述各模块在外接电源中断后继续正常工作。
[0123] 图1还示出了本发明室内突发异常事件报警系统的一个优选实施例,该系统安装在一个机壳内,所述视频采集模块、音频采集模块、热释放红外线检测报警模块、振动检测模块、报警发送模块、无线接收模块、报警联动模块和报警发送模块安装在一个机壳内,所述信号处理模块和电源管理模块以及开关灯控制模块安装在外壳中部,红外LED补光灯模块设置在机壳外边缘和中部之间。
[0124] 图2示出了本发明室内突发异常事件报警系统的另一个实施例,信号处理模块中核心处理芯片采用双核架构模式,即“主处理器+从处理器”双核架构模式,主处理器主要完成音视频信号的收集,音视频编码,热释电红外报警信号收集,通过无线接收模块接收振动检测模块,玻璃破碎检测模块,门磁检测模块,烟雾探测器、紧急呼叫按钮等分布式报警传感器发送的报警信号,将多源报警信号连同音视频数据传送给从处理器;从处理器主要用于运行音视频智能分析算法,通过视频和声音判断是否存在突发异常事件,同时结合热释电红外报警信号,振动报警信号,玻璃破碎报警信号,门磁报警信号等多源信息,形成最终的决策信号,如果确定异常事件发生,向主处理器端发送报警信号,并启动声光报警器报警。
[0125] 如图3所示,本发明室内突发异常事件报警系统的软件主要是由主处理进程和智能处理进程两大部分组成,主处理进程,由信号采集模块、语音输出模块和报警发送模块构成,运行在ARM端;智能处理进程,由智能分析模块和多源信息融合虚警过滤模块组成,运行在DSP端。信号采集包括了音视频采集模块,热释电红外报警信号采集模块及无线报警信号采集模块,负责音视频等信号的采集以及语音输出。为了保证采集的各种信号能够同步,以便于后续处理,对各种报警信号做适当延时处理与音视频采集信号同步。智能处理进程,完成智能音视频分析,多源信息融合及虚警过滤,并向主处理进程发送报警信号,主处理进程通过报警发送模块向外部终端发送报警信息或启动联动报警设备报警。
[0126] 如图4所示,主处理软件流程:系统上电后,首先完成主处理器端程序的初始化,接下来完成外围采集设备,通信设备初始化,启动从处理器端程序。创建音视频采集线程、热释电红外检测线程、无线接收线程、从处理器端通信线程、报警发送线程。
[0127] 音视频采集线程:当接收到音视频数据后组合一帧多源数据,包括视频数据,音频数据及其它各种传感器报警标识,放入FrameBuffer中供通信线程调用,同时完成音视频的预录,以便提供报警信息。
[0128] 热释电红外检测线程及无线接收线程:接收各种报警传感器的报警信号Ai,其中Ai可以是热释电红外报警信号,振动报警信号,玻璃破碎报警信号,门磁报警信号等。当接收到报警信号时,对应的报警标识Fi置1,表示第i个传感器发生报警,同时计数器Ci置一个初始值,否则计数器Ci递减,当计数器归零时,置报警标识Fi为0,,这里设置延时计数器是为了保证各种传感器的报警信息能够同步。
[0129] 从处理器端通信线程:接收从处理器端发来的报警信号,通知报警发送线程。如果FrameBuffer中存在一帧多源数据,则将该数据发送到从处理器端。
[0130] 语音输出/报警发送线程:接收到报警信号后,组织相关的报警信息,如语录的音视频,图片等,向外部终端发送,以及启动声光报警器等设备报警。若接收到语音输出信息,立即开启语音输出功能,连接远程终端,完成语音输出。
[0131] 如图5所示,智能处理软件流程:首先主处理器端主处理进程启动后,将多任务内核及智能处理进程加载到从处理器内存中,从处理器完成一系列初始化,自动创建通信线程及分析线程。通信线程首先判断是否需要发送报警信号,如果是则向主处理进程发送报警信号,否则判断是否收到一帧多源信息,其中多源信息包括:音视频数据及其它传感器的报警信息,将多源信息放入帧缓存FrameBuffer中,同时向主处理进程发送接收确认信号,表明智能处理进程工作正常。分析线程从FrameBuffer中读取一帧数据,从中取出音视频数据进行分析,得出分析结果,结合数据帧中的其它报警信息,完成多源数据融合及虚警过滤,确定是否需要发送报警信号。
[0132] 图6本发明室内突发异常事件报警系统的另一个实施例,户主身份判断包括通过人脸识别进行户主身份确认,其中所述人脸识别主要分为:
[0133] 人脸注册,采集同一个人的不同角度的正面人脸照片,通过人脸定位找到人脸在图像中的位置,并标准化人脸尺寸,人脸角度和光照,提取标准化人脸图像的特征,录入注册用户数据库;
[0134] 人脸识别,采用HAAR特征结合adaboost算法实现人脸检测实现人脸定位,采用了两层人眼定位器,都是通过adaboost算法获得人眼定位,利用人脸定位结果通过图像旋转将双眼校正为水平实现人脸标准化,通过二维Gabor滤波器进行特征提取,利用向量间的协方差距离作为匹配度量方式,通过最近邻分类法实现查询的人脸图像与数据库人脸图像的匹配。其中Adaboost算法将大量分类能力一般的弱分类器按照训练误差指数下降的方式组合为一个强分类器。而HAAR特征为adaboost算法提供了海量的弱分类特征,保证了adaboost算法总体找到性能优异的弱分类。在人脸检测实施过程中,积分直方图和级联分类器的使用在保证较高检测精度的同时大大降低了处理时间;人眼定位时一般分为两层定位,其中第一层为粗定位,定位区域选择了包括了眼睛眉毛在内的大部分眼部区域,第二层为精确定位,定位区域只包含眼部区域。粗定位器相比于精确定位器由于包含了更多了区域信息,因此定位的稳定性更高,基本不存在较大的位置偏差,而精确定位器能够实现人眼的精确定位,但是容易受到眉毛、眼角的干扰造成定位错误。在粗定位的基础上通过几何比例关系确定人眼的大致位置范围,在该范围内使用精确定位器实现人眼的精确定位。通过由粗到精的定位方式,减小了眉毛、眼角等对定位的影响,提高了定位的准确性;而人脸标准化是人脸识别中非常关键的一个步骤,标准化结果的好坏直接影响了人脸识别的精度。人脸标准化主要完成人脸图像的几何校正及亮度校正。利用上一步人眼定位的结果很容易实现人脸图像的几何校正,首先通过图像旋转将双眼校正为水平,通过双眼距离d对人脸图像进行截取。如图7所示,其中最后将图像缩放到80x80象素。
[0135] 亮度校正主要是在一定程度上消除光照不均对后续识别的影响。主要包括光照面拟合,扣除光照面,直方图均衡及灰度值归一化到零均值,单位方差。这里假设光照面是一个平面。光照面上的点满足如下公式:IP(x,y)=ax+by+c写成矩阵形式即x=Np,其中x表示图像的象素点灰度值排成的列向量,N表示象素点对应的坐标,第一列表示横坐标,第T二列表示纵坐标,第三列填充1,p=[a b c]。平面参数a,b,c可以通过线性回归的方式T -1 T
求得,即p=(NN) Nx。
[0136] 可以选择了Gabor小波特征,Gabor变换在分析图像局部区域纹理方面具有优异的性能。二维Gabor滤波器 可以表示为:
[0137]
[0138]
[0139] 其中 为图像坐标, 为滤波器的中心频率,kx和ky分别表示 在横轴和纵轴的投影, 为滤波器的方向,u和v代表不同的取值, 为高斯包络,为复数值平面波。二维Gabor滤波器通过二维高斯函数调制特定频率和方向的正弦波平面实现,通过改变正弦波平面的频率和方向实现不同尺度和不同方向图像纹理的分析。
[0140] 通过人脸标准化得到了80x80大小的人脸图像,这里选择了5个滤波器尺度,8个滤波方向,得到40个不同方向和频率的Gabor滤波器,对一张人脸图像通过滤波器卷积后得到40张Gabor小波变换后的幅值图像,最后得到的Gabor特征维数为163840。这样一个高维的特征向量中会大大降低识别分类的速度,因此需要对特征向量进行降维。这里采用4x4均匀向下采样实现特征降维。
[0141] 采用最近邻分类法实现查询的人脸图像与数据库人脸图像的匹配,采用向量间的协方差距离作为匹配度量方式,同时可以通过协方差距离衡量最终匹配的可信度。
[0142] 根据本发明室内突发异常事件报警系统的另一个实施例,信号处理模块连接有存储模块(Storage),针对不同的应用情况,会用到不同类型的存储介质,SD和TF卡通过SDIO来控制,此类型的存储介质方便更换;Nand通过Nandflash控制,此类型集成度高,但是不易于更换存储介质;SSD通过PCI-E或者SATA接口控制,此类型存储空间可以做到很大;
[0143] 设置有以太网接口(RJ45);
[0144] 通过电源管理模块(Power manager)连接有外接电源(DC IN)和电池(Battery);
[0145] 连接有用于主控CPU运行的内存(DDR);
[0146] 连接有用于存储系统启动程序、配置参数、日志信息的闪存(Flash);
[0147] 连接有无线模块(3G、WIFI),用于音视频数据以及远程控制信号的传输;
[0148] 连接有无线模块(zigbee、Blue tooth或其他无线模块),用于接收分布式报警器发送的报警信号,如玻璃破碎信号和门磁打开信号,也可向其它设备发送控制信息。
[0149] 连接有通过外接警灯,警号联动设备,实现本地声光报警,或控制其它关联设备的联动报警模块。
[0150] 图8和图9示出了本发明室内突发异常事件报警系统的一个优选实施例,视频采集模块包括图像数据相互对齐的普通摄像检测模块和深度摄像检测模块,对于图像中的一点P得到六维信息分量<x,y,d,r,g,b>,其中<x,y>为象素点在图像中的坐标,d为拍摄物体距离摄像机的距离,<r,g,b>为颜色分量,本室内突发异常事件报警系统用于检测运动目标和跟踪的的方法如下:
[0151] 将彩色图像转换为灰度图像,分别针对灰度图像和深度图像建立背景模型,采用混合高斯建立背景模型,混合高斯背景建模假设信号变化的概率分布可以用K个高斯分布拟合,表示为
[0152]
[0153] 其中μ和σ为高斯分布的均值和方差,模型中每个高斯分布ηi(x,μi,σi)都赋予一个权重ωi,其中μi和σi分别表示高斯分布的均值和标准差,多个高斯分布通过线性组合得到信号的概率分布,K个高斯分布按照ω/σ的降序排列,排列靠前的高斯分布够代表背景的分布,同时混合高斯模型能够自动的维护场景的变化,同时对于误检测的情况能够通过学习更正错误,
[0154] 将前B个高斯分布作为背景模型,剩余的高斯分布认为是前景,B应该满足[0155]
[0156] 将当前象素值I(x)与前B个高斯分布进行匹配,如果和其中的任何一个高斯分布匹配成功则该象素为背景象素,否则为前景运动象素,匹配方式如下式
[0157] |I(x)-μi(x)|<c×σi(x)i=1.....B;
[0158] 目标确认,通过背景建模的方式检测得到了运动物体,但很多运动都是由室内光线变化,窗帘的摆动,电视画面的闪烁等运动的产生,而这里的监控对象是人,因此需要将人的运动从大量的无关运动中分离出来。这里通过光线干扰过滤器,人脸检测过滤器和头肩检测过滤器,采用灰度图像分析为主,深度图像分析为辅,同时结合人脸检测及头肩检测实现监控目标的确认,
[0159] 其中光线干扰过滤器:光线的变化使得图像的灰度值发生了变化,当灰度值变化的速度和幅度超过了背景模型的适应范围,则检测为运动目标,通过深度图像过滤光线变化引起的运动,深度图像由于采用了红外光探测方法,基本不受光照变化的干扰,通过灰度图像背景建模检测得到运动区域为 对应深度图像中的区域为 真正的目标区域必须满足如下条件:
[0160]
[0161] 其中Pd(x)和Pg(x)分别为深度图像和灰度图像运动检测结果,P(x)=1表示运动象素,P(x)=0表示背景象素;
[0162] 人脸及头肩检测过滤器:实际监控场景中存在大量真实的运动,如风扇的转动,窗帘的摆动,电视画面的闪烁,宠物的运动,而本发明只关心人的运动,人具有区别于这些运动的明显外观特征,如人脸特征和头肩特征,这里在灰度图像中采用haar小波结合adaboost分类器实现人脸检测,HOG特征结合SVM分类器实现头肩检测,当在运动区域检测到人脸特征或头肩特征时说明为运动的人,否则认为是干扰,予以滤除;
[0163] 目标跟踪,在目标确认的基础上通过帧间的目标关联,形成目标的运动轨迹,为后续目标行为分析提供依据。目标跟踪主要包括:目标位置预测,目标特征选择,目标关联匹配和目标特征更新,其中
[0164] 目标位置预测是根据当前帧及之前目标的位置估计目标在下一帧的位置,有利于提高后续关联匹配的精度。这里采用估计目标速度的方式,利用以下公式预测位置的,[0165] 和
[0166] 其中 和 分别表示t时刻目标在x方向和y方向的速度,N为时间窗口,xt-n和yt-n分别表示t-n时刻目标外界矩形框中心的横坐标和纵坐标,同理xt-n-1和yt-n-1分别表示t-n-1时刻目标外界矩形框中心的横坐标和纵坐标;
[0167] 目标特征选择是选择相对稳定可靠的目标面积S和目标外接矩形框的中心C两个特征。目标关联匹配是找到前一帧目标在当前帧的位置,实现目标的定位,根据相关跟踪原理,只要保证足够图像采样率的情况下,同一个目标在相邻两帧之间的位置变化不会太大,因此可以将目标的搜索范围限定在一个较小的距离范围,同时也大大降低了误匹配的风险,设t时刻目标j为 t-1时刻目标i为 当满足下式时才进行特征匹配:,
[0168]
[0169] 其中γ为搜索距离阈值,需要根据实际场景进行确定。
[0170] 匹配的准则为下式
[0171]
[0172] 其中ω为特征的权重因子,取值0.5,T为误差上限,防止误匹配,取值0.4。
[0173] 目标特征的更新均采用滤除突变的数据,保证数据不会出现较大的波动的一阶平滑的方式更新,具体实现见下一行的公式
[0174]
[0175] 其中α为更新因子,取值0.2。
[0176] 本室内突发异常事件报警系统用于检测跌倒的方法如下,地面自动三维建模,将与视频采集模块相连的摄像机倾斜向下与地面成一定角度安装,将摄像机坐标系的原点设定在图像坐标系的Z轴上,这样平移矩阵T简化为 其中H表示摄像机光心到地面的距离,摄像机坐标系和世界坐标系的转换公式如下
[0177]
[0178] 摄像机坐标系的三条坐标轴与世界坐标系的三条坐标轴夹角为α,β和γ,假设图像坐标系的原点与摄像机坐标系的原点重合,则深度图像中的一点(u,v,d)在摄像机坐标系下的坐标为 其中(u,v)为象素点在图像中的坐标,d为拍摄物体距离摄像机的距离,fx和fy为摄像机在成像平面上水平和垂直方向的焦距;
[0179] 设地面上的点F(x,y,z)在摄像机坐标系下满足如下平面约束:
[0180] ax+by+cz+d=0
[0181] 其中 为地平面的法向量,通过法向量可以计算得到三条坐标轴的夹角α,β和γ:
[0182]
[0183] 当得到一帧深度图像数据后,采用RANSAC算法实现平面拟合,通过拟合可以得到多个候选的地平面Fi=1...n{ai,bi,ci,di},通过如下的先验知识对平面进行粗筛选;:一,地面在图像中占据了较大的面积,即真实的地平面应该包括了较多的图像象素点;二,通常情况下摄像机与z轴的夹角γ在40度和80度之间,与x轴的夹角α在0度到20度之间,与y轴的夹角β基本等于0度。
[0184] 粗筛选后剩余的平面中选择离摄像头最远的平面作为地平面,即满足:
[0185]
[0186] 摄像机坐标下任一点到地平面的距离为:
[0187]
[0188] 通过上式计算目标中心到地平面的距离;
[0189] 目标静止判断,通过计算目标区域内灰度图像的时域差分来判断目标是否静止:
[0190]
[0191] 其中gt(x,y)表示t时刻灰度图像中(x,y)处象素点的灰度值,R表示目标区域,SR为目标区域的象素面积。当M<ε时说明目标静止,其中ε是一个很小的正数。
[0192] 总的来说即是,首先进行地面三维建模,确定图像中的地面区域,得到地面的三维坐标,在目标跟踪的基础上,计算目标的中心与地平面的距离H,如果H小于设置的阈值T,说明人的身体紧贴地面,如果在接下来检测到目标静止的时间大于一定阈值,则触发跌倒报警。
[0193] 图10示出了本发明室内突发异常事件报警系统的另一个优选实施例,音频采集模块还对特定声音进行检测,其检测方法包如下:
[0194] 语音信号预处理,假设音频信号X(t)的采样率为fs,fs取值8kHz,将X(t)依次经过预加重,分帧和加窗处理,窗函数选择汉宁窗,并去除均值,避免直流分量对ω=0处附近的谱线产生影响;
[0195] 特征提取,采用经典谱估计中的周期图法,使用FFT实现,最终得到归一化的功率谱X(fn),提取数目为24的Mel滤波器组。功率谱X(fn)经过Mel滤波器组滤波取对数,再经过离散余弦变换得到梅尔倒谱MFCC系数,Mel滤波器组由一组按照Mel频标分布的三角带通滤波器组成;
[0196] GMM音频辨识模型的训练,采用期望最大EM算法求取GMM模型,给定训练样本集X={x1,x2,...,xn},GMM的似然函数为
[0197]
[0198] 其中模型参数 pi表示高斯模型的概率, Σi分别表示高斯模型的均值向量和协方差矩阵。
[0199] EM算法包括两步,E步求取期望,计算辅助函数 M步期望最大化,最大化得到 通过E步和M步的不断迭代直至算法收敛,
[0200]
[0201] 其中X为观测值,Y为隐含状态。
[0202] 当相邻两次迭代计算的期望值最大值相差不大时,则算法收敛,停止迭代,如下式所示:
[0203]
[0204] 其中t表示迭代的次数,ε为一个较小的正数;
[0205] 使用训练模型识别,通过GMM训练得到模型参数λ,语音片段提取特征后送入GMM模型中计算得到相似度,通过相似度判断该语音片段的类别。
[0206] 根据本发明室内突发异常事件报警系统的一个实施例,一种室内突发异常事件报警系统用于检测肢体冲突的方法包括光流矢量分析和音频分析,在爆发肢体冲突时伴随着剧烈无规则的运动及大声的啸叫,因此可以通过光流矢量分析和音频分析检测肢体冲突,当两种方法都检测到肢体冲突时,触发肢体冲突报警,同时抓拍一张现场照片。
[0207] 光流矢量分析,通过目标跟踪可以得到目标所在的区域,采用KLT特征点光流计算目标区域内的光流矢量V={ν1,ν2,...,νn},采用幅度加权直方图Hp={hj}j=1,2,...,n实现区域光流矢量的统计分析,再通过下式得出第j阶直方hj,
[0208]
[0209] 这里阶数可以取值12,Ch为归一化参数, 为归一化光流矢量 的幅值,b(vi)为光流矢量vi对应的直方图区间,通过矢量的方向确定,δ(.)为Kronecker delta函数,[0210] 采用区域熵EH实现剧烈无规则运动的度量,EH的表达式如下:
[0211]
[0212] 其中hj表示第j阶幅度加权直方图。EH越大说明区域内的运动越剧烈无规则,设定阈值T,当EH>T时说明区域内爆发了肢体冲突。
[0213] 本发明的整个工作流程:
[0214] 用户可以根据需要开启或关闭报警功能,检测的方式可以选择视频检测、音频检测、热释电红外检测,振动检测,玻璃破碎检测,烟雾检检测,门磁检测中的一种或几种,如跌倒、严重姿态冲突采用音视频检测,窗户区域采用热释电红外检测、振动检测、玻璃破碎检测,门所在区域采用视频检测、音频检测、热释电红外检测、振动检测、门磁检测。报警信息可以是视频,音频或图片中的一种或几种。
[0215] (1)设备上电或复位后,信号处理模块从FLASH中加载操作系统和应用程序,完成对主处理芯片的初始化和外围硬件的配置,接下来完成对各子系统的初始化,最后进入正常工作状态。首次使用时,对家庭成员人脸进行注册。
[0216] (2)主处理芯片的主处理器端不断的采集监控现场的音视频信号及热释红外检测信号,同时通过无线接收模块接收其它分布式报警传感器的报警信号,将多源数据送入从处理器端进行分析,同时进行音视频预录。如果收到从处理器端的报警或预警信号,则将预录的音视频,连同抓拍的照片通过报警信号发送模块发送到小区监控中心或户主的手机上,同时启动声光报警器等联动设备报警。
[0217] (3)主处理芯片的从处理器端运行智能音视频分析算法,分别从视频和音频的角度分析得出是否存在跌倒较长时间不起、严重肢体冲突、陌生人非法入室等突发异常事件发生,并结合其它传感器报警信息和,运用决策融合技术得到最终的判决结果,将结果发送至主处理器端。
[0218] (4)户主或监控中心收到报警后,可以通过传回来的报警信息进行确认,也可开启语音对讲功能,与室内人员通话,进一步了解异常事件发生情况。
[0219] 产品实验
[0220] 实验环境及设备
[0221] 实验场地:120平方米2室2厅家用住宅。
[0222] 实验设备:(1)承载室内突发异常事件报警系统的摄像机1台;(2)无线门磁检测器1个;(3)无线玻璃破碎检测器2台;(4)无线烟雾探测器1台;(5)无线煤气泄漏传感器1台;(6)安装突发异常事件报警接收处理软件的手机1部。
[0223] 如图11所示,在客厅安装吸顶式突发异常事件报警摄像机,分别在卧室、厨房、进入大门口安装玻璃破碎检测器、煤气泄漏探测器、烟雾传感器、门磁检测器,并通过无线与报警摄像机通信,通过报警摄像机IO输出口连接报警警号。
[0224] 试验方法及结果:
[0225]
[0226]
[0227]
[0228] 试验结论:在室内环境下,试验结果与试验预期一致,功能、性能完全符合产品设计要求。
[0229] 本发明具有以下优点:
[0230] 优点一:功能强,用途广。产品能检测室内几乎所有的异常突发事件,尤其是高精度的人员跌倒检测可广泛应用于对独居老人的监护。
[0231] 优点二:误报率低。内置功能强大的虚警过滤算法,对室内环境光线变化、窗帘飘动、宠物等引发的异常事件进行了较好的过滤。
[0232] 优点三:报警及时,报警信息直观、灵活,可以是音频,视频或图片。
[0233] 优点四:设备使用、安装、维护方便。采用无线传输,布线方式简单、易于使用维护。
[0234] 优点五:可无间断使用,即使停电,仍可自动开启自带蓄电池继续使用。
[0235] 尽管这里参照本发明的多个解释性实施例对本发明进行了描述,但是,应该理解,本领域技术人员可以设计出很多其他的修改和实施方式,这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说,在本申请公开、附图和权利要求的范围内,可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外,对于本领域技术人员来说,其他的用途也将是明显的。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈