首页 / 专利库 / 电脑零配件 / 计算机系统 / 软件 / 群件 / 基于参数自调节神经网络的人体异常行为检测方法

基于参数自调节神经网络的人体异常行为检测方法

阅读:165发布:2024-02-21

专利汇可以提供基于参数自调节神经网络的人体异常行为检测方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种基于参数自调节神经网络的人体异常行为检测方法。本发明是基于一种双层神经网络,即生长式神经气 体模 型,利用其灵活“生长”的优势对场景中的可变行为模式进行学习和建模。本发明针对其因固定参数无法实现自适应调整的问题进行了重要改进,提出了针对气体神经元生长、学习、删除等过程中的模型参数自适应调整方法。在模型用于判断行为是否异常时,本发明提出了基于双层高斯平滑窗的判断方法,实现多变场景中的快速的异常行为判别。,下面是基于参数自调节神经网络的人体异常行为检测方法专利的具体信息内容。

1.一种基于参数自调节神经网络的人体异常行为检测方法,其步骤包括:
1)对视频中的图像进行特征点检测,对检测到的特征点进行局部特征描述,得到局部特征向量,将局部特征向量输入生长式神经气体模型中;建立生长式神经气体模型,对气体神经元在插入、学习和删除过程中涉及到的模型参数进行自适应调整,包括:
针对插入过程,通过两个自适应阈值,即内部插入阈值和外部插入阈值,控制外来神经元的适时插入操作;
针对学习过程,根据新输入特征与其最近邻神经元的距离确定学习速率的调整幅度;
针对删除过程,通过定义密度算子确定所需删除的神经元周围的网络分布情况,接着计算每个待删除神经元的平均累积分数,将平均累积分数低于平均平且密度计算结果排位靠后的神经元删除;
2)通过所述生长式神经气体模型对视频中的人体行为进行检测,采用双层高斯平滑窗的判断方法实现人体异常行为判别;所述双层高斯平滑窗的判断方法是:首先对输入的检测得到的局部特征序列进行异常类别判断,定义其中离正常模式距离超过平均水平的特征为异常特征;接着对异常特征的数量进行统计计算,将超过平均值的数量所引起的事件定义为异常事件。
2.如权利要求1所述的方法,其特征在于:在检测特征点时,采用时空Gabor滤波器组得到局部运动点,得到局部运动点之后,将所有的点的局部区域的描述作为该点的局部特征。
3.如权利要求2所述的方法,其特征在于:所述局部特征是3D-SIFT特征。
4.如权利要求1所述的方法,其特征在于,步骤1)中神经网络的外部神经元插入过程是:
a)局部特征向量x输入之后,在已有的神经网络神经元中找到最近的神经元s1和第二最近的神经元s2:s1=argmins∈A‖x-ws‖2, 其中,s表示全体神经元
的集合A中的任一神经元,Ws表示神经元x的权重;
b)判断特征向量x与神经元s1或神经元s2的距离是否超过阈值 或 即判断
是否成立,如果成立则在网络中插入外部神经元x;
c)判断神经元s1和神经元s2之间是否存在直接相连的边,如果不存在,则添加一条直接相连的边,也就是:C:=C∪{(s1,s2)},其中C表示全体神经元的边集合。
5.如权利要求4所述的方法,其特征在于,步骤1)中神经网络的神经元学习过程是:对于输入的特征向量x,将其与最近的神经元s1之间的欧氏距离作为误差累积到神经元s1的误差变量中;然后更新神经元s1的平均累积分数 然后通过调整神经元自身权重来学习输入特征向量所代表的模式。
6.如权利要求5所述的方法,其特征在于,在学习过程中若判断当前帧上观察到的全部特征向量已经学习完毕,那么在神经网络的累积误差最大的位置周围插入一个内部神经元,插入方法如下:
a)找到当前误差变量最大的神经元q,其对应的误差变量也就是eq;
b)在神经元q的邻居神经元集合Nq中找到含最大误差变量的邻居神经元f,其对应的误差变量也就是ef;
c)在神经元q和f之间插入一个新的内部神经元r,建立r到两个神经元之间的连接边:
C:=C∪{(q,r),(r,f)},删除两个神经元之间原始的连接边:C:=C\{(q,f)};将神经元r的误差变量er和平均累计分数 分别初始化为:eq和
d)按照一定比例α缩小神经元q和f的误差变量:eq:=αeq;ef:=αef;同时,按照另一个比例γ缩小神经元q和f的平均累计分数:
7.如权利要求6所述的方法,其特征在于,步骤1)中神经元的删除条件分两种:一是平均累计分数的阈值 为空时的初始情况;二是 已经有实际值的情况;通过计算一个实时的值Esil(t)与已存储的阈值Ethr比较大小来判断网络学习是否成熟,包括如下步骤:
a)当 为空时,如果Esil(t)≥Ethr成立,那么将网络中现有的神经元按照其平均累积分数进行降序排列,将排在末尾的一个神经元删除,并删除其所有直接相连的边;如果Esil(t)<Ethr,那么将网络中现有的神经元按照其平均累积分数进行降序排列,删除末尾起倒数nnew个神经元,及其所有直接相连的边;
b)当 不为空时,如果Esil(t)≥Ethr,那么将所有神经元的平均累计分数与 作比较,删除平均累计分数比 小的所有神经元及其所有直接相连的边;如果Esil(t)<Ethr,回到上一种情况a)执行a)中的操作;
其中Esil(t)采用以下公式计算:
Esil(t)=Sil(t)-Sil(t-1),
其中,Sil(t)表示当前网络的成熟度,NA(t)表示当前网络的神经元个数,Wi(t)表示将i作为最近神经元的输入向量的个数;d1(x,i;t)、d2(x,i;t)为两个距离项。
8.如权利要求1所述的方法,其特征在于,步骤2)中,第一层判断异常特征的阈值定义为: 其中μfeature表示输入特征向量集合的均值,σfeature表示输
入特征向量集合的方差;判断为异常特征之后,对这一群体进行数量的判断,得到第二层判断异常时间的阈值,其具体定义为: 其中μoverflowing表示异
常特征的平均数量,σoverflowing表示异常特征数量变化的方差;当判断最终的异常特征的数量超过异常事件阈值thanomaly时,即可判断为异常事件发生,给出报警。

说明书全文

基于参数自调节神经网络的人体异常行为检测方法

技术领域

[0001] 本发明属于机器视觉的运动目标分析领域,也属于智能视频监控领域。本发明具体涉及一种基于竞争生长式神经网络的参数自调节方法,此方法通过自调节参数对可视范围内的人体行为进行自适应学习和建模,并实时检测异常行为,属于高层的运动目标分析范畴。

背景技术

[0002] 视频中的运动目标分析是机器视觉领域的重要课题,同时也是近年来备受关注的前沿研究方向之一。它在智能监控、人机交互虚拟现实、基于内容的视频检索与编码等领域具有重要的理论研究意义和应用前景。其主要内容就是通过对视频数据中包含的人体目标运动信息进行特征提取和模式识别来理解所包含的运动类别和意图,它涵盖了图像处理计算机视觉、模式识别与人工智能等多个学科。
[0003] 异常行为检测属于运动目标分析,也是智能监控系统的重要研究目标之一。目前较为前沿和主流的方法主要是基于稳定场景中运动建模的方法,其优点在于可利用当前场景中大量的观察逐渐学习到正常行为模型作为检测基准,高效并且在一定情况下的抗干扰能强。其缺点是所学习到的模型对场景信息和场景内容依赖性较强,可移植性差,对于复杂多变的户外场景或者相机移动的场景的有较大局限性。可变场景建模要求模型本身具有模式适应性,即模型的具体参数可以根据观察到的实际数据实时调整,学习到场景中固有或常见的正常行为模式。
[0004] 在低噪声环境下获取的视频中进行运动检测和识别已经可以达到较高的识别效率,但是针对实际环境中的视频,人体运动描述和异常行为识别仍然面临很多难题,如人体遮挡、视频模糊、拍摄视变化等,所需要解决的问题就变得更加复杂。这就更加要求人体运动特征提取和建模方法本身具有强大的表征能力和区分能力,可以在复杂的环境中学习到少见或者异常的人体行为模式。
[0005] 传统的离线学习的方法通过大量的行为样本训练分类器,然后再对视频中获取的运动特征进行识别。一般通过迭代学习训练分类器和优化分类器参数(如支持向量机SVM)是较为耗时的,异常行为常常是在短时间发生的,利用分类器识别较难满足快速实时判断的系统要求。这就要求模型本省具有很高的异常判断能力,也就是说需要利用常用的距离算子即可判断新特征的异常值是否达到了异常阈值

发明内容

[0006] 本发明的目的是实现多变场景中的异常人体行为检测。本发明是基于一种双层神经网络——生长式神经气体模型(Growing Neural Gas,GNG),利用其灵活“生长”的优势对场景中的可变行为模式进行学习和建模。本发明针对其因固定参数无法实现自适应调整的问题进行了重要改进,提出了针对气体神经元生长、学习、删除等过程中的模型参数自适应调整方法。在模型用于判断行为是否异常时,本发明提出了基于双层高斯平滑窗的判断方法,实现快速的异常行为判别。
[0007] 1.GNG模型参数自适应调节方法
[0008] 分析GNG模型的建立过程,其气体神经元在插入、学习和删除过程中涉及到的参数,如插入条件中的阈值、学习速率和学习范围参数、删除条件中的阈值,通常都是固定参数,不受环境变化的影响,无法实现环境自适应调整。这不利于模型在多场景或变场景中的实际应用。本发明利用对环境中观察到的实际数据对GNG模型的各个重要学习参数进行自适应的调整,分别针对神经元插入、学习、删除三个重要步骤提出了三个基于邻域神经元分布情况的阈值调整算法。具体来说:
[0009] (1)针对插入过程,本发明设计了两个自适应阈值,分别称为内部插入阈值和外部插入阈值,用于控制外来神经元的适时插入操作。
[0010] (2)针对学习过程,本发明提出了实时调整学习速率的算法,根据新输入特征与其最近邻神经元的距离确定调整幅度。
[0011] (3)针对删除过程,本发明通过定义一个密度算子确定所需删除的神经元周围的网络分布情况,接着计算每个待删除神经元的平均累积分数,在网络较为稳定时平均累积分数低于平均平且密度计算结果排位靠后的神经元将会被删除。依次,本发明对上述GNG神经网络的三个重要步骤中包含的重要参数设计了自适应的调整策略。
[0012] 2.基于双层高斯平滑窗的异常判断方法
[0013] 由于本发明旨在检测视频中包含的异常人体行为,对系统实时性的要求较高。一般的分类器方法不适用。本发明提出了采用双层高斯平滑窗的异常判断方法,首先对输入的检测得到的局部特征序列进行异常类别判断,定义其中离正常模式距离超过平均水平的特征为异常特征(第一层高斯平滑窗),接着对异常特征的数量进行统计计算,将超过平均值的数量所引起的事件定义为异常事件(第二层高斯平滑窗)。
[0014] 本发明的基于参数自调节神经网络的人体异常行为检测方法中,模型参数的自动学习使得模型对多变的监控场景具有更强的适应性,通过基于双层高斯平滑窗的判断方法,能够实现快速的异常行为判别。附图说明
[0015] 图1是本发明的插入外部神经元的示意图:(a)当新的观察数据x输入时,如果x与s1之间的欧氏距离大于s1的阈值 (b)那么将x作为新的网络节点,并入网络A,生成新的网络A’。
[0016] 图2是本发明的局部特征点检测效果图(UMN数据库):分别展示了在UMN数据库的三个场景视频中检测到的局部运动点;其中第一排是正常运动,第二排是异常慌乱运动。
[0017] 图3是本发明的异常行为检测效果图(UCSD Ped1数据库):框中是本不应该出现在人行道上的异常行为,如骑自行车和开车经过。
[0018] 图4是本发明的异常行为检测效果图(Avenue数据库):框中是本不应该出现在地站进站口的异常行为,如向空中投掷纸张和快速奔跑经过。

具体实施方式

[0019] 下面通过具体实施例和附图,对本发明做进一步说明。
[0020] 1、特征点的检测
[0021] 本发明的特征点提取部分采用的是基于如下的时空Gabor滤波器组得到的局部运动点。这是一种基于周期性运动的运动点检测方法,利用2D空间高斯平滑核函数g外加一对1D时间高斯核函数hev,hod(公式(2)和(3))构造了三维响应函数R(公式(1))。所要获取的兴趣点的个数是通过手动调整两个核函数的尺度参数来进行设定的。本发明中的运动点检测是在某一固定尺度参数下进行的。下面公式中,I表示输入的图像,t表示当前输入的图像的时间节点,τ表示时间尺度参数,ω表示空间尺度参数。
[0022] R=(I*g*hev)2+(I*g*hod)2   (1)
[0023]
[0024] 2、特征点的局部特征描述
[0025] 检测得到局部运动点之后,将所有的点的局部区域的描述作为该点的局部特征,本发明所使用的局部特征是3D-SIFT特征(其他局部运动特征也可作为此处的基本特征,如稠密轨迹特征),具体的计算过程如下:
[0026] 在点p(x,y;t)周围取2*2*2的像素,采用下面公式对其梯度极坐标进行计算,其中m3D表示梯度幅值,θ表示的是2D梯度方向角,φ表示极坐标系下目标向量向2D梯度方向的偏向角,Lx、Ly、Lt分别表示有限差分逼近的简化表示算子,例如Lx=L(x+1,y,t)-L(x-1,y,t)),以此类推计算其他差分算子,再根据如下公式计算相应的三种特征量,即可得到局部特征向量x。
[0027]
[0028] θ(x,y,t)=tan-1(Ly/Lx)   (5)
[0029]
[0030] 3、GNG神经网络的外部神经元插入过程
[0031] 局部特征向量x输入之后,在已有的神经网络神经元中利用下面的公式(7)和(8)找到最近的神经元s1和第二最近的神经元s2:
[0032]
[0033]
[0034] 其中,s表示全体神经元的集合 中的任一神经元,Ws表示神经元x的权重。接着,判断特征向量x与神经元s1(或神经元s2)的距离是否超过阈值 (或 ),即判断下式是否成立:
[0035]
[0036] 以神经元s1为例,其阈值 的定义如下:如果神经元s1有直接相连的神经元邻居,那么阈值 其中 表示与神经元s1直接相连的邻居神经元集合;如果神经元s1没有直接相连的神经元邻居,那么可以定义 在
此定义下,如果公式(9)成立,那么此时需要在网络中插入外部神经元x。插入步骤如下:
wx=x,nnew:=nnew+1, 其中 表示全体神经元的集合,wx表示
神经元x的权重,nnew表示当前学习周期中新插入的神经元个数,Tx表示当前新节点的外部神经元的插入阈值。
[0037] 图1是本发明的插入外部神经元的示意图,其中(a)图为插入前的距离判断,(b)图为插入后的位置分布。图中A表示插入前的神经元网络,A’表示插入外部神经元之后的网络,i和j表示当前输入向量的最近神经元s1的邻居神经元,L表示当前输入向量到s1的欧氏距离, 表示s1的当前累积误差,Δe1表示前期输入向量1带来的误差,Δe2表示前期输入向量2带来的误差,Δe3表示前期输入向量3带来的误差,Tx=+∞表示新的外部插入神经元的初始的外部神经元插入阈值为无穷大,图中数字1、2、3表示在当前输入向量x之前的被s1内部学习掉的输入向量。
[0038] 接着判断神经元s1和神经元s2之间是否存在直接相连的边,如果不存在,则添加一条直接相连的边,也就是: 其中 表示全体神经元的边集合。
[0039] 4、GNG神经网络的神经元学习过程
[0040] 对于上步骤中输入的特征向量x,将其与最近的神经元s1之间的欧氏距离作为误差累积到神经元s1的误差变量中,也就是:
[0041]
[0042] 接着,根据下面的公式(11-14)更新神经元s1的平均累积分数
[0043]
[0044]
[0045]
[0046]
[0047] 其中上述四个公式中: 表示两两神经元的平均距离,scorei表示神经元i的当前得分,asi表示K个周期的累计分数, 是神经元i的全部邻居神经元的集合,K代表的是学习迭代的周期数,λ指的是每个周期中所输入的特征向量的个数(每个周期中的λ都相等)。
[0048] 下面通过调整神经元自身权重来学习输入特征向量所代表的模式。调整方法如下:
[0049]
[0050]
[0051] 其中 表示的是与神经元s1直接相连的邻居神经元集合。另外,神经元s1的学习速率 和邻居神经元的学习速率 的定义分别如下面公式(17)和(18):
[0052]
[0053]
[0054] 其中, 代表的是截止到当前的时间节点t时以s1为最近神经元的输入特征向量的个数,Mn(t)表示截止到当前的时间节点t时以n为最近神经元的输入特征向量的个数。这种调整方法使得当前学习速率可以受到输入模式的良性的自动调整。
[0055] 5、GNG神经网络的内部神经元插入过程
[0056] 在上述学习过程中若判断当前帧上观察到的全部特征向量已经学习完毕,那么在GNG网络的累积误差最大的位置周围插入一个内部神经元,插入方法如下:
[0057] (1)找到当前误差变量最大的神经元q,其对应的误差变量也就是eq;
[0058] (2)在神经元q的邻居神经元集合 中找到含最大误差变量的邻居神经元f,其对应的误差变量也就是ef;
[0059] (3)在神经元q和f之间插入一个新的内部神经元r,建立r到两个神经元之间的连接边: 删除两个神经元之间原始的连接边: 将神经元r的误差变量er和平均累计分数 分别初始化为:eq和
[0060] (4)按照一定比例α缩小神经元q和f的误差变量:eq:=αeq;ef:=αef。同时,按照另一个比例γ缩小神经元q和f的平均累计分数:
[0061] 6、GNG神经网络的神经元删除过程
[0062] 本发明中神经元的删除条件分两种:一是 为空时的初始情况(其中, 表示平均累计分数的阈值);二是 已经有实际值的情况。本发明通过计算一个实时的值Esil(t)与已存储的阈值Ethr(此阈值是人为设定的一个较小的值,如0.0001,可根据局部特征的平均距离大小来适当调整,距离越大,阈值越大)比较大小来判断网络学习是否成熟。
[0063] (1)当 为空时,根据下面四个公式计算Esil(t):
[0064]
[0065] 其中的Sil(t)表示当前网络的成熟度, 表示当前网络的神经元个数, 表示将i作为最近神经元的输入向量的个数;两个距离项的计算如下:
[0066]
[0067]
[0068] Esil(t)的计算如下:
[0069] Esil(t)=Sil(t)-Sil(t-1)   (22)
[0070] 计算完毕之后,判断如果Esil(t)≥Ethr成立,那么将网络中现有的神经元按照其平均累积分数进行降序排列,将排在末尾的一个神经元删除,并删除其所有直接相连的边。如果Esil(t)<Ethr,那么将网络中现有的神经元按照其平均累积分数进行降序排列,删除末尾起倒数nnew个神经元,及其所有直接相连的边。
[0071] (2)当 不为空时,同样根据公式(19-22)计算Esil(t)。判断如果Esil(t)≥Ethr,那么将所有神经元的平均累计分数与 作比较,删除平均累计分数比 小的所有神经元及其所有直接相连的边。如果Esil(t)<Ethr,回到上一种情况(1)执行(1)中的操作。
[0072] 7、GNG神经网络训练用于异常行为检测的方法(异常事件阈值的定义)[0073] 当新的人体运动特征向量被观察到,按照上述六个步骤训练整个网络,并实时返回当前学习到的神经元集合和边集合作为正常行为的模型。异常检测的测试程序开启时,本发明采用双层高斯平滑窗的异常判断方法,首先对输入的检测得到的局部特征序列进行异常类别判断,定义其中离正常模式距离超过平均水平的特征为异常特征(第一层高斯平滑窗),接着对异常特征的数量进行统计计算,将超过平均值的数量所引起的事件定义为异常事件(第二层高斯平滑窗)。
[0074] 具体来说,第一层判断异常特征的阈值定义如下:
[0075]
[0076] 其中μfeature表示输入特征向量集合的均值,σfeature表示输入特征向量集合的方差。
[0077] 判断为异常特征之后,对这一群体进行数量的判断,得到第二层判断异常时间的阈值,具体定义如下:
[0078]
[0079] 其中μoverflowing表示异常特征的平均数量,σoverflowing表示异常特征数量变化的方差。
[0080] 当判断最终的异常特征的数量超过上述公式(24)中计算的异常事件阈值thanomaly时,即可判断为异常事件发生,给出报警。
[0081] 图2是本发明的局部特征点检测效果图(UMN数据库):其中(a)、(b)、(c)分别展示了在UMN数据库的三个场景视频中检测到的局部运动点;其中第一排是正常运动,第二排是异常慌乱运动。
[0082] 图3是本发明的异常行为检测效果图(UCSD Ped1数据库),其中(a)图表示在人行道上出现的滑板运动,属于异常行为,(b)图表示本不应该在人行道上出现的骑自行车,属于异常行为,(c)图表示检测到的有人横跨草坪,属于异常行为,(d)图表示本不应该在人行道上出现的车辆开过,属于异常行为。可以看出,本发明提出的算法可以较为鲁棒的检测出监控场景中的异常行为。
[0083] 图4是本发明的异常行为检测效果图(Avenue数据库),本不应该出现在地铁站进站口的异常行为:(a)图表示向空中投掷纸张,(b)图表示快速奔跑。可以看出,本发明提出的算法可以较为鲁棒的检测出监控场景中的异常行为。
[0084] 以上实施例仅用以说明本发明的技术方案而非对其进行限制,本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明的精神和范围,本发明的保护范围应以权利要求书所述为准。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈