首页 / 专利库 / 企业组织 / 框图 / 一种基于执法办案区场景下的倒地异常行为识别方法

一种基于执法办案区场景下的倒地异常行为识别方法

阅读:655发布:2020-05-08

专利汇可以提供一种基于执法办案区场景下的倒地异常行为识别方法专利检索,专利查询,专利分析的服务。并且本 发明 属于异常行为分析技术领域,具体涉及一种基于执法办案区场景下的倒地异常行为识别方法,可分为二维图像数据获取、基于 深度学习 的人体检测、人体关键点 定位 、倒地行为识别四部分。(1)首先通过摄像机获取执法办案场景内的视频图像数据,(2)然后通过目标检测网络得到人体检测框的坐标 位置 ,(3)之后单独对每个人体框使用人体关键点检测网络,得到人体每个关键点的位置,(4)最后将每个人体检测框输入到分类网络进行二分类,判断该人是否倒地,提高了识别效果和识别 精度 。,下面是一种基于执法办案区场景下的倒地异常行为识别方法专利的具体信息内容。

1.一种基于执法办案区场景下的倒地异常行为识别方法,其特征在于,包括以下步骤:
(1)通过摄像机获取执法办案场景内的视频图像数据;
(2)通过目标检测网络得到人体检测框的坐标位置
(3)单独对每个人体检测框使用人体关键点检测网络,得到人体每个关键点的位置;
(4)将每个人体检测框输入到分类网络进行二分类,判断该人是否倒地。
2.根据权利要求1所述的一种基于执法办案区场景下的倒地异常行为识别方法,其特征在于,在步骤(1)中,所述通过摄像机获取执法办案场景内的视频图像数据具体包括,通过安装在执法办案区域的室内摄像头,获取摄像区域内人员的活动视频,得到基于时间序列的包含人体的图像数据。
3.根据权利要求1所述的一种基于执法办案区场景下的倒地异常行为识别方法,其特征在于,在步骤(2)中,所述通过目标检测网络得到人体检测框的坐标位置具体包括,基于Faster R-CNN算法,将所述步骤(1)获得的图像数据输入到检测网络,获得人体检测框,再通过NMS非极大抑制去除多余的人体检测框,使得每个人体都只有唯一的框。
4.根据权利要求1所述的一种基于执法办案区场景下的倒地异常行为识别方法,其特征在于,在步骤(3)中,所述单独对每个人体检测框使用人体关键点检测网络,得到人体每个关键点的位置具体包括,将从所述步骤(2)得到的人体检测框图输入到SPPE网络中,获得人体关键点分布图。
5.根据权利要求4所述的一种基于执法办案区场景下的倒地异常行为识别方法,其特征在于,各关键点的位置包括头部、颈部、左右肩膀、左右护肘、左右手腕、左右髋关节、左右膝盖和左右脚踝。
6.根据权利要求1所述的一种基于执法办案区场景下的倒地异常行为识别方法,其特征在于,在步骤(4)中,所述判断该人是否倒地具体包括步骤:
4.1输入每张图像中的各个人体检测框坐标以及关键点坐标数据;
4.2判断人体检测框与检测区域的空间关系,确定人体是否在检测区域设定的范围内,若是执行下一步,反之结束本次识别;
4.3通过人体关键点的坐标分布判断该检测人体是否为完整人体,若是则输入到二分类网络,反之结束本次识别;
4.4将人体关键点的坐标分布图输入到二分类网络,得到分类结果;
4.5根据所述分类结果判断是否为倒地行为,若是则发出警告,反之结束本次识别。
7.根据权利要求6所述的一种基于执法办案区场景下的倒地异常行为识别方法,其特征在于,所述步骤(4)中的二分类网络,在拥有18层网络的分类网络中加入残差结构组成的ResNet-18;其中残差结构函数公式为:
Y=F(x)+x
式中x为输入残差结构的卷积特征;F(x)为快捷连接,被残差结构包围部分的卷积层输出;Y为残差结构的输出。
8.根据权利要求7所述的一种基于执法办案区场景下的倒地异常行为识别方法,其特征在于,所述的ResNet-18网络,其image(图像)输入长宽为224×224;所述image依次经5层卷积核为3×3,特征维度为64的卷积层,4层卷积核为3×3,特征维度为128的卷积层,4层卷积核为3×3,特征维度为256的卷积层,4层卷积核为3×3,特征维度为512的卷积层;再通过averge pool(平均池化)层输入至全卷积层2-d fc,所述全卷积层2-d fc将512个维度的数据进行全卷积为两个维度;最后经过softmax(归一化操作)层得到是、否倒地行为的概率值。
9.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现权利要求1-8任一所述的基于执法办案区场景下的倒地异常行为识别方法的步骤。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中所述处理器执行所述程序时实现权利要求1-8任一所述的基于执法办案区场景下的倒地异常行为识别方法的步骤。

说明书全文

一种基于执法办案区场景下的倒地异常行为识别方法

技术领域

[0001] 本发明属于异常行为分析技术领域,具体涉及一种基于执法办案区场景下的倒地异常行为识别方法。

背景技术

[0002] 现有技术:针对执法办案区场景下的倒地行为识别方法,需要高识别率,以便于预防活动区内人员因倒地而出现生命危险的情况。而现有倒地行为识别的判断流程一般是:(1)图像数据的获取;(2)图像数据处理获得人体图像或其特征;(3)特征分类,识别倒地行为。
[0003] 针对不同步骤,识别倒地行为拥有不同的方法。在第一阶段可以通过二维或三维摄像机获得人体的二维或三维图像数据;在第二阶段可通过传统方法,人工获取人体特征,如颜色、人体框长宽比等特征,另外亦可通过深度学习方法,由神经网络检测到人体框然后自动学习获取人体特征。第三阶段,通过SVM(支持向量机)或者深度学习的分类网络对提取的特征进行二分类,判断是否为倒地行为。根据是否使用深度学习的方法,现有技术还可分为传统方法和深度学习法。与本提案的方法相比,现有技术对于使用深度学习得到的人体检测框出现局部人体时的倒地检测会出现识别不准确问题,本提案通过加入人体关键点判断,有效提高识别效果。
[0004] 对于现有传统的倒地异常行为识别方法,使用人工提取的特征进行倒地行为识别的识别率较低,特征提取费时费;现有基于深度学习的倒地异常行为识别方法,虽特征自动学习获取,但在识别效果上还需进一步加强。为了进一步提高识别精度,满足实际项目中的高识别精度要求,需要提出一种新的方法提高识别精度。
[0005] 本提案提出了利用基于人体关键点的倒地行为识别。与现有技术利用Kinect(一种三维体感摄影机)依靠相机捕捉三维空间中人体的三维运动数据不同,本提案使用的是通过图像获取的二维人体关键点数据进行倒地行为识别。并且针对在执法办案区场景,当人处于图像边缘位置或者弯腰、坐在地上而引起的只检测到部分人体的情况下,现有技术容易误检而无法准确识别倒地行为的缺点。

发明内容

[0006] 为了解决现有技术中存在的技术缺陷,本发明设计了一种基于执法办案区场景下的倒地异常行为识别方法。
[0007] 本发明通过以下技术方案实现:
[0008] 一种基于执法办案区场景下的倒地异常行为识别方法,包括以下步骤:
[0009] (1)通过摄像机获取执法办案场景内的视频图像数据;
[0010] (2)通过目标检测网络得到人体检测框的坐标位置;
[0011] (3)单独对每个人体检测框使用人体关键点检测网络,得到人体每个关键点的位置;
[0012] (4)将每个人体检测框输入到分类网络进行二分类,判断该人是否倒地。
[0013] 进一步地,在步骤(1)中,所述通过摄像机获取执法办案场景内的视频图像数据具体包括,通过安装在执法办案区域的室内摄像头,获取摄像区域内人员的活动视频,得到基于时间序列的包含人体的图像数据。
[0014] 进一步地,在步骤(2)中,所述通过目标检测网络得到人体检测框的坐标位置具体包括,基于Faster R-CNN算法,将所述步骤(1)获得的图像数据输入到检测网络,获得人体检测框,再通过NMS非极大抑制去除多余的人体检测框,使得每个人体都只有唯一的框。
[0015] 进一步地,在步骤(3)中,所述单独对每个人体检测框使用人体关键点检测网络,得到人体每个关键点的位置具体包括,将从所述步骤(2)得到的人体检测框图输入到SPPE网络中,获得人体关键点分布图。
[0016] 进一步地,各关键点的位置包括头部、颈部、左右肩膀、左右护肘、左右手腕、左右髋关节、左右膝盖和左右脚踝。
[0017] 进一步地,在步骤(4)中,所述判断该人是否倒地具体包括步骤:
[0018] 4.1输入每张图像中的各个人体检测框坐标以及关键点坐标数据;
[0019] 4.2判断人体检测框与检测区域的空间关系,确定人体是否在检测区域设定的范围内,若是执行下一步,反之结束本次识别;
[0020] 4.3通过人体关键点的坐标分布判断该检测人体是否为完整人体,若是则输入到二分类网络,反之结束本次识别;
[0021] 4.4将人体关键点的坐标分布图输入到二分类网络,得到分类结果;
[0022] 4.5根据所述分类结果判断是否为倒地行为,若是则发出警告,反之结束本次识别。
[0023] 进一步地,所述步骤(4)中的二分类网络,在拥有18层网络的分类网络中加入残差结构组成的ResNet-18;其中残差结构函数公式为:
[0024] Y=F(x)+x
[0025] 式中x为输入残差结构的卷积特征;F(x)为快捷连接,被残差结构包围部分的卷积层输出;Y为残差结构的输出。
[0026] 进一步地,所述的ResNet-18网络,其image(图像)输入长宽为224×224;所述image依次经5层卷积核为3×3,特征维度为64的卷积层,4层卷积核为3×3,特征维度为128的卷积层,4层卷积核为3×3,特征维度为256的卷积层,4层卷积核为3×3,特征维度为512的卷积层;再通过averge pool(平均池化)层输入至全卷积层2-d fc,所述全卷积层2-d fc将512个维度的数据进行全卷积为两个维度;最后经过softmax(归一化操作)层得到是、否倒地行为的概率值。
[0027] 一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现基于执法办案区场景下的倒地异常行为识别方法的步骤。
[0028] 一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中所述处理器执行所述程序时实现基于执法办案区场景下的倒地异常行为识别方法的步骤。
[0029] 与现有技术相比,本发明至少具有下述的有益效果或优点:
[0030] (1)通过在识别过程加入人体关键点数据,对部分人体进行判断,有效避免误检测,降低误检率,提高最终倒地行为识别效果;
[0031] (2)倒地行为识别分类网络使用具有残差结构的ResNet-18网络,提高识别精度。附图说明
[0032] 以下将结合附图对本发明做进一步详细说明;
[0033] 图1为本发明的倒地行为识别总体流程图
[0034] 图2为人体关键点示意图;
[0035] 图3为倒地行为识别方法具体流程图;
[0036] 图4为残差结构示意图;
[0037] 图5为ResNet-18网络结构图。

具体实施方式

[0038] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0039] 本技术方案提出一种基于人体关键点的倒地检测方法,其整体算法包括三部分:人体检测、人体关键点定位、分类模型。按照总体识别步骤分,可分为二维图像数据获取、基于深度学习的人体检测、人体关键点定位、倒地行为识别四部分。(1)首先通过摄像机获取执法办案场景内的视频图像数据,(2)然后通过目标检测网络得到人体检测框的坐标位置,(3)之后单独对每个人体框使用人体关键点检测网络,得到人体每个关键点的位置,(4)最后将每个人体检测框输入到分类网络进行二分类,判断该人是否倒地,如图1四个总体步骤所示。
[0040] 各步骤的详细描述如下:
[0041] 步骤1、图像数据获取:通过安装在执法办案区域的室内摄像头,获取摄像区域内人员的活动视频,得到基于时间序列的包含人体的图像数据。
[0042] 步骤2、人体检测:使用在目标检测算法中实时性与准确度较高的Faster R-CNN算法,通过将步骤1获得的图像输入到检测网络,最终获得人体检测框图,之后通过NMS(non-maximum supression,非极大抑制)去除多余的人体检测框图,以求使得每个人体都只有唯一的框。
[0043] 步骤3、人体关键点定位:将得到的人体检测框图像输入到SPPE(single-person pose estimator,单人姿势估计)网络中,获得人体关键点分布图。如图2所示为14个人体关键点的示意图,其中白色实心圆圈为各关键点的位置,包括头部、颈部、左右肩膀、左右护肘、左右手腕、左右髋关节、左右膝盖、左右脚踝。
[0044] 步骤4、倒地行为识别:如图3所示为判断每个人体框的流程图,当判断多个人体框时,循环输入即可。输入每张图像中的每个人体检测框及其关键点坐标,首先判断人体检测框与检测区域的空间关系,确定人体是否在检测区域内,若是执行下一步,反之结束本次识别;然后通过人体关键点分布判断该检测人体是否为完整人体,若是则输入到二分类网络,反之结束本次识别,此步有效解决由于人体检测算法不准确,只检测到局部人体而造成的误检;再将人体关键点坐标分布图输入到二分类网络,得到分类结果;最后根据分类结果判断是否为倒地行为,若是则发出警告,反之结束本次识别。
[0045] 在步骤4中的二分类网络,使用了在拥有18层网络的分类网络中加入残差结构组成的ResNet-18(Residual Network-18,残差网络-18层),如图4为残差结构示意图。通过加入残差结构,有效提高网络整体性能,提高识别效果。其中残差结构函数公式为:
[0046] Y=F(x)+x
[0047] 式子中X为输入残差结构的卷积特征;F(x)为快捷连接(shortcut connections),被残差结构包围部分的卷积层输出;Y为残差结构的输出。
[0048] ResNet18网络整体结构如图5所示,其中跨越箭头为残差结构,实线为直接传递,虚线箭头为保持输出维度一致而进行升维;image(图像)输入长宽为224×224;3×3conv,64表示卷积核为3×3,特征维度为64,其他层同理;averge pool(平均池化)层将图像进行维度归一;2-d fc表示两个维度的全卷积层,将512个维度的数据进行全卷积为两个维度;
最后经过softmax(归一化操作)层得到是、否倒地行为的概率值。
[0049] 本发明还提供一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现倒地异常行为识别方法的步骤。
[0050] 本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中所述处理器执行所述程序时实现倒地异常行为识别方法的步骤。
[0051] 以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内,所做的任何修改、等同替换、改进等,同样属于本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈