首页 / 专利库 / 联轴器,法兰和接头 / 机械接头 / 移动关节 / 一种基于体感技术的幼儿园智能监控方法

一种基于体感技术的幼儿园智能监控方法

阅读:346发布:2023-01-26

专利汇可以提供一种基于体感技术的幼儿园智能监控方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种基于体感技术的幼儿园智能监控方法,它包括在幼儿园安装3D体感设备,实时捕捉儿童3D人体骨架图像,提取关键关节 特征向量 ,将特征向量输入到动作分类器中动作进行分类,找出匹配度最高的动作,其中将动作分类通过 机器学习 方法提前训练。本发明通过三维视觉 感知 技术,能够实现对人体动作 姿态 和人物运动轨迹的检测、分析和 跟踪 ,动态的实时的捕捉儿童的动作,进而预测出打架、跌倒、越界等危险动作并提前发出告警,以减少幼儿园事故发生。,下面是一种基于体感技术的幼儿园智能监控方法专利的具体信息内容。

1.一种基于体感技术的幼儿园智能监控方法,其特征在于,包括如下基本步骤:
步骤一,体感设备实时输出空间三维测量数据,得到含深度图信息的RGB图像;
步骤二,针对每RGB图像的深度图信息,同时提取及跟踪1人或多人RGB图像中的人体
3D骨架,所述人体3D骨架为人体主要关节点的坐标数据;
步骤三,根据人体3D骨架的动作特征向量,进行包括对肢体尺寸、参考零点以及方向的儿童危险动作监控目标的归一化处理;
步骤四,筛选主要关节点的坐标数据;
步骤五,从筛选后的坐标数据中提取动作特征向量值,并构建动作特征向量序列;
步骤六,对动作特征向量序列进行归一化处理,形成当前帧的n维多个人体动作特征向量;
步骤七,儿童危险动作识别是将得到的n维多个人体动作特征向量输入动作识别模,进行动作分类识别;如果识别出儿童危险动作,则进入步骤八,否则继续重复步骤一至六;
步骤八,启动视频录制,通过RGB摄像头录制录像;
步骤九,生成告警信息,上报至预警模块;
步骤十,预警模块在预定场所播放预设的对应不同的人体危险动作的告警声,以警示儿童危险动作的继续发生;
步骤十一,通过网络将信息报送至对应管理人员随身的其它智能设备,以便由相关人员采取恰当的措施来阻止儿童危险动作的发生。
2.根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法,其特征在于,步骤四所述筛选主要关节点的坐标数据是指针对儿童跑、跳动作的特点,选取儿童危险动作中权重最高的关节点:左脚、右脚、左膝、右膝、右手、左手、左肘、右肘、头、肩中心、脊柱、臀关节的关节点坐标的数据作为特征向量原始输入值并记为V,该V=[v1,v2,v3,v4,v5,v6,v7,v8,v9,v10,v11,v12]。
3.根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法,其特征在于,步骤五所述动作特征向量序列为二维的时空序列并记为J,该J={j1,...,jt,...jT},其中T为样本序列的长度,而 为时刻t各关节点的原始特征向量输入值v,而 
表示关节点归一化后的三位坐标,包括朝向、身高、三维空间位置的归一化。
4.根据权利要求3所述的一种基于体感技术的幼儿园智能监控方法,其特征在于,所述w为取样关节点的个数,其数值为12;鉴于儿童的动作相对于成人较慢,同时又要兼顾到告警的实时性,时间序列的长度T设置1s,每秒取30帧骨架数据;最终根据关节点动作特征包括速度、位置、度的空间关系进行特征提取,得到行为序列二维W×T特征矩阵 为时刻t的特征向量。
5.根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法,其特征在于,步骤七所述动作识别模块是指一个儿童危险动作分类器,输入待分类的动作特征向量,输出是否为危险动作类别,该分类器由动作训练模块提前训练完成。
6.根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法,其特征在于,步骤七所述动作识别模块是指一个多层的动作分类器,第一层包括对危险动作、正常动作进行分类的两类分类器;第二层包括对摔倒、快速跑动、打架危险动作进行具体分类的多类分类器。
7.根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法,其特征在于步骤七所述的动作识别模块是指一个儿童危险动作分类器,由儿童动作训练模块训练生成,训练方法为,在幼儿园的活动中,通过步骤一至六采集大量特征向量的样本,并进行人工标定分类,采用监督学习方法训练动作分类器;包括针对儿童运动特点而训练的摔倒、快跑、跳跃需要告警的典型动作并形成摔倒动作序列。
8.根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法,其特征在于步骤七所述儿童危险动作是指摔倒动作时空序列,包括肩中心关节、臀中心关节垂直坐标在序列周期内快速下降,肩中心相对角度快速变化。
9.根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法,其特征在于步骤七所述儿童危险动作是指快跑动作时空序列,包括序列周期内骨架朝向一致;左右膝关节、左右脚关节垂直坐标快速变化;骨架在空间坐标快速移动。
10.根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法,其特征在于步骤七所述儿童危险动作是指跳跃动作时空序列,包括周期内左右脚在空间中垂直坐标相对地面坐标高出阈值,并停留一定时间。
11.根据权利要求6所述的一种基于体感技术的幼儿园智能监控方法,其特征在于,所述儿童危险动作分类器为基于二维的空间时序隐尔科夫模型(HMM)训练完成,模型通过寻找连续人体运动来自动学习构成动作的序列,并对序列分类,进而实现对动作的识别,隐马尔科夫模型非常适合处理多变量时变数据匹配问题,故采用隐马尔科夫模型来对行为特征序列进行分类和识别;一个隐马尔科夫模型可用5元组表示:λ={S,V,H,B,π},Sw为状态集合,Vw为空间维度上状态转移矩阵,Hw为时间维度上状态转移矩阵,Bw为输出概率密度,πw为各状态集初始分布概率;或者采用K近邻算法支持向量机的多种分类、回归和数据聚类机器学习算法来训练的儿童危险动作分类器。
12.根据权利要求1所述的一种基于体感技术的幼儿园智能监控方法,其特征在于步骤八所述RGB摄像头录制录像是指拍摄当时小段视频推送至相关管理人员手机或其他能够及时收到信息的其他智能设备;所述小段视频是指既能够保证管理人员能准确判断当时情况,又能够保证及时传输的1秒钟或几秒钟以内的视频。

说明书全文

一种基于体感技术的幼儿园智能监控方法

技术领域

[0001] 本发明属于体感监控技术领域,特别是是涉及一种基于体感技术的幼儿园监控方法。

背景技术

[0002] 3D体感技术是新一代人机交互技术革命,通过体感技术来实现对人物运动轨迹的精确检测和跟踪,并对动作进行分析,这将根本性的促进智能安防的发展。
[0003] 近年来,幼儿园事故频发,校园安全成为全社会关注的焦点,儿童在园期间的安全也成为了家长择校的必备条件;而目前的幼儿园监控系统都是建立在视频监控的基础上,需要专人专时监控,由于有限的人手、有限的精,教师们无法预先得知危险动作的发生,所以不可能做到全面掌握园内全部儿童的安全情况。
[0004] 中国专利申请201410223422公开了“一种幼儿园视频监控方法及装置”,该方案提供了一种远程视频监控装置,需要人员实时的查看视频,做不到实时智能分析儿童的动作姿势行为,从而达不到提前预警的效果。
[0005] 中国专利申请201320180777公开了“一种幼儿园人员监控系统”,该方案使用定位器、识别卡等技术来监控幼儿园人员位置,仅能基于位置信息来进行监控,而不能智能识别出人员的行为动作,满足不了复杂的场景需求。
[0006] 综上所述,如何克服现有技术所存在的不足已成为当今体感监控技术领域中亟待解决的重点难题之一。

发明内容

[0007] 本发明的目的是为克服现有技术所存在的不足而提供一种基于体感技术的幼儿园监控方法,本发明通过三维视觉感知技术,能够实现对人体动作姿态和人物运动轨迹的检测、分析和跟踪,动态的实时的捕捉儿童的动作,进而预测出打架、跌倒、越界等危险动作并提前发出告警,以减少幼儿园事故发生。
[0008] 根据本发明提出的一种基于体感技术的幼儿园智能监控方法,其特征在于,包括如下基本步骤:
[0009] 步骤一,体感设备实时输出空间三维测量数据,得到含深度图信息的RGB图像;
[0010] 步骤二,针对每RGB图像的深度图信息,同时提取及跟踪1人或多人RGB图像中的人体3D骨架的动作特征向量,所述人体3D骨架为人体主要关节点的坐标数据;
[0011] 步骤三,根据人体3D骨架的动作特征向量,进行包括对肢体尺寸、参考零点以及方向的儿童危险动作监控目标的归一化处理;
[0012] 步骤四,筛选主要关节点的坐标数据;
[0013] 步骤五,从筛选后的坐标数据中提取动作特征向量值,并构建动作特征向量序列;
[0014] 步骤六,对动作特征向量序列进行归一化处理,形成当前帧的n维多个人体动作特征向量;
[0015] 步骤七,儿童危险动作识别是将得到的n维多个人体动作特征向量输入动作识别模,进行动作分类识别;如果识别出儿童危险动作,则进入步骤八,否则继续重复步骤一、二、三、四、五和六;
[0016] 步骤八,启动视频录制,通过RGB摄像头录制录像;
[0017] 步骤九,生成告警信息,上报至预警模块;
[0018] 步骤十,预警模块在预定场所播放预设的对应不同的人体危险动作的告警声,以警示儿童危险动作的继续发生;
[0019] 步骤十一,通过网络将信息报送至对应管理人员随身的其它智能设备,以便由相关人员采取恰当的措施来阻止儿童危险动作的发生。
[0020] 本发明的实现原理是:在幼儿园安装3D体感设备,实时捕捉儿童3D人体骨架图像,提取关键关节特征向量,将特征向量输入到动作分类器中动作进行分类,找出匹配度最高的动作,从而达到对危险行为动作的预警,其中将动作分类通过机器学习方法提前训练。
[0021] 本发明与现有技术相比其显著优点在于:
[0022] 一是更加智能化,传统的视频监控方法,需要人员实时查看,而本发明利用体感技术,通过计算机来识别出危险行为动作。
[0023] 二是更具有扩展性,传统的监控方法,只能对人员的位置进行监控,而不能实时分析人员的动作行为,而本发明能够定制采集不同的警告动作,以满足不同场景的需求。
[0024] 三是更好的实用性,本发明的智能设别手段具有较强的预警和告警功能,便于防范于未然,广泛适用于幼儿园的儿童活动区、以及与幼儿园的儿童活动区具有同类安全要求的如 儿童体育活动室、儿童运动场、动物园等场所的智能监控。附图说明
[0025] 图1为本发明提出的一种基于体感技术的幼儿园智能监控系统的原理方框示意图。
[0026] 图2为本发明提出的一种基于体感技术的幼儿园智能监控方法的流程方框示意图。
[0027] 图3为本发明提出的一种基于体感技术的幼儿园智能监控方法的儿童危险动作之摔倒动作时空序列示意图。
[0028] 图4为本发明提出的一种基于体感技术的幼儿园智能监控方法的儿童危险动作之快跑动作时空序列示意图。
[0029] 图5为本发明提出的一种基于体感技术的幼儿园智能监控方法的儿童危险动作之跳跃动作时空序列示意图。

具体实施方式

[0030] 下面结合附图和实施例对本发明的具体实施方式作进一步的详细描述。
[0031] 结合图1-5,本发明提出的一种基于体感技术的幼儿园智能监控方法,包括如下具体步骤:
[0032] 步骤一,体感设备实时输出空间三维测量数据,得到含深度图信息的RGB图像;
[0033] 步骤二,针对每帧RGB图像的深度图信息,同时提取及跟踪1人或多人RGB图像中的人体3D骨架的动作特征向量,所述人体3D骨架为人体主要关节点的坐标数据;
[0034] 步骤三,根据人体3D骨架的动作特征向量,进行包括对肢体尺寸、参考零点以及方向的儿童危险动作监控目标的归一化处理;
[0035] 步骤四,筛选主要关节点的坐标数据,具体是指针对儿童跑、跳动作的特点,选取儿童危险动作中权重最高的关节点:左脚、右脚、左膝、右膝、右手、左手、左肘、右肘、头、肩中心、脊柱、臀关节的关节点坐标的数据作为特征向量的原始输入值,记为V=[v1,v2,v3,v4,v5,v6,v7,v8,v9,v10,v11,v12];所述w为取样关节点的个数,其数值为12;鉴于儿童的动作相对于成人较慢,同时又要兼顾到告警的实时性,时间序列的长度T设置1s,每秒取30帧骨架数据;最终根据关节点动作特征包括速度、位置、度的空间关系进行特征提取,得到行为序列二维W×T特征矩阵 为时刻t的特 征向量;
[0036] 步骤五,从筛选后的坐标数据中提取动作特征向量值,并构建动作特征向量序列;所述动作特征向量序列为二维的空间及时间的序列,J={j1,...,jt,...jT},其中T为样本序列的长度,而 为时刻t关节点原始特征向量,其中 表示关节
点归一化后的三位坐标,包括朝向、身高、三维空间位置的归一化;
[0037] 步骤六,对动作特征向量序列进行归一化处理,形成当前帧的n维多个人体动作特征向量;
[0038] 步骤七,儿童危险动作识别是将得到的n维多个人体动作特征向量输入动作识别模块,进行动作分类识别;如果识别出儿童危险动作,则进入步骤八,否则继续重复步骤一至六;其中:
[0039] 所述动作识别模块是指一个儿童危险动作分类器,输入待分类的动作特征向量,输出是否为危险动作类别,该分类器由动作训练模块提前训练完成;
[0040] 所述动作识别模块是指一个多层的动作分类器,第一层包括对危险动作、正常动作进行分类的两类分类器;第二层包括对摔倒、快速跑动、打架危险动作进行具体分类的多类分类器;
[0041] 所述动作识别模块是指一个儿童危险动作分类器,由儿童动作训练模块训练生成,训练方法为,在幼儿园的活动中,通过步骤一至六采集大量动作特征向量的样本,并进行人工标定分类,采用监督学习方法训练动作分类器;包括针对儿童运动特点而训练的摔倒、快跑、跳跃需要告警的典型动作并形成摔倒动作序列;
[0042] 所述儿童危险动作是指摔倒动作时空序列,包括肩中心关节、臀中心关节垂直坐标在序列周期内快速下降,肩中心相对角度快速变化;
[0043] 所述儿童危险动作是指快跑动作时空序列,包括序列周期内骨架朝向一致;左右膝关节、左右脚关节垂直坐标快速变化;骨架在空间坐标快速移动;
[0044] 所述儿童危险动作是指跳跃动作时空序列,包括周期内左右脚在空间中垂直坐标相对地面坐标高出阈值,并停留一定时间;
[0045] 所述儿童危险动作分类器为基于二维的空间时序隐尔科夫模型(HMM)训练完成,模型通过寻找连续人体运动来自动学习构成动作的序列,并对序列分类,进而实现对动作的识别,隐马尔科夫模型非常适合处理多变量时变数据匹配问题,故采用隐马尔科夫模型来对行 为特征序列进行分类和识别;一个隐马尔科夫模型可用5元组表示:λ={S,V,H,B,π},Sw为状态集合,Vw为空间维度上状态转移矩阵,Hw为时间维度上状态转移矩阵,Bw为输出概率密度,πw为各状态集初始分布概率;或者采用K近邻算法支持向量机的多种分类、回归和数据聚类机器学习算法来训练的儿童危险动作分类器;
[0046] 步骤八,启动视频录制,通过RGB摄像头录制录像;所述RGB摄像头录制录像是指拍摄当时小段视频推送至相关管理人员手机或其他能够及时收到信息的设备;所述小段视频是指既能够保证管理人员能准确判断当时情况,又能够保证及时传输的1秒钟或几秒钟以内的视频。
[0047] 步骤九,生成告警信息,上报至预警模块;
[0048] 步骤十,预警模块在预定场所播放预设的对应不同的人体危险动作的告警声,以警示儿童危险动作的继续发生;
[0049] 步骤十一,通过网络将信息报送至对应管理人员随身的其它智能设备,以便由相关人员采取恰当的措施来阻止儿童危险动作的发生。
[0050] 下面结合附图进一步说明本发明的具体实施例,所举实施例只用于解释本发明,并非用于限定本发明的范围。
[0051] 如图1所示,本发明提出的一种基于体感技术的幼儿园智能监控方法是对基于体感技术的幼儿园智能监控系统的具体应用,所述基于体感技术的幼儿园智能监控系统,包括体感设备、动作识别模块、预设动作库训练输入模块、预警模块;其中:体感设备包括一个红外发射器、红外接收器、RGB摄像头、3D体感芯片,能够实时输出空间的三维数据测量,可选用Kinect体感摄像头、Xtion PRO等体感设备;所述预警模块,该模块连接互联网,对接各类即时通应用;收到预警信息时,播放预警信息,并通过网络推送照片或短视频到相关管理人员的其它智能设备。
[0052] 如图2所示,根据本发明提出的一种基于体感技术的幼儿园智能监控方法的归类步骤的具体实施例如下:
[0053] 步骤1,体感设备实时输出空间三维测量数据,得到含深度图信息的RGB图像;
[0054] 步骤2,提取人体3D骨架,骨架即为人体重要关节点的数据;
[0055] 步骤3,动作识别模块通过骨架信息,识别出动作,具体包括:
[0056] 步骤3.1将人体3D关节坐标进行归一化处理,具体方法为选择一个人体关节坐标为模 型,将得到的肢体矢量放大至模型的长度;
[0057] 步骤3.2筛选出儿童动作关键的关节点数据,共有12个关节点,左脚、右脚、左膝、右膝、右手、左手、左肘、右肘、头、肩中心、脊柱、臀关节关节点;
[0058] 步骤3.3从骨架关节点数据中提取动作特征值,具体是指包括身体高度、倾斜角度、倾斜速度、运动轨迹的特征,并构建动作特征向量序列;
[0059] 步骤3.4将动作特征向量进行归一化处理,形成当前帧的人体动作的n维特征向量,归一化包括大小归一化、位置归一化;归一化的目的在于减少人体差异性和位置差异带来的影响。
[0060] 步骤3.5儿童危险动作识别是将得到的n维动作特征向量输入动作识别模块,进行动作分类识别,如果识别出为危险动作,进入步骤3.6,否则继续重复上述各步骤;动作识别模块是一个多层的动作分类器,第一层为二类的分类器,分为危险动作类、正常动作类,第二层对危险动作进行多类分类器,对危险动作进行具体分类,如摔倒、快速跑动、打架等;由儿童动作训练模块训练生成;训练方法是,在幼儿园的活动中,通过上述各步骤采集大量动作特征向量样本,并进行人工标定分类,采用监督学习方法训练动作分类器;
[0061] 步骤3.6启动视频录制,通过RGB摄像头录制1秒录像;
[0062] 步骤3.7生成告警信息,上报至预警模块;
[0063] 步骤4,预警模块收到告警信息后的实时处理,包括:
[0064] 步骤4.1预警模块在场所播放预设的对应动作的告警声,以警示儿童危险动作的继续发生;
[0065] 步骤4.2通过网络将信息报送至对应管理人员随身的其它智能设备,相关人员采取恰当的措施阻止儿童危险动作的发生。
[0066] 本发明的具体实施方式中凡未涉到的说明属于本领域的公知技术,可参考公知技术加以实施。
[0067] 本发明经反复试验验证,取得了满意的试用效果。
[0068] 以上具体实施方式及实施例是对本发明提出的一种基于体感技术的幼儿园智能监控方法技术思想的具体支持,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在本技术方案基础上所做的任何等同变化或等效的改动,均仍属于本发明技术方案保护的范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈