首页 / 专利库 / 视听技术与设备 / 深度相机 / 基于深度摄像和身高阈值像素标定的自动身高检测方法

基于深度摄像和身高阈值像素标定的自动身高检测方法

阅读:106发布:2020-05-11

专利汇可以提供基于深度摄像和身高阈值像素标定的自动身高检测方法专利检索,专利查询,专利分析的服务。并且本 发明 提供一种基于深度摄像和身高 阈值 像素 标定的自动身高检测方法,解决了地 铁 乘客身高检测的遮挡、准确率不稳定等问题。本发明包括Kinect深度摄像机和贴在固定高度墙面上的乘客购票身高标定点,当人体深度位于标定点深度范围内时,比较人体头顶是否超过标定高度,若超过则标记为需购票乘客。具体系统包括: 深度图 像 采集模 块 ,负责提取人体深度图; 图像处理 模块,提取人体头顶深度轨迹点像素坐标与深度值;购票身高判定模块,比较人体头顶轨迹点与购票身高标定点高度大小,判定并标记乘客是否需要购票。,下面是基于深度摄像和身高阈值像素标定的自动身高检测方法专利的具体信息内容。

1.一种基于深度摄像和身高阈值像素标定的自动身高检测方法,其特征在于:包括以下步骤:
S01、安装摄像机与购票身高标定点,初始化检测场景;
S02、标定购票身高检测深度区域,标定深度图像中购票身高阈值像素位置
S03、提取进入购票身高检测深度区域内的人体运动深度图像;
S04、追踪提取深度图中人体头顶运动轨迹,并获取轨迹点的RGB像素坐标;
S05、比较相同深度的人体头顶轨迹与购票身高阈值像素的位置,当头顶轨迹像素位置高于身高阈值像素位置,则判定为身高超限需购票乘车。
2.如权利要求1所述的基于深度摄像和身高阈值像素标定的自动身高检测方法,其特征在于:所述摄像机垂直于闸机安装界面和购票身高标定点连线,所述购票身高标定点安装高度为乘客需购票的身高阈值H0。
3.如权利要求1所述的基于深度摄像和身高阈值像素标定的自动身高检测方法,其特征在于:步骤S02具体包括:
购票身高阈值检测区域为所有购票身高标定点连线形成的连通区域,购票身高标定点两两连线与闸机界面平行,测量两标定连线所在竖直面与相机的距离LR和LN,且LR>LN,即最远标定点连线AB和最近标定点连线CD的深度值分别为LR和LN,获取RGB图中最远标定点连线AB和最近标定点连线CD间的像素个数n,则每个像素代表的深度值为(LR-LN)/n。
4.如权利要求3所述的基于深度摄像和身高阈值像素标定的自动身高检测方法,其特征在于:所述步骤S03具体包括:检测区域为深度在LN~LR之间的运动人体和物体,当监控场景中人体深度d小于标定点最大深度LR时触发图像采集,即d图像处理模块进行处理。
5.如权利要求4所述的基于深度摄像和身高阈值像素标定的自动身高检测方法,其特征在于:步骤S04具体包括:对输入的人体深度图像,采用Kinect软件人体切割技术分离人体联通区域,对分离的人体连通区域进行分析,分析身体连通区域是否存在深度差值明显的多个面,若不存在明显深度差值的多个面,则以Kinect人体连通区域最高点为人体头顶;
若存在有明显深度差值的面,分离出不同深度面,分别利用人体模型分析是否符合人体特征,若符合人体特征,则标记人体头顶位置,若不符合人体特征,标记为乘客随身携带物品。
6.如权利要求5所述的基于深度摄像和身高阈值像素标定的自动身高检测方法,其特征在于:步骤S04还包括:人体深度轨迹经相机校正后叠加到RGB图中,获取轨迹点的像素位置,从而获得包括轨迹点深度d和像素位置坐标(x,y)的人体头顶轨迹信息。

说明书全文

基于深度摄像和身高阈值像素标定的自动身高检测方法

技术领域

[0001] 本发明涉及视频监控技术领域,特别是涉及一种基于深度摄像和身高阈值像素标定的自动身高检测方法。

背景技术

[0002] 身高是公共交通领域中乘客能够获得购票优惠的关键度量指标,身高检测是判定乘客是否存在逃票行为的首要任务。传统检测手段依赖人工使用度量尺逐一测量乘客身高,效率低,公共交通领域中因人流量大、度量标尺不易移动或携带等原因一直难以应用。在自动化身高检测方法中,利用闸机通道安装身高测量传感器可以有效获取乘客身高,但盲测方法无法区分人和物体,因而不能有效测量叠加人体身高;利用图像检测人体身高的方法需要首先识别人体区域,能够区分人和物体并对人体目标进行定位追踪,是一种较好的人体身高测量方法。
[0003] 在轨道交通乘客环境中,人流量大,从而带来遮挡、人体叠加等不利于图像识别的情况,对一些需要识别地面、人体连通区域的乘客身高检测造成了一定困难。

发明内容

[0004] 本发明所要解决的技术问题是:为了克服现有技术中的不足,本发明提供一种基于深度摄像和身高阈值像素标定的自动身高检测方法,该方法针对现有的基于图像检测身高需要识别完整地面、提取人体连通区域等特殊情形,提供一种基于深度图像和身高阈值检测区域来识别、标记轨道交通乘客是否需要购票乘车的方法。该方法可以在进出站闸机前方划定一片区域设置身高标线,经过该范围的乘客头顶高度超过标线高度即标记为需购票乘客,反之标记为免票乘客,乘客在标定区域内活动时的每一图像都可以完成一次身高检测,重复检测消除了遮挡、人体重叠、人体动作弯曲等情况的不利影响,提高了身高准确性。
[0005] 系统实现了准确、快速、适应复杂情况的地乘客购票身高检测。具体实现由深度图像采集图像处理模块、购票身高判定模块组成。
[0006] 为了实现上述目的,本发明采取了以下技术方案:
[0007] 深度图像采集模块,用于提取地铁乘客深度图像;
[0008] 所述图像采集模块基于Kinect2.0摄像机采集乘客进出站闸机区域时的深度图像,摄像机垂直于进出站闸机界面安装在站厅顶部,调整倾斜,使最佳有效视距位于闸机后的乘客进出站区域。
[0009] 优选地,当人体深度处于购票身高阈值标定区域的深度范围内时,提取地铁乘客的深度图像,用于进一步图像处理中。
[0010] 标定点至少为三个,优选地,购票身高阈值标定点区域由四个标定点构成,所述购票标定点由4个绿色或黄色等鲜艳的彩彩色贴纸组成,标定点固定安装在闸机进口左右两侧墙壁或柱子上,安装高度为乘客需购票的身高阈值H0,前后两条连线与闸机界面平行,ABCD不要求一定为矩形。
[0011] 进一步地,测量两标定点连线所在竖直面与摄像机的最远距离LR和最近距离LN,即最远标定点连线AB和最近标定点连线CD的深度值分别为LR和LN,且LR>LN。
[0012] 人体深度值只有在最大和最小之间才位于检测区域内才能比较高度;小于最小、大于最大就在检测区域外,因此,优选地,当监控场景中人体深度d小于标定点最大深度时触发图像采集模块,即d
[0013] 图像处理模块,分割人体连通区域并追踪人体头顶轨迹点,获取轨迹点的深度及对应RGB像素坐标信息。
[0014] 所述追踪人体头顶轨迹点包括:从每一帧深度图像中获取人体区域,以人体连通区域中的最高点为人体头顶;将每一帧深度图像的人体头顶相连,形成人体头顶轨迹。
[0015] 优选的,采用Kinect软件人体切割技术分离人体联通区域;分析每一帧深度图像上人体连通区域深度值,同一人体深度值应基本处于同一平面内,当人体连通区域内出现深度差值明显的两个连通区域时,分离两个连通区域;采用人体模型分别对两个联通区域进行人体检测,将人体连通区域的最高点标记为头顶;不符合人体模型物体标记为随身携带物品。
[0016] 优选地,人体深度轨迹经摄像机校正后叠加到RGB图中,获取轨迹点的像素位置,从而获得包括轨迹点深度d和像素位置坐标(x,y)的人体头顶轨迹信息。
[0017] 购票身高判定模块,比较RGB图中人体头顶轨迹像素高度与购票身高阈值标定点像素高度,为超过标定高度的人体标记为购票乘车乘客。
[0018] 所述购票身高标定点包括:连接深度图像上的4个身高阈值标定点,形成连通区域,AB点连线和CD点连线平行于闸机、与摄像机垂直,ABCD不要求一定为矩形,ABCD点构成的连通区域内的每个像素点都是购票身高阈值标定点,购票身高阈值标定点的深度不同、代表的空间高度相同。
[0019] 进一步地,AB点连线上所有像素点深度值相同为LR,CD点连线上所有像素点深度值相同为LN,获取AB、CD间垂直线段上的像素个数n,则该垂直线段上的每个像素代表的深度值为(LR-LN)/n;因此,标定区域内每个像素点可以用像素坐标和深度信息来唯一标定,像素坐标y即像素高度,对应空间中的高度。
[0020] 所述判定是否为需要购票乘客包括:比较所述人体头顶轨迹点和购票身高阈值标定点的像素坐标与深度值,当两点的深度值和图像x坐标相同时,比较两点的y坐标大小,即对应的空间高度比较,当人体头顶轨迹高度大于标定高度时标记为购票乘车乘客。
[0021] 优选地,当乘客通过购票身高标定区域时,每一帧图像都可完成一次身高检测,只要人体处于检测区域即可重复检测,可设定人体头顶轨迹比较结果中超过一定百分比的结果为最终结果,消除遮挡、人体弯曲时的人体身高检测误差。
[0022] 本发明基于深度摄像头和购票身高阈值标定结合检测地铁乘客身高是否达到购票标准,利用身高阈值标定点的深度划分检测区域深度范围,身高阈值标定点在RGB图像中的像素坐标y值即代表了空间高度为身高阈值;采用深度摄像头提取进入身高阈值标定点划分的检测区域深度范围内的人体头顶位置,包括头顶深度及其RGB图像坐标,并与相同深度和x坐标的标定点比较y值大小来识别需购票乘客。该方法可在使用闸机通道检查乘客购票情况的场景中使用,对人流遮挡、人体动态变化等干扰因素的抵抗能强,系统可为行人过闸机的行为识别研究提供数据支撑
[0023] 本发明的有益效果是:本发明提供的一种基于深度摄像和身高阈值像素标定的自动身高检测方法,通过人体头顶运动轨迹与身高阈值比对判断乘客是否超高需要购票乘车,不需要分离人体脚部、不需要进行复杂计算获取身高数值,轨迹与身高阈值比对可以重复验证乘客身高是否超限,排除了遮挡、人体非直立状态、异常动作等复杂情况的影响,身高检测准确度高、方法简便。附图说明
[0024] 下面结合附图和实施例对本发明作进一步说明。
[0025] 图1是本发明的自动身高检测方法的流程图
[0026] 图2是本发明的自动身高检测方法的系统结构示意图。
[0027] 图3是本发明的自动身高检测方法的购票身高标定区域示意图。
[0028] 图4是本发明的自动身高检测方法的人体身高检测处理流程图。

具体实施方式

[0029] 现在结合附图对本发明作详细的说明。此图为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
[0030] 如图1所示,本发明提供一个基于深度摄像和身高阈值像素标定的自动身高检测方法,该方法包括:
[0031] 标定乘客购票身高阈值检测区域的深度范围;
[0032] 获取检测区域深度范围内的人体深度图像,提取人体头顶轨迹信息;
[0033] 比较人体头顶轨迹高度是否高于购票身高阈值检测区域标定点高度,是则标记为购票乘车客车。
[0034] 具体地,本实施例的购票身高检测方法和系统实施包括以下步骤:
[0035] S01、安装摄像机与购票身高阈值标定点,初始化检测场景;
[0036] S02、标定购票身高阈值检测区域的深度范围,标定RGB图像中购票身高阈值检测区域的像素范围;
[0037] S03、提取进入购票身高阈值检测区域深度范围内的人体运动深度图像[0038] S04、分离人体连通区域,进行深度差值分析,标记乘客头顶或随身携带物品;追踪提取深度图中人体头顶运动轨迹,并获取轨迹点的深度值与RGB图像素坐标;
[0039] S05、选择购票身高阈值检测区域内深度值、RGB图像x坐标与人体头顶轨迹点相同的点比较y坐标,y值大的空间高度更高,当人体头顶轨迹y值大于同一位置的身高阈值标定点y值时,判定为身高超限需购票乘车。
[0040] 如图1所示,该实施例的地铁乘客身高检测与逃票判定系统包括:
[0041] S01初始化检测场景,完成摄像机和购票身高标定点安装。Kinect深度摄像机垂直于进出站闸机界面安装在站厅顶部,购票身高阈值标定贴纸用3M胶贴在闸机后左右两侧固定高度墙面上,标定贴纸安装高度即乘客需购票的身高阈值H0。
[0042] 如图2所示是本实施例的结构图,A、B、C、D点即标定贴纸,AB连线和CD连线平行于闸机安装界面。图3是本发明的实施例的购票身高阈值标定区域示意图,摄像机安装方向垂直于AB、CD连线。
[0043] 优选地,摄像机垂直于闸机安装界面和购票身高阈值标定点连线,这样做可以使摄像机的有效检测区域正对着检票进站的人流聚集区,从而扩大乘客身高阈值检测区域。进一步优选地,可以设置深度摄像机仅检测固定数量的闸机通道范围,比如2~3个,降低Kinect的处理数据量、提高处理效果,本专利不对此进行限制;优选地,标定贴纸仅用于RGB图像中标定购票身高阈值标定范围坐标,也可通过其它可移动标定点方案实现标定,本专利不对此进行限制。
[0044] S02标定购票身高检测区域深度范围,标定RGB图像中购票身高阈值检测区域的像素范围。所述购票身高阈值标定区域为ABCD连线形成的连通区域。如图3所示,摄像机垂直于AB、CD连线,AB、CD连线的深度值为LR和LN,因此AB点连线上所有像素点深度值相同为LR,CD点连线上所有像素点深度值相同为LN;进一步,获取RGB图中AB、CD间垂线段的像素个数n,则每个像素代表的深度值为(LR-LN)/n,因此标定区域内的所有像素点都可以计算其在摄像机中的深度;所以,标定区域内每个像素点可以用像素坐标和深度信息来唯一表示,像素坐标y即像素高度,对应着空间中的实际高度H0。可以理解,标定范围内的每一个标定点都代表了实际空间中高度为H0,当有人体位于标定点所在的深度、x坐标位置时,人体头顶坐标y比标定点的y值大时,即代表在空间中的实际高度大于H0,因此可以检测乘客身高是否超过优惠标准需要购票。完成检测仅需确定乘客身高最高点,即人体头顶。
[0045] 本实施例的身高检测系统中,通过人体头顶轨迹像素位置和身高阈值标定区域像素位置对比判定乘客是否需要购票乘车,所以不需要寻找人体脚部位置,这在人流密集遮挡普遍的地铁乘车环境中十分适用,身高阈值标定区域像素位置在深度图像中是固定的,身高检测对比仅仅是像素位置大小的对比、无需计算,大大降低了系统的计算开销,使用方便。
[0046] S03提取进入购票身高检测深度区域内的人体运动深度图像。所述检测区域为深度在LN~LR之间的运动人体和物体,深度值在标定区域外的乘客忽略,即深度大于LR或者小于LN,减少人体识别干扰、降低数据处理成本。提取的图像传入S04模块进一步处理。
[0047] S04对人体深度图像进行分析、提取人体头顶运动轨迹,并获取所有轨迹点的RGB像素坐标。优选地,图4是本发明的实施例的人体身高检测处理流程图。对输入的人体深度图像,采用Kinect软件人体切割技术分离人体联通区域,人体分割技术属于Kinect自带功能,不再详述。
[0048] 进一步地,对分离的人体连通区域进行分析,分析身体连通区域是否存在深度差值明显的多个面(通常是两个),若不存在明显深度差值,则以Kinect人体连通区域最高点为人体头顶;若存在深度差值明显的多个面(通常是两个),分离出两个深度面分别利用人体模型分析是否符合人体特征,若符合标记人体头顶位置,若不符合标记为乘客随身携带物品。
[0049] 进一步优选地,人体深度轨迹经摄像机自动校正后叠加到RGB图中,获取轨迹点的像素位置,从而获得包括轨迹点深度d和像素位置坐标(x,y)的人体头顶轨迹信息。深度摄像机的特点是能够提取运动物体及其深度值,运动物体与静态背景叠加形成RGB图像,因此,提取每一帧运动图像中的人体头顶形成运动轨迹,该轨迹经校正后叠加到RGB图中,这种方法可以显著降低人体深度信息提取数据量、提高系统效率。
[0050] S05判定乘客是否需要购票乘车。人体头顶轨迹与购票身高标定点同时处于RGB图中,选择身高阈值标定区域内与人体头顶轨迹点的深度、x坐标相同的标定点,比较两点的像素高度,当人体头顶轨迹点像素高度值更大时判定为需购票乘车乘客。具体地,比较所述人体头顶轨迹点和购票身高阈值标定点的像素坐标x与深度值,当两点的深度值d和图像x坐标完全相同时,比较两点的y坐标大小,即对应的空间高度比较,当人体头顶轨迹y值更大时标记为购票乘车乘客。
[0051] 优选地,当乘客通过购票身高阈值标定的检测区域深度范围时,每一帧图像都可完成一次身高检测,只要人体处于检测区域深度范围内即可重复检测,可设定人体头顶轨迹比较结果中超过一定百分比的结果为最终结果,消除遮挡、人体弯曲时的人体身高检测误差。
[0052] 本实施例中分析了人体连通区域可能存在明显多个深度值面,进而采用人体模型对分离的深度差值面进行拟合分析,能够准确识别贴身而站的多名乘客和携带随身物品的各种复杂情况,提高了人体识别的准确度。
[0053] 优选地,运动人体头顶轨迹中每个点都可以进行一次身高检测,重复多次检测可以有效排除头顶识别错误、人体非直立状态、人体遮挡等复杂情况带来的身高误判,提高了身高检测准确度。同时,仅提取购票身高阈值标定的检测区域深度范围内的人体运动深度图,该区域位于摄像机的最佳检测范围内,提高了检测质量。识别人体后仅提取头顶轨迹,大大降低了图像处理的数据量,提高了RGB图中身高对比检测的准确度,有效提高了系统效率。
[0054] 可以理解的是,以上实施方式仅是为了说明本发明的原理而采取的示例性实施方式,然而本发明并不局限于此。对于本领域的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈