基于深度图像的人数统计方法及其系统
阅读：369发布：2021-08-01
专利汇可以提供基于深度图像的人数统计方法及其系统专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于 深度图 像 的人数统计方法及其系统，涉及人数统计技术领域，其中测量方法的定制步骤为：所述定制包括如下步骤：根据所述 深度相机 位置 信息和预设的人体身高区间，对所述深度相机的深度图像测量区间进行定制；将所述位置信息与所述人体身高区间的差作为定制测量范围，得到小于所述测量区间的深度区间；根据该小于所述测量区间的深度区间，得到搜索范围小的 像素 区间。本发明通过定制测量范围，可以避免人数统计过程中进行 图像分割 ，提高了计数的准确性，减小了匹配计算的计算量，提高了计算效率和采集 帧 数。，下面是基于深度图像的人数统计方法及其系统专利的具体信息内容。
1.一种基于深度图像的人数统计方法，基于深度相机进行处理，该处理包括光学投影、光学图像接收、匹配计算、深度图像获取、人数统计的步骤，其特征在于：所述匹配计算根据由定制的深度测量范围得到的像素区间作为匹配计算的搜索范围进行匹配，所述深度图像获取通过该像素区间获取像素偏离值进行深度图像获取，所述人数统计通过获取的深度图像进行人数统计，所述定制包括如下步骤：
获取所述深度相机的位置信息和预设的人体身高区间，将所述位置信息与所述人体身高区间的差作为定制测量范围，得到小于所述测量区间的深度区间；
根据该小于所述测量区间的深度区间，得到搜索范围小的像素区间。
2.如权利要求1所述的人数统计方法，其特征在于：包括至少一个预设的所述人体身高区间，对应至少一个预设的人数统计场景。
3.如权利要求2所述的人数统计方法，其特征在于：人数统计场景的设置包括通过所述深度相机上的硬件按钮进行实体按键式设置，所述硬件按钮对应相应预设人数统计场景。
4.如权利要求2所述的人数统计方法，其特征在于：人数统计场景的设置包括通过所述深度相机上的场景设置模块进行非实体按键式设置，所述场景设置模块对应相应预设应用场景下的所述定制测量范围。
5.如权利要求3-4任一项所述的人数统计方法，其特征在于：当所述深度相机已设置在相应预设人数统计场景下时，还包括以下步骤：
所述深度相机采集当前人数统计场景的深度图像的深度信息；
将所采集的深度信息与所述深度相机当前的所述定制测量范围进行对比；
根据对比结果自动调整当前的所述定制测量范围的最大深度值和最小深度值，获得与当前人数统计场景相符合的所述定制测量范围。
6.如权利要求2所述的人数统计方法，其特征在于：所述深度相机设置于支架上，根据定制深度范围内的区间和支架宽度确定深度相机的有限测量区间，超过该有限测量区间的像素不予计算。
7.一种基于深度图像的人数统计系统，其特征在于：基于上述权利要求1-6任一项所述的人数统计方法进行人数统计，包括人数统计模块和深度相机，所述深度相机包括光学投影模块、图像采集模块和处理器，所述光学投影模块用于向目标空间投射结构光图案；所述图像采集模块用于采集目标空间结构光图案对应的光学图像和参考图像；所述处理器根据由定制的深度测量范围得到的像素区间作为搜索范围对光学图像和参考图像进行匹配计算，根据匹配计算获得的像素偏离值得到目标的深度图像，所述人数统计模块根据深度图像进行人数统计。
8.如权利要求7所述的人数统计系统，其特征在于：所述深度相机还包括硬件按钮，用于通过实体形式选择预设应用场景并切换。
9.如权利要求7所述的人数统计系统，其特征在于：所述深度相机还包括场景设置模块，用于通过非实体形式选择预设应用场景并切换。
10.如权利要求7所述的人数统计系统，其特征在于：所述人数统计模块为设于所述深度相机上的人数统计处理器，或与所述深度相机联网的移动设备，或与所述深度相机联网的云服务端。
基于深度图像的人数统计方法及其系统
技术领域
[0001] 本发明涉及人数统计技术领域，特别是涉及一种基于深度图像的人数统计方法及其系统。
背景技术
[0002] 人数统计在日常生活中有着广泛的应用，比如旅游景点、商场、展会、汽车以及轮船等等场景下都需要对出入人数进行统计。传统的靠人计数的方式需要投入专门的人力，同时靠机械设备的计数亦需要投入大量的成本，此外这些传统的计数方法都无法快速地进行统计，计数效率及准确率都有待提高。
[0003] 基于图像的人数统计方法依靠对出入口处进出人数的图像进行分析和处理，能快速地实现人数计数，因而越来越被重视，将会成为主流的计数方式。近年来，随着深度相机设备的广泛使用，由于深度图像相比于普通的RGB图像能更加准确地实现图像分割，从而能更加准确地进行人数统计，将会有更加广泛的应用前景。
[0004] 在利用深度相机进行人数统计时，首先要进行图像分割，即将人体从图像中分割出来，分割的效果将直接决定计数的准确性。图像分割的方法有多种，目前被广泛采用的有基于阈值的分割方法、背景差分的分割方法以及基于光流的分割算法等等。无论那种方法都是基于整个目标场景的深度图像被获取之后进行的。
[0005] 以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
[0006] 本发明目的在于提出一种基于深度图像的人数统计方法及其系统，以解决上述现有技术存在的需要对获得的深度图像进行图像分割、影响计数的准确性和计数速度慢的技术问题。
[0007] 为此，本发明提出一种基于深度图像的人数统计方法，基于深度相机进行处理，该处理包括光学投影、光学图像接收、匹配计算、深度图像获取、人数统计的步骤，所述匹配计算根据由定制的深度测量范围得到的像素区间作为匹配计算的搜索范围进行匹配，所述深度图像获取通过该像素区间获取像素偏离值进行深度图像获取，所述人数统计通过获取的深度图像进行人数统计，所述定制包括如下步骤：
[0008] 获取所述深度相机的位置信息和预设的人体身高区间，将所述位置信息与所述人体身高区间的差作为定制测量范围，得到小于所述测量区间的深度区间；
[0009] 根据该小于所述测量区间的深度区间，得到搜索范围小的像素区间。
[0010] 优选地，本发明的方法还可以具有如下步骤：
[0011] 包括至少一个预设的所述人体身高区间，对应至少一个预设的人数统计场景。
[0013] 人数统计场景的设置包括通过所述深度相机上的场景设置模块进行非实体按键式设置，所述场景设置模块对应相应预设应用场景下的所述定制测量范围。
[0014] 当所述深度相机已设置在相应预设人数统计场景下时，还包括以下步骤：
[0015] 所述深度相机采集当前人数统计场景的深度图像的深度信息；
[0016] 将所采集的深度信息与所述深度相机当前的所述定制测量范围进行对比；
[0017] 根据对比结果自动调整当前的所述定制测量范围的最大深度值和最小深度值，获得与当前人数统计场景相符合的所述定制测量范围。
[0018] 所述深度相机设置于支架上，根据定制深度范围内的区间和支架宽度确定深度相机的有限测量区间，超过该有限测量区间的像素不予计算。
[0019] 另外，本发明还提供了一种基于深度图像的人数统计系统，基于上述所述的人数统计方法进行人数统计，包括人数统计模块和深度相机，所述深度相机包括光学投影模块、图像采集模块和处理器，所述光学投影模块用于向目标空间投射结构光图案；所述图像采集模块用于采集目标空间结构光图案对应的光学图像和参考图像；所述处理器根据由定制的深度测量范围得到的像素区间作为搜索范围对光学图像和参考图像进行匹配计算，根据匹配计算获得的像素偏离值得到目标的深度图像，所述人数统计模块根据深度图像进行人数统计。
[0020] 优选地，本发明的系统还可以具有如下技术特征：
[0021] 所所述深度相机还包括硬件按钮，用于通过实体形式选择预设应用场景并切换。
[0022] 所述深度相机还包括场景设置模块，用于通过非实体形式选择预设应用场景并切换。
[0023] 所述人数统计模块为设于所述深度相机上的人数统计处理器，或与所述深度相机联网的移动设备，或与所述深度相机联网的云服务端。
[0024] 本发明与现有技术对比的有益效果包括：本发明提出了能够直接由深度相机测量出人体前景图像的方法，通过预设的人体身高区间和设置在支架上的位置信息进行深度测量范围的定制，以获得定制测量范围和深度区间，进而转化成对应的匹配计算的搜索范围，从而提高匹配计算算法效率，相比于已有技术，由于定制的深度测量范围小于深度相机已经确定的测量范围，因而在进行匹配计算时搜索区域也相应变小，可以较大幅度提高匹配计算的计算速度，进而降低系统处理的计算量，通过这种深度测量范围的定制可以提高深度相机的采集帧数。另外由于通过人体身高区间进行定制深度范围的定制，所以相比于传统基于深度相机的人数统计方法相比，本发明所述的深度相机可以根据人体出现的深度区间直接测量出对应的人体深度信息，所得的深度信息中不包含背景信息，可以直接被用来进行人体识别与计数，从而避免了图像分割的步骤，一方面能避免图像分割带来的误差，另一方面能很大程度上提升了人数统计的速度，提高了人数统计的准确性与效率。
[0025] 优选方案中，本发明可以通过实体按键式或非实体按键式进行人数统计场景的设置，实体按键式通过在深度相机上设置的硬件按钮，通过硬件按钮事先选定深度相机的人数统计场景，进而使得深度相机在该人数统计场景下对应的定制测量范围进行工作，操作简单方便，同时，采用非实体按键式是通过在深度相机内设场景设置模块，该场景设置模块可配合深度相机的交互软件或其他软件进行非实体按键式设置，这种方式对深度相机的实体结构改变较小，局限性小，应用广。
[0026] 同时，当所述深度相机已设置在相应预设人数统计场景下时，可对定制测量范围的自动选择调整，这样可以使得的处在人数统计场景下的定制测量范围调整地更加合理，进而进一步降低计算量，自动选择可以由深度相机自动定制，系统根据实时的人数统计场景获取的深度图像的最大和最小的深度值实时计算出对应深度区间进行匹配计算，这样可将深度区间控制在最合理的范围，进而将计算量降低值最小，提高深度相机的采集帧数。
[0028] 图1是本发明具体实施方式一的流程图；
[0029] 图2是本发明具体实施方式一和二的系统工作示意图。
具体实施方式
[0030] 下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
[0031] 参照以下附图1-2，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。
[0032] 以下实施例所述方法和系统主要针对基于结构光技术的深度相机，目前基于结构光技术的深度相机一般包含光学投影模块3以及图像采集模块2，光学投影模块3用于向目标空间投射结构光图案，而图像采集模块2则用于采集带有结构光图案的光学图像，以下实施例中，结构光图案指散斑颗粒图案。获取深度信息的原理是将采集到的光学散斑图像与系统中存取的参考图像进行匹配计算获取像素偏离值，再通过三角测量原理利用像素偏离值与实际深度值的一一对应关系就可以获取目标空间的深度图像。这里的参考图像是通过采集距离深度相机已知深度值的平面上的光学散斑图像而获取的。
[0033] 当深度相机的光学投影模块3以及图像采集模块2都确定后，该深度相机能测量的最大以及最小深度范围也就确定了，超过深度测量范围的目标的测量结果将会不准确。
[0034] 光学散斑图案与参考图像的匹配计算速度决定了深度相机获取目标深度图像的采集频率，当匹配计算的搜索范围较大时，匹配算法将消耗更多的计算资源以及更多的时间，从而导致深度相机的采集频率变小，用户交互的体验较差。因而在深度相机的测量范围内，如果可以针对具体应用对应的深度区间，并仅对该深度区间进行测量则会提高深度相机的计算速度以及采集频率。
[0035] 人数统计按照应用场合一般可以分为断面式与区域式。其中断面式指通过统计狭小区域的人数，比如门、通道等，这一种主要用于统计人流量；而区域式指统计较大区域内的人数，这一种主要用于监控。
[0036] 本发明主要针对断面式人数统计，即用于统计人流量。在门或通道上方固定用于获取深度图像的深度相机，采集到人体深度图像后利用计算机等计算设备进行人数统计。优选地，深度相机中集成了用于人数统计的人数统计模块1，采集到深度图像后利用自身的人数统计模块1完成人数统计任务。也可以有其他的实现方式，比如人数统计模块1可以是联网的移动设备，或者在云端的处理器设备等，在此不做限制。
[0037] 实施例一：
[0038] 本实施例提供了一种基于深度图像的人数统计方法，本实施例基于设有人数统计模块1和设于支架5上的深度相机，将采取以下的步骤S1-S4:
[0039] 首先，步骤S1：获取所述深度相机设置在支架上的位置信息和预设的人体身高区间，获得深度区间；
[0040] 深度相机将被放置在支架5(门或通道等)的上部，测量方向朝下。对于已有的技术，当人通过支架5时，深度相机可以采集到包含背景以及人体的深度图像。实际上，当深度相机被固定后，假如离地图高度为3m，那么人体经过支架5时，仅统计人体身高区间为1.5～2m范围内的人体即可。因而深度相机仅需要测量距离其1～1.5m区间内物体的深度信息即可，而且该区间内的深度图像也一定是人体，且不包含背景图像，可以直接用来进行人体识别与计数。
[0041] 当然可以包括至少一个预设的所述人体身高区间，用于不同身高的人群，对应至少一个预设的人数统计场景。
[0042] 一般地，当深度相机的位置确定后，根据人体身高区间以及出入的位置可以确定出深度相机测量的深度区间，如上面所述，当深度相机设置在支架5的正上方距离地面3m时，可以将深度区间设置在1～1.5m。在对具体人数统计场景进行深度范围的定制时，可以通过多种方法，其中一种是在深度相机增加硬件按钮，提前设置好多种不同的人体身高空间，分别对应当前的人体身高空间为1.5～2m，1～1.5m以及0.5～1m等等，采用硬件按钮的实体按键的形式，可提前通过硬件按钮进行设置相应应用场景，简单方便。
[0043] 同时，还可根据实际情况选择通过非实体按键式进行提前设置人数统计场景，另外一种可以通过场景设置模块和软件的进行定制，即在应用之前通过深度相机内部或者其他软件对测量范围进行设置，这种设置形式无需对深度相机的实体结构做出大的改变，通过软件进行提前设置，场景的局限性小，应用广。
[0044] 同时可由深度相机进行智能自主定制，自动选择设置中，所述深度区间的获取包括如下步骤：所述深度相机采集当前应用场景的深度图像的深度信息；获取当前的所述深度信息的最大深度值和最小深度值作为定制测量范围，得到小于测量区间的深度区间。
[0045] 对于需提前设置应用场景的情况，即当深度相机所采集的深度图像中最大深度值小于测量范围时，即自动将测量范围定制为与当前场景相符合的测量范围。具体为，当所述深度相机已设置在相应预设应用场景下时，还包括以下步骤：
[0046] 所述深度相机采集当前人数统计场景的深度图像的深度信息；
[0047] 将所采集的深度信息与所述深度相机当前的所述定制测量范围进行对比；
[0048] 根据对比结果自动调整当前的所述定制测量范围的最大深度值和最小深度值，获得与当前人数统计场景相符合的所述定制测量范围。
[0049] 以上所述的定制测量范围是指深度相机在深度方向(即Z向)上的范围定制，实际上深度相机在平面方向(XY方向)上所测量到的图像要大于支架，也就是说支架外部有部分区域也将被深度相机采集到图像。为了进一步减小计算量，可以根据定制深度范围内的区间和支架宽度确定深度相机的有限测量区间，超过该有限测量区间的像素不予计算。图2中6所示的区间即为有限测量区间。
[0050] 其次，步骤S2：根据深度区间计算出像素区间；
[0051] 如前所述，基于结构光的深度相机是将采集到的光学散斑图像与系统中存取的参考图像进行匹配计算获取像素偏离值，再通过三角测量原理利用像素偏离值就可以获取目标空间的深度图像。其中关键步骤是利用匹配计算获取像素偏离值。匹配算法的原理是将当前需要计算的像素作为中心，选取以该像素为中心的子区(比如7x7或11x11像素的子区)，然后在参考图像中搜索相同大小的子区，当匹配系数达到阈值后就认为两个子区为相同子区，两个子区中心像素的偏离值即为匹配算法的输出结果。在进行搜索时，一般为了增加匹配速度，为对搜索范围进行限定。对于基于结构光的深度相机，像素的偏离一般仅沿与投影模块与图像采集模块2连线的方向，因而在搜索时将搜索范围限定在这一方向即可。
[0052] 实际上，一旦当前应用的深度区间确定后，对于超出该深度区间的深度范围则可以不予考虑，在考虑搜索范围时则可以进行进一步的限定。具体地，由三角法原理，已知偏离值的情况下，深度值可以由公式 计算出，其中B是图像采集模块2与光学投影模组之间的距离，Z0为参考散斑图离图像采集模块2的深度值，f为图像采集模块2镜头的焦距，Δ为偏离值。相反地，当深度区间确定后，偏离值的范围即像素区间也就可以通过以下公式确定：
[0053]
[0054] 其中，深度区间为[Zmin,Zmax]。Zmin为最小深度值，Zmax为最大深度值，这里的深度区间范围小于该深度相机的测量范围。
[0055] 步骤S3：将像素区间作为匹配算法的搜索范围，计算像素偏离值，进一步获取深度图像。
[0056] 将上一步中计算得到的像素区间作为当前深度相机匹配算法的搜索范围，并在该搜索范围内计算偏离值Δ，最后根据公式 计算出深度值。
[0057] 根据以上原理，在深度区间以外的物体，原则上该物体对应的像素子区在与参考图像进行匹配计算时，在由以上方法确定的搜索范围内将无法搜索到对应的子区，此时就认为该物体不在当前深度区间内，将其作为背景图像，该处的深度值可以直接赋值为0或者最大像素值(比如255)。
[0058] 通过这种定制的测量范围后，由于匹配算法的搜索区域变小，因而能较大程度上提高匹配算法效率。
[0059] 步骤S4：根据深度图像进行人体识别以及计数。
[0060] 在获取深度图像后，进行人数统计一般经过两个步骤：人体识别以及人数统计。人体识别即识别出深度图像中哪些像素对应的是人体以及有几个人体，人数统计需要对各个人体进行跟踪，统计出经过通道的总人数。
[0061] 人体识别算法有多种，其中基于模板的方法简单有效得到较为广泛的应用。即根据人头部的圆形特征，对获取的深度图像中识别出各个峰值，然后获取峰值区域的轮廓，并判断该轮廓是否与模板匹配，从而识别是否为人体。此外，为了减少误判率，也可以在模板中加入肩部的模型。
[0062] 人体跟踪的算法比如有camshift、粒子滤波等等。通过跟踪算法可以获取每个人体的运动轨迹。在进行计数时，每当有新的人体出现时计数加1，在跟踪算法能有效识别出某个人体的运动时，则认为该人体已经计数。
[0063] 实施例二：
[0064] 基于实施例一的方法，提出了一种基于深度图像的人数统计系统，包括人数统计模块1、支架5和设于支架5上的深度相机，所述深度相机包括光学投影模块3、图像采集模块2和处理器4，所述光学投影模块3用于向目标空间投射结构光图案；所述图像采集模块2用于采集目标空间结构光图案对应的光学图像和参考图像；所述处理器4用于光学图像和参考图像在搜索范围内的匹配计算，根据匹配计算获得的像素偏离值得到目标的深度图像，所述人数统计模块根据深度图像进行人数统计。
[0065] 可在所述深度相机设置硬件按钮，用于通过实体形式选择预设应用场景并切换。或者在所述深度相机设场景设置模块，用于通过非实体形式选择预设应用场景并切换。
[0066] 此外，由于存储单元在所有的计算设备中均有设置，因而本实施例中所述的人数统计系统还包含有存储单元。存储单元可以用来存储处理器用于计算的数据，比如参考图像、定制的深度区间值或搜索范围等。在本实施例中，当应用场景通过实体或者非实体形式确认后，其对应的深度区间值将会被处理器保存到存储单元中，或者深度区间经处理器进一步计算得到搜索区间后被保存到存储单元中。在随后的深度图像获取中，处理器可以直接调用其中的深度区间或者搜索区间进行深度图像计算。
[0067] 由深度区间通过以下公式可以得到搜索范围对应的像素区间：
[0068]
[0069] B是图像采集模块2与光学投影模组之间的距离，Z0为参考散斑图离图像采集模块2的深度值，f为图像采集模块2镜头的焦距，Δ为偏离值，深度区间为[Zmin,Zmax]。Zmin为最小深度值，Zmax为最大深度值。
[0070] 所述人数统计模块1为设于所述深度相机上的人数统计处理器，或与所述深度相机联网的移动设备，或与所述深度相机联网的云服务端，可以根据实际情况设置。
[0071] 本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。
[0072] 尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其作出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 具有追踪功能的自动驾驶系统 | 2020-05-11 | 955 |
| 一种基于视觉信息的环境语义感知方法 | 2020-05-08 | 818 |
| 一种基于图像修复的三维目标检测方法和系统 | 2020-05-11 | 407 |
| 一种圆柱玻璃表面质量视觉检测系统与方法 | 2020-05-11 | 191 |
| 健康监测的预警方法及系统 | 2020-05-08 | 72 |
| 一种自动调节空调制冷量、制热量的方法及空调 | 2020-05-11 | 72 |
| 一种基于虚拟训练的机器人智能抓取方法 | 2020-05-11 | 523 |
| 一种基于三维成像分析的情绪状态综合判定方法 | 2020-05-11 | 229 |
| 基于深度学习的单目视觉里程计方法及系统 | 2020-05-08 | 832 |
| 彩钢瓦表面缺陷的CNN语义分割自学习检测方法 | 2020-05-08 | 580 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈