技术领域
[0001] 本公开涉及
计算机视觉领域，特别是一种大规模人群视频分析系统和方法。
背景技术
[0002] 在人群比较容易密集的场所，比如火车站、
汽车站、电影院、大型超市等，经常发生由于人群踩踏引起的伤亡事件。虽然我国现有的视频
监控系统已具备一定程度的规模，这些视频监控系统在及时响应公共安全事件和治安保障中起着重要作用，且各种视频监控系统被广泛地应用于各种场景中，但是现在大多监控依靠人工监控，亟需探索和研究智能视频监控用于安防，帮助监控人员完成智能趋势预测、特征事件
定位等任务，为突发事件
预防、可疑线索追查等提供有效帮助。
发明内容
[0003] 针对上述部分问题，本公开提供了一种大规模人群视频分析系统和方法。
[0004] 一种大规模人群视频分析系统，所述系统包括人群
密度计算模
块、人群前景分割模块、人群
跟踪模块、人群状态分析模块、事件判定模块；其中：
[0005] 所述人群密度计算模块用于获取监控视频图像数据中某
帧图像所
覆盖视野范围内的人群数量；
[0006] 所述人群前景分割模块用于获取监控视频图像数据中某帧图像所覆盖视野范围内的前景和背景分割后、前景中的人群区域；
[0007] 所述人群跟踪模块用于获取监控视频图像数据中某帧图像所覆盖视野范围内的人群运动方向与速度；
[0008] 所述人群状态分析模块基于得到的人群数量、人群区域、人群运动方向与速度进行处理分析，并将分析结果送入事件判定模块；
[0009] 所述事件判定模块用于判定人群事件是否异常；
[0010] 所述人群事件是指在监控区域内，达到一定规模的人群出现某种群体特征性行为。
[0011] 一种用于实现大规模人群视频分析系统的方法，所述方法包括下述步骤：
[0012] 本公开能够帮助监控人员完成智能趋势预测、特征事件定位等任务，为突发事件预防、可疑线索追查等提供有效帮助。
附图说明
[0013] 图1本公开一个
实施例中关于大规模人群视频分析系统
数据处理流示意图；
[0014] 图2本公开系统的一个实施例中完全
卷积神经网络的网络结构示意图；
[0015] 图3本公开方法的一个实施例中完全卷积神经网络的网络结构示意图。
具体实施方式
[0016] 在一个
基础的实施例中提供了一种大规模人群视频分析系统，所述系统包括人群密度计算模块、人群前景分割模块、人群跟踪模块、人群状态分析模块、事件判定模块；其中：
[0017] 所述人群密度计算模块用于获取监控视频图像数据中某帧图像所覆盖视野范围内的人群数量；
[0018] 所述人群前景分割模块用于获取监控视频图像数据中某帧图像所覆盖视野范围内的前景和背景分割后、前景中的人群区域；
[0019] 所述人群跟踪模块用于获取监控视频图像数据中某帧图像所覆盖视野范围内的人群运动方向与速度；
[0020] 所述人群状态分析模块基于得到的人群数量、人群区域、人群运动方向与速度进行处理分析，并将分析结果送入事件判定模块；
[0021] 所述事件判定模块用于判定人群事件是否异常；
[0022] 所述人群事件是指在监控区域内，达到一定规模的人群出现某种群体特征性行为。
[0023] 在这个实施例中，所述系统能够为监控人员完成智能趋势预测、特征事件定位等任务提供数据支持，为突发事件预防、可疑线索追查等提供有效帮助。所述图像数据可以直接是一帧完整的视频截图，也可以是已处理成方便相应模块进行进一步处理的图像数据，还可以是为方便传输进行压缩处理后的图像数据，然后在接收该图像数据的模块中进行相应的解压缩处理，等等。在人群状态分析模块中，其进行的处理分析主要是基于得到的人群数量、人群区域、人群运动方向与速度来分析确定监控区域的人群所处的人群事件是什么类型的人群事件，进而将该人群事件的结论发送给事件判定模块，通过事件判定模块根据制定的判断规则来判断该人群事件是否存在异常。所述人群事件的类型可能因不同系统对人群事件的分类不同而不同。
[0024] 在一个实施例中，提供了人群密度计算模块计算人群数量的优选计算模型，即：所述人群密度计算模块采用深度卷积神经网络(DCNN，Deep Convolutional Neural Network)模型来进行人群密度估计进而得到人群数量。
[0025] 所述深度卷积神经网络模型的学习目标为映射F：X→D，其中X表示训练集中图像的
像素特征，D表示人群密度图像。该模型具有如下特点：在学习人群特征上具有良好的有效性和鲁棒性，不需要额外的标识工作，并且与图像前景分割是独立的，因此能够获得更合理的计算结果。在人群密度计算模块使用该模型，可以为后续的分析提供可靠的数据支持，进而在发生异常的人群事件时，能为监控者的决策提供帮助。
[0026] 在一个实施例中，提供了人群前景分割模块的优选分割模型，即：所述人群前景分割模块采用完全卷积神经网络(FCNN，Fully Convolutional Neural Network)模型来计算人群区域。
[0027] 完全卷积神经网络相对传统的卷积神经网络，能够适用于图片尺度变化的情况，使用更加灵活方便。
[0028] 在一个实施例中，提供了人群跟踪模块的优选计算人群运动方向与速度的方法，即：所述人群跟踪模块采用KLT
算法(Kanade-Lucas-Tomasi)来得到人群运动方向与速度。
[0029] 虽然采用光流法进行运动物体检测的问题主要在于大多数光流法计算耗时，实时性和实用性都较差，但是光流法的优点在于光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。
[0030] 在一个实施例中，所述人群密度计算模块将人群密度图像映射表达式实现为一个核心单元，即：所述人群密度计算模块包括人群密度图像映射单元，所述人群密度图像映射单元的表达式为：
[0031]
[0032] 其中：
[0033] Di(p)为密度图像D中第i个人周围的点p；
[0034] Z为归一化参数；
[0035] Pi为第i个标记的人；
[0036] Nh是作为头部模型的正规化的2D高斯核函数；
[0038] σh为Nh的方差；
[0040] Pb为人身体的位置；
[0041] ∑为Nb的协方差矩阵。
[0042] 上述映射能够保证在一个密度映射中所有密度值在整体上是等于原图中人群数量。
[0043] 在一个实施例中，对产生人群事件的群体特征性行为进行了划分，进一步明确本公开系统要监测的人群行为，即：所述群体特征性行为包括人群密集、人群聚集、人群滞留、人群跑动和人群逆行；
[0044] 所述人群密集指对过去的T1秒监控区域内的人数平均值超过设置的参数
阈值；
[0045] 所述人群聚集指监控区域内停留下来聚集在一起的人群区域内的人数超过设置阈值；
[0046] 所述人群滞留指对监控图像中的人群特征点进行跟踪，所述人群特征点的运动距离在时间T2内低于设置的阈值；
[0047] 所述人群跑动指监控区域内运动速度大于速度阈值V的人的数量超过数量阈值N1；
[0048] 所述人群逆行指监控区域内的禁行区域内沿逆行方向运动的人的数量超过阈值N2；
[0049] 其中，T1、T2、V、N1和N2为预设值或能够
修改的自定义值。
[0050] 根据上述群体特征性行为的划分，本公开要监测的人群事件包括人群密集、人群聚集、人群滞留、人群跑动和人群逆行，进而在系统中为了标识人群事件，可以为每个人群事件分配事件ID。
[0051] 进一步地，通过该实施例，也暗含了在系统的事件判断模块如何判断人群事件异常。
[0052] 对于人群密集事件，所述事件判定模块通过对过去T秒内区域内人数平均值进行统计来，若超过设置的参数阈值，则判断区域内人群密集；其中T为预设值或能够修改的自定义值。在一个实施例中，所述T为10秒。
[0053] 对于人群聚集事件，所述事件判定模块通过对图像中停留下来聚集在一起的人群区域内的人数进行统计，如果超过设置阈值，则判断区域内发生异常聚集。
[0054] 对于人群滞留事件，所述事件判定模块通过对图像中的人群特征点进行跟踪；一段时间内运动距离越短的说明
停留时间越久，当停留时间超过设置的阈值时，则说明区域内有人群滞留。
[0055] 对于人群跑动事件，所述事件判定模块通过计算场景下跟踪特征点的运动速度，统计运动速度大于阈值T1的特征点的个数，当特征点个数大于阈值T2时，表明场景下发生了异常跑动；其中T1、T2为预设值或能够修改的自定义值。
[0056] 对于人群逆行事件，所述事件判定模块通过禁行区域内沿逆行方向运动的特征点的个数进行统计，如果超过阈值N个，则判断区域发生逆行；其中N为预设值或能够修改的自定义值，比如N为10。
[0057] 更优地，所述系统确定了在一段事件内连续监测到的人群事件是否为同一人群事件的方法，即：所述群体特征性行为中的某种行为在连续多次出现时，若相邻两次的时间间隔大于设定时间，则相邻两次出现的该种行为被认为是两次事件，否则相邻两次出现的该种行为被认为是一次事件。比如，在人群密集事件中，若相邻的两次人群密集事件如果间隔大于60秒，则判定为两次事件。在人群聚集事件中，若相覆盖区域内的两次人群密集事件如果间隔大于60秒，则判定为两次事件。在人群滞留事件中，若相同滞留区域内发生的滞留事件如果相隔10秒内，则判定为同一个滞留事件。在人群跑动事件中，若相邻的两次人群跑动事件如果间隔大于60秒，则判定为两次事件。在人群逆行事件中，若相同逆行区域相邻的两次人群逆行事件如果间隔大于60秒，则判定为两次事件。
[0058] 在一个实施例中，所述系统还包括实时监控模块，所述实时监控模块用于反映当前时间点，某一路视频所对应场景内人群的情况，通过图示的方式来展示人群的密集程度。其中，所述图示的方式所依据的图可以是基于监控视频中的图像。
[0059] 优选的，所述实时监控模块中使用的图包括人群停留
染色图和人群分布热
力图；所述人群停留染色图按照停留时间长短，对场景中的人群进行Jet染色；所述人群分布热力图按照人群疏密，以热力图的形式展现场景中人群的实时分布情况。
[0060] 进一步地，所述Jet染色为根据场景中人物停留的时间长短对目标进行染色，最大值表现为红色，最小值表现为蓝色。其中：蓝色为移动中的人物，黄色为有短暂停留行为的人物，随着人物停留时间越来越长，其
颜色也会越来越趋近红色。
[0061] 这也就是说，蓝色为移动中的人物，黄色为有短暂停留行为的人物，随着停留时间越来越长，其颜色也会越来越趋近红色。通过这一方式，监控人员可以一目了然地看出场景内各个区域的人群停留时间长短，及时发现异常停留的人群。
[0062] 进一步地，所述人群分布热力图的颜色越红的区域表明此处的人群密度越高；颜色随着人群密度的降低由红色向蓝色渐变。
[0063] 在一个实施例中，所述系统还包括趋势发现模块，所述趋势发现模块通过图示的方式来定位场景下人群聚拢的区域。其中，所述图示的方式所依据的图可以是基于监控视频中的图像。通过趋势发现模块能帮助监控人员了解某一通道详细的事件发生情况，发现潜在规律并帮助决策。在
选定某一通道后，系统即按照时间、空间两个维度对这一通道上的事件发生情况进行分析展示。监控人员可通过翻页方式切换视频通道选择窗口。
[0064] 优选的，所述趋势发现模块中使用的图包括人群数量折线图和人群平均分布热力图；所述人群数量折线图表示在一段时间内人群的人数，包括峰值人数和平均人数；监管人员还可根据需要选择1小时内、1天内、7天内等时间粒度进行查看。所述人群平均分布热力图以选定时间段为维度，对人群的平均分布情况进行图示，根据不同的颜色区域，可以很容易定位到场景下容易发生人群聚扰的区域。
[0065] 进一步地，所述人群平均分布热力图的红色区域表明此处为人群聚拢区域；颜色随着一段时间内人数的降低由红色向蓝色渐变。
[0066] 在一个实施例中，所述系统还包括所述系统还包括事件统计模块，所述事件统计模块基于某一人群异常事件最近W周发生频度在周期性时间上的投影，以查看事件发生在周期性时间上的规律；其中W为预设值或能够修改的自定义值。比如W为4。
[0067] 优选的，所述事件统计模块包括事件查询单元，所述事件查询单元能够对各监控视频内已发生的事件进行追溯和定位，比如通过选择视频通道、事件类型、发生的时间段，即可查询出已发生的事件。
[0068] 优选的，所述事件查询单元的查询结果以历史事件的截图结合相应事件的文字信息的形式显示。在一个实施例的展示结果中，除了显示历史事件的截图，还会显示关键信息，如事件发生的时间、聚集人数等。
[0069] 可选的，所述查询结果至少包括关键帧截图，所述关键帧通过对所述事件的整个形成过程进行跟踪得到。在一个实施例中，当选择某个查询出的事件时，可在新窗口中打开对应事件的详细信息。详细信息由关键信息
摘要、关键帧截图组成，其中关键帧由事件判断模块对整个事件形成过程进行跟踪得到。监控人员可通过查看关键帧，了解事件发生的起始、高潮、结束的整个发生过程，对事件的整体情况有基本的了解。
[0070] 在一个实施例中，所述事件判定模块在确定人群事件异常时，给出预警提示。
[0071] 可选的，所述预警提示的形式包括下述一种或任意多种方式的组合形式：静态文字、图案或动态文字、动态图案、声音。比如人群密集事件，通过计算人群饱和来反应密度情况。其中的人群饱和可根据实时场景人数N与场景人数容量T的比值r＝N/T：划分为5个等级：稀疏(人群
饱和度在0～30％)、正常(人群饱和度在30～60％)、偏高(人群饱和度在60～80％)、超标(人群饱和度在80～120％)，过饱和(人群饱和度高于120％)。当人群饱和度低于60％时，为绿色；当人群饱和度在60～80％为黄色，当人群饱和度高于80％显示为红色，同时实时显示饱和度。对于人群聚集事件可根据当前聚集的人数分为三个等级：正常(20人以下)、值得关注(50人以下)、异常聚集(50人以上)、人群异常跑动事件可以根据跑动的剧烈程度划分为5个等级，除了颜色提示外，同时显示奔跑等级。滞留事件可根据人群与滞留的时间长短划分为三个不同的值得关注度，同时实时显示滞留时间长度。逆行事件仅有两个事件状态：发生与未发生。这样有助于监控人员可根据事件的严重程度采取相应措施进行干预。
[0072] 在一个实施例中，所述系统还包括视频采集和解码模块，用于对摄像头拍摄的视频图像进行采集和解码。
[0073] 在一个实施例中，为帮助监控人员快速、及时地发现5类异常事件，所述摄像头拍摄的视频图像以实时面板的形式展现；所述面板以矩阵形式展示内容，其中的每一列为一个视频通道，而矩阵的第一行为摄像头拍摄的画面，其余的每一行为一类人群事件。通过将摄像头拍摄的画面进行显示，有助于直观实时看到场景的实际情况。
[0074] 在一个实施例中，面板根据人群事件等级进行显示。所述人群事件等级分包括面板直接显示饱和度、面板直接显示人群事件持续时间、根据参与人群事件的人数划分等级和无相关等级。比如在人群密集事件中，事件等级为面板直接显示饱和度，超过80％显示为橙色预警，超过100％为红色告警事件。在人群聚集事件中，事件等级为面板中显示聚集持续时间。在人群滞留事件中，事件等级为面板显示滞留事件持续时间。在人群跑动事件中，事件等级为根据图像上特征点个数与阈值T2的关系，将跑动划分为5级，所述T2为人数。在人群逆行事件中，事件等级为无相关等级，当出现该人群事件时，面板直接用可以区别无人群事件发生时的颜色来进行标识。
[0075] 可选的，所述面板自动按一屏中设置显示的视频通道数目进行分屏展示。这便于对多路视频的同时监控，同时通过这一方式，系统可有效实现对视频通道数的横向扩展。此外，可选的，还支持用全屏撑满整个监控显示器的方式使用，方便监控人员快速发现关键信息。
[0076] 可选的，所述视频通道能够进行场景的监控参数设置，所述场景的监控参数设置包括场景的初始化设置，以及与预警有关联的参数设置；所述场景的初始化设置包括
指定在某一视频通道场景中的全局响应热区，方式为通过
鼠标在示意照片中选取一个多边形作为人群分析的区域；所述与预警有关联的参数设置包括在示意照片内选取一个或多个多边形区域来进行监控和/或设置某一方向为响应方向或为不响应方向。
[0077] 可选的，所述场景的初始化设置还包括对场景进行标定，其方式为：选取至少2个身高170cm左右成年人；若场景中无满足条件的行人，则需重新选择用于标定的图像。在一个实施例中，选取2个身高170cm的成年人来进行标定。在一个实施例中，选取2个身高175cm的成年人来进行标定。
[0078] 可选的，所述场景的初始化设置还包括对场景进行标定，其方式为：根据人在不同远近场景下的不同尺度大小，估算出在同一
水平坐标下，实际场景中100cm映射到图像中的像素数。
[0079] 在一个实施例中，通过鼠标划出矩形将标定中选取的人刚好框选，并根据人在场景远近的不同尺度大小，估算出在同一水平坐标下，实际场景中一米映射到图像中的像素数。
[0080] 通过标定，可以估计出场景的实际面积、倾斜度、建议容纳人数等参数。
[0081] 在一个实施例中，在标定之后生成透视矩阵，所述透视矩阵主要用来归一化场景不同远近人群的尺寸。从场景的单帧图像中随机地选择至少2个成年人，如果少于2个，则换一张标定图像，并且假设每个人的平均身高为175cm，使用一个线性回归模型来估计出一个透视矩阵M。透视矩阵M中的像素值M(p)表示像素p位置处实际场景中1米在图像中所占的像素数量。
[0082] 在一个实施例中，视频通道可以被增加，通过在添加视频通道的界面填入监控视频地址，即可完成对新视频通道的连接。
[0083] 可选的，所有已有的视频通道以列表形式展示。
[0084] 在一个实施例中，所述事件判定模块还用于将人群事件的数据写入
数据库。
[0085] 下面结合附图对本公开进行阐述。
[0086] 在一个实施例中，如图1所示，提供了一种大规模人群视频分析系统，在该系统中包括摄像头和前端显示屏，通过视频采集与解密模块将摄像头采集的图像进行采集和解码，并将解码后的图像分别传递给人群密度计算模块、人群前景分割模块和人群跟踪模块。其中，所述人群密度计算模块使用深度卷积神经网络模型进行人群密度估算，最终得到人群数量；所述人群前景分割模块使用完全卷积网络模型对图像中的监控区域进行估算，最终得到人群区域；所述人群跟踪模块使用KLT光流法跟踪，最终得到人群运动方向与速度。
得到的人群数量、人群区域以及人群运动方向与速度被传递给人群状态分析模块，在该模块中将基于接收的数据进行人群事件分析，确定出监控区域发生了什么人群事件，并将该人群事件传递给事件判断模块，用于进一步确定该人群事件是否发生了异常，若产生异常，则在前端显示屏上给出前端预警，同时将预警信息写入数据库进行存储；然而不论该人群事件是否发生异常，所述事件判定模块都将人群事件的数据存入数据库以备查询等方面的使用。
[0087] 在一个实施例中，在所述系统中使用的完全卷积神经网络的网络结构示意图如图2所示，该图为一次训练计算过程或者目标识别过程。在图中，第一层P0为原图，第二层为原图P0中的一个子区域P0’，然后是3层卷积层，其中的参数7*7，5*5代表了卷积核的大小。从P0得到的子图P0’的二进制文件blob的维数是72×72×3，经过第一个卷积层conv1处理后得到的二进制文件blob的维数是个3维的结果72×72×32，经过第二个卷积层conv2处理得到个3维的结果36×36×32，经过第三个卷积层conv3处理得到个3维的结果18×18×64，这里把
池化层隐含在了卷积层内，可以看到卷积层得到的图像大小都为前一层的一半。该层之后进入两层全链接层，fc4与fc5是两层全链接层，fc4为1000×1的结果，fc5为400×1的结果，fc6是回归型目标输出，fc7是分类型目标输出，最后的Denisty Map与Gobal number是原图像的标定结果，是人工提供标注并生成好的，网络生成的fc6(324×1)结果可以按图像一列列排开成为(18×18)的密度图像，并与标定集中的density_map计算损失，用于训练网络；fc7为1×1的结果与gobal number对比得到损失，也可以用于训练网络。根据需要可以在训练模型的两个收敛目标之间进行切换，一个收敛目标用损失loss度量，所述loss的计算方法如下：
[0088] loss＝fc7的结果-globa number
[0089] 另一个收敛目标用欧拉损失Eucldiean loss度量，所述欧拉损失Eucldiean loss的计算方法如下：
[0090] Eucldiean loss＝fc6的结果-density map
[0092] 在一个实施例中，提供了用于实现上述系统的方法，即：一种大规模人群视频分析方法，所述方法包括下述步骤：
[0093] S100、计算参数人群数量、人群区域、人群运动方向与速度：
[0094] 计算监控视频图像数据中某帧图像所覆盖视野范围内的人群数量；
[0095] 计算监控视频图像数据中某帧图像所覆盖视野范围内的前景和背景分割后、前景中的人群区域；
[0096] 计算监控视频图像数据中某帧图像所覆盖视野范围内的人群运动方向与速度；
[0097] S200、分析判断人群事件类别：基于得到的人群数量、人群区域、人群运动方向与速度进行处理分析，并判断人群事件所属类别；
[0098] 所述人群事件是指在监控区域内，达到一定规模的人群出现某种群体特征性行为。
[0099] 在这个实施例中，通过所述方法能够为监控人员完成智能趋势预测、特征事件等任务提供数据支持，为突发事件预防、可疑线索追查等提供有效帮助。所述图像数据可以直接是一帧完整的视频截图，也可以是已处理成方便相应模块进行进一步处理的图像数据，还可以是为方便传输进行压缩处理后的图像数据，然后在接收该图像数据之后进行相应的解压缩处理，等等。所述步骤S200的分析主要是基于得到的人群数量、人群区域、人群运动方向与速度来分析确定监控区域的人群所处的人群事件是什么类型的人群事件，进而基于该人群事件的分析结论来进行事件类型判断。在进行事件类型判断时，优选通过制定的判断规则来判断该人群事件是否存在异常。所述人群事件的类型可能因不同系统对人群事件的分类不同而不同。
[0100] 在一个实施例中，提供了计算人群数量的优选计算模型，即：所述人群数量在获得人群密度的基础上进一步计算得到，所述人群密度通过采用深度卷积神经网络(DCNN，Deep Convolutional Neural Network)模型来进行估计。
[0101] 所述深度卷积神经网络模型的学习目标为映射F：X→D，其中X表示训练集中图像的像素特征，D表示人群密度图像。该模型具有如下特点：在学习人群特征上具有良好的有效性和鲁棒性，不需要额外的标识工作，并且与图像前景分割是独立的，因此能够获得更合理的计算结果。在人群密度计算时使用该模型，可以为后续的分析提供可靠的数据支持，进而在发生异常的人群事件时，能为监控者的决策提供帮助。
[0102] 在一个实施例中，提供了一种进行人群前景分割优选分割模型，通过该模型能够获得人群区域，即：所述人群区域通过采用完全卷积神经网络(FCNN，Fully Convolutional Neural Network)模型计算得到。
[0103] 完全卷积神经网络相对传统的卷积神经网络，能够适用于图片尺度变化的情况，使用更加灵活方便。
[0104] 在一个实施例中，提供了优选计算人群运动方向与速度的方法，即：
[0105] 所述人群运动方向与速度通过采用KLT算法(Kanade-Lucas-Tomasi)计算得到。
[0106] 虽然采用光流法进行运动物体检测的问题主要在于大多数光流法计算耗时，实时性和实用性都较差，但是光流法的优点在于光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。
[0107] 进一步地，在一个实施例中提供了具体的人群密度计算方法，即：所述人群密度通过人群密度图像来反映，所述人群密度图像的表达式为：
[0108]
[0109] 其中：
[0110] Di(p)为密度图像D中第i个人周围的点p；
[0111] Z为归一化参数；
[0112] Pi为第i个标记的人；
[0113] Nh是作为头部模型的正规化的2D高斯核函数；
[0114] Ph为头部的位置；
[0115] σh为Nh的方差；
[0116] Nb是作为身体模型的二元正态分布；
[0117] Pb为人身体的位置；
[0118] ∑为Nb的协方差矩阵。
[0119] 上述映射能够保证在一个密度映射中所有密度值在整体上是等于原图中人群数量。
[0120] 在一个实施例中，对产生人群事件的群体特征性行为进行了划分，进一步明确使用本公开方法进行人群监测的人群行为，即：
[0121] 所述群体特征性行为包括人群密集、人群聚集、人群滞留、人群跑动和人群逆行；
[0122] 所述人群密集指对过去的T1秒监控区域内的人数平均值超过设置的参数阈值；
[0123] 所述人群聚集指监控区域内停留下来聚集在一起的人群区域内的人数超过设置阈值；
[0124] 所述人群滞留指对监控图像中的人群特征点进行跟踪，所述人群特征点的运动距离在时间T2内低于设置的阈值；
[0125] 所述人群跑动指监控区域内运动速度大于速度阈值V的人的数量超过数量阈值N1；
[0126] 所述人群逆行指监控区域内的禁行区域内沿逆行方向运动的人的数量超过阈值N2；
[0127] 其中，T1、T2、V、N1和N2为预设值或能够修改的自定义值。
[0128] 根据上述群体特征性行为的划分，本公开要监测的人群事件包括人群密集、人群聚集、人群滞留、人群跑动和人群逆行，进而为了标识人群事件，可以为每个人群事件增加事件ID。
[0129] 进一步地，通过该实施例，也暗含了在本公开方法中如何判断人群事件异常。
[0130] 对于人群密集事件，通过对过去T秒内区域内人数平均值进行统计来，若超过设置的参数阈值，则判断区域内人群密集；其中T为预设值或能够修改的自定义值。在一个实施例中，所述T为10秒。
[0131] 对于人群聚集事件，通过对图像中停留下来聚集在一起的人群区域内的人数进行统计，如果超过设置阈值，则判断区域内发生异常聚集。
[0132] 对于人群滞留事件，通过对图像中的人群特征点进行跟踪；一段时间内运动距离越短的说明停留时间越久，当停留时间超过设置的阈值时，则说明区域内有人群滞留。
[0133] 对于人群跑动事件，通过计算场景下跟踪特征点的运动速度，统计运动速度大于阈值T1的特征点的个数，当特征点个数大于阈值T2时，表明场景下发生了异常跑动；其中T1、T2为预设值或能够修改的自定义值。
[0134] 对于人群逆行事件，通过禁行区域内沿逆行方向运动的特征点的个数进行统计，如果超过阈值N个，则判断区域发生逆行；其中N为预设值或能够修改的自定义值，比如N为10。
[0135] 更优地，所述方法进一步规定了在一段事件内连续监测到的人群事件是否为同一人群事件的判断原则，即：所述群体特征性行为中的某种行为在连续多次出现时，若相邻两次的时间间隔大于设定时间，则相邻两次出现的该种行为被认为是两次事件，否则相邻两次出现的该种行为被认为是一次事件。比如，在人群密集事件中，若相邻的两次人群密集事件如果间隔大于60秒，则判定为两次事件。在人群聚集事件中，若相覆盖区域内的两次人群密集事件如果间隔大于60秒，则判定为两次事件。在人群滞留事件中，若相同滞留区域内发生的滞留事件如果相隔10秒内，则判定为同一个滞留事件。在人群跑动事件中，若相邻的两次人群跑动事件如果间隔大于60秒，则判定为两次事件。在人群逆行事件中，若相同逆行区域相邻的两次人群逆行事件如果间隔大于60秒，则判定为两次事件。
[0136] 在一个实施例中，为了能实时反映当前时间点中，某一路视频所对应场景内人群的情况，在步骤S200之后，所述方法还包括：
[0137] S300、实时显示人群的密集程度：通过图示的方式来反映当前时间点的某一路视频所对应场景内人群的情况。
[0138] 其中，所述图示的方式所依据的图可以是基于监控视频中的图像。
[0139] 优选的，所述实时显示人群的密集程度中所使用的图包括人群停留染色图和人群分布热力图；所述人群停留染色图按照停留时间长短，对场景中的人群进行Jet染色；所述人群分布热力图按照人群疏密，以热力图的形式展现场景中人群的实时分布情况。
[0140] 进一步地，所述Jet染色为根据场景中人物停留的时间长短对目标进行染色，最大值表现为红色，最小值表现为蓝色。其中：蓝色为移动中的人物，黄色为有短暂停留行为的人物，随着人物停留时间越来越长，其颜色也会越来越趋近红色。
[0141] 这也就是说，蓝色为移动中的人物，黄色为有短暂停留行为的人物，随着停留时间越来越长，其颜色也会越来越趋近红色。通过这一方式，监控人员可以一目了然地看出场景内各个区域的人群停留时间长短，及时发现异常停留的人群。
[0142] 进一步地，所述人群分布热力图的颜色越红的区域表明此处的人群密度越高；颜色随着人群密度的降低由红色向蓝色渐变。
[0143] 在一个实施例中，为了方便定位场景下人群聚拢的区域，在步骤S200之后，所述方法还包括：
[0144] S400、定位场景下人群聚拢的区域：通过图示的方式来定位场景下人群聚拢的区域。
[0145] 其中，所述图示的方式所依据的图可以是基于监控视频中的图像。通过趋势发现模块能帮助监控人员了解某一通道详细的事件发生情况，发现潜在规律并帮助决策。在选定某一通道后，系统即按照时间、空间两个维度对这一通道上的事件发生情况进行分析展示。监控人员可通过翻页方式切换视频通道选择窗口。
[0146] 优选的，所述定位场景下人群聚拢的区域中所使用的图包括人群数量折线图和人群平均分布热力图；所述人群数量折线图表示在一段时间内人群的人数，包括峰值人数和平均人数；监管人员还可根据需要选择1小时内、1天内、7天内等时间粒度进行查看。所述人群平均分布热力图以选定时间段为维度，对人群的平均分布情况进行图示，根据不同的颜色区域，可以很容易定位到场景下容易发生人群聚扰的区域。
[0147] 进一步地，所述人群平均分布热力图的红色区域表明此处为人群聚拢区域；颜色随着一段时间内人数的降低由红色向蓝色渐变。
[0148] 在一个实施例中，为了对各种人群异常事件进行统计查看，以便发现规律，所述步骤S200之后，所述方法还包括：
[0149] S500、统计事件：基于某一人群异常事件最近W周发生频度在周期性时间上的投影进行统计，以查看事件发生在周期性时间上的规律；其中W为预设值或能够修改的自定义值。比如W为4。
[0150] 优选的，所述步骤S500在统计之前，还包括步骤：
[0151] S50001、查询事件：对各监控视频内已发生的事件进行查询。通过查询，能够对各监控视频内已发生的事件进行追溯和定位，比如通过选择视频通道、事件类型、发生的时间段，即可查询出已发生的事件。这里的查询，除了应用于统计，在将方法实现成系统时，也可以用于向外提供检索功能，用于检索所有人群事件。
[0152] 优选的，所述查询结果以历史事件的截图结合相应事件的文字信息的形式显示。在一个实施例的展示结果中，除了显示历史事件的截图，还会显示关键信息，如事件发生的时间、聚集人数等。
[0153] 可选的，所述查询结果至少包括关键帧截图，所述关键帧通过对所述事件的整个形成过程进行跟踪得到。在一个实施例中，当选择某个查询出的事件时，可在新窗口中打开对应事件的详细信息。详细信息由关键信息摘要、关键帧截图组成，其中关键帧由事件判断模块对整个事件形成过程进行跟踪得到。监控人员可通过查看关键帧，了解事件发生的起始、高潮、结束的整个发生过程，对事件的整体情况有基本的了解。
[0154] 在一个实施例中，所述步骤S200在判定人群事件所属类别之后还包括：
[0155] S201、给出预警提示：对已判定的人群事件给出相应的预警提示。
[0156] 可选的，所述预警提示的形式包括下述一种或任意多种方式的组合形式：静态文字、图案或动态文字、动态图案、声音。比如人群密集事件，通过计算人群饱和来反应密度情况。其中的人群饱和可根据实时场景人数N与场景人数容量T的比值r＝N/T：划分为5个等级：稀疏(人群饱和度在0～30％)、正常(人群饱和度在30～60％)、偏高(人群饱和度在60～80％)、超标(人群饱和度在80～120％)，过饱和(人群饱和度高于120％)。当人群饱和度低于60％时，为绿色；当人群饱和度在60～80％为黄色，当人群饱和度高于80％显示为红色，同时实时显示饱和度。对于人群聚集事件可根据当前聚集的人数分为三个等级：正常(20人以下)、值得关注(50人以下)、异常聚集(50人以上)、人群异常跑动事件可以根据跑动的剧烈程度划分为5个等级，除了颜色提示外，同时显示奔跑等级。滞留事件可根据人群与滞留的时间长短划分为三个不同的值得关注度，同时实时显示滞留时间长度。逆行事件仅有两个事件状态：发生与未发生。这样有助于监控人员可根据事件的严重程度采取相应措施进行干预。
[0157] 在一个实施例中，在步骤S100之前，所述方法还包括：
[0158] S000、对摄像头拍摄的视频图像进行采集和解码。
[0159] 在一个实施例中，为帮助监控人员快速、及时地发现5类异常事件，所述摄像头拍摄的视频图像以实时面板的形式展现；所述面板以矩阵形式展示内容，其中的每一列为一个视频通道，而矩阵的第一行为摄像头拍摄的画面，其余的每一行为一类人群事件。通过将摄像头拍摄的画面进行显示，有助于直观实时看到场景的实际情况。
[0160] 在一个实施例中，面板根据人群事件等级进行显示。所述人群事件等级分包括面板直接显示饱和度、面板直接显示人群事件持续时间、根据参与人群事件的人数划分等级和无相关等级。比如在人群密集事件中，事件等级为面板直接显示饱和度，超过80％显示为橙色预警，超过100％为红色告警事件。在人群聚集事件中，事件等级为面板中显示聚集持续时间。在人群滞留事件中，事件等级为面板显示滞留事件持续时间。在人群跑动事件中，事件等级为根据图像上特征点个数与阈值T2的关系，将跑动划分为5级，所述T2为人数。在人群逆行事件中，事件等级为无相关等级，当出现该人群事件时，面板直接用可以区别无人群事件发生时的颜色来进行标识。
[0161] 可选的，所述面板自动按一屏中设置显示的视频通道数目进行分屏展示。这便于对多路视频的同时监控，同时通过这一方式，系统可有效实现对视频通道数的横向扩展。此外，可选的，还支持用全屏撑满整个监控显示器的方式使用，方便监控人员快速发现关键信息。
[0162] 可选的，所述视频通道能够进行场景的监控参数设置，所述场景的监控参数设置包括场景的初始化设置，以及与预警有关联的参数设置；所述场景的初始化设置包括指定在某一视频通道场景中的全局响应热区，方式为通过鼠标在示意照片中选取一个多边形作为人群分析的区域；所述与预警有关联的参数设置包括在示意照片内选取一个或多个多边形区域来进行监控和/或设置某一方向为响应方向或为不响应方向。
[0163] 可选的，所述场景的初始化设置还包括对场景进行标定，其方式为：选取至少2个身高170cm左右成年人；若场景中无满足条件的行人，则需重新选择用于标定的图像。在一个实施例中，选取2个身高170cm的成年人来进行标定。在一个实施例中，选取2个身高175cm的成年人来进行标定。
[0164] 可选的，所述场景的初始化设置还包括对场景进行标定，其方式为：根据人在不同远近场景下的不同尺度大小，估算出在同一水平坐标下，实际场景中100cm映射到图像中的像素数。
[0165] 在一个实施例中，通过鼠标划出矩形将标定中选取的人刚好框选，并根据人在场景远近的不同尺度大小，估算出在同一水平坐标下，实际场景中一米映射到图像中的像素数。
[0166] 通过标定，可以估计出场景的实际面积、倾斜度、建议容纳人数等参数。
[0167] 在一个实施例中，在标定之后生成透视矩阵，所述透视矩阵主要用来归一化场景不同远近人群的尺寸。从场景的单帧图像中随机地选择至少2个成年人，如果少于2个，则换一张标定图像，并且假设每个人的平均身高为175cm，使用一个线性回归模型来估计出一个透视矩阵M。透视矩阵M中的像素值M(p)表示像素p位置处实际场景中1米在图像中所占的像素数量。
[0168] 在一个实施例中，视频通道可以被增加，通过在添加视频通道的界面填入监控视频地址，即可完成对新视频通道的连接。
[0169] 可选的，所有已有的视频通道以列表形式展示。
[0170] 在一个实施例中，所述步骤S200在判定人群事件所属类别之后还包括：S202、将人群事件的数据写入数据库。这一步的执行可以在给出预警提示之前，也可以在给出预警提示之后，还可以是并行操作。
[0171] 下面结合附图对本公开进行阐述。
[0172] 在一个实施例中，在所述方法中使用的完全卷积神经网络的网络结构示意图如图3所示，该图为一次训练计算过程或者目标识别过程。在图中，第一层P0为原图，第二层为原图P0中的一个子区域P0’，然后是3层卷积层，其中的参数7*7，5*5代表了卷积核的大小。从P0得到的子图P0’的二进制文件blob的维数是72×72×3，经过第一个卷积层conv1处理后得到的二进制文件blob的维数是个3维的结果72×72×32，经过第二个卷积层conv2处理得到个3维的结果36×36×32，经过第三个卷积层conv3处理得到个3维的结果18×18×64，这里把池化层隐含在了卷积层内，可以看到卷积层得到的图像大小都为前一层的一半。该层之后进入两层全链接层，fc4与fc5是两层全链接层，fc4为1000×1的结果，fc5为400×1的结果，fc6是回归型目标输出，fc7是分类型目标输出，最后的Denisty Map与Gobal number是原图像的标定结果，是人工提供标注并生成好的，网络生成的fc6(324×1)结果可以按图像一列列排开成为(18×18)的密度图像，并与标定集中的density_map计算损失，用于训练网络；fc7为1×1的结果与gobal number对比得到损失，也可以用于训练网络。根据需要可以在训练模型的两个收敛目标之间进行切换，一个收敛目标用损失loss度量，所述loss的计算方法如下：
[0173] loss＝fc7的结果-globa number
[0174] 另一个收敛目标用欧拉损失Eucldiean loss度量，所述欧拉损失Eucldiean loss的计算方法如下：
[0175] Eucldiean loss＝fc6的结果-density map
[0176] 当损失不满足要求时，迭代这一过程。
[0177] 以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的系统及其核心思想；同时，对于本领域技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本
说明书内容不应理解为对本公开的限制。
