方法
技术领域
背景技术
[0002] 伴随着经济社会的发展，人群聚集现象越来越普遍，人群管理与决策也愈加复杂，因此基于视频实时人群密度检测有着十分重大的应用价值，也逐渐成为数字图像处理领域的研究重点。
[0003] 目前人群密度分类方法主要分为两大类，分别为基于局部
像素的追踪与统计方法以及基于整体的纹理
分析学习分类法。对于前者比较有代表性的主要有Davies，Cho，Ma等人的方法，他们认为人群密度与
前景像素有线性关系，可以通过线性回归拟合的方法来预测人群密度的等级；Marana，Wu，Rahmalan和Chan则认为人群密度如图像的纹理有关，低密度人群拥有较为粗糙的纹理图像，反之则有拥有较为细腻的纹理图像。因此根据假设，可以通过获取人群图像的纹理特征，训练
支持向量机来获得人群密度等级信息。
[0004] 上述两种方法都有着自己的局限性，仅基于局部像素追踪与统计的方法估计在监测人群较为密集的场景时，由于人群遮挡较为严重，因为当人群密度逐渐增加，前景像素占比与人群密度不再具有线性关系，而采用整个训练样本集进行回归拟合反而影响了模型对低密度等级的分类，从而导致估计拟合效果变差甚至出现错误；而仅基于整体纹理特征分析的人群密度分类
算法在较低的人群密度下容易受到背景噪声的影响，从而影响分类效果，并且在上述传统的人群密度估计算法直接使用整个训练样本集对支持向量机(Support Vector Machine， SVM)分类器进行训练，不仅训练效率较低而且非常容易受到训练集中两类样本间的“介类点”以及噪声污染点的影响，从而导致分类准确率低，结构
风险大。具体参加以下文献：
[0005] [1]A.N.Marana，L.F.Costa，R.A.Lotufo，S.A.Velastin.On the efficacy of texture analysis for crowd monitoring[C].//Computer Graphics，Image Processing，and Vision (SIBGRAPI)，Proceedings，International Symposium on.Rio de Janeiro：IEEE press，1998： 354-361.
[0006] [2]X.Wu，G.Liang，K.K.Lee，Y.Xu.Crowd Density Estimation Using Texture Analysis and Learning[C].//In Robotics and Biomimetics，IEEE International Conference on. Kunming，China：IEEE Press，2006：214-219.
[0007] [3]H.Rahmalan，M.S.Nixon，J.N.Carter.On Crowd Density Estimation for Surveillance[C].//In Crime and Security，The Institution of Engineering and Technology Conference on.London，Britain：IET press，2006：540-545.[0008] [4]A.B.Chan，Zhang-Sheng John Liang，N.Vasconcelos.Privacy preserving crowd monitoring：Counting people without people models or tracking[C].//In Computer Vision and Pattern Recognition(CVPR)，IEEE Conference on.Anchorage，AK，USA：IEEE Press， 2008：1-7.
[0009] [5]麻文华，黄磊，刘昌平.基于
置信度分析的人群密度等级分类模型[J].模式识别与
人工智能，2011，24(1)：30-39。
[0010] [6]王国德，张培林，任国全，等.融合LBP和GLCM的纹理特征提取方法[J].计算机工程， 2012，38(11)：199-201。
[0011] [7]王昊鹏，李慧.基于局部二值模式和灰度共生矩阵的籽
棉杂质分类识别[J].农业工程学报，2015(3)：236-241。
发明内容
[0012] 针对上述技术问题，本发明采用将前景像素回归统计与纹理特征提取学习相结合的人群密度估计算法，尽可能结合两种人群密度估计算法的优点，达到最优的分类效果。为了达到上述目的，本发明具体采用了如下技术方案：
[0013] 一种通过模式识别与机器视觉对人群密度进行实时监控的方法，包括：
[0014] S1：划分图像子
块，确定图像子块前景像素占比r的选择
阈值R；
[0015] S2：图像子块人群密度等级评定，图像子块的平均前景像素占比r＜R时，采用基于前景像素统计的回归算法计算人群密度，根据标定表得到人群密度等级编号；当图像的平均前景像素占比r＞R时，采用基于纹理特征提取的学习分类算法计算人群密度，根据标定表得到人群密度等级编号，并建立SVM分类器，使用SVM分类器对待检测的图像子块进行人群密度等级评定；
[0016] S3：获得每一个图像子块的人群密度等级后，需要利用图像子块的人群密度等级估计整幅图像的人群密度等级，因此定义整幅图像的人群密度等级为：
[0017]
[0018] 其中，dall表示整幅图像的人群密度等级编号，dseg(i)为图像子块i的人群密度等级编号， #[]定义为四舍五入算子，N为整幅图像划分成图像子块的个数。
[0019] 进一步，确定图像子块前景像素占比的选择阈值R具体为：
[0020] S21：计算图像子块中前景像素占比r：
[0021]
[0022] 其中Npro为图像子块中的前景像素点，Nseg为图像子块像素点。
[0023] S22：统计与占比r相对应的人数np；
[0024] S23：近似拟合曲线：
[0025] f(np)＝Kr+b；
[0026] 当K为非常数，即呈现非线性关系时，此时对应的占比r＝R，R即为选择阈值。
[0027] 进一步，选择阈值R＝0.6。
[0028] 进一步，采用基于前景像素统计的回归算法计算人群密度，具体为：
[0029] S311：提取训练集中n个图像子块的前景像素占比rseg以及前景人数np，构造
训练数据点集合{(rseg(i)，np(i))}，i＝1，2，3，…，n；
[0030] S312：对训练数据点集合进行最小二乘法回归拟合，从而得到：
[0031] np＝f(rseg)；
[0032] S313：将测试图像划分为图像子块，分别求得前景像素的占比rseg，得到相对应的前景人数np，参照标定表，分别得到相应的密度等级编号。
[0033] 进一步，采用基于纹理特征提取的学习分类算法计算人群密度，具体步骤为：
[0034] S321：对训练集中输入的每一
帧图像划分为3个图像子块，从而获得3个原始灰度图像，再分别求得3个原始灰度图像的LBP图像；
[0035] S322：采用灰度级N＝16，d＝1，分别求得LBP图像与原始灰度图像上θ分别为 0°，45°，90°，135°的灰度共生矩阵；
[0036] S323：对每个灰度共生矩阵GLCM分别求得逆差矩(Homogeneity)、熵(Entropy)、
能量 (Energy)和
对比度(Contrast)这四个统计量。每个图像子块的
特征向量可以描述如下：
[0037] μi＝{a1，a2，a3，a4，b1，b2，b3，b4}
[0038] 其中i＝1，2，3，ai与bi为4维向量，分别表示LBP图像与原始灰度图像在4个方向上的灰度共生矩阵的4个统计量；
[0039] S324：将3个图像子块的特征向量依次进行拼接，可以获得一个96维的特征向量x，用该向量表征一帧图像的纹理特征，其中每帧图像的特征向量描述如下：
[0040] x＝{μ1，μ2，μ3}
[0041] S325：参照标定表，对各个图像子块进行标定，得到图像的密度等级编号。
[0042] 进一步，建立SVM分类器的具体步骤为：构造训练样本集S：
[0043] S＝{(xi，yi)：i＝1，2，…，l，(xi，yi)∈Rn×{4，5}}
[0044] 其中l为训练样本的个数，xi为特征向量，标签yi为每帧图像的等级编号；
[0045] 进行基于贝叶斯估计的异常样本滤除，删选阈值ε选择0.1，将训练样本集中的“介类点”以及噪声污染点剔除后，组成新的训练样本集对支持向量机模型进行训练，采用基于改进 K-means聚类的
迭代训练算法，综合原有基于聚类的SVM迭代算法的
基础上，对初始迭代训练使用的样本集进行筛选，进一步提高初始训练样本集中包含支持向量的概率，从而加快对SVM的训练速度，其过程如下：
[0046] 步骤1：筛选出后验概率较大的样本子集S1，设训练样本集S＝S1+S2，由于样本子集S1的后验概率较大，S1内所包含的特征向量更加典型，认为支持向量更有可能存在于样本子集 S1中；
[0047] 步骤2：利用K-means聚类方法，将样本子集S1聚为k类，样本子集S1表示为：
[0048] S1＝S11∪S12∪S13…∪S1k
[0049] 步骤3：循环判断S1i(i＝1，2，3…，k)中是否含有两类样本点，若S1i中含有两类样本点，则初始训练集I＝I∪S1i，其中，I的初值为空集，只有选取含有两类不同样本点的集合作为训练集才能确定分类面；
[0050] 步骤4：将初始训练集I送入SVM进行训练，获得初始SVM分类器；
[0051] 步骤5：设样本子集R＝S-I，将样本子集R作为测试集送入初始SVM分类器进行测试，设未通过初始SVM分类器测试的集合为W；
[0052] 步骤6：判断W所包含向量个数Num(W)是否小于阈值γ，若小于则SVM分类器即为最终分类器，否则令I＝I∪W，跳入步骤4继续执行。
[0053] 本发迷首先根据透视模型将感兴趣的前景图像按比例进行分块，然后对分块内图像中前景像素所占比例进行统计，引入阈值分割将小于阈值采用前景像素回归统计算法，反之则采用基于纹理特征提取学习的算法；针对纹理特征提取，本发明提出了融合局部与整体灰度共生矩阵的描述算子从而有效的增强分类效果。并且在利用训练样本集训练支持向量机模型的过程中，针对训练样本集中的异常样本，提出了基于贝叶斯估计的方法来滤除异常样本，有效提高了支持向量机分类的准确率；针对支持向量机模型的训练策略问题，改进了K-means 聚类的迭代训练算法，有效加快了支持向量机的训练速度。
[0054] 与
现有技术相比，本发明有益的技术效果为：
[0055] 结合了两种人群密度估计算法的混合算法在各个人群密度等级都有较好的分类效果，较好的融合了两种算法的优点，不仅有效的解决了两种人群密度估计算法的缺点，而且还从整体上简化了算法的训练过程，同时还提高了平均分类准确率；并且本发明改进的K-means聚类的迭代训练算法，在保证平均分类正确率的前提下，显著提高了支持向量机的训练效率，也有效加快了测试样本的测试时间。这主要因为在原有基于聚类的迭代算法的基础上，采用训练样本集的后验概率公式，对初始迭代训练使用的样本集进行筛选，进一步提高初始训练样本集中包含支持向量的概率，使得对训练子集的选择更加有针对性同时也增强了对训练样本筛选的依据，从而有效减少迭代训练的次数，最终提高了支持向量机的训练性能。
附图说明
[0056] 图1为本发明通过模式识别与机器视觉对人群密度进行实时监控的
流程图。
具体实施方式
[0057] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及
实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0058] 本发明涉及将前景像素回归统计与纹理特征提取学习相结合的自适应人群等级密度估计算法，其算法流程图如图1所示，具体包括如下步骤：
[0059] S1、划分图像子块，确定前景像素占比的选择阈值
[0060] 本发明采用划分图像子块的方法来尽量减小透视效应产生的影响，并进行预处理如下：
[0061] 在人群较为稀疏的场景下，基于前景像素统计的回归算法有着较为出色的性能。但是当人群较为密集并且存在遮挡的情况下，算法所表现出来的性能就很不理想，在这种情况下，基于纹理特征提取的学习分类算法有着较为明显的优势。因此，可以通过计算观察图像中前景像素占比与图像内人数的线性关系，确定前景像素占比的选择阈值，在特定场景下使用与之相适应的分类统计算法。
[0062] 步骤1：计算图像中前景像素占比r：
[0063]
[0064] 其中Npro为图像中的前景像素点，Nseg为图像像素点。
[0065] 步骤2：统计与前景像素占比r相对应的前景人数np，前景人数np是直接通过观察得出。
[0066] 步骤3：拟合近似曲线：前景像素占比r与其相对应的前景人数np存在一定的线性规律，根据两者间的线性关系得出拟合曲线，如此便可以通过前景像素占比r来得出人数：
[0067] f(np)＝Kr+b (1)
[0068] 步骤4：当K为非常数时，即呈现非线性关系，此时对应的占比r＝R，R即为选择阈值，当r＜R时呈现线性关系，使用基于前景像素的回归算法计算人群密度，而当r＞R时不呈现线性关系，转而使用基于纹理特征提取的方法计算人群密度。
[0069] 本发明选用的测试
数据库为目前应用比较广泛的标准数据库-UCSD人群数据库，经过大量测试验证，在留有一定判断裕量的条件下，测得选择阈值R为0.6。
[0070] S2、图像子块人群密度的标定
[0071] 人群密度等级标定对照表是在在图像子块的基础上制定的，选用选择阈值R＝0.6为中高密度的分界点。当图像子块的平均前景像素占比r＜R时，采用基于前景像素统计的回归算法计算人群密度等级；当图像的平均前景像素占比r＞R时，采用基于纹理特征提取的学习分类算法计算人群密度等级，现对这两种情况阐述如下：
[0072] (1)基于前景像素统计的回归算法
[0073] 当图像子块的前景像素占比r小于选择阈值R时，经过实验验证，前景像素占比与图像子块中的人数有较好的近似线性关系，因此可以采用线性回归算法拟合出前景像素占比与图像子块中人数的函数关系，具体步骤如下：
[0074] 步骤1：提取训练集中n个图像子块的前景像素占比rseg以及前景人数np，构造训练数据点集合{(rseg(i)，np(i))}(i＝1，2，3，........，n)；
[0075] 步骤2：对训练数据点集合进行最小二乘法回归拟合，从而得到：
[0076] np＝f(rsrg)
[0077] 步骤3：将测试图像划分为图像子块，分别求得子块的前景像素的占比rseg，利用上式(1) 求得相对应的前景人数np，参照标定表1，分别得到相应子块的人群密度等级编号。
[0078] 表1图像子块中人群密度等级标定
[0079]
[0080] (2)基于纹理特征的学习分类算法
[0081] 当图像子块的前景像素占比r大于选择阈值R时，本发明对原始图像的LBP图像提取灰度共生矩阵来加强对原始图像局部纹理特征的描述，将由原始灰度图像的LBP图像的灰度共生矩阵与原始图像自身的灰度共生矩阵相结合，能够从局部与整体全面地描述图像中的纹理特征，使得所描述的纹理特征的分辨能
力增强，从而可以获得较好的分类效果，提升系统的
整理性能。具体步骤如下：
[0082] 步骤1：对训练集中输入的每一帧图像划分为3个图像子块，从而获得3个原始灰度图像，再分别求得3个原始灰度图像的LBP图像；
[0083] 步骤2：采用灰度级N＝16，d＝1，分别求得LBP图像与原始灰度图像上4个方向(θ分别为0°，45°，90°，135°)上的灰度共生矩阵GLCM；
[0084] 步骤3：对每个灰度共生矩阵GLCM分别求得逆差矩(Homogeneity)、熵(Entropy)、能量 (Energy)和对比度(Contrast)这四个统计量。每个图像子块的特征向量可以描述如下：
[0085] μi＝{a1，a2，a3，a4，b1，b2，b3，b4}
[0086] 其中i＝1，2，3，为图像子块的数量，aj与bj(j＝1，2，3，4)为4维向量，分别表示LBP 图像与原始灰度图像在4个方向上的灰度共生矩阵的4个统计量。
[0087] 步骤4：将3个图像子块的特征向量依次进行拼接，可以获得一个96维的特征向量x，用该特征向量x表征一帧图像的纹理特征。其中每帧图像的特征向量描述如下：
[0088] x＝{μ1，μ2，μ3}
[0089] 步骤5：认为观察图片子块上的人数，参照标定表1，对各个图像子块进行标定，得到图像的人群密度等级编号。
[0090] 步骤6：建立SVM分类器
[0091] 将步骤5中的特征向量和人群密度等级联系在一起，作为之后的训练样本，构造训练样本集S：
[0092] S＝{(xi，yi)：i＝1，2，…，l，(xi，yi)∈Rn×{4，5}}其中l为训练样本的个数，xi为特征向量，标签yi为每帧图像的等级编号。
[0093] 然后进行基于贝叶斯估计的异常样本滤除，删选阈值ε选择0.1，将训练样本集中的“介类点”以及噪声污染点剔除后，组成新的训练样本集对支持向量机模型进行训练。并提出一种基于改进K-means聚类的迭代训练算法，综合原有基于聚类的SVM迭代算法的基础上，对初始迭代训练使用的样本集进行筛选，进一步提高初始训练样本集中包含支持向量的概率，从而加快对SVM的训练速度。其过程如下：
[0094] 步骤1：筛选出后验概率较大的样本子集S1。设训练样本集S＝S1+S2，由于样本子集S1的后验概率较大，S1内所包含的特征向量更加典型，因此可以认为支持向量更有可能存在于样本子集S1中。
[0095] 步骤2：利用K-means聚类方法，将样本子集S1聚为k类。因此，样本子集S1可表示为：
[0096] S1＝S11∪S12∪S13…∪S1k
[0097] 步骤3：循环判断S1i(i＝1，2，3...，k)中是否含有两类样本点，若S1i中含有两类样本点，则初始训练集I＝I∪Sli，其中，I的初值为空集。显然，只有选取含有两类不同样本点的集合作为训练集才能确定分类面。
[0098] 步骤4：将初始训练集I送入SVM进行训练，获得初始SVM分类器。
[0099] 步骤5：设样本子集R＝S-I，将样本子集R作为测试集送入初始SVM分类器进行测试，设未通过初始SVM分类器测试的集合为W。
[0100] 步骤6：判断W所包含向量个数Num(W)是否小于阈值γ，若小于则SVM分类器即为最终分类器。否则令I＝I∪W，跳入步骤4继续执行。
[0101] S3、获得整幅图像的人群密度等级
[0102] 将待检测图像按本文分类算法处理后，获得每一个图像子块的人群密度等级后，需要利用图像子块的人群密度等级估计整幅图像的人群密度等级，因此定义整幅图像的人群密度等级为：
[0103]
[0104] 其中，dall表示整幅图像的人群密度等级编号，dseg(i)为图像子块i的人群密度等级编号， #[]定义为四舍五入算子，N为整幅图像划分成图像子块的个数。
[0105] 以上通过具体实施例对本发明做了详细的说明，这些详细的描述不能认为本发明仅仅限于这些描述内容。本领域技术人员根据本发明构思、这些描述并结合本领域公知常识做出的任何改进、等同替代方案，均应包含在本发明
权利要求的保护范围内。
