技术领域
[0001] 本
发明涉及
生物特征识别、
图像处理和
计算机视觉领域，尤其是一种基于步态能量图的身份识别方法及系统，具体是一种基于步态能量图的局部二值模式(Local Binary Patterns,LBP)特征的身份识别方法及系统。
背景技术
[0002] 在现代数字化社会中，越来越多的实时应用场景例如国际过境、金融交易、刑侦取证、计算机安全和
门禁等需要对行人身份进行快捷、安全可靠的认证。传统的生物特征例如人脸、指纹、虹膜等等都有各自的
缺陷，需要待识别人的主动配合。步态识别作为新一代生物特征识别技术，拥有远距离性、非
接触性、
分辨率要求低和难以伪装、模仿等诸多优势，非常适合远距离情况下对行人进行身份识别。集成步态识别技术的智能视频
监控系统拥有巨大的研究价值和市场需求，主要体现在军事领域、公共安全领域、刑事侦查领域和智能家居领域。
[0003] 目前，基于步态的行人身份识别主要通过
传感器和视觉摄像头这两种策略来实现。传统基于物理传感器的方法需要辅助设备来采集步态信息，并且其应用领域有限。而基于视觉摄像头的方法通过普通摄像头采集行人的步态信息，不需要行人的主动配合，具有很强的实用性。步态特征提取是用一组数据来描述行人行走
姿态在
时空中的动态变化过程。常用的特征模型主要分为两大类：基于模型(Model-based)和基于外观(Appearance-based)。其中基于模型的特征提取方法通过对人体的
基础结构建立数学模型，提取模型的相关参数作为步态特征。尽管该方法鲁棒性强，具有很强的可区分性，但是实现更加复杂，耗时且计算更昂贵。基于外观的特征提取方法也可以称之为基于非模型的方法，该方法直接从视频图像中分割行人轮廓，基于轮廓序列的自相关来度量步态相似性。该方法不需要构建数学模型，计算复杂度小得多，实时性更强。
[0004] 目前最流行的基于外观的方法是步态能量图(GEI)，它通过计算步态周期，把一个步态周期内的行人轮廓图像进行取平均，得到一张灰度图像来表示整个周期的步态。然而步态能量图的表征能
力有限，图像的维数较大，存在大量冗余的信息，此外真实场景下检测分割得到的行人前景图像容易受到天气、光照变化等外界环境的影响，使得计算得到的步态能量图蕴含大量的背景噪声。
[0005] 为了克服这些问题，需要对步态能量图进行二次特征提取，一来降低图像的维数，避免维数灾难；二来提取步态能量图中不易受光照变化等外界因素影响的特征，提高行人身份识别率。
[0006] 发明
专利基于人体HOG特征的步态能量图获取及身份识别方法，
申请号/专利号：CN 104794449 A公开了一种基于人体HOG特征的步态能量图获取方法，
[0007] 通过将人体步态视频
图像序列中的每
帧图像检测划分为人体轮廓和人体部位，分别计算人体轮廓和人体部位的HOG特征描述符，并分别获得人体轮廓HOG特征的步态能量图和人体部位HOG特征的步态能量图，组合获得基于人体HOG特征的步态能量图。得到的图像对几何和光学的形变能保持较好的不变性，对光照变化不敏感；但是HOG特征描述符的生成过程冗长，导致实时性差，且该描述符对噪点比较敏感。
发明内容
[0008] 本发明针对真实应用场景下的步态行人身份识别，检测分割出的行人轮廓图像容易受到天气、光照变化等外界环境影响，导致计算得到的步态能量图鲁棒性不强的问题，提出一种基于步态能量图的局部二值模式(LBP)特征的获取，以及基于步态能量图提取的LBP特征实现身份识别的方法。由于在真实的应用场景下，光照、阴影等环境变化容易产生大量的背景噪声，由此生成的步态能量图中也蕴含着大量噪声，对步态特征提取和身份识别不利。本发明的目标是提取步态能量图中对旋转和光照变化不敏感的特征描述符，减小噪声对有效步态特征提取的影响，提高行人身份识别率。
[0009] 为实现上述目的，本发明提供一种基于步态能量图的身份识别方法，包括如下步骤：
[0010] S1，获取待识别行人正常行走状态的行人前景图像序列，对行人前景图像序列提取一个步态周期并生成步态能量图；
[0011] S2，将步态能量图划分为多个固定大小的子区域图像，计算得到每一子区域图像中各
像素点的LBP值；
[0012] S3，统计每个子区域图像中各像素点LBP值的直方图，并进行归一化处理，将步态能量图中的各个子区域图像的统计直方图连接成一维
特征向量，作为整幅待识别的步态能量图的LBP特征；
[0013] S4，将待识别的步态能量图的LBP特征输入到最近邻分类器进行距离度量，并根据距离度量结果进行身份预测识别。
[0014] 进一步优选的，步骤S1中，所述对行人前景图像序列提取一个步态周期并生成步态能量图的具体实现过程为：
[0015] S1.1对行人前景图像序列中的各行人前景图像依次进行形态学去噪、尺寸归一化和
重心对齐，得到行人轮廓二值图像序列；
[0016] S1.2对于归一化后的行人轮廓二值图像序列，基于小腿区域的宽度变化提取步态周期，得到步态能量图。
[0017] 进一步优选的，步骤S1.1中，所述形态学去噪的过程为：
[0018] 采用半径为2的圆形结构元素对行人前景图像依次进行
腐蚀处理、膨胀处理、开运算处理与闭运算处理，实现行人前景图像的去噪和平滑。
[0019] 进一步优选的，步骤S1.1中，所述尺寸归一化的过程为：
[0020] 通过遍历各行人前景图像的每个像素点，确定每个行人前景图像中最左、最右、最高和最低的四个边界点，框选出宽W，高H的行人轮廓最小矩形，将其统一缩放到P像素的高度，得到行人轮廓图像的宽度等比例缩放至P×W/H像素。
[0021] 进一步优选的，步骤S1.1中，所述重心对齐的过程为：
[0022] S1.1.1，计算得到各行人轮廓图像的重心：
[0023]
[0024]
[0025] 式中，xi和yi分别表示行人轮廓图像中像素值为1的像素点的横纵坐标；N表示行人轮廓图像中所有像素值为1的像素点的总数；xc和yc分别表示行人轮廓图像重心的横纵坐标；
[0026] S1.1.2，创建一个像素值全为0，大小为P×P像素的标准模板，则标准模板的重心坐标为(P/2,P/2)，最后将行人轮廓图像的重心与标准模板的重心对齐后将行人轮廓图像安置在标准模板中，得到行人轮廓二值图像序列。
[0027] 进一步优选的，步骤S1.2中，所述基于小腿区域的宽度变化提取步态周期的过程为：
[0028] S1.2.1，设定行人轮廓二值图像中高度从0至0.28H的区域为小腿区域，逐行遍历行人轮廓二值图像中高度从0至0.28H的像素点，记录每一行中第一个和最后一个像素值为1的像素点坐标，并作为边界点；
[0029] S1.2.2，将每一行中得到的两个边界像素点横坐标相减，取其绝对值，取所有绝对值中的最大值作为当前行人轮廓二值图像的宽度值；
[0030] S1.2.3，将行人轮廓二值图像序列中宽度值最大的两个行人轮廓二值图像之间的时间跨度作为半个步态周期。
[0031] 进一步优选的，步骤S1.2中，所述得到步态能量图的具体过程为：
[0032] 将一个步态周期内所有经过尺寸归一化和重心对齐处理的行人轮廓二值图像取平均，得到步态能量图：
[0033]
[0034] 其中GEI(x,y)表示得到的步态能量图，B(x,y,t)表示一个步态周期内对应的行人轮廓二值图像，x和y是行人轮廓二值图像对应的二维空间中的像素点的坐标，t表示一个步态周期内的行人轮廓二值图像序列号，T是一个步态周期中的总帧数。
[0035] 进一步优选的，步骤S2中，所述计算得到每一子区域图像中各像素点的LBP值的过程为：
[0036] S2.1，选择子区域图像中任一中心像素点为圆心，半径为2的圆形邻域内的8个像素点进行比较；
[0037] S2.2，通过比较后将该中心像素点邻域内的8个像素点的灰度值标记为1或0，按照顺
时针顺序组合得到一个8位二进制数，作为该中心像素点的LBP值：
[0038]
[0039]
[0040] 式中，(xc,yc)表示中心像素点的坐标，gc表示中心像素点的灰度值，gp表示中心像素点邻域内像素点的灰度值，s(x)表示符号函数。
[0041] 进一步优选的，步骤S4中，所述将步态能量图的LBP特征输入到最近邻分类器进行距离度量，并根据距离度量结果进行身份预测识别的具体实现过程为：
[0042] S4.1，将步骤S3中得到的待识别的步态能量图的LBP特征G＝(g(1),g(2),g(3),...,g(n))输入到最近邻分类器；
[0043] S4.2，计算待识别的步态能量图的LBP特征G＝(g(1),g(2),g(3),...,g(n))与最近邻分类器的样本库中所有样本的欧式距离：
[0044]
[0045] 式中，P(i)＝(p(i)(1),p(i)(2),p(i)(3),...,p(i)(n))为最近邻分类器的样本库中的第i个样本；
[0046] S4.3，选择样本库中与待测步态能量图的LBP特征距离最近的样本，将该样本的类别预测为待识别的步态能量图的LBP特征的类别，以识别待识别的步态能量图对应行人的身份。
[0047] 为实现上述目的，本发明还提供一种基于步态能量图的身份识别系统，包括：
存储器和处理器，所述存储器存储有基于步态能量图的身份识别程序，所述处理器在运行所述程序时执行上述方法所述的步骤。
[0048] 本发明提供的一种基于步态能量图的身份识别方法及系统，解决了步态能量图容易受天气、光照变化等外界环境的影响，提取出的局部二值模式(LBP)特征具有旋转不变性和光照不变性，有效提高了步态识别在真实复杂应用场景下的行人身份正确识别率，本发明计算简单，数据量小，实时性强，能够有效提高身份识别效率。
附图说明
[0049] 为了更清楚地说明本发明
实施例或
现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0050] 图1为本发明实施例中基于步态能量图的身份识别方法的流程示意图；
[0051] 图2为本发明实施例中对行人前景图像序列提取一个步态周期并生成步态能量图的流程示意图；
[0052] 图3为本发明实施例中对行人前景图像进行形态学去噪的结果示意图；
[0053] 图4为本发明实施例中重心对齐的流程示意图；
[0054] 图5为本发明实施例中基于小腿区域的宽度变化提取步态周期的流程示意图；
[0055] 图6为本发明实施例中人体部位比例的示意图；
[0056] 图7为本发明实施例中的步态能量图；
[0057] 图8为本发明实施例中计算得到每一子区域图像中各像素点的LBP值的流程示意图；
[0058] 图9为本发明实施例中中心像素点与圆形邻域内像素点点对比的示意图；
[0059] 图10为本发明实施例中根据距离度量结果进行身份预测识别的流程示意图；
[0060] 图11为本发明实施例中步态能量图各子区域像素点计算的LBP值组合得到的图像。
[0061] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0062] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0063] 需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对
位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0064] 另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0065] 在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0066] 另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0067] 如图1所示的一种基于步态能量图的身份识别方法，包括如下步骤：
[0068] S1，获取待识别行人正常行走状态的行人前景图像序列，对行人前景图像序列提取一个步态周期并生成步态能量图；
[0069] S2，将步态能量图划分为多个固定大小的子区域图像，计算得到每一子区域图像中各像素点的LBP值；
[0070] S3，统计每个子区域图像中各像素点LBP值的直方图，并进行归一化处理，将步态能量图中的各个子区域图像的统计直方图连接成一维特征向量，作为整幅待识别的步态能量图的LBP特征；
[0071] S4，将待识别的步态能量图的LBP特征输入到最近邻分类器进行距离度量，并根据距离度量结果进行身份预测识别。
[0072] 本实施例解决了步态能量图容易受天气、光照变化等外界环境的影响，提取出的局部二值模式(Local Binary Patterns,LBP)特征具有旋转不变性和光照不变性，有效提高了步态识别在真实复杂应用场景下的行人身份正确识别率，而且计算简单，数据量小，实时性强，能够有效提高身份识别效率。
[0073] 步骤S1中，待识别行人的数量可以是一个也可以是多个，本实施例中，获取待识别行人正常行走状态的行人前景图像序列的具体实施过程为：拍摄多个行人在90°拍摄
角度下的前景图像。
[0074] 参考图2，步骤S1中，所述对行人前景图像序列提取一个步态周期并生成步态能量图的具体实现过程为：
[0075] S1.1对行人前景图像序列中的各行人前景图像依次进行形态学去噪、尺寸归一化和重心对齐，得到行人轮廓二值图像序列；
[0076] S1.2对于归一化后的行人轮廓二值图像序列，基于小腿区域的宽度变化提取步态周期，得到步态能量图。
[0077] 步骤S1.1中，所述形态学去噪的过程为：采用半径为2的圆形结构元素对行人前景图像依次进行腐蚀处理、膨胀处理、开运算处理与闭运算处理，实现行人前景图像的去噪和平滑。即如图3所示，其中，图3(a)为原始行人前景图像，图3(b)为经腐蚀处理后的图像，图3(c)为经膨胀处理后的图像，图3(d)为经开运算处理后的图像，图3(e)为经闭运算处理后的图像。可见经形态学去噪后的图像更加平滑饱满，贴近于实际行人轮廓。
[0078] 步骤S1.1中，所述尺寸归一化的过程为：
[0079] 通过遍历各行人前景图像的每个像素点，确定每个行人前景图像中最左、最右、最高和最低的四个边界点，框选出宽W，高H的行人轮廓最小矩形，将其统一缩放到P像素的高度，得到行人轮廓图像的宽度等比例缩放至P×W/H像素；本实施例中，P＝240。
[0080] 参考图4，步骤S1.1中，所述重心对齐的过程为：
[0081] S1.1.1，计算得到各行人轮廓图像的重心：
[0082]
[0083]
[0084] 式中，xi和yi分别表示行人轮廓图像中像素值为1的像素点的横纵坐标；N表示行人轮廓图像中所有像素值为1的像素点的总数；xc和yc分别表示行人轮廓图像重心的横纵坐标；
[0085] S1.1.2，创建一个像素值全为0，大小为240×240像素的标准模板，则标准模板的重心坐标为(120,120)，最后将行人轮廓图像的重心与标准模板的重心对齐后将行人轮廓图像安置在标准模板中，得到行人轮廓二值图像序列。
[0086] 参考图5，步骤S1.2中，所述基于小腿区域的宽度变化提取步态周期的过程为：
[0087] S1.2.1，依据人体结构的医学知识，小腿部分长度约为0.28H(H为身高)，如图6所示，因此设定行人轮廓二值图像中高度从0至0.28H的区域为小腿区域，逐行遍历行人轮廓二值图像中高度从0至0.28H的像素点，记录每一行中第一个和最后一个像素值为1的像素点坐标，并作为边界点；
[0088] S1.2.2，将每一行中得到的两个边界像素点横坐标相减，取其绝对值，取所有绝对值中的最大值作为当前行人轮廓二值图像的宽度值；
[0089] S1.2.3，将行人轮廓二值图像序列中宽度值最大的两个行人轮廓二值图像之间的时间跨度作为半个步态周期。
[0090] 步骤S1.2中，所述得到步态能量图的具体过程为：
[0091] 将一个步态周期内所有经过尺寸归一化和重心对齐处理的行人轮廓二值图像取平均，得到如图7所示的步态能量图：
[0092]
[0093] 其中GEI(x,y)表示得到的步态能量图，B(x,y,t)表示一个步态周期内对应的行人轮廓二值图像，x和y是行人轮廓二值图像对应的二维空间中的像素点的坐标，t表示一个步态周期内的行人轮廓二值图像序列号，T是一个步态周期中的总帧数。
[0094] 步骤S2中，将步态能量图划分为多个固定大小的子区域图像的具体过程为：由于步态能量图的尺寸为240×240，因此将步态能量图划分为225个16×16大小的子区域图像。
[0095] 参考图8，步骤S2中，所述计算得到每一子区域图像中各像素点的LBP值的过程为：
[0096] S2.1，选择子区域图像中任一中心像素点为圆心，半径为2的圆形邻域内的8个像素点进行比较，即如图9所示；其中，中心像素点指的是子区域图像中具有半径为2的圆形邻域的像素点；
[0097] S2.2，通过比较后将该中心像素点邻域内的8个像素点的灰度值标记为1或0，按照顺时针顺序组合得到一个8位二进制数，作为该中心像素点的LBP值：
[0098]
[0099]
[0100] 式中，(xc,yc)表示中心像素点的坐标，gc表示中心像素点的灰度值，gp表示中心像素点邻域内像素点的灰度值，s(x)表示符号函数。
[0101] 步骤S3中，直方图进行归一化处理的具体实现过程为：图像直方图反映的是一个图像像素分布的统计表，其实横坐标代表了图像像素的种类；纵坐标代表了每一种
颜色值在图像中的像素总数或者占所有像素个数的百分比。步态能量图为灰度图像，在获得其直方图后，将直方图归一化，其实就是将纵坐标变成当前次数占总次数的概率，也就是将直方图中不同灰度级(直方图各横坐标)出现的次数(直方图中对应的纵坐标)除以总像素数量，建立新的映射关系——归一化后的直方图横坐标不变，纵坐标变为原纵坐标与总像素数量的商值。
[0102] 参考图10，步骤S4中，所述将步态能量图的LBP特征输入到最近邻分类器进行距离度量，并根据距离度量结果进行身份预测识别的具体实现过程为：
[0103] S4.1，将步骤S3中得到的待识别的步态能量图的LBP特征G＝(g(1),g(2),g(3),...,g(n))输入到最近邻分类器，其中，待识别的步态能量图的LBP特征G＝(g(1),g(2),g(3),...,g(n))即如图11所示，为步态能量图各子区域像素点计算的LBP值组合得到的图像；
[0104] S4.2，计算待识别的步态能量图的LBP特征G＝(g(1),g(2),g(3),...,g(n))与最近邻分类器的样本库中所有样本的欧式距离：
[0105]
[0106] 式中，P(i)＝(p(i)(1),p(i)(2),p(i)(3),...,p(i)(n))为最近邻分类器的样本库中的第i个样本；
[0107] S4.3，选择样本库中与待测步态能量图的LBP特征距离最近的样本，将该样本的类别预测为待识别的步态能量图的LBP特征的类别，以识别待识别的步态能量图对应行人的身份。
[0108] 本实施例中，选择4个正常行走状态下的步态序列提取的步态能量图作为训练集，其余2个正常行走状态下的步态序列提取的步态能量图作为测试集；提取训练集和测试集中步态能量图的局部二值模式(LBP)特征，将训练集中所有步态能量图的LBP特征输入到最近邻分类器作为样本库，然后计算测试集中一幅步态能量图的LBP特征与训练集中所有样本特征的欧氏距离，根据最近邻法则将这些欧式距离的最小值对应的样本类别预测为身份识别结果。
[0109] 计算测试集中各步态能量图的LBP特征与样本库中所有LBP特征的欧式距离，给定训练集中一个样本：G＝(g(1),g(2),g(3),...,g(n))；给定样本库中第i个样本：P(i)＝(p(i)(1),p(i)(2),p(i)(3),...,p(i)(n))。则欧式距离计算如公式(5)所述：
[0110]
[0111] 选择样本库中距离最近的那个样本，将该样本的类别预测为待测样本的类别，以识别行人的身份。
[0112] 以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明
说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
