技术领域
[0001] 本
发明涉及视频分析领域，具体涉及一种基于视频分析的人类骨骼点检测方法及系统。
背景技术
[0002] 人体检测识别是对人的行为进行分析和理解的
基础，它在交通控制、交通监控以及
银行、超市、博物馆等场所的监控方面得到了广泛的应用，其无论是在军事上，还是在工业探测及交通管理方面均有很大的实用意义。
[0003] 在人体检测识别技术的应用中，人体骨骼点信息的获取是行为识别中重要的一个环节。在
现有技术中，一种技术是基于RGB-D
深度相机来实现的，例如通常是采用微软开发的Ki nect
机器视觉设备来获取目标物体的三维坐标，并基于由Ki nect采集到的彩色图像数据、
深度图像数据转换为骨骼点追踪数据，以便能够根据骨骼点信息来追踪人体行为；另一类技术则是基于RGB图像，利用二值图像来提取骨骼点相关信息。
发明内容
[0004] 本发明提出一种基于视频分析的人类骨骼点检测方法及系统，其中从系统组成及图像检测方法方面进行了优化，使得整个系统具有低功耗、高灵敏度及高检测效率等功能，具备了良好的实际应用能
力。
[0005] 本发明的第一方面涉及一种基于视频分析的人类骨骼点检测系统，其包括被动式红外探测器、图像获取模
块、
图像分析模块及壳体；
[0006] 所述被动式红外探测器设在所述壳体两侧，其仅对人体红外
辐射敏感，且其探测区域中
心轴关于所述壳体的侧面朝外形成
角度，使得进入所述探测区域的人体不会被所述图像获取模块捕获；
[0007] 所述图像获取模块包括成像单元和
数据处理单元，其基于所述被动式红外探测器的触发
信号被启动，用于获取所述人体的红外图像和可见光图像；以及
[0008] 所述图像分析模块包括红外图像分析单元和可见光图像分析单元，其用于对所述红外图像和可见光图像进行分析，以便根据所述红外图像评估所述人体的成像尺寸，以及根据所述可见光图像确定所述人体的骨骼点信息。
[0009] 进一步地，所述成像单元包括光学成像组件、第一CCD芯片和第二CCD芯片，所述第一和第二CCD芯片分别作用在红外和可见光波段上；所述光学成像组件包括光学窗口、分光镜、第一和第二透镜组、以及第一和第二滤波片；所述分光镜上
镀有分光膜以使由所述光学窗口入射的光经所述分光膜作用后其红外光分量发生反射且可见光分量发生透射；所述第一透镜组用于将所述红外光分量投射至所述第一CCD芯片，所述第二透镜组用于将所述可见光分量投射至所述第二CCD芯片；所述第一滤波片设在所述第一透镜组和所述第一CCD芯片之间且仅允许红外光通过，所述第二滤波片设在所述第二透镜组和所述第二CCD芯片之间且仅允
许可见光通过。
[0010] 进一步地，所述数据处理单元包括模式控制组件、定时发生器、红外
图像处理组件和可见光图像处理组件；所述模式控制组件用于控制所述图像获取模块的成像模式，所述成像模式至少与图像
分辨率有关；所述定时发生器用于生成时钟驱动信号；所述图像处理组件分别包括
对比度增强装置、低通
滤波器、运算放大
电路、ADC、DSP和
存储器；其中，所述对比度增强装置包括
放大器、可变
电阻和直流偏置电源，所述可变电阻一端连接所述直流偏置电源，另一端连接于所述
运算放大器的输出端和所述对比度增强装置的放大器的输入端之间；所述
低通滤波器设在所述运算放大器的输入端，用于过滤由所述CCD芯片输出的
电信号中的
混叠频率分量。
[0011] 进一步的，本发明的人类骨骼点检测系统还被设置成：当所述被动式红外探测器生成所述触发信号时，所述模式控制组件控制所述第一CCD芯片在预设低分辨率下获得红外背景图像，并且控制所述第二CCD芯片依次在从低到高的多个预设分辨率下获得一系列的可见光背景图像；当所述人体进入所述成像单元的工作范围时，所述第一CCD芯片在所述预设低分辨率下获得红外成像图像，且所述红外图像分析单元根据所述红外背景图像和所述红外成像图像评估所述人体的成像尺寸；所述模式控制组件根据所述红外图像分析单元的评估结果控制所述第二CCD芯片在所述多个预设分辨率中的一个下获得可见光成像图像，且所述可见光图像分析单元根据对应所述分辨率的所述可见光背景图像和可见光成像图像获得所述骨骼点信息。
[0012] 进一步地，所述红外图像分析单元可以被设置成：将数字化的所述红外成像图像与数字化的所述红外背景图像进行相减操作，即，I p(x，y)＝|I(x，y)-IB(x，y)|，其中，I(x，y)为所述红外成像图像中
像素点(x，y)的强度值，IB(x，y)为所述红外背景图像中像素点(x，y)的强度值；将所述Ip(x，y)与预设的
阈值T1进行比较，如果Ip(x，y)大于或等于T1，则将Ip(x，y)取值为1，否则取值为0，从而获得所述红外成像图像的位图；根据所述红外成像图像的位图获得人体轮廓，并将其与所述位图尺寸进行比较，以获得评估值K。
[0013] 进一步地，所述可见光图像分析单元可以被设置成：将数字化的所述可见光成像图像与数字化的所述可见光背景图像进行相减操作，即，Ip(x，y)＝|I(x，y)-IB(x，y)|，其中，I(x，y)为所述可见光成像图像中像素点(x，y)的强度值，IB(x，y)所述为可见光背景图像中像素点(x，y)的强度值；如果所述像素点(x，y)的强度值I(x,y)和
饱和度S(x,y)满足T2≤I(x,y)/IB(x,y)≤T3，以及|S(x,y)-SB(x,y)|≤Min(ST,HT)，则将Ip(x，y)取值为1，否则取值为0，从而获得所述可见光成像图像的位图，其中，所述I(x,y)和IB(x,y)分别为所述像素点(x,y)在所述可见光成像图像和可见光背景图像中的强度值，所述S(x,y)和SB(x,y)分别为所述像素点(x,y)在所述可见光成像图像和所述可见光背景图像中的饱和度,所述参数ST为图像数字化中的饱和度范围的10％，所述参数HT取值60度，所述阈值T2、T3与环境光强有关；从所述位图中获取所有轮廓点(xi，yi)，i＝1,…,N，N为所述位图中的轮廓点的总数；计算像素点(xc,yc)，其中： 建立函数
并通过卷积运算对所述函数进行平滑处理；对函数F(i)＝f
(i+1)-f(i)进行过零检测以获得局部最大点。
[0014] 优选的，所述阈值T1取值30；并且/或者，所述评估值k越小，则所述第二CCD芯片具有越高的分辨率；并且/或者,所述可见光图像分析单元还包括所述阈值T2、T3与环境光强的查询表，且所述骨骼点检测系统还包括用于检测环境光强的光强
传感器。
[0015] 进一步地，所述壳体可以包括
外壳、安装板和
支撑构件；所述图像获取模块和图像分析模块安装在所述安装板上，所述安装板通过多个所述支撑构件与所述外壳形成固定连接；所述支撑构件包括第一连接块、第二连接块和弹性连接块；其中，所述第一和第二连接块包括彼此相对的第一表面和第二表面，所述第一表面为平面，所述第二表面具有平面部和从所述平面部沿远离所述第一表面的方向倾斜延伸形成的斜面部；所述弹性连接块包括一体成型的第一表面部、第二表面部和连接柱，所述第一表面部具有平面部和斜面部且在形状上与所述第一连接块的第二表面相适配，第二表面部具有平面部和斜面部且在形状上与所述第二连接块的第二表面相适配；所述连接柱分别与所述第一表面部和第二表面部的斜面部垂直地连接于所述第一表面部和第二表面部之间；所述安装板和所述外壳的内部上形成有多个凹部，以分别用于容纳所述支撑构件的第一和第二连接块。
[0016] 本发明的第二方面涉及基于上述人类骨骼点检测系统的人类骨骼点检测方法，其包括以下步骤：
[0017] 获取人体的红外成像图像并基于其评估所述人体的成像尺寸；
[0018] 基于所述人体的成像尺寸确定人体的可见光成像图像的分辨率；以及[0019] 根据所述可见光成像图像获取所述人体的骨骼点信息。、
[0020] 进一步地，本发明的人类骨骼点检测方法还可以包括：利用被动式红外探测器根据所述人体的接近生成触发信号的步骤；以及，根据所述触发信号获取红外背景图像和可见光背景图像的步骤。
附图说明
[0021] 图1示意性地说明了本发明的基于视频分析的人类骨骼点检测系统的
框架图；
[0022] 图2示意性地说明了本发明的基于视频分析的人类骨骼点检测系统的图像获取模块的框架图；
[0023] 图3示意性地示出了本发明的支撑构件。
具体实施方式
[0024] 在下文中，本发明的示例性
实施例将参照附图来详细描述。下面的实施例以举例的方式提供，以便充分传达本发明的精神给本发明所属领域的技术人员。因此，本发明不限于本文公开的实施例。
[0025] 如图1所示，本发明的基于视频分析的人类骨骼点检测系统包括被动式红外探测器(PID)、图像获取模块、图像分析模块及壳体，其中，被动式红外探测器分别设置在壳体两侧，图像分析模块和图像获取模块设置在壳体内，且壳体上设有透光部(其可以使开口或者其他允许光通过的结构)以允许壳体外的光进入图像获取模块。
[0026] 在本发明中，被动式红外探测器被配置成仅对人体的红外辐射(即对应于37℃
温度左右的辐射)敏感，且其探测区域的中心轴关于系统的侧面朝外形成一定角度，以便进入其探测区域的物体不会被图像获取模块所捕获。此外，被动式红外探测器还被设置成其作用区域相距地面0.7m-2.2m。在已经给出了上述配置参数的情况下，被动式红外探测器的选取及具体设置方式对于本领域技术人员是显而易见的，因此，本发明不再对此进行赘述。
[0027] 当行人从系统两侧靠近时，位于系统壳体两侧的被动式红外探测器将感测到人体红外辐射，并产生触发信号以表明有人体接近检测系统，图像获取模块和图像分析模块将根据该触发信号启动执行相关操作。同时，由于被动式红外探测器的作用范围被设置距离地面0.7-2.2m，因此可以有效避免诸如小动物等其他物体靠近检测系统而错误地产生触发信号。
[0028] 如图1和2所示，本发明的图像获取模块包括成像单元和数据处理单元。
[0029] 成像单元包括光学成像组件、第一CCD芯片和第二CCD芯片。在本发明中，第一CCD芯片和第二CCD芯片工作在不同波段上，光学成像组件用于将不同波段的光分别成像于第一和第二CCD芯片上。
[0030] 作为具体示例，第一和第二CCD芯片分别作用在红外和可见光波段上。光学成像组件自光学窗口接收光的入射，将入射光的红外分量和可见光分量分离并分别投射至第一和第二CCD芯片上。
[0031] 如图2所示，光学成像组件可以包括光学窗口、分光镜、第一和第二透镜组、以及第一和第二滤波片。根据本发明，分光镜上可以镀有分光膜，经光学窗口入射的光到达分光镜时，红外光分量将以反射的方式离开分光镜，并经第一透镜组作用投射至第一CCD芯片上以进行红外成像，其中，第一透镜组和第一CCD芯片之间可以设有允许红外光通过的第一滤波片；可见光分量将以透射的方式离开分光镜，并经第二透镜组作用投射至第二CCD芯片上以进行可见光成像，其中，第二透镜组和第二CCD芯片之间可以设有允许可见光通过的第二滤波片。在本发明中，可以在第一和第二透镜组中的透镜上镀有增透膜，以避免不希望的反射光对最终成像造成不利的影响。
[0032] 数据处理单元可以包括模式控制组件、定时发生器、红外图像处理组件和可见光图像处理组件。其中，红外(可见光)图像处理组件可以分别包括对比度增强装置、低通滤波器、运算放大电路、ADC、DSP和存储器。
[0033] 定时发生器用于在数据处理单元中生成时钟驱动信号。时钟驱动信号可以用于驱动CCD芯片来采集电荷信号。
[0034] 对比度增强装置用于增强对比度，其设置在运算放大器和ADC的输入端之间。作为具体示例，对比度增强装置可以包括放大器、可变电阻和直流偏置电源，其中，可变电阻一端连接直流偏置电源，另一端连接于运算放大器的输出端和对比度增强装置的放大器的输入端之间。
[0035] 低通滤波器设置在运算放大器的输入端，用于过滤由CCD芯片输出的电信号中的混叠频率分量。
[0036] CCD芯片输出电信号经运算放大器放大后由ADC转换为
数字信号。
[0037] 数字信号经DSP处理后输出的图像数字信号存储在存储器中。
[0038] 模式控制组件用于控制图像获取模块的成像模式，例如其可以通过改变CCD芯片的像素合并来改变CCD芯片输出的图像的分辨率和
帧数。例如，如果通过像素合并将图像分辨率降低4倍，则在相同的数据处理量的情况下可以使帧数提高4倍。因此，相应地，当模式控制组件对CCD芯片的输出参数进行控制的同时，还可以根据所需要的帧数相应地控制定时发生器的时钟驱动信号发生适应性变化。
[0039] 在本发明中，模式控制组件可以具有多个
控制信号，分别用于使获得的图像具有从低到高的多个预设的分辨率。
[0040] 在本发明中，当被动式红外探测器检测到人靠近并生成触发信号时，模式控制组件控制红外CCD芯片在预设的低分辨率下工作，以获得低分辨率的红外背景图像，并且控制可见光CCD芯片依次在从低到高的分辨率下工作，从而获得分辨率从低到高的一系列可见光背景图像。
[0041] 当人进入成像单元的工作范围内时，红外CCD芯片在模式控制组件的作用下仍然在预设的低分辨率下工作，从而获得与红外背景图像具有相同低分辨率的红外图像。在本发明中，红外图像仅用于评估人体成像尺寸的大小，并不直接用于分析骨骼点信息，因此，红外图像无需具有高的分辨率，从而减少对计算资源的浪费，提高计算效率。
[0042] 图像分析模块包括红外图像分析单元和可见光图像分析单元，其中，红外图像分析单元用于评估人体成像尺寸的大小，可见光图像分析单元用于获取人体轮廓骨骼点信息。
[0043] 在红外图像分析单元中，读取由图像获取模块提供的红外图像及相应的红外背景图像，并进行评估操作。下面将说明利用红外图像对人体成像尺寸进行评估的原理。
[0044] 在红外图像分析单元中，首先将数字化的红外成像图像与数字化的红外背景图像进行相减操作，以去除背景信息。由于在本发明的检测系统及方法下，此处使用的红外背景图像在获取时间上与红外成像图像非常接近，因此，利用该红外背景图像可以高效且精确地实现红外成像图像中的背景信息的去除。
[0045] 在背景信息去除步骤中，首先对各个像素点执行以下计算：
[0046] Ip(x，y)＝|I(x，y)-IB(x，y)| (公式一)
[0047] 其中，I(x，y)为红外成像图像中像素点(x，y)的强度值，IB(x，y)为红外背景图像中像素点(x，y)的强度值。
[0048] 随后将Ip(x，y)与预设的阈值T1进行比较，如果Ip(x，y)大于或等于T1，则将Ip(x，y)取值为1，否则取值为0，从而获得红外成像图像的位图，其中去除了背景信息。作为示例，阈值T1可以取值为30，但是本领域技术人员容易理解，阈值T1也可以根据环境等因素具有其他合适的取值。
[0049] 在评估步骤中，根据红外成像图像的位图获得人体轮廓，并将其与位图尺寸进行比较，以获得评估值K。作为示例，可以根据位图获得人体轮廓的面积，并将其与位图的面积进行比较，从而获得人体轮廓在图像中所占的比例值K。显然，K值越小，表明人体在红外成像图像上的成像越小，这往往意味着需要更高的图像分辨率才能实现对人体成像的精确分析。因此，在本发明中，模式控制组件根据K值为可见光CCD芯片设置合适的分辨率。借助这种方式，可以很好地在检测
精度与效率之间实现平衡，最大限度地减少计算时间，同时保证检测精度。
[0050] 图像获取模块在根据K值确定的可见光图像分辨率下获得可见光图像。
[0051] 可见光图像分析单元读取由图像获取模块提供的可见光成像图像及相应的可见光背景图像，并进行人体轮廓骨骼点检测。下面将说明利用可见光成像图像对人体轮廓骨骼点进行检测的原理。
[0052] 在检测步骤中，可见光图像分析单元首先将数字化的可见光成像图像与数字化的可见光背景图像进行相减操作，以去除背景信息。为了精确地获得人体轮廓，在此对背景去除步骤进行了优化。
[0053] 首先仍然依据(公式一)对各个像素点(x,y)执行以下计算：
[0054] Ip(x，y)＝|I(x，y)-IB(x，y)| (公式一)
[0055] 其中，I(x，y)为可见光成像图像中像素点(x，y)的强度值，IB(x，y)为可见光背景图像中像素点(x，y)的强度值。
[0056] 在形成位图的过程中，可见光图像分析单元判断像素点(x，y)的强度值I(x,y)和饱和度S(x,y)是否满足以下条件：
[0057] T2≤I(x,y)/IB(x,y)≤T3 (公式二)
[0058] |S(x,y)-SB(x,y)|≤Min(ST,HT) (公式三)
[0059] 其中，I(x,y)和IB(x,y)分别为像素点(x,y)在可见光成像图像和可见光背景图像中的强度值，S(x,y)和SB(x,y)分别为像素点(x,y)在可见光成像图像和可见光背景图像中的饱和度。
[0060] 如果同时满足公式二和公式三，则将Ip(x，y)取值为1，否则取值为0，从而获得可见光成像图像的位图，其中去除了背景信息。
[0061] 阈值T2、T3与环境光强有关，参数ST为图像数字化中的饱和度范围的10％，参数HT可以取值为60度。在本发明中，可以事先在可见光图像分析单元中建立阈值T2、T3与环境光强的查询表，且相应地在人类骨骼点检测系统中设置光强传感器以检测环境光强。
[0062] 在获得可见光成像图像的位图之后，可见光图像分析单元随后基于该位图进行轮廓骨骼点的分析，其具体如下。
[0063] 首先，从位图中获取所有轮廓点(xi，yi)，i＝1,…,N，N为位图中的轮廓点的总数。
[0064] 其次，计算对应于人体中心的像素点(xc,yc)，
[0065]
[0066] 接着，建立函数 并通过卷积运算对该函数进行平滑处理。
[0067] 最后，对函数F(i)＝f(i+1)-f(i)进行过零检测以获得局部最大点，即局部峰值点。该局部最大点即用于表示人体轮廓的骨骼点信息。
[0068] 借助本发明，能够以紧凑的结构基于视频分析实现人类骨骼点的检测。由于被动式红外探测器的引入及其与检测系统其他模块之间的作用关系，使得检测系统具有非常节能的方式工作，从而尤其适合用于户外场合，同时使图像获取模块和图像分析模块针对人与检测系统的距离在恰当的分辨率下工作成为可能，从而保证检测系统具有高计算效率，以及具有最恰当的图像处理效率，使得系统资源得到最佳的利用。红外成像与可见光成像的有机结合，使得能够调节可见光成像的工作模式，从而获得与待检测的人体相适配的成像，同时能够适应各种应用环境，避免不必要的资源浪费，提高系统响应速度。基于红外成像和可见光成像的不同用途，针对性地提出了不同的图像处理方法，消除了诸如外部环境等因素可能对图像分析造成的影响，确保了图像处理的精度。借助本发明所提出的基于视频分析的人类骨骼点检测方法及系统，能够以非常低的能耗、高的计算效率、在不同的应用环境下提供精确的人体轮廓骨骼点信息。此外，借助本发明的成像单元设计，使得检测系统所获取的红外图像和可见光图像之间的
坐标系对准变得简单，为后续红外图像和可见光图像之间的融合使用提供便利。
[0069] 此外，为了使本发明的检测系统适合室外环境使用，本发明的壳体可以包括外壳、安装板和支撑构件。其中，图像获取模块和图像分析模块安装在安装板上，安装板通过多个支撑构件与外壳固定连接。如图3所示，支撑构件包括第一连接块、第二连接块和弹性连接块。第一和第二连接块包括彼此相对的第一表面和第二表面，其中，第一表面为平面，第二表面具有平面部和从平面区沿远离第一表面的方向倾斜延伸形成的斜面部。弹性连接块包括一体成型的第一表面部、第二表面部和连接柱，其中，第一表面部具有平面部和斜面部，其在形状上与第一连接块的第二表面相适配，以便与第一连接块形成固定连接；第二表面部具有平面部和斜面部，其在形状上与第二连接块的第二表面相适配的形状，以便与第二连接块形成固定连接；连接柱分别与第一表面部和第二表面部的斜面部垂直地连接于第一表面部和第二表面部之间。安装板和外壳内部上形成有多个凹部，以分别用于容纳支撑构件的第一和第二连接块。借助本发明的壳体(尤其是支撑构件)设计，使得检测系统的光学及
电子器件能够稳定地固定于壳体内部，无论是来自何种方向的振动或者撞击(例如来自竖直方向上的振动或者来自
水平方向上的撞击)都能够经支撑构件得到很好地缓冲，从而提高检测系统内部器件的适用寿命，以及光学成像系统的成像
稳定性。
[0070] 尽管前面结合附图通过具体实施例对本发明进行了说明，但是，本领域技术人员容易认识到，上述实施例仅仅是示例性的，用于说明本发明的原理，其并不会对本发明的范围造成限制，本领域技术人员可以对上述实施例进行各种组合、
修改和等同替换，而不脱离本发明的精神和范围。
