技术领域
[0001] 本
发明涉及一种面向视频监控的
图像采集分析方法及系统，尤其涉及一种面向视频监控的运动目标主动感知方法及系统，属于视频监控领域。
背景技术
[0002] 当今，各式视频
监控系统在生产、生活环境中广泛应用。视频监控系统能够通过网络实现远程监控，由于其无需直接
接触目标，并且能够极大的减少人
力成本，因此在智能交通运输、城市安全防护以及军事侦察活动活动等众多领域得到了广泛的应用。运动目标是监控系统重点关注的对象，主动发现并获取运动目标的有效特征信息，有助于对目标身份的识别以及后续的分析处理任务。
发明内容
[0003] 根据本发明的一个方面，提供了一种面向视频监控的运动目标主动感知方法，其特征在于包括如下步骤：
[0004] A)依据目标发现摄像机画面与目标感知摄像机画面，通过特征点提取及匹配的方式，对所有目标发现摄像机与目标感知摄像机进行标定，建立
位置转换模型，[0005] B)利用目标发现摄像机对监控场景进行实时检测，得到待感知目标集合，[0006] C)依据运动目标轨迹预测函数，计算待感知目标的最优感知顺序，获取首选感知目标，
[0007] D)选取空闲目标感知摄像机，依据位置转换模型，计算首选感知目标在目标感知相机中的位置，
[0008] E)依据
像素坐标与摄像机
云台方位
角转换函数，调整目标感知摄像机的云台方位角对准目标，
[0009] F)依据人体关
节点检测与尺度评价函数，调节目标感知摄像机焦距在最优尺度下拍摄目标高清图像，
[0010] G)依据人体关节点检测，判断目标图像的特征有效性，然后提取目标图像的唯一性特征和区别性特征，
[0011] 其中：
[0012] 所述步骤A)包括：
[0013] 对于未配准的任意一对目标发现摄像机与目标感知摄像机，分别采集同一时刻摄像机i与摄像机j的视频图像imagei与imagej，
[0014] 然后，分别对imagei与imagej进行SURF特征点提取，得到特征点集合featurei和featurej，
[0015] 然后，对于特征点集合featurei中的每一个特征点，从featurej中选取
特征向量的欧式距离最近的点作为匹配点，使用它们的坐标构成特征点对集合patchij，[0016] 把摄像机i与摄像机j间的位置转换模型用Mij表示:
[0017]
[0018] 将特征点对集合patchij带入，利用最小二乘法求解得到位置转换模型Mij，[0019] 所述步骤B)包括：
[0020] 用基于背景建模的运动目标检测
算法和
深度学习网络作为目标实时检测算法，进行所述实时检测，
[0021] 利用基于背景建模的运动目标检测算法对所有目标发现摄像机的视频图像进行检测
跟踪，得到运动目标集合S1，
[0022] 利用深度学习网络对所有目标发现摄像机的视频图像进行检测跟踪，得到运动目标集合S2，
[0023] 用运动目标集合S1与运动目标集合S2的并集构成待感知目标集合S，[0024] 把运动目标集合S1与运动目标集合S2中目标信息格式确定为：
[0025] [ID,camera_id,time,left,right,up,down,center_x,center_y]
[0026] 其中：
[0027] ID表示目标的唯一身份编号，ID不同则目标身份不同，
[0028] camera_id表示目标出现的摄像机编号，
[0029] time表示目标出现的时间，
[0030] left表示目标区域的横坐标最小值，
[0031] right表示目标区域的横坐标最大值，
[0032] up表示目标区域的纵坐标最小值，
[0033] down表示目标区域的纵坐标最大值，
[0034] center_x表示目标区域的中心点横坐标，
[0035] center_y表示目标区域的中心点纵坐标。
附图说明
[0036] 图1为根据本发明的一个
实施例的面向视频监控的运动目标主动感知方法的
流程图。
[0037] 图2为根据本发明的一个实施例的面向视频监控的运动目标主动感知系统的配置图。
具体实施方式
[0038] 传统的视频监控系统通过采集并分析监控场景的视频图像，提取目标的特征信息，从达到对目标身份识别的效果。但是，在实际的视频监控场景中，目标往往具有不同的尺度和角度状态，而镜头参数和云台角度固定的传统视频监控系统很难应对，进而导致获取的目标特征信息无效，无法对目标进行身份的识别。
[0039] 为了减小开放的监控场景中由目标的不同状态所带来的影响，人脸、车牌监控系统采用一类卡口相机，在特定区域架设视频图像采集设备，通过限制目标
姿态的方式来获取高清图像提取目标特征信息，从而实现对目标身份的准确识别。但是这类视频监控系统在实际使用过程中对环境要求很高，并且在提取特征时未进行特征有效性评估，仅提取固定类型的特征信息。当监控场景中的目标的运动状态发生改变时，其所具有的有效特征往往会随之改变，从而导致系统提取到的特征信息无效。
[0040] 另有一类枪球联动视频监控系统，采用主从摄像机协同的方式，利用主摄像机监控全景，从摄像机对目标进行抓拍确认，达到了全景与细节兼顾的效果。但是这类系统仅能对目标的细节进行确认，无法实现对目标有效特征的主动提取。
[0041] 本发明设计了一种面向视频监控的运动目标主动感知方法及系统，该方法首先利用摄像机检测视频监控场景中出现的运动目标，然后计算目标的最优感知顺序，利用其他摄像机来对场景中的目标进行确认与跟踪抓拍，获取目标的高清图像后进一步分析图像中特征的有效性，最终提取目标有效的唯一性与区别性特征。
[0042] 本发明解决的问题在于目标发现摄像机发现视频监控场景中出现的运动目标后，利用目标感知摄像机来对场景中的目标进行确认与跟踪抓拍，并且在目标特征有效性评估的指导下进一步的提取目标的有效特征。
[0043] 本发明使用的摄像机按功能分为目标发现摄像机与目标感知摄像机，其中标发现摄像机由一个或多个任意类型的摄像机组成，目标感知摄像机由具有云台控制功能的一个或多个摄像机组成。
[0044] 根据本发明的一个方面，提供了一种面向视频监控的运动目标主动感知方法，其特征在于包括如下步骤：
[0045] (1)依据目标发现摄像机画面与目标感知摄像机画面，通过特征点提取及匹配的方式，对所有目标发现摄像机与目标感知摄像机进行标定，建立位置转换模型，[0046] (2)利用目标发现摄像机对监控场景进行实时检测，得到待感知目标集合，[0047] (3)依据运动目标轨迹预测函数，计算待感知目标的最优感知顺序，获取首选感知目标，
[0048] (4)选取空闲目标感知摄像机，依据位置转换模型，计算目标在目标感知相机中的位置，
[0049] (5)依据像素坐标与摄像机云台方位角转换函数，调整目标感知摄像机的云台方位角对准目标，
[0050] (6)依据人体关节点检测与尺度评价函数，调节目标感知摄像机焦距在最优尺度下拍摄目标高清图像，
[0051] (7)依据人体关节点检测，判断目标图像的特征有效性，然后提取目标图像的唯一性特征和区别性特征。
[0052] 根据本发明的一个进一步的方面，上述步骤(1)中：
[0053] 对于未配准的任意一对目标发现摄像机与目标感知摄像机，分别采集同一时刻摄像机i与摄像机j的视频图像imagei与imagej。然后分别对imagei与imagej进行SURF特征点提取，得到特征点集合featurei和featurej。然后对于特征点集合featurei中的每一个特征点，从featurej中选取特征向量的欧式距离最近的点作为匹配点，使用它们的坐标构成特征点对集合patchij。
[0054] 摄像机i与摄像机j间的位置转换模型用Mij表示:
[0055]
[0056] 将特征点对集合patchij带入，利用最小二乘法求解得到位置转换模型Mij。
[0057] 根据本发明的一个进一步的方面，上述步骤(2)中：
[0058] 采用的目标实时检测算法为基于背景建模的运动目标检测算法和深度学习网络。
[0059] 利用基于背景建模的运动目标检测算法对所有目标发现摄像机的视频图像进行检测跟踪，得到运动目标集合S1。
[0060] 利用深度学习网络对所有目标发现摄像机的视频图像进行检测跟踪，得到运动目标集合S2。
[0061] 运动目标集合S1与运动目标集合S2的并集构成待感知目标的集合S。
[0062] 运动目标集合中目标信息格式为：
[0063] [ID,camera_id,time,left,right,up,down,center_x,center_y]
[0064] 其中：ID表示目标的唯一身份编号，ID不同则目标身份不同，camera_id表示目标出现的摄像机编号，time表示目标出现的时间，left表示目标区域的横坐标最小值，right表示目标区域的横坐标最大值，up表示目标区域的纵坐标最小值，down表示目标区域的纵坐标最大值,center_x表示目标区域的中心点横坐标，center_y表示目标区域的中心点纵坐标。
[0065] 根据本发明的一个进一步的方面，上述步骤(3)中：
[0066] 目标轨迹预测函数表示为：
[0067] pxi(t)＝ai,0+ai,1*t+ai,2*t2+ai,3*t3
[0068] pyi(t)＝bi,0+bi,1*t+bi,2*t2+bi,3*t3
[0069] 其中pxi(t)表示待感知目标的集合S中的目标si在时刻t时的横坐标，ai,0、ai,1、ai,2、ai,3表示横坐标预测函数参数。pyi(t)表示待感知目标的集合S中的目标si在时刻t时的纵坐标，bi,0、bi,1、bi,2、bi,3表示纵坐标预测函数参数，t表示时刻。
[0070] 根据本发明的一个进一步的方面，上述步骤(3)中：
[0071] ai,0、ai,1、ai,2、ai,3、bi,0、bi,1、bi,2、bi,3依据如下方式计算：
[0072] 选取待感知目标的集合S中ID为si的所有中心点横坐标center_x、中心点纵坐标center_y以及时间time，利用最小二乘法拟合曲线pxi(t)与pyi(t)，计算平方和误差最小情况下的ai,0、ai,1、ai,2、ai,3、bi,0、bi,1、bi,2、bi,3值。
[0073] 根据本发明的一个进一步的方面，上述步骤(3)中：
[0074] 待感知目标最优感知顺序的计算方式为：利用待感知目标位置坐标图，计算在最短时间遍历所有坐标的顺序队列Q。从前往后遍历队列中的每一个目标，根据轨迹预测函数判断目标运动方向，若目标当前的运动方向向下并且运动方向的斜率的绝对值大于k，则将该目标置于队首；若目标在时间间隔t之后运动方向向下并且运动方向的斜率的绝对值大于k，则将该目标置于队尾；其他情况下目标在队列中的位置不变。首选感知目标为目标最优感知顺序中位于队首的目标。
[0075] 根据本发明的一个进一步的方面，上述步骤(4)中：
[0076] 选取空闲目标感知摄像机，根据置转换模型Mij，计算坐标(center_xi,center_yi)在目标感知摄像机中的位置(center_x’i,center_y’i)。计算方式如下：
[0077]
[0078] 根据本发明的一个进一步的方面，上述步骤(5)中：
[0079] 像素坐标与摄像机云台方位角转换函数按如下方式计算：
[0080] 首先调用从摄像机云台控制
接口，得到部分像素坐标与摄像机方位角的对应关系。然后利用局部加权回归拟合像素坐标与摄像机云台的
水平方位角、垂直方位角之间的对应关系：
[0081]
[0082] 其中 表示摄像机云台的水平方位角， 表示摄像机云台的垂直方位角，(x,y)表示待感知目标在目标感知摄像机中的中心像素坐标。
[0083] 根据本发明的一个进一步的方面，上述步骤(5)中：
[0084] 利用像素坐标与摄像机云台方位角转换函数计算云台水平方位角 和垂直方位角 然后将目标感知相机云台方位角调节至该角度。
[0085] 根据本发明的一个进一步的方面，上述步骤(6)中：
[0086] 调节摄像机焦距至[zoommin,zoommax]区间，利用预训练的人体关节点检测模型，检测当前目标感知摄像机的视频图像中的人体关节点集合skp。
[0087] 人体关节点集合中信息格式为：
[0088] [type,x,y,score]
[0089] 其中：
[0090] type表示关节点的类别，
[0091] x表示关节点的横坐标，
[0092] y表示关节点的纵坐标，
[0093] score表示关键点的分数。
[0094] 若集合skp为空，则表明当前目标为无效目标，结束目标感知过程，返回步骤B)。
[0095] 根据本发明的一个进一步的方面，上述步骤(6)中：
[0096] 尺度评估函数表示为：
[0097]
[0098] 其中：
[0099] (kpi,x,kpi,y)表示第i个关键点的位置坐标，
[0100] (avgx,avgy)表示skp中所有关节点的中心点坐标，
[0101] scorei表示第i个关键点的分数。
[0102] 根据本发明的一个进一步的方面，上述步骤(6)中：
[0103] 调剂摄像机焦距，若当前尺度评估值小于scalemin，则增大焦距，若当前尺度评估值大于scalemax，则减小焦距，使尺度评估值位于[scalemin,scalemax]之间。
[0104] 根据本发明的一个进一步的方面，上述步骤(7)中：
[0105] 唯一性特征是指目标的人脸特征，区别性特征是指目标的高层属性特征与底层
颜色纹理特征。
[0106] 利用
人脸检测算法检测人脸特征的有效性，若存在人脸，则利用人脸特征提取算法对人脸区域进行特征提取，
[0107] 根据步骤(6)中检测到的人体关节点坐标得到目标有效的高层属性特征区域，然后利用预训练的Resnet-50深度学习模型对该区域进行高层属性特征提取。
[0108] 根据步骤(6)中检测到的人体关节点坐标得到目标有效的底层颜色纹理区域，然后利用预训练的Resnet-50深度学习模型对该区域进行底层颜色纹理特征提取。
[0109] 下面结合附图和具体实施方式对本发明做进一步详细说明。
[0110] 如图2所示，根据本发明的一个实施例的面向视频监控的运动目标主动感知系统包括目标发现模
块、目标感知模块、特征有效性评估模块、特征提取模块。
[0111] 目标发现模块主要负责与主从摄像机建立网络连接，并实时采集主从摄像机中的视频图像，然后利用运动目标检测跟踪算法对场景中的目标进行检测和跟踪，保存目标的大小、位置以及时间信息，供系统后续的目标感知使用。
[0112] 目标感知模块主要负责与从摄像机进行通信，提供
传感器姿态控制接口、视场控制接口。当系统获取目标在从摄像机中的位置坐标后，利用像素坐标与摄像机云台方位角转换函数计算从摄像机的云台方位角，自主调节从摄像机对目标进行抓拍，提取目标的清晰图像，供系统后续的特征提取使用。
[0113] 特征有效性评估模块主要负责目标特征有效性评估。当目标感知模块获取到目标清晰图像后，特征有效性评估模块评估图像中人脸特征有效性、高层属性特征有效性、底层颜色文理特征有效性。
[0114] 特征提取模块负责提取目标清晰图像中的各类特征。当特征有效性评估模块完成了对各类特征的有效性评估之后，特征提取模块从原图中裁剪出人脸特征、高层属性特征、底层颜色文理特征的有效区域，对目标图像进行特征提取。
[0115] 图1所示的是根据本发明的一个实施例的基于多摄像机协同的运动目标主动感知方法的流程图，包括：
[0116] (1)多摄像机间位置转换模型构建步骤；
[0117] (2)待感知目标检测步骤；
[0118] (3)目标最优感知位置计算步骤；
[0119] (4)摄像机云台方位角计算步骤；
[0120] (5)摄像机感知尺度自主调节步骤；
[0121] (6)目标特征有效性评估及提取步骤。
[0122] 下面依次对上述步骤进行详细描述。
[0123] (1)多摄像机间位置转换模型构建步骤包括：
[0124] 对于未配准的任意一对目标发现摄像机与目标感知摄像机，分别采集同一时刻摄像机i与摄像机j的视频图像imagei与imagej。然后分别对imagei与imagej进行SURF特征点提取，得到特征点集合featurei和featurej。然后对于特征点集合featurei中的每一个特征点，从featurej中选取特征向量的欧式距离最近的点作为匹配点，使用它们的坐标构成特征点对集合patchij。
[0125] 把摄像机i与摄像机j间的位置转换模型用Mij表示:
[0126]
[0127] 将特征点对集合patchij带入，利用最小二乘法求解得到位置转换模型Mij。
[0128] (2)待感知目标检测步骤，其包括：
[0129] 利用基于背景建模的运动目标检测算法[1]对所有目标发现摄像机的视频图像进行检测跟踪，得到运动目标集合S1，
[0130] 利用YoloV3深度学习网络[2]对所有目标发现摄像机的视频图像进行检测跟踪，得到运动目标集合S2，
[0131] 把运动目标集合S1与运动目标集合S2并集，构成待感知目标的集合S。
[0132] (3)目标最优感知顺序计算步骤包括：
[0133] 选取待感知目标的集合S中ID为si的所有中心点横坐标center_x、中心点纵坐标center_y以及时间time，利用最小二乘法拟合曲线pxi(t)与pyi(t)：
[0134] pxi(t)＝ai,0+ai,1*t+ai,2*t2+ai,3*t3
[0135] pyi(t)＝bi,0+bi,1*t+bi,2*t2+bi,3*t3
[0136] 计算平方和误差最小情况下的ai,0、ai,1、ai,2、ai,3、bi,0、bi,1、bi,2、bi,3值；
[0137] 利用待感知目标位置坐标图，计算在最短时间遍历所有坐标的顺序队列Q；从前往后遍历队列中的每一个目标，根据轨迹预测函数判断目标运动方向，若目标当前的运动方向向下并且运动方向的斜率的绝对值大于k，则将该目标置于队首；若目标在时间间隔t之后运动方向向下并且运动方向的斜率的绝对值大于k，则将该目标置于队尾；其他情况下目标在队列中的位置不变。
[0138] (4)摄像机云台方位角计算步骤包括：
[0139] 选取空闲目标感知摄像机，根据置转换模型Mij，计算坐标(center_xi,center_yi)在目标感知摄像机中的位置(center_x’i,center_y’i)：
[0140]
[0141] 调用从摄像机云台控制接口，得到部分像素坐标与摄像机方位角的对应关系；然后利用局部加权回归拟合像素坐标与摄像机云台的水平方位角、垂直方位角之间的对应关系：
[0142]
[0143] 代入(center_x’i,center_y’i)得到摄像机云台的水平方位角 与垂直方位角控制云台调整到该角度。
[0144] (5)摄像机感知尺度自主调节步骤包括：
[0145] 调节摄像机焦距至[zoommin,zoommax]区间，利用预训练的人体关节点检测模型[3]，检测当前目标感知摄像机的视频图像中的人体关节点集合skp：
[0146] skp＝{(kpi,x,kpi,y)|0≤i≤24},
[0147] 然后计算尺度评估值：
[0148]
[0149] 同时计算目标的有效区域(allleft,allright,allupt,alldownt)：
[0150] allleft＝min{kpi,x|0≤i≤24}
[0151] allright＝max{kpi,x|0≤i≤24}
[0152] allup＝min{kpi,y|0≤i≤24}
[0153] alldown＝max{kpi,y|0≤i≤24}
[0154] 调剂摄像机焦距，若当前尺度评估值小于100，则增大焦距，若当前尺度评估值大于120，则减小焦距，使尺度评估值位于[100,120]之间。
[0155] (6)目标特征有效性评估及提取步骤包括：
[0156] 利用人脸检测算法[4]检测人脸特征的有效性，若存在人脸，则利用人脸特征提取算法对人脸区域进行特征提取，
[0157] 根据步骤(5)中得到的目标有效特征区域，利用预训练的Resnet-50深度学习模型[5]对该区域进行高层属性特征提取，
[0158] 根据步骤(5)中得到的目标有效特征区域，然后利用预训练的Resnet-50深度学习模型[6]对该区域进行底层颜色纹理特征提取。
[0159] 引用的文献：
[0160] [1]Barnich O,Van D M.ViBe:a universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Processing,2011,20(6):1709-1724
[0161] [2]Redmon J,Farhadi A.YOLOv3:An Incremental Improvement[J].2018[0162] [3]Cao Z,Simon T,Wei S E,et al.Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields[J].2016
[0163] [4]Ali A,Hussain S,Haroon F,et al.Face Recognition with LocalBinary Patterns[J].Bahria University Journal of Information&Communication Technologies,2012,5(1):5.
[0164] [5]He K,Zhang X,Ren S,et al.Deep Residual Learning for Image Recognition[J].2015.
[0165] [6]Zihao H,Huiyan W,Shengcai L,et al.Person Re-Identification with Hybrid Loss and Hard Triplets Mining[C].4th IEEE International Conference on Multimedia Big Data,2018,1-5.
