首页 / 专利库 / 视听技术与设备 / 均值漂移过程 / 直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法

直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法

阅读:402发布:2020-05-08

专利汇可以提供直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种直线移动PTZ相机辅助双目PTZ视觉系统的主从 跟踪 方法,包括步骤:一、构建直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台;二、固定主监控PTZ相机控制直线移动PTZ相机 锁 定嫌疑目标,两相机均在短焦距下对嫌疑目标进行持续跟踪;三、分别对固定主监控PTZ相机和直线移动PTZ相机中的嫌疑目标前景区域进行估计;四、获取嫌疑目标前景区域的绝对深度值;五、调节嫌疑目标深度估计的精确度;六、估计固定从监控PTZ相机的控制参数并实现长焦距下嫌疑目标的主动跟踪。本发明在双目PTZ视觉系统的 基础 上,引入直线移动的PTZ相机,由粗到精的对嫌疑目标前景区域深度进行估计,并估计固定从监控PTZ相机的控制参数,实现双目PTZ视觉系统的主从跟踪。,下面是直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法专利的具体信息内容。

1.直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法,其特征在于,该方法包括以下步骤:
步骤一、构建直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台:在竖板(5)上等高位置处安装第一固定监控PTZ相机(1)和第二固定监控PTZ相机(2),在竖板(5)上位于第一固定监控PTZ相机(1)和第二固定监控PTZ相机(2)下侧安装滑轨(4),滑轨(4)长度方向的中轴线与第一固定监控PTZ相机(1)和第二固定监控PTZ相机(2)中心连线平行,在滑轨(4)上安装直线移动PTZ相机(3),第一固定监控PTZ相机(1)、第二固定监控PTZ相机(2)和直线移动PTZ相机(3)均与计算机连接,第一固定监控PTZ相机(1)、第二固定监控PTZ相机(2)和直线移动PTZ相机(3)的摄像机坐标系的X轴、Y轴、Z轴分别相互平行;
第一固定监控PTZ相机(1)、第二固定监控PTZ相机(2)、直线移动PTZ相机(3)、滑轨(4)、竖板(5)和所述计算机构成直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台;
在直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台中第一固定监控PTZ相机(1)和第二固定监控PTZ相机(2)中任意 一台相机作为固定主监控PTZ相机,另外一台相机作为固定从监控PTZ相机;
步骤二、固定主监控PTZ相机控制直线移动PTZ相机定嫌疑目标,两相机均在短焦距下对嫌疑目标进行持续跟踪,过程如下:
步骤201、离线采样固定主监控PTZ相机图像坐标和直线移动PTZ相机(3)的初始控制参数,并以数据表格的形式存储在计算机;
控制参数包括相机的pan转动参数、tilt转动参数和zoom焦距参数;
步骤202、在固定主监控PTZ相机监控界面上选择嫌疑目标,计算机查询数据表格,将控制参数反馈给直线移动PTZ相机(3),从而使直线移动PTZ相机(3)在短焦距下锁定嫌疑目标;
步骤203、固定主监控PTZ相机利用均值漂移算法在短焦距下持续跟踪嫌疑目标,并逐计算嫌疑目标质心与图像边界的距离,若嫌疑目标质心与图像边界的距离小于像素阈值,则利用公式 对固定主监控PTZ相机的pan
转动参数和tilt转动参数进行更新,从而使嫌疑目标锁定在固定主监控PTZ相机的图像中心位置,并持续利用均值漂移算法在短焦距下对嫌疑目标进行跟踪,其中,(x1,y1)为嫌疑目标质心坐标,(u1,v1)为固定主监控PTZ相机的图像中心坐标,f1为固定主监控PTZ相机的等效焦距,Δp1为固定主监控PTZ相机pan转动参数需要改变的绝对夹,Δt1为固定主监控PTZ相机tilt转动参数需要改变的绝对夹角,(p1,t1)为固定主监控PTZ相机pan转动参数和tilt转动参数改变前的数据,(p′1,t′1)为固定主监控PTZ相机pan转动参数和tilt转动参数改变后的数据;
步骤204、直线移动PTZ相机(3)在短焦距下持续对嫌疑目标进行跟踪,跟踪方法与固定主监控PTZ相机在短焦距下持续对嫌疑目标进行跟踪的方法一致;
步骤三、分别对固定主监控PTZ相机和直线移动PTZ相机中的嫌疑目标前景区域进行估计,过程如下:
步骤301、对固定主监控PTZ相机获取的邻近帧图像 和 的背景区域的对应点建立相似变换关系,即 为图像 的背景区域的点坐标, 为图像 的
背景区域对应 的点坐标, 和 均为齐次坐标, 为相似变换模型,cx和dx为固定主监控PTZ相机获取的邻近帧图像平方向上的变换参数,cy和dy为固定主监控PTZ相机获取的邻近帧图像垂直方向上的变换参数;
步骤302、将图像 在水平方向上n等分,得到图像 在水平方向上的图像集合图像 在水平方向上的每个块图像的尺寸均为(W,h),其中,W为图像
的长度尺寸,h为每个块图像的高度尺寸且 H为图像 的高度尺寸;
构建图像 对应的水平方向子图像集合 图像 对应的水平方
向子图像集合中每个子图像尺寸为(W,2h),即
以此类推
根据公式 计算图像 对应的水平方向每个
子图像的平均灰度向量 i为每个子图像水平方向上的像素编号,j为每个子图像垂直方向上的像素编号;
步骤303、构建图像 对应的水平方向子图像集合 以及图像
对应的水平方向每个子图像的平均灰度向量 过程与构建
图像 对应的水平方向子图像集合的过程一致;
步骤304、在邻近帧图像 对应位置子图像 的平均灰度向量对
中,遍历搜索灰度局部极值,其中,k为子图像编号且k=1,...,n-1;
根据公式 获取图像 子图像 上灰度局部极值 和图像
子图像 上灰度局部极值 和 构成一对横坐标对应关系,其中, 为图
像 子图像 上灰度局部极值 对应的横坐标, 为图像 子图像 上灰度局
部极值 对应的横坐标,dis(·)为两坐标之间的距离函数;
步骤305、多次重复步骤304,遍历邻近帧图像 的所有子图像对的对应横坐标的对应关系集合;
然后利用Hough变换去除邻近帧图像 的所有子图像对的对应横坐标的对应关系集合中的外点,得到内点集合 r为内点编号且r=1,2,...,M;M为内点集合中的对应点数目;
根据内点集合构建方程组 利用最小二乘算法求解内点集合构建的
方程组,得到相似变换模型中固定主监控PTZ相机获取的邻近帧图像水平方向上的变换参数cx和dx的最优估计值;
步骤306、将图像 和 在垂直方向上均匀切分,计算每个子图像的平均灰度向量,估计灰度局部极值的对应关系,从而得到相似变换模型中固定主监控PTZ相机获取的邻近帧图像垂直方向上的变换参数cy和dy的最优估计值,其过程与图像 和 在水平方向上的过程一致;
进而估计出相似变换模型;
步骤307、利用相似变换模型,对图像 进行相似变换,得到临时图像 然后将图像与图像 进行像素级差分运算,灰度差分结果不为0且位于嫌疑目标跟踪矩形框内的像素区域,即为固定主监控PTZ相机的嫌疑目标前景区域;
步骤308、对直线移动PTZ相机中的嫌疑目标前景区域进行估计,估计方法与固定主监控PTZ相机的嫌疑目标前景区域的估计方法一致;
步骤四、获取嫌疑目标前景区域的绝对深度值,过程如下:
步骤401、利用球面立体校正算法对固定主监控PTZ相机、直线移动PTZ相机(3)的嫌疑目标前景区域进行立体校正,然后利用动态规划立体匹配算法估计嫌疑目标前景区域的深度图
步骤402、对所述深度图计算深度平均值,从而得到嫌疑目标前景区域的绝对深度值步骤五、调节嫌疑目标深度估计的精确度,过程如下:
步骤501、根据公式 计算嫌疑目标深度估计的精确度 其中,ε为
常数, 为固定主监控PTZ相机和直线移动PTZ相机(3)的zoom焦距参数的初始值, 为直线移动PTZ相机(3)初始位置的中心至固定主监控PTZ相机的中心的距离;
步骤502、根据公式 判断嫌疑目标深度估计的精确度 是否满足要求,
当 时,执行步骤六;否则,执行步骤503;其中,λΔ为精确度阈值;
步骤503、根据公式 调节直线移动PTZ相机(3)在滑轨(4)上
的位置,使直线移动PTZ相机(3)的中心至固定主监控PTZ相机的中心的距离为 其中,α和β均为根据监控场景实验测定的常数;
步骤504、更新直线移动PTZ相机的控制参数,过程如下:
步骤5041、利用当前时刻嫌疑目标前景区域的绝对深度值 以及固定主监控PTZ相机成像模型,计算嫌疑目标在固定主监控PTZ相机的三维坐标
步骤5042、根据公式 计算直线移动PTZ相机(3)到达
指定位置后,嫌疑目标在直线移动PTZ相机(3)的三维坐标 其中, 为直线移动PTZ相机(3)到达指定位置处,嫌疑目标在直线移动PTZ相机(3)三维坐标系中X轴上的坐标值,为直线移动PTZ相机(3)到达指定位置处,嫌疑目标在直线移动PTZ相机(3)三维坐标系中Y轴上的坐标值, 为直线移动PTZ相机(3)到达指定位置处,嫌疑目标在直线移动PTZ相机(3)三维坐标系中Z轴上的坐标值;
步骤5043、根据公式 计算直线移动PTZ相机(3)更新后的
pan转动参数 和更新后的tilt转动参数
步骤505、计算机将直线移动PTZ相机(3)更新后的pan转动参数 和更新后的tilt转动参数 反馈给直线移动PTZ相机(3),从而使嫌疑目标重新锁定在直线移动PTZ相机(3)的图像中心位置,并继续利用均值漂移算法在短焦距下进行跟踪,并循环步骤203,直至嫌疑目标深度估计的精确度 满足要求,此时,嫌疑目标前景区域的最终绝对深度值为步骤六、估计固定从监控PTZ相机的控制参数并实现长焦距下嫌疑目标的主动跟踪,过程如下:
步骤601、利用当前时刻嫌疑目标前景区域的最终绝对深度值为 以及固定主监控PTZ相机成像模型,计算嫌疑目标在固定主监控PTZ相机的三维坐标
步骤602、根据公式 计算嫌疑目标在固定从监控PTZ
相机的三维坐标 其中,b13为固定主监控PTZ相机和固定从监控PTZ相机之间的距离,为嫌疑目标在固定从监控PTZ相机的三维坐标系中X轴上的坐标值, 为嫌疑目标在固定从监控PTZ相机的三维坐标系中Y轴上的坐标值, 为嫌疑目标在固定从监控PTZ相机的三维坐标系中Z轴上的坐标值;
步骤603、根据公式 计算固定从监控PTZ相机的pan转动参
数 和tilt转动参数
步骤604、根据具体监控场景赋予固定从监控PTZ相机的zoom焦距参数 为长焦距下的实际数值;
步骤605、计算机将固定从监控PTZ相机的pan转动参数 tilt转动参数 和zoom焦距参数 反馈给固定从监控PTZ相机,从而实现长焦距下嫌疑目标的主动跟踪。
2.按照权利要求1所述的直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法,其特征在于:步骤402中对所述深度图进行计算深度平均值前,先对所述深度图依次进行归一化和中值滤波。
3.按照权利要求1所述的直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法,其特征在于:所述短焦距为PTZ相机的1倍光学变焦距离~PTZ相机的3倍光学变焦距离,所述长焦距为PTZ相机的15倍光学变焦距离~PTZ相机的36倍光学变焦距离。
4.按照权利要求1所述的直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法,其特征在于:所述像素阈值的取值范围为30像素~40像素。

说明书全文

直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法

技术领域

[0001] 本发明属于视频监控技术领域,具体涉及一种直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法。

背景技术

[0002] 运动目标跟踪是智能视频监控领域的重要研究课题和应用方向,为了兼顾嫌疑目标的全景、局部等不同分辨率信息,可以采用双目PTZ相机构建主从跟踪系统,在该系统中,其中一个PTZ相机作为主监控相机,用于监控全景并实现对嫌疑目标在分辨率较低下的目标跟踪;另一个PTZ相机作为从监控相机,它受主监控相机的控制,通过不断估计、调整自身参数,实现对嫌疑目标在分辨率较高下的目标跟踪。
[0003] 现有的双目PTZ视觉系统的主从跟踪方法主要包括基于球面经纬坐标的主从跟踪方法和基于地平面约束的主从跟踪方法。基于球面经纬坐标的主从跟踪方法,该方法通过建立球面公共坐标系,并将两相机摄像机坐标系下的对应点变换为球面经纬度坐标,使经度值保持一致,纬度值用来衡量视差异,从而以球面公共坐标系作为中间桥梁,以及通过一系列坐标变换,实现两个PTZ相机的主从跟踪。该方法的主要缺点是需要事先给定监控场景的最大深度和最小深度,并且一旦上述参数给定不准确,将会导致较大的跟踪误差;此外,该方法只是通过监控场景的深度范围粗略估计从监控相机的平转动(pan)、竖直转动(tilt)和焦距变化(zoom)三个控制参数,并未对嫌疑目标的深度信息进行实时更新,因此当场景中目标深度变化较大时(如室内场景)也会出现较大跟踪误差。
[0004] 基于地平面约束的主从跟踪方法,该方法利用地平面确定的单应矩阵建立两相机之间的坐标关联,从而实现双目PTZ相机的主从跟踪。与前述方法不同,该方法不需要事先给定场景的最大深度和最小深度,并且能够有效适应目标深度的变化。该方法的主要缺点是只适应于监控场景中大部分区域为地平面的情况,对于包含斜坡、阶梯等监控场景,由于其不满足平面约束条件,该方法将会失效或导致较大跟踪误差。

发明内容

[0005] 本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法,在固定安装的双目PTZ视觉系统的基础上,进一步引入一个可以直线移动的PTZ相机,直线移动PTZ相机与固定主监控PTZ相机配合,由粗到精的对嫌疑目标前景区域深度进行估计,进而获取嫌疑目标前景区域的绝对深度值,并在此深度信息的基础上,进一步估计固定从监控PTZ相机的控制参数,从而实现双目PTZ视觉系统的主从跟踪,便于推广使用。
[0006] 为解决上述技术问题,本发明采用的技术方案是:直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法,其特征在于,该方法包括以下步骤:
[0007] 步骤一、构建直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台:在竖板上等高位置处安装第一固定监控PTZ相机和第二固定监控PTZ相机,在竖板上位于第一固定监控PTZ相机和第二固定监控PTZ相机下侧安装滑轨,滑轨长度方向的中轴线与第一固定监控PTZ相机和第二固定监控PTZ相机中心连线平行,在滑轨上安装直线移动PTZ相机,第一固定监控PTZ相机、第二固定监控PTZ相机和直线移动PTZ相机均与计算机连接,第一固定监控PTZ相机、第二固定监控PTZ相机和直线移动PTZ相机的摄像机坐标系的X轴、Y轴、Z轴分别相互平行;
[0008] 第一固定监控PTZ相机、第二固定监控PTZ相机、直线移动PTZ相机、滑轨、竖板和所述计算机构成直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台;
[0009] 在直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台中第一固定监控PTZ相机和第二固定监控PTZ相机中任一一台相机作为固定主监控PTZ相机,另外一台相机作为固定从监控PTZ相机;
[0010] 步骤二、固定主监控PTZ相机控制直线移动PTZ相机定嫌疑目标,两相机均在短焦距下对嫌疑目标进行持续跟踪,过程如下:
[0011] 步骤201、离线采样固定主监控PTZ相机图像坐标和直线移动PTZ相机的初始控制参数,并以数据表格的形式存储在计算机;
[0012] 控制参数包括相机的pan转动参数、tilt转动参数和zoom焦距参数;
[0013] 步骤202、在固定主监控PTZ相机监控界面上选择嫌疑目标,计算机查询数据表格,将控制参数反馈给直线移动PTZ相机,从而使直线移动PTZ相机在短焦距下锁定嫌疑目标;
[0014] 步骤203、固定主监控PTZ相机利用均值漂移算法在短焦距下持续跟踪嫌疑目标,并逐计算嫌疑目标质心与图像边界的距离,若嫌疑目标质心与图像边界的距离小于像素阈值,则利用公式 对固定主监控PTZ相机的pan转动参数和tilt转动参数进行更新,从而使嫌疑目标锁定在固定主监控PTZ相机的图像中心位置,并持续利用均值漂移算法在短焦距下对嫌疑目标进行跟踪,其中,(x1,y1)为嫌疑目标质心坐标,(u1,v1)为固定主监控PTZ相机的图像中心坐标,f1为固定主监控PTZ相机的等效焦距,Δp1为固定主监控PTZ相机pan转动参数需要改变的绝对夹角,Δt1为固定主监控PTZ相机tilt转动参数需要改变的绝对夹角,(p1,t1)为固定主监控PTZ相机pan转动参数和tilt转动参数改变前的数据,(p'1,t'1)为固定主监控PTZ相机pan转动参数和tilt转动参数改变后的数据;
[0015] 步骤204、直线移动PTZ相机在短焦距下持续对嫌疑目标进行跟踪,跟踪方法与固定主监控PTZ相机在短焦距下持续对嫌疑目标进行跟踪的方法一致;
[0016] 步骤三、分别对固定主监控PTZ相机和直线移动PTZ相机中的嫌疑目标前景区域进行估计,过程如下:
[0017] 步骤301、对固定主监控PTZ相机获取的邻近帧图像 和 的背景区域的对应点建立相似变换关系,即 为图像 的背景区域的点坐标, 为图像的背景区域对应 的点坐标, 和 均为齐次坐标, 为相似变换模型,cx
和dx为固定主监控PTZ相机获取的邻近帧图像水平方向上的变换参数,cy和dy为固定主监控PTZ相机获取的邻近帧图像垂直方向上的变换参数;
[0018] 步骤302、将图像 在水平方向上n等分,得到图像 在水平方向上的图像集合图像 在水平方向上的每个块图像的尺寸均为(W,h),其中,W为图像的长度尺寸,h为每个块图像的高度尺寸且 H为图像 的高度尺寸;
[0019] 构建图像 对应的水平方向子图像集合 图像 对应的水平方向子图像集合中每个子图像尺寸为(W,2h),即
以此类推
[0020] 根据公式 计算图像 对应的水平方向每个子图像的平均灰度向量 i为每个子图像水平方向上的像素编号,j为每个子图像垂直方向上的像素编号;
[0021] 步骤303、构建图像 对应的水平方向子图像集合 以及图像 对应的水平方向每个子图像的平均灰度向量 过程与
构建图像 对应的水平方向子图像集合的过程一致;
[0022] 步骤304、在邻近帧图像 对应位置子图像 的平均灰度向量对中,遍历搜索灰度局部极值,其中,k为子图像编号且k=1,...,n-1;
[0023] 根据公式 获取图像 子图像 上灰度局部极值 和图像 子图像 上灰度局部极值 和 构成一对横坐标对应关系,其中,
为图像 子图像 上灰度局部极值 对应的横坐标, 为图像 子图像 上灰
度局部极值 对应的横坐标,dis(·)为两坐标之间的距离函数;
[0024] 步骤305、多次重复步骤304,遍历邻近帧图像 的所有子图像对的对应横坐标的对应关系集合;
[0025] 然后利用Hough变换去除邻近帧图像 的所有子图像对的对应横坐标的对应关系集合中的外点,得到内点集合 r为内点编号且r=1,2,...,M;M为内点集合中的对应点数目;
[0026] 根据内点集合构建方程组 利用最小二乘算法求解内点集合构建的方程组,得到相似变换模型中固定主监控PTZ相机获取的邻近帧图像水平方向上的变换参数cx和dx的最优估计值;
[0027] 步骤306、将图像 和 在垂直方向上均匀切分,计算每个子图像的平均灰度向量,估计灰度局部极值的对应关系,从而得到相似变换模型中固定主监控PTZ相机获取的邻近帧图像垂直方向上的变换参数cy和dy的最优估计值,其过程与图像 和 在水平方向上的过程一致;
[0028] 进而估计出相似变换模型;
[0029] 步骤307、利用相似变换模型,对图像 进行相似变换,得到临时图像 然后将图像 与图像 进行像素级差分运算,灰度差分结果不为0且位于嫌疑目标跟踪矩形框内的像素区域,即为固定主监控PTZ相机的嫌疑目标前景区域;
[0030] 步骤308、对直线移动PTZ相机中的嫌疑目标前景区域进行估计,估计方法与固定主监控PTZ相机的嫌疑目标前景区域的估计方法一致;
[0031] 步骤四、获取嫌疑目标前景区域的绝对深度值,过程如下:
[0032] 步骤401、利用球面立体校正算法对固定主监控PTZ相机、直线移动PTZ相机的嫌疑目标前景区域进行立体校正,然后利用动态规划立体匹配算法估计嫌疑目标前景区域的深度图
[0033] 步骤402、对所述深度图计算深度平均值,从而得到嫌疑目标前景区域的绝对深度值
[0034] 步骤五、调节嫌疑目标深度估计的精确度,过程如下:
[0035] 步骤501、根据公式 计算嫌疑目标深度估计的精确度 其中,ε为常数, 为固定主监控PTZ相机和直线移动PTZ相机的zoom焦距参数的初始值,为直线移动PTZ相机初始位置的中心至固定主监控PTZ相机的中心的距离;
[0036] 步骤502、根据公式 判断嫌疑目标深度估计的精确度 是否满足要求,当 时,执行步骤六;否则,执行步骤503;其中,λΔ为精确度阈值;
[0037] 步骤503、根据公式 调节直线移动PTZ相机在滑轨上的位置,使直线移动PTZ相机的中心至固定主监控PTZ相机的中心的距离为 其中,α和β均为根据监控场景实验测定的常数;
[0038] 步骤504、更新直线移动PTZ相机的控制参数,过程如下:
[0039] 步骤5041、利用当前时刻嫌疑目标前景区域的绝对深度值 以及固定主监控PTZ相机成像模型,计算嫌疑目标在固定主监控PTZ相机的三维坐标
[0040] 步骤5042、根据公式 计算直线移动PTZ相机到达指定位置后,嫌疑目标在直线移动PTZ相机的三维坐标 其中, 为直线移动PTZ相机到达指定位置处,嫌疑目标在直线移动PTZ相机三维坐标系中X轴上的坐标值, 为直线移动PTZ相机到达指定位置处,嫌疑目标在直线移动PTZ相机三维坐标系中Y轴上的坐标值,为直线移动PTZ相机到达指定位置处,嫌疑目标在直线移动PTZ相机三维坐标系中Z轴上的坐标值;
[0041] 步骤5043、根据公式 计算直线移动PTZ相机更新后的pan转动参数 和更新后的tilt转动参数
[0042] 步骤505、计算机将直线移动PTZ相机更新后的pan转动参数pt2和更新后的tilt转动参数 反馈给直线移动PTZ相机,从而使嫌疑目标重新锁定在直线移动PTZ相机的图像中心位置,并继续利用均值漂移算法在短焦距下进行跟踪,并循环步骤203,直至嫌疑目标深度估计的精确度 满足要求,此时,嫌疑目标前景区域的最终绝对深度值为[0043] 步骤六、估计固定从监控PTZ相机的控制参数并实现长焦距下嫌疑目标的主动跟踪,过程如下:
[0044] 步骤601、利用当前时刻嫌疑目标前景区域的最终绝对深度值为 以及固定主监控PTZ相机成像模型,计算嫌疑目标在固定主监控PTZ相机的三维坐标
[0045] 步骤602、根据公式 计算嫌疑目标在固定从监控PTZ相机的三维坐标 其中,b13为固定主监控PTZ相机和固定从监控PTZ相机之间的距离, 为嫌疑目标在固定从监控PTZ相机的三维坐标系中X轴上的坐标值, 为嫌疑目标在固定从监控PTZ相机的三维坐标系中Y轴上的坐标值, 为嫌疑目标在固定从监控PTZ相机的三维坐标系中Z轴上的坐标值;
[0046] 步骤603、根据公式 计算固定从监控PTZ相机的pan转动参数 和tilt转动参数
[0047] 步骤604、根据具体监控场景赋予固定从监控PTZ相机的zoom焦距参数 为长焦距下的实际数值;
[0048] 步骤605、计算机将固定从监控PTZ相机的pan转动参数 tilt转动参数 和zoom焦距参数 反馈给固定从监控PTZ相机,从而实现长焦距下嫌疑目标的主动跟踪。
[0049] 上述的直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法,其特征在于:步骤402中对所述深度图进行计算深度平均值前,先对所述深度图依次进行归一化和中值滤波。
[0050] 上述的直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法,其特征在于:所述短焦距为PTZ相机的1倍光学变焦距离~PTZ相机的3倍光学变焦距离,所述长焦距为PTZ相机的15倍光学变焦距离~PTZ相机的36倍光学变焦距离。
[0051] 上述的直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法,其特征在于:所述像素阈值的取值范围为30像素~40像素。
[0052] 本发明与现有技术相比具有以下优点:
[0053] 1、本发明通过构建直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台,在固定安装的双目PTZ视觉系统的基础上,进一步引入一个可以直线移动的PTZ相机,直线移动PTZ相机与固定主监控PTZ相机配合,由粗到精的对嫌疑目标前景区域深度进行估计,进而获取嫌疑目标前景区域的绝对深度值,最大限度地满足双目PTZ视觉系统主从跟踪的实时性要求,便于推广使用。
[0054] 2、本发明在获取嫌疑目标前景区域的绝对深度值时,在图像在水平方向和垂直方向上分别获取块图像集合,计算图像对应的水平方向和垂直方向上每个子图像的平均灰度向量,在邻近帧图像对应位置子图像的平均灰度向量对中,遍历搜索灰度局部极值,进而估计PTZ相机邻近帧图像的相似变换模型,再利用相似变换模型将PTZ相机邻近帧图像进行像素级差分运算,从而得到嫌疑目标前景区域的深度估计结果,可靠稳定,使用效果好。
[0055] 3、本发明方法步骤简单,由粗到精的对嫌疑目标前景区域深度进行估计,进而获取嫌疑目标前景区域的绝对深度值,若估计的深度精确度不满足指标要求,则通过调节直线移动PTZ相机运动到指定位置,而后重新计算嫌疑目标前景区域的深度和深度精确度,直至满足要求为止;不需要预先输入监控场景的最大深度、最小深度参数,并且能够随着目标深度的变化对深度信息进行实时更新,因此对固定从监控PTZ相机的控制参数估计更准确,另外,不需要地平面约束的监控场景假设,对于包含斜坡、阶梯等监控场景,该方法仍能适用,且能获得更高的跟踪准确性,便于推广使用。
[0056] 综上所述,本发明在固定安装的双目PTZ视觉系统的基础上,进一步引入一个可以直线移动的PTZ相机,直线移动PTZ相机与固定主监控PTZ相机配合,由粗到精的对嫌疑目标前景区域深度进行估计,进而获取嫌疑目标前景区域的绝对深度值,并在此深度信息的基础上,进一步估计固定从监控PTZ相机的控制参数,从而实现双目PTZ视觉系统的主从跟踪,便于推广使用。
[0057] 下面通过附图实施例,对本发明的技术方案做进一步的详细描述。

附图说明

[0058] 图1为本发明直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台的结构示意图。
[0059] 图2为本发明方法的方法流程框图
[0060] 图3为本发明固定主监控PTZ相机在短焦距下对嫌疑目标的跟踪效果图。
[0061] 图4为图3中嫌疑目标前进的跟踪效果图。
[0062] 图5为图4中嫌疑目标前进的跟踪效果图。
[0063] 图6为本发明固定从监控PTZ相机在长焦距下对嫌疑目标的跟踪效果图。
[0064] 图7为图6中嫌疑目标前进的跟踪效果图。
[0065] 图8为图7中嫌疑目标前进的跟踪效果图。
[0066] 附图标记说明:
[0067] 1—第一固定监控PTZ相机;        2—第二固定监控PTZ相机;
[0068] 3—直线移动PTZ相机;            4—滑轨;
[0069] 5—竖板。

具体实施方式

[0070] 如图1和图2所示,本发明的直线移动PTZ相机辅助双目PTZ视觉系统的主从跟踪方法,包括以下步骤:
[0071] 步骤一、构建直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台:在竖板5上等高位置处安装第一固定监控PTZ相机1和第二固定监控PTZ相机2,在竖板5上位于第一固定监控PTZ相机1和第二固定监控PTZ相机2下侧安装滑轨4,滑轨4长度方向的中轴线与第一固定监控PTZ相机1和第二固定监控PTZ相机2中心连线平行,在滑轨4上安装直线移动PTZ相机3,第一固定监控PTZ相机1、第二固定监控PTZ相机2和直线移动PTZ相机3均与计算机连接,第一固定监控PTZ相机1、第二固定监控PTZ相机2和直线移动PTZ相机3的摄像机坐标系的X轴、Y轴、Z轴分别相互平行;
[0072] 第一固定监控PTZ相机1、第二固定监控PTZ相机2、直线移动PTZ相机3、滑轨4、竖板5和所述计算机构成直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台;
[0073] 在直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台中第一固定监控PTZ相机1和第二固定监控PTZ相机2中任一一台相机作为固定主监控PTZ相机,另外一台相机作为固定从监控PTZ相机;
[0074] 需要说明的是,通过构建直线移动PTZ相机辅助双目PTZ视觉系统的数据获取平台,在固定安装的双目PTZ视觉系统的基础上,进一步引入一个可以直线移动的PTZ相机3,直线移动PTZ相机3与固定主监控PTZ相机配合,由粗到精的对嫌疑目标前景区域深度进行估计,进而获取嫌疑目标前景区域的绝对深度值,最大限度地满足双目PTZ视觉系统主从跟踪的实时性。
[0075] 步骤二、固定主监控PTZ相机控制直线移动PTZ相机锁定嫌疑目标,两相机均在短焦距下对嫌疑目标进行持续跟踪,过程如下:
[0076] 步骤201、离线采样固定主监控PTZ相机图像坐标和直线移动PTZ相机3的初始控制参数,并以数据表格的形式存储在计算机;
[0077] 控制参数包括相机的pan转动参数、tilt转动参数和zoom焦距参数;
[0078] 步骤202、在固定主监控PTZ相机监控界面上选择嫌疑目标,计算机查询数据表格,将控制参数反馈给直线移动PTZ相机3,从而使直线移动PTZ相机3在短焦距下锁定嫌疑目标;
[0079] 步骤203、固定主监控PTZ相机利用均值漂移算法在短焦距下持续跟踪嫌疑目标,并逐帧计算嫌疑目标质心与图像边界的距离,若嫌疑目标质心与图像边界的距离小于像素阈值,则利用公式 对固定主监控PTZ相机的pan转动参数和tilt转动参数进行更新,从而使嫌疑目标锁定在固定主监控PTZ相机的图像中心位置,并持续利用均值漂移算法在短焦距下对嫌疑目标进行跟踪,其中,(x1,y1)为嫌疑目标质心坐标,(u1,v1)为固定主监控PTZ相机的图像中心坐标,f1为固定主监控PTZ相机的等效焦距,Δp1为固定主监控PTZ相机pan转动参数需要改变的绝对夹角,Δt1为固定主监控PTZ相机tilt转动参数需要改变的绝对夹角,(p1,t1)为固定主监控PTZ相机pan转动参数和tilt转动参数改变前的数据,(p'1,t'1)为固定主监控PTZ相机pan转动参数和tilt转动参数改变后的数据;
[0080] 本实施例中,所述像素阈值的取值范围为30像素~40像素,实际使用中,优选的像素阈值取40像素。
[0081] 步骤204、直线移动PTZ相机3在短焦距下持续对嫌疑目标进行跟踪,跟踪方法与固定主监控PTZ相机在短焦距下持续对嫌疑目标进行跟踪的方法一致;
[0082] 步骤三、分别对固定主监控PTZ相机和直线移动PTZ相机中的嫌疑目标前景区域进行估计,过程如下:
[0083] 步骤301、对固定主监控PTZ相机获取的邻近帧图像 和 的背景区域的对应点建立相似变换关系,即 为图像 的背景区域的点坐标, 为图像的背景区域对应 的点坐标, 和 均为齐次坐标, 为相似变换模型,cx
和dx为固定主监控PTZ相机获取的邻近帧图像水平方向上的变换参数,cy和dy为固定主监控PTZ相机获取的邻近帧图像垂直方向上的变换参数;
[0084] 步骤302、将图像 在水平方向上n等分,得到图像 在水平方向上的块图像集合图像 在水平方向上的每个块图像的尺寸均为(W,h),其中,W为图像的长度尺寸,h为每个块图像的高度尺寸且 H为图像 的高度尺寸;
[0085] 构建图像 对应的水平方向子图像集合 图像 对应的水平方向子图像集合中每个子图像尺寸为(W,2h),即
以此类推
[0086] 根据公式 计算图像 对应的水平方向每个子图像的平均灰度向量 i为每个子图像水平方向上的像素编号,j为每个子图像垂直方向上的像素编号;
[0087] 步骤303、构建图像 对应的水平方向子图像集合 以及图像 对应的水平方向每个子图像的平均灰度向量 过程与
构建图像 对应的水平方向子图像集合的过程一致;
[0088] 步骤304、在邻近帧图像 对应位置子图像 的平均灰度向量对中,遍历搜索灰度局部极值,其中,k为子图像编号且k=1,...,n-1;
[0089] 根据公式 获取图像 子图像 上灰度局部极值 和图像 子图像 上灰度局部极值 和 构成一对横坐标对应关系,其中,
为图像 子图像 上灰度局部极值 对应的横坐标, 为图像 子图像 上灰
度局部极值 对应的横坐标,dis(·)为两坐标之间的距离函数;
[0090] 步骤305、多次重复步骤304,遍历邻近帧图像 的所有子图像对的对应横坐标的对应关系集合;
[0091] 然后利用Hough变换去除邻近帧图像 的所有子图像对的对应横坐标的对应关系集合中的外点,得到内点集合 r为内点编号且r=1,2,...,M;M为内点集合中的对应点数目;
[0092] 根据内点集合构建方程组 利用最小二乘算法求解内点集合构建的方程组,得到相似变换模型中固定主监控PTZ相机获取的邻近帧图像水平方向上的变换参数cx和dx的最优估计值;
[0093] 步骤306、将图像 和 在垂直方向上均匀切分,计算每个子图像的平均灰度向量,估计灰度局部极值的对应关系,从而得到相似变换模型中固定主监控PTZ相机获取的邻近帧图像垂直方向上的变换参数cy和dy的最优估计值,其过程与图像 和 在水平方向上的过程一致;
[0094] 进而估计出相似变换模型;
[0095] 步骤307、利用相似变换模型,对图像 进行相似变换,得到临时图像 然后将图像 与图像 进行像素级差分运算,灰度差分结果不为0且位于嫌疑目标跟踪矩形框内的像素区域,即为固定主监控PTZ相机的嫌疑目标前景区域;
[0096] 实际使用中,通常采用标准矩形框锁定嫌疑目标,标准矩形框内包含前景区域和背景区域两部分,若直接在矩形框区域内进行深度估计,不仅计算复杂度高,而且背景区域也会对嫌疑目标的深度估计造成巨大干扰,因此,本申请只在嫌疑目标前景区域进行深度估计,实时性效果好。
[0097] 步骤308、对直线移动PTZ相机中的嫌疑目标前景区域进行估计,估计方法与固定主监控PTZ相机的嫌疑目标前景区域的估计方法一致;
[0098] 需要说明的是,由粗到精的对嫌疑目标前景区域深度进行估计,进而获取嫌疑目标前景区域的绝对深度值,若估计的深度精确度不满足指标要求,则通过调节直线移动PTZ相机运动到指定位置,而后重新计算嫌疑目标前景区域的深度和深度精确度,直至满足要求为止;不需要预先输入监控场景的最大深度、最小深度参数,并且能够随着目标深度的变化对深度信息进行实时更新,因此对固定从监控PTZ相机的控制参数估计更准确,另外,不需要地平面约束的监控场景假设,对于包含斜坡、阶梯等监控场景,该方法仍能适用,且能获得更高的跟踪准确性。
[0099] 步骤四、获取嫌疑目标前景区域的绝对深度值,过程如下:
[0100] 步骤401、利用球面立体校正算法对固定主监控PTZ相机、直线移动PTZ相机3的嫌疑目标前景区域进行立体校正,然后利用动态规划立体匹配算法估计嫌疑目标前景区域的深度图;
[0101] 步骤402、对所述深度图计算深度平均值,从而得到嫌疑目标前景区域的绝对深度值
[0102] 本实施例中,步骤402中对所述深度图进行计算深度平均值前,先对所述深度图依次进行归一化和中值滤波。
[0103] 步骤五、调节嫌疑目标深度估计的精确度,过程如下:
[0104] 步骤501、根据公式 计算嫌疑目标深度估计的精确度 其中,ε为常数, 为固定主监控PTZ相机和直线移动PTZ相机3的zoom焦距参数的初始值, 为直线移动PTZ相机3初始位置的中心至固定主监控PTZ相机的中心的距离;
[0105] 步骤502、根据公式 判断嫌疑目标深度估计的精确度 是否满足要求,当 时,执行步骤六;否则,执行步骤503;其中,λΔ为精确度阈值;
[0106] 步骤503、根据公式 调节直线移动PTZ相机3在滑轨4上的位置,使直线移动PTZ相机3的中心至固定主监控PTZ相机的中心的距离为 其中,α和β均为根据监控场景实验测定的常数;
[0107] 步骤504、更新直线移动PTZ相机的控制参数,过程如下:
[0108] 步骤5041、利用当前时刻嫌疑目标前景区域的绝对深度值 以及固定主监控PTZ相机成像模型,计算嫌疑目标在固定主监控PTZ相机的三维坐标
[0109] 步骤5042、根据公式 计算直线移动PTZ相机3到达指定位置后,嫌疑目标在直线移动PTZ相机3的三维坐标 其中, 为直线移动PTZ相机
3到达指定位置处,嫌疑目标在直线移动PTZ相机3三维坐标系中X轴上的坐标值, 为直线移动PTZ相机3到达指定位置处,嫌疑目标在直线移动PTZ相机3三维坐标系中Y轴上的坐标值, 为直线移动PTZ相机3到达指定位置处,嫌疑目标在直线移动PTZ相机3三维坐标系中Z轴上的坐标值;
[0110] 步骤5043、根据公式 计算直线移动PTZ相机3更新后的pan转动参数 和更新后的tilt转动参数
[0111] 步骤505、计算机将直线移动PTZ相机3更新后的pan转动参数 和更新后的tilt转动参数 反馈给直线移动PTZ相机3,从而使嫌疑目标重新锁定在直线移动PTZ相机3的图像中心位置,并继续利用均值漂移算法在短焦距下进行跟踪,并循环步骤203,直至嫌疑目标深度估计的精确度 满足要求,此时,嫌疑目标前景区域的最终绝对深度值为[0112] 需要说明的是,在获取嫌疑目标前景区域的绝对深度值时,在图像在水平方向和垂直方向上分别获取块图像集合,计算图像对应的水平方向和垂直方向上每个子图像的平均灰度向量,在邻近帧图像对应位置子图像的平均灰度向量对中,遍历搜索灰度局部极值,进而估计PTZ相机邻近帧图像的相似变换模型,再利用相似变换模型将PTZ相机邻近帧图像进行像素级差分运算,从而得到嫌疑目标前景区域的深度估计结果,可靠稳定,使用效果好。
[0113] 步骤六、估计固定从监控PTZ相机的控制参数并实现长焦距下嫌疑目标的主动跟踪,过程如下:
[0114] 步骤601、利用当前时刻嫌疑目标前景区域的最终绝对深度值为 以及固定主监控PTZ相机成像模型,计算嫌疑目标在固定主监控PTZ相机的三维坐标
[0115] 步骤602、根据公式 计算嫌疑目标在固定从监控PTZ相机的三维坐标 其中,b13为固定主监控PTZ相机和固定从监控PTZ相机之间的距离, 为嫌疑目标在固定从监控PTZ相机的三维坐标系中X轴上的坐标值, 为嫌疑目标在固定从监控PTZ相机的三维坐标系中Y轴上的坐标值, 为嫌疑目标在固定从监控PTZ相机的三维坐标系中Z轴上的坐标值;
[0116] 步骤603、根据公式 计算固定从监控PTZ相机的pan转动参数 和tilt转动参数
[0117] 步骤604、根据具体监控场景赋予固定从监控PTZ相机的zoom焦距参数 为长焦距下的实际数值;
[0118] 步骤605、计算机将固定从监控PTZ相机的pan转动参数 tilt转动参数 和zoom焦距参数 反馈给固定从监控PTZ相机,从而实现长焦距下嫌疑目标的主动跟踪。
[0119] 本实施例中,所述短焦距为PTZ相机的1倍光学变焦距离~PTZ相机的3倍光学变焦距离,所述长焦距为PTZ相机的15倍光学变焦距离~PTZ相机的36倍光学变焦距离。
[0120] 本发明使用时,如图3至图5所示,固定主监控PTZ相机和直线移动PTZ相机3保持焦距最小值,即为短焦距下对嫌疑目标在移动过程中的持续跟踪,直线移动PTZ相机3为固定主监控PTZ相机提供深度辅助估计的作用,利用当前时刻嫌疑目标前景区域的最终绝对深度值、以及固定主监控PTZ相机成像模型,计算嫌疑目标在固定主监控PTZ相机的三维坐标,进而计算嫌疑目标在固定从监控PTZ相机的三维坐标,根据具体监控场景赋予固定从监控PTZ相机的zoom焦距参数调节为长焦距下的实际数值,计算机将固定从监控PTZ相机的控制参数反馈给固定从监控PTZ相机,从而实现长焦距下嫌疑目标的主动跟踪,如图6至图8所示,主从跟踪的深度效果好。
[0121] 以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈