首页 / 专利库 / 心理学与精神病学 / 感知 / 基于压缩感知多视角目标跟踪和3D目标重建系统及方法

基于压缩感知多视目标跟踪和3D目标重建系统及方法

阅读:915发布:2022-12-25

专利汇可以提供基于压缩感知多视目标跟踪和3D目标重建系统及方法专利检索,专利查询,专利分析的服务。并且本 发明 属于 图像处理 领域。为实现不仅降低编码端复杂度,降低传输数据带宽,同时提高 算法 自适应性和 信号 抗噪性,对背景变化具有鲁棒性,本发明采取的技术方案是,基于 压缩 感知 多视 角 目标 跟踪 和3D目标重建系统及方法,包括下列步骤:使摄像机都分布在可以观测到大部分观测区域的 位置 ,观测区域可以是2D或者3D的空间,通过对观测区域 采样 后,先进行压缩采样,再通过两次移动平均进行背景更新,采用能够抗噪的算法得到背景减除图像的压缩采样值;将得到的背景减除图像的压缩采样值,通过 阈值 测试检测感兴趣的目标;对感兴趣的目标则执行分析算法。本发明主要应用于图像 传感器 的设计制造。,下面是基于压缩感知多视目标跟踪和3D目标重建系统及方法专利的具体信息内容。

1.一种基于压缩感知多视目标跟踪和3D目标重建系统及方法,其特征是,包括下列步骤:
使摄像机都分布在可以观测到大部分观测区域的位置,观测区域可以是2D或者3D的空间,通过对观测区域采样后,先进行压缩采样,再通过两次移动平均进行背景更新,采用能够抗噪的算法得到背景减除图像的压缩采样值;
将得到的背景减除图像的压缩采样值,通过阈值测试检测感兴趣的目标;
对感兴趣的目标则执行分析算法,即:
恢复每个摄像机送来的目标剪影压缩采样数据,得到目标的剪影图,在2D的情况时将观测区域划分成N个紧凑不重叠子区域,第n个子区域有位置坐标(xn,yn),观测区域与每个摄像机的成像平面一一对应,将每个摄像机恢复出的数据转换成目标在该成像平面的位置,其与观测区域平面的前景目标位置一一对应,联合n个摄像机的数据找到其在观测区域中的准确位置;
在3D的情况时将观测区域划分成N个立体的紧凑不重叠子区域,第n个子区域有位置坐标(xn,yn,zn),观测区域与每个摄像机的成像平面一一对应,将每个摄像机恢复出的数据转换成目标在该成像平面的位置,其与观测区域平面的前景目标上的点一一对应,联合n个摄像机的数据找到其在观测区域中的准确形态。
2.如权利要求1所述的基于压缩感知多视角目标跟踪和3D目标重建方法,其特征是,送入背景更新模中先进行压缩采样,再通过两次移动平均进行背景更新具体是,采用SRM算法压缩采样得到yt(j),yt(j)分两路,一路通过yt(j)与yb(j)相减得到背景剪除图像的压缩采样值yd(j)输出,yd(j)是背景图像的压缩采样值,SRM是结构化随机矩阵;一路与缓存器1中的移动平均值yma(j)以学习率γ完成第一次移动平均,b代表背景,如下式:
yma(j+1)=γyt(j)+(1-γ)yma(j)
得到新的的移动平均值yma(j+1)并存入缓存器1以供下次使用,第二次移动平均是由yt(j)和对yma(j)先做压缩感知恢复后再进行压缩采样得到的值 的差,和缓存器2中背景图像的压缩采样值yb(j)以学习率α完成,如下式:
得到新的背景的压缩采样值存入缓存器2供下次使用,这样就完成了对背景突变时的背景鲁棒更新,背景突变的情况就有某物体进入背景后静止或者光照变化,j代表当前,j+1代表下一帧。
3.如权利要求1所述的基于压缩感知多视角目标跟踪和3D目标重建方法,其特征是,先通过阈值测试检测感兴趣的目标即运动目标具体为,由于 以及
其中ybi是背景图像的多组测量值,yb是其均值,前景目标较小
时,会有 做简单的阈值测试就可判断有无感兴趣的目标存在,bg是
background的缩写, 是背景期望和背景方差,若 差别较大比较下式:
其中c是设定常数,若成立,表示有目标出现,其中 表示正态分布,μt是期望,是方差,σbg是标准差,||||下角标2是2范数。
4.一种基于压缩感知多视角目标跟踪和3D目标重建系统,其特征是,借助于下列组成部分实现:包括若干摄像机,背景更新模块,中心数据处理点,摄像机、背景更新模块、中心数据处理点依次相连,n个数字摄像头通过复用32条数据线连接至背景更新模块,背景更新模块外接一个Flash或者SRAM来存取数据;背景更新模块通过PCI总线连接至上位机,背景更新模块由DSP构成,DSP包括如下子模块:
SRM算法压缩模块:用于采用SRM算法压缩采样得到yt(j)分两路,一路通过yt(j)与yb(j)相减得到背景剪除图像的压缩采样值yd(j)输出,yd(j)是背景图像的压缩采样值,SRM是结构化随机矩阵,一路输出到第一次移动平均模块;
第一次移动平均模块用于:将yt(j)与缓存器1中的移动平均值yma(j)以学习率γ完成第一次移动平均,如下式:
yma(j+1)=γyt(j)+(1-γ)yma(j)
得到新的的移动平均值yt(j+1)并存入缓存器1以供下次使用;
第二次移动平均模块用于:将yt(j)和对yma(j)先做压缩感知恢复后再进行压缩采样得到的值 的差,和缓存器2中背景图像的压缩采样值yb(j)以学习率α完成,如下式:
得到新的背景的压缩采样值存入缓存器2供下次使用。

说明书全文

基于压缩感知多视目标跟踪和3D目标重建系统及方法

技术领域

[0001] 本发明属于图像处理领域,尤其涉及一种基于压缩感知多视角目标跟踪和3D目标重建系统及方法。

背景技术

[0002] 随着摄像机技术的进步,广泛应用于监控系统、医学、智能房间等的摄像机网络不断发展。利用多个摄像机获取的信息可以对目标进行定位,从而追踪遮蔽目标或者重建3D目标。在这个背景下,设计对观测区域背景变化有鲁棒性的、通信开销低的、且相机数量可变的分布式算法显得尤为重要。
[0003] 传统方法中,由摄像机捕获大量结构完整但冗余度很高的数据,之后,若是可以进行本地处理的智能摄像机,会在将数据传送至通信信道前对获取的图像进行预处理,如利用传统的压缩方法等,这样就可以提取出有用的信息,只传送少数观测值就可以达到通信需求,但数据量仍然很大,占用带宽也较多,且对摄像机的性能要求很高,耗电量加大,并且这些算法的复杂度都会随着摄像机数量的增长而线性增长。如果再对观测区域背景的变化进行检测更新,则会占用更多资源,加重编码器负担,进一步加大耗电量,而实际中背景变化的情况很多见。
[0004] 摄像机处只传送目标的剪影信息是对传统算法的改进,它是在摄像机端对获取的数据进行背景减除算法的处理,获得只包含前景目标的剪影信息并传送。这样可以有效减少数据传输带宽,但是没有进一步利用剪影信息的稀疏性,由于加入了背景减除算法使得数据处理性能要求更高,耗电量更大,算法的复杂度还是会随着摄像机数量的增长而线性增长,对背景的变化若有鲁棒性仍然需要消耗过多资源。传统的多视角视频分析系统传输数据带宽大、编码端(摄像机)较复杂且耗电量大、算法复杂度没有自适应性、信号抗噪性弱、实际应用中可扩展性不强。

发明内容

[0005] 本发明旨在克服现有技术的不足,避免传统的多视角视频分析系统传输数据带宽大、摄像机端较复杂且耗电量大、算法复杂度没有自适应性、抗噪性弱、实际应用中可扩展性不强的缺点,实现不仅降低编码端复杂度,降低传输数据带宽,同时提高算法自适应性和信号抗噪性,对背景变化具有鲁棒性,为达到上述目的,本发明采取的技术方案是,基于压缩感知多视角目标跟踪和3D目标重建系统及方法,包括下列步骤:
[0006] 使摄像机都分布在可以观测到大部分观测区域的位置,观测区域可以是2D或者3D的空间,通过对观测区域采样后,先进行压缩采样,再通过两次移动平均进行背景更新,采用能够抗噪的算法得到背景减除图像的压缩采样值;
[0007] 将得到的背景减除图像的压缩采样值,通过阈值测试检测感兴趣的目标;
[0008] 对感兴趣的目标则执行分析算法,即:
[0009] 恢复每个摄像机送来的目标剪影压缩采样数据,得到目标的剪影图,在2D的情况时将观测区域划分成N个紧凑不重叠子区域,第n个子区域有位置坐标(xn,yn),观测区域与每个摄像机的成像平面一一对应,将每个摄像机恢复出的数据转换成目标在该成像平面的位置,其与观测区域平面的前景目标位置一一对应,联合n个摄像机的数据找到其在观测区域中的准确位置;
[0010] 在3D的情况时将观测区域划分成N个立体的紧凑不重叠子区域,第n个子区域有位置坐标(xn,yn,zn),观测区域与每个摄像机的成像平面一一对应,将每个摄像机恢复出的数据转换成目标在该成像平面的位置,其与观测区域平面的前景目标上的点一一对应,联合n个摄像机的数据找到其在观测区域中的准确形态。
[0011] 送入背景更新模中先进行压缩采样,再通过两次移动平均进行背景更新具体是,采用SRM算法压缩采样得到yt(j),yt(j)分两路,一路通过yt(j)与yb(j)相减得到背景剪除图像的压缩采样值yd(j)输出,yd(j)是背景图像的压缩采样值,SRM是结构化随机矩阵;一路与缓存器1中的移动平均值yma(j)以学习率γ完成第一次移动平均,b代表背景,如下式:
[0012] yma(j+1)=γyt(j)+(1-γ)yma(j)
[0013] 得到新的的移动平均值yma(j+1)并存入缓存器1以供下次使用,第二次移动平均是由yt(j)和对yma(j)先做压缩感知恢复后再进行压缩采样得到的值 的差,和缓存器2中背景图像的压缩采样值yb(j)以学习率α完成,如下式:
[0014]
[0015] 得到新的背景的压缩采样值存入缓存器2供下次使用,这样就完成了对背景突变时的背景鲁棒更新,背景突变的情况就有某物体进入背景后静止或者光照变化,j代表当前,j+1代表下一帧。
[0016] 先通过阈值测试检测感兴趣的目标即运动目标具体为,由于 以及 其中ybi是背景图像的多组测量值,yb是其均值,前景目标较小时,会有 做简单的阈值测试就可判断有无感兴趣的目标存在,bg是
background的缩写, 是背景期望和背景方差,若 差别较大比较下式:
[0017]
[0018] 其中c是设定常数,若成立,表示有目标出现,其中 表示正态分布,μt是期望, 是方差,σbg是标准差,||||下角标2是2范数。
[0019] 借助于下列组成部分实现:包括若干摄像机,背景更新模块,中心数据处理点,摄像机、背景更新模块、中心数据处理点依次相连,n个数字摄像头通过复用32条数据线连接至背景更新模块,背景更新模块外接一个Flash或者SRAM来存取数据;背景更新模块通过PCI总线连接至上位机,背景更新模块由DSP构成,DSP包括如下子模块:
[0020] SRM算法压缩模块:用于采用SRM算法压缩采样得到yt(j)分两路,一路通过yt(j)与yb(j)相减得到背景剪除图像的压缩采样值yd(j)输出,yd(j)是背景图像的压缩采样值,SRM是结构化随机矩阵,一路输出到第一次移动平均模块;
[0021] 第一次移动平均模块用于:将yt(j)与缓存器1中的移动平均值yma(j)以学习率γ完成第一次移动平均,如下式:
[0022] yma(j+1)=γyt(j)+(1-γ)yma(j)
[0023] 得到新的的移动平均值yt(j+1)并存入缓存器1以供下次使用;
[0024] 第二次移动平均模块用于:将yt(j)和对yma(j)先做压缩感知恢复后再进行压缩采样得到的值 的差,和缓存器2中背景图像的压缩采样值yb(j)以学习率α完成,如下式:
[0025]
[0026] 得到新的背景的压缩采样值存入缓存器2供下次使用。
[0027] 本发明的有益效果在于:本发明是将压缩感知编码端和压缩感知解码端融入多视角目标跟踪和3D目标重建系统,相比于传统的多视角视频分析系统,本系统可以实现减少编码端复杂度,以较少的数据量采样目标剪影并传输,提高算法对于摄像机个数的自适应性以及数据在信道传输的抗噪性,使算法对于观测区域的背景变化具有鲁棒性。附图说明
[0028] 图1是本发明的基于压缩感知的多视角目标跟踪和3D目标重建系统的总体工作原理结构示意图。
[0029] 图2是本发明的基于压缩感知的多视角目标跟踪和3D目标重建系统的组件1工作原理结构示意图。
[0030] 图3是本发明的基于压缩感知的多视角目标跟踪和3D目标重建系统的组件2工作原理结构示意图。
[0031] 图4是本发明DSP程序流程图
[0032] 图5是本发明硬件结构整体框图

具体实施方式

[0033] 一种基于压缩感知的多视角目标跟踪和3D目标重建系统,包含n个摄像机,所有摄像机都分布在可以观测到大部分观测区域的位置,观测区域可以是2D或者3D的空间,2D、3D(二维、三维),所有的摄像机都通过一个背景更新模块和一个中心数据处理点连接,n为大于等于1的自然数。
[0034] 所述的每个摄像机对观测区域采样后,送入背景更新模块中先进行压缩采样,再通过两次移动平均进行背景更新,采用能够抗噪的算法得到背景减除图像的压缩采样值,中心数据处理点与一个显示器相连。
[0035] 所述的每个摄像机得到的背景减除图像的压缩采样值都送至中心数据处理点,通过阈值测试检测感兴趣的目标。
[0036] 所述的中心数据处理点在对摄像机送来的数据做阈值测试时,如果发现感兴趣的目标则执行分析算法,恢复每个摄像机送来的目标剪影压缩采样数据,得到目标的剪影图,在2D的情况时将观测区域划分成N个紧凑不重叠子区域,第n个子区域有位置坐标(xn,yn),观测区域与每个摄像机的成像平面一一对应,将每个摄像机恢复出的数据转换成目标在该成像平面的位置,其与观测区域平面的前景目标位置一一对应,联合n个摄像机的数据找到其在观测区域中的准确位置。
[0037] 所述的中心数据处理点在对摄像机送来的数据做阈值测试时,如果发现感兴趣的目标则执行分析算法,恢复每个摄像机送来的目标剪影压缩采样数据,得到目标的剪影图,在3D的情况时将观测区域划分成N个立体的紧凑不重叠子区域,第n个子区域有位置坐标(xn,yn,zn),观测区域与每个摄像机的成像平面一一对应,将每个摄像机恢复出的数据转换成目标在该成像平面的位置,其与观测区域平面的前景目标上的点一一对应,联合n个摄像机的数据找到其在观测区域中的准确形态。
[0038] 下面结合附图对本发明作更详细的说明。
[0039] 如图1所示,基于压缩感知的多视角目标跟踪和3D目标重建系统,包括n个摄像机,所有摄像机都分布在可以观测到大部分观测区域的位置,观测区域可以是2D或者3D的空间,所有的摄像机都通过一个背景更新模块和一个中心数据处理点连接,n为大于等于1的自然数。如图2所示,每个摄像机对观测区域第j次采样后得到xt(j),送入背景更新模块中先用SRM算法压缩采样得到yt(j),yt(j)分两路,一路通过yt(j)与yb(j)相减得到背景剪除图像的压缩采样值yd(j)输出,yd(j)是背景图像的压缩采样值,一路与缓存器1中的移动平均值yma(j)以学习率γ完成第一次移动平均,如下式:
[0040] yma(j+1)=γyt(j)+(1-γ)yma(j)
[0041] 得到新的的移动平均值yma(j+1)并存入缓存器1以供下次使用,第二次移动平均是由yt(j)和对yma(j)先做压缩感知恢复后再进行压缩采样得到的值 的差,和缓存器2中背景图像的压缩采样值yb(j)以学习率α完成,如下式:
[0042]
[0043] 得到新的背景的压缩采样值存入缓存器2供下次使用,这样就完成了对背景突变时的背景鲁棒更新,背景突变的情况就有某物体进入背景后静止或者光照变化等,其中采用能够抗噪的算法得到背景减除图像的压缩采样值,中心数据处理点与一个显示器相连,显示最终跟踪的位置结果或者3D的立体图像。
[0044] 如图3所示,所述每个摄像机得到的背景减除图像的压缩采样值yd(j)都送至中心数据处理点,先通过阈值测试检测感兴趣的目标(运动目标),由于 以及 其中ybi是背景图像的多组测量值,yb是其均值,前景目标较小时,会有 做简单的阈值测试就可判断有无感兴趣的目标存在,bg是
background的缩写, 是背景期望和背景方差,若 差别较大比较下式:
[0045]
[0046] 其中c是设定常数,若成立,表示有目标出现,||||下角标2是2范数,||x||2=2 2 2 1/2
(|x1|+|x2|+...+|xn|) ,log是对数。
[0047] 如图3所示,所述的中心数据处理点在对摄像机送来的数据做阈值测试时,如果发现感兴趣的目标则执行分析算法,由于目标剪影图像是稀疏的,可以恢复每个摄像机送来的目标剪影压缩采样数据,得到目标的剪影图,在2D的情况时将观测区域划分成N个紧凑不重叠子区域,第n个子区域由位置坐标(xn,yn)表示(摄像机端已知),观测区域与每个摄像机的成像平面通过线性变换矩阵Hc,一一对应,将每个摄像机恢复出的数据转换成目标在该成像平面的位置 对应于观测区域平面的前景目标位置x(N×1的向量,若在子区域n出现则x(n)=1,其他x(n)=0,通常是稀疏的),如下式:
[0048]
[0049] 其中 是误差,再联合n个摄像机的数据找到其在观测区域中的准确位置。
[0050] 如图3所示,所述的中心数据处理点在对摄像机送来的数据做阈值测试时,如果发现感兴趣的目标则执行分析算法,由于目标剪影图像是稀疏的,利用GPSR_BB算法恢复每个摄像机送来的目标剪影压缩采样数据,得到目标的剪影图,在3D的情况时将观测区域划分成N1×N2×N3个立体的紧凑不重叠子区域(比二维跟踪的情况更密集),第n个子区域(体素)由位置坐标(xn,yn,zn)表示(摄像机端已知),观测区域与每个摄像机的成像平面通过线性变换矩阵Hc一一对应,将每个摄像机恢复出的数据转换成目标在该成像平面的位置 对应于观测区域平面的前景目标位置x(若在子区域n出现则x(n)=1,其他x(n)=0,对应(xn,yn,zn)位置的体素,通常是稀疏的),联合n个摄像机的数据估计其在观测区域中的准确形态。GPSR_BB是Barzilai-Borwein Gradient Projection for Sparse Reconstruction,即Barzilai-Borwein的梯度投影稀疏恢复算法。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈