一种基于视觉特征的文物展示柜

申请号 CN201610046388.8 申请日 2016-01-22 公开(公告)号 CN105718900A 公开(公告)日 2016-06-29
申请人 张健敏; 发明人 张健敏;
摘要 本 发明 公开了一种基于视觉特征的文物展示柜,包括文物展示柜和安装在文物展示柜上的监控装置,监控装置具体包括预处理模 块 、检测 跟踪 模块、识别输出模块,其中预处理模块包含图像转化、图像滤波、图像增强三个子模块,检测跟踪模块包含构建、丢失判别、更新三个子模块。本文物展示柜将视频图像技术运用在文物展示柜上,能有效监控记录对文物的恶意破坏行为,具有实时性好、 定位 准确、自适应能 力 强、图像细节保留完整和鲁棒性强等优点。
权利要求

1.一种基于视觉特征的文物展示柜,包括文物展示柜和安装在文物展示柜上的监测装置,监测装置用于对文物展示柜附近的活动进行视频图像监测,其特征是,监测装置包括预处理模、检测跟踪模块、识别输出模块;
(1)预处理模块,用于对接收到的图像进行预处理,具体包括图像转化子模块、图像滤波子模块和图像增强子模块:
图像转化子模块,用于将彩色图像转化为灰度图像:
其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
图像滤波子模块,用于对灰度图像进行滤波:
采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:
Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,i=1,2,3,4;J(x,y)为经滤波后的图像;
图像增强子模块:
当 时, 其中,L(x,y)为增强后的灰
度值;ψ(x,y)是包含有局部信息的伽校正系数,此时 α是范围
为0到1的可变参数, ω为模板尺度大小参量,尺度越大则模板中包含的邻
域像素信息就越多,输入图像经过不同尺度ωi的模板,得到的图像Ji将会包含不同范围的邻域信息;
当 且ω>50时, 其中ψ
(x,y)=ψα(Msvlm(x,y)), mH是图像中灰度值高于128的所有像素的
均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为 其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y); 为模板修正系数;
(2)检测跟踪模块,具体包括构建子模块、丢失判别子模块和更新子模块:
构建子模块,用于视觉字典的构建:
在初始获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为 能够提取到的特征总量 其中K<<FN,且 视觉字典构建好以后,每幅训练图像表
示为特征包的形式,用于表示视觉字典中特征单词出现的频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征fs(t)向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
丢失判别子模块,用于判别目标的丢失与否:
当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=4,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为 个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z, 其中t=1,
2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为: 其中
gs为人为设定的判失值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;当目标丢失时,定义仿射变换模型: 其中(xt,yt)和(xt-1,
yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数,为温度旋转修正系数, 为温度
平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
更新子模块,用于视觉字典的更新:
在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点 经过F=3帧以后,获得新的特征点集 其中St-F代表了从F
帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类:
其中 表示新的视觉字典,视觉字典的大小保持
不变; 是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
(3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
2.根据权利要求1所述的一种基于视觉特征的文物展示柜,其特征是,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。

说明书全文

一种基于视觉特征的文物展示柜

技术领域

[0001] 本发明涉及展示柜领域,具体涉及一种基于视觉特征的文物展示柜。

背景技术

[0002] 中国是世界文明古国之一,有着悠久的历史和丰富的文化遗产,这些文化遗产大都以遗物、遗址、遗迹等形式保留下来,这就是我们大家现在所说的文物。文物展柜作为文物的重要载体,对安全性的要求很高。而视频监测,是保证文物展示柜安全的一个重要手段,它能准确实时地监测和记录在展示柜附近发生的一切活动,是对抗恶意破坏行为的一个行之有效的方法。
[0003] 而现在具有视频监测装置的文物展示柜,往往存在图像实时性不足、定位不够准确、自适应能不强、图像细节保留不够完整和鲁棒性弱等却点,无法将其对文物展示柜的保护功能发挥到最大。

发明内容

[0004] 针对上述问题,本发明提供一种基于视觉特征的文物展示柜。
[0005] 本发明的目的采用以下技术方案来实现:
[0006] 一种基于视觉特征的文物展示柜,包括文物展示柜和安装在文物展示柜上的监测装置,监测装置用于对文物展示柜附近的活动进行视频图像监测,监测装置包括预处理模、检测跟踪模块、识别输出模块;
[0007] (1)预处理模块,用于对接收到的图像进行预处理,具体包括图像转化子模块、图像滤波子模块和图像增强子模块:
[0008] 图像转化子模块,用于将彩色图像转化为灰度图像:
[0009]
[0010] 其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
[0011] 图像滤波子模块,用于对灰度图像进行滤波:
[0012] 采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,J(x,y)为经滤波后的图像;
[0013] 图像增强子模块:
[0014] 当 时, 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽校正系数,此时 α是
范围为0到1的可变参数,
[0015] 当 且ω>50时,其中ψ(x,y)=ψα(Msvlm(x,y)), mH是图像中灰度值高于128的所有
像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为 其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y); 为模板修正系数;
[0016] (2)检测跟踪模块,具体包括构建子模块、丢失判别子模块和更新子模块:
[0017] 构建子模块,用于视觉字典的构建:
[0018] 在初始获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征 其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为 能够提取到的特征总量 其中K<频率,用直方图h(xt)表示,h(xt)通过以下方式获取:将一幅训练图像Xt中的每一个特征 向视觉字典投影,用投影距离最短的特征单词表示该特征,对所有特征投影完毕后,统计每个特征单词的出现频率,并归一化得到训练图像Xt的特征直方图h(xt);
[0019] 丢失判别子模块,用于判别目标的丢失与否:
[0020] 当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=4,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为 个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z, 其中t=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为:
其中gs为人为设定的判失值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
[0021] 当目标丢失时,定义仿射变换模型:其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, 为温度旋转修正系数,
为温度平移修正系数,μ1和μ1用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
[0022] 更新子模块,用于视觉字典的更新:
[0023] 在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点 经过F=3帧以后,获得新的特征点集 其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类:
其中 表示新的视觉字典,视觉字典的大小保
持不变; 是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
[0024] (3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
[0025] 优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
[0026]
[0027] 其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
[0028] 本文物展示柜的有益效果为:在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;将M×N个幂指数运算降低为256个,提高了计算效率;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪。此外,该文物展示柜具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面取得了很好的效果。
附图说明
[0029] 利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
[0030] 图1是一种基于视觉特征的文物展示柜的结构框图
[0031] 图2是一种基于视觉特征的文物展示柜的外部示意图。

具体实施方式

[0032] 结合以下实施例对本发明作进一步描述。
[0033] 实施例1:如图1-2所示,一种基于视觉特征的文物展示柜,包括文物展示柜5和安装在文物展示柜5上的监测装置4,监测装置4用于对文物展示柜附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
[0034] (1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
[0035] 图像转化子模块11,用于将彩色图像转化为灰度图像:
[0036]
[0037] 其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
[0038] 图像滤波子模块12,用于对灰度图像进行滤波:
[0039] 采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,J(x,y)为经滤波后的图像;
[0040] 图像增强子模块13:
[0041] 当 时, 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时 α是
范围为0到1的可变参数,
[0042] 当 且ω>50时,其中ψ(x,y)=ψα(Msvlm(x,y)), mH是图像中灰度值高于128的所有
像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为 其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y); 为模板修正系数;
[0043] (2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
[0044] 构建子模块21,用于视觉字典的构建:
[0045] 在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征 其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为 能够提取到的特征总量 其中K<
[0046] 丢失判别子模块22,用于判别目标的丢失与否:
[0047] 当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=4,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为 个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z, 其中t=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为:
其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
[0048] 当目标丢失时,定义仿射变换模型:其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, 为温度旋转修正系数,
为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
[0049] 更新子模块23,用于视觉字典的更新:
[0050] 在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点 经过F=3帧以后,获得新的特征点集 其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类:
其中 表示新的视觉字典,视觉字典的大小保
持不变; 是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
[0051] (3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
[0052] 优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
[0053]
[0054] 其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
[0055] 此实施例的文物展示柜,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=4,F=3, 计算平均帧率为
15FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至110帧后仍能稳定跟踪目标。此外,该文物展示柜具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
[0056] 实施例2:如图1-2所示,一种基于视觉特征的文物展示柜,包括文物展示柜5和安装在文物展示柜5上的监测装置4,监测装置4用于对文物展示柜5附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
[0057] (1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
[0058] 图像转化子模块11,用于将彩色图像转化为灰度图像:
[0059]
[0060] 其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
[0061] 图像滤波子模块12,用于对灰度图像进行滤波:
[0062] 采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,J(x,y)为经滤波后的图像;
[0063] 图像增强子模块13:
[0064] 当 时, 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时 α是
范围为0到1的可变参数,
[0065] 当 且ω>50时, 其中ψ(x,y)=ψα(Msvlm(x,y)), mH是图像中灰度值高于128的所有像
素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为 其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y); 为模板修正系数;
[0066] (2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
[0067] 构建子模块21,用于视觉字典的构建:
[0068] 在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征 其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为 能够提取到的特征总量 其中K<
[0069] 丢失判别子模块22,用于判别目标的丢失与否:
[0070] 当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=5,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为 个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z, 其中t=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为:
其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
[0071] 当目标丢失时,定义仿射变换模型:其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, 为温度旋转修正系数,
为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
[0072] 更新子模块23,用于视觉字典的更新:
[0073] 在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点 经过F=4帧以后,获得新的特征点集 其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类:
其中 表示新的视觉字典,视觉字典的大小保
持不变; 是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
[0074] (3)识别输出模块,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
[0075] 优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
[0076]
[0077] 其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
[0078] 此实施例的文物展示柜,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=5,F=4, 计算平均帧率为
16FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至115帧后仍能稳定跟踪目标。此外,该文物展示柜具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
[0079] 实施例3:如图1-2所示,一种基于视觉特征的文物展示柜,包括文物展示柜5和安装在文物展示柜5上的监测装置4,监测装置4用于对文物展示柜5附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
[0080] (1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
[0081] 图像转化子模块11,用于将彩色图像转化为灰度图像:
[0082]
[0083] 其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
[0084] 图像滤波子模块12,用于对灰度图像进行滤波:
[0085] 采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,J(x,y)为经滤波后的图像;
[0086] 图像增强子模块13:
[0087] 当 时, 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时 α
是范围为0到1的可变参数,
[0088] 当 且ω>50时,其中ψ(x,y)=ψα(Msvlm(x,y)), mH是图像中灰度值高于128的所有
像素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为 其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y); 为模板修正系数;
[0089] (2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
[0090] 构建子模块21,用于视觉字典的构建:
[0091] 在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征 其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为 能够提取到的特征总量 其中K<
[0092] 丢失判别子模块22,用于判别目标的丢失与否:
[0093] 当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=6,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为 个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z, 其中t=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为:
其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
[0094] 当目标丢失时,定义仿射变换模型:其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, 为温度旋转修正系数,
为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
[0095] 更新子模块23,用于视觉字典的更新:
[0096] 在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点 经过F=5帧以后,获得新的特征点集 其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类:
其中 表示新的视觉字典,视觉字典的大小保
持不变; 是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
[0097] (3)识别输出模块3,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
[0098] 优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
[0099]
[0100] 其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+2 2 2 2
i,y+j)=q×exp(-(x+y )/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x+y )/ω)dxdy=1。
[0101] 此实施例的文物展示柜,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=6,F=5, 计算平均帧率为
17FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至120帧后仍能稳定跟踪目标。此外,该文物展示柜具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
[0102] 实施例4:如图1-2所示,一种基于视觉特征的文物展示柜,包括文物展示柜5和安装在文物展示柜5上的监测装置4,监测装置4用于对文物展示柜5附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
[0103] (1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
[0104] 图像转化子模块11,用于将彩色图像转化为灰度图像:
[0105]
[0106] 其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
[0107] 图像滤波子模块12,用于对灰度图像进行滤波:
[0108] 采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,J(x,y)为经滤波后的图像;
[0109] 图像增强子模块13:
[0110] 当 时, 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时 α是
范围为0到1的可变参数,
[0111] 当 且ω>50时, 其中ψ(x,y)=ψα(Msvlm(x,y)), mH是图像中灰度值高于128的所有像
素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为 其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y); 为模板修正系数;
[0112] (2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
[0113] 构建子模块21,用于视觉字典的构建:
[0114] 在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征 其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为 能够提取到的特征总量 其中K<
[0115] 丢失判别子模块22,用于判别目标的丢失与否:
[0116] 当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=7,形成新的大小为Z的子直方图h(z)(xt),子直方图的个数最多为 个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z, 其中t=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为:
其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
[0117] 当目标丢失时,定义仿射变换模型:其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, 为温度旋转修正系数,
为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
[0118] 更新子模块23,用于视觉字典的更新:
[0119] 在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点 经过F=6帧以后,获得新的特征点集 其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类:
其中 表示新的视觉字典,视觉字典的大小保
持不变; 是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
[0120] (3)识别输出模块3,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
[0121] 优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
[0122]
[0123] 其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
[0124] 此实施例的文物展示柜,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=7,F=6,φ=0.18,计算平均帧率为18FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至125帧后仍能稳定跟踪目标。此外,该文物展示柜具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
[0125] 实施例5:如图1-2所示,一种基于视觉特征的文物展示柜,包括文物展示柜5和安装在文物展示柜5上的监测装置4,监测装置4用于对文物展示柜5附近的活动进行视频图像监测,监测装置4包括预处理模块1、检测跟踪模块2、识别输出模块3。
[0126] (1)预处理模块1,用于对接收到的图像进行预处理,具体包括图像转化子模块11、图像滤波子模块12和图像增强子模块13:
[0127] 图像转化子模块11,用于将彩色图像转化为灰度图像:
[0128]
[0129] 其中,R(x,y)、G(x,y)、B(x,y)分别代表像素(x,y)处的红绿蓝强度值,H(x,y)代表坐标(x,y)处的像素灰度值;图像大小为m×n;
[0130] 图像滤波子模块12,用于对灰度图像进行滤波:
[0131] 采用维纳滤波来进行一级滤除后,定义svlm图像,记为Msvlm(x,y),具体定义公式为:Msvlm(x,y)=a1J1(x,y)+a2J2(x,y)+a3J3(x,y)+a4J4(x,y),其中a1、a2、a3、a4为可变权值,J(x,y)为经滤波后的图像;
[0132] 图像增强子模块13:
[0133] 当 时, 其中,L(x,y)为增强后的灰度值;ψ(x,y)是包含有局部信息的伽马校正系数,此时 α是范
围为0到1的可变参数,
[0134] 当 且ω>50时, 其中ψ(x,y)=ψα(Msvlm(x,y)), mH是图像中灰度值高于128的所有像
素的均值,mL是灰度值低于128的所有像素的均值,且此时m=min(mH,mL),在α值已知的情况下,计算出256个ψ校正系数作为查找表,记为 其中i为索引值,利用Msvlm(x,y)的灰度值作为索引,根据ψ(x,y)=ψα(Msvlm(x,y))快速获得图像中每个像素的伽马校正系数ψ(x,y); 为模板修正系数;
[0135] (2)检测跟踪模块2,具体包括构建子模块21、丢失判别子模块22和更新子模块23:
[0136] 构建子模块21,用于视觉字典的构建:
[0137] 在初始帧获取跟踪目标的位置和尺度,在其周围选取正负样本训练跟踪器,将跟踪结果作为训练集X={x1,x2,......xN}T;并对训练集中的每幅目标图像提取128维的SIFT特征 其中St表示训练集中第t幅目标图像中SIFT特征的个数;跟踪N帧以后,通过聚类算法将这些特征划分为K个簇,每个簇的中心构成特征单词,记为 能够提取到的特征总量 其中K<
[0138] 丢失判别子模块22,用于判别目标的丢失与否:
[0139] 当新一帧图像到来时,从K个直方图柱中随机选取Z<K个直方图柱,且Z=8,形成(z)新的大小为Z的子直方图h (xt),子直方图的个数最多为 个;计算候选目标区域和训练集中某个目标区域对应子直方图的相似性Φt_z, 其中t
=1,2,...,N,z=1,2,...,Ns,然后计算总体相似性Φt=1-∏z(1-Φt_z);候选目标区域与目标的相似性用Φ=max{Φt,t}表示,则目标丢失判断式为:
其中gs为人为设定的判失阀值;当u=1时目标被稳定跟踪,当u=0时,目标丢失;
[0140] 当目标丢失时,定义仿射变换模型:其中(xt,yt)和(xt-1,yt-1)分别为当前帧目标中某个SITF特征点的位置坐标和前一个帧目标中对应匹配特征点的位置坐标,两者均为已知量;s为尺度系数,θ为旋转系数,e和f代表了平移系数, 为温度旋转修正系数,
为温度平移修正系数,μ1和μ2用于修正因为环境温度偏差造成的图像旋转和平移误差,T0为人为设定的标准温度,设为20度,T为由温度传感器实时监测得到的温度值;采用Ransac估计算法求取仿射变换模型的参数,最后在新的尺度s和旋转系数θ下采集正负样本,更新分类器;
[0141] 更新子模块23,用于视觉字典的更新:
[0142] 在每帧图像获得目标位置以后,根据仿射变换参数的计算结果,收集所有满足结果参数的SIFT特征点 经过F=7帧以后,获得新的特征点集 其中St-F代表了从F帧图像中得到的总特征点数;利用下式对新旧特征点重新进行K聚类:
其中 表示新的视觉字典,视觉字典的大小保
持不变; 是遗忘因子,表明了旧字典所占的比重,越小,新特征对目标丢失的判断贡献越多,取
[0143] (3)识别输出模块3,用于图像的识别和输出:在待识别的图像序列中利用跟踪算法获取目标区域,将目标区域映射到已知训练数据形成的子空间,计算子空间中目标区域与训练数据之间的距离,获得相似性度量,判定目标类别,并输出识别结果。
[0144] 优选的,采用维纳滤波来进行一级滤除后,此时图像信息还包含有残余的噪音,采用以下的二级滤波器进行二次滤波:
[0145]
[0146] 其中,J(x,y)为经过滤波后的图像;Pg(x+i,y+j)代表尺度为m×n的函数,且Pg(x+i,y+j)=q×exp(-(x2+y2)/ω),其中q是将函数归一化的系数,即:∫∫q×exp(-(x2+y2)/ω)dxdy=1。
[0147] 此实施例的文物展示柜,在图像预处理阶段,增强的图像能够根据模板的大小自适应调整,提高增强效果,且在在不同模板大小时判断条件能自动修正,且考虑了视觉习惯以及人眼对不同色彩的感知度同色彩强度的非线性关系;充分利用了图像的局部特征和全局特征,具有自适应性,可以抑制过度增强,对复杂光照环境下获取的图像增强效果明显;将M×N个幂指数运算降低为256个,提高了计算效率,Z=8,F=7, 计算平均帧率为
19FPS,计算量小于同类型的字典算法;在目标检测和跟踪阶段,能够消除不同温度导致图像的旋转和平移造成的误差,提高识别率,经处理后的图像细节更加清晰,且计算量相对于传统方法大幅度减少,能够有效适应目标尺度变化,并能够准确判定目标是否发生丢失,在目标重新回到视场后能够被重新检测并稳定跟踪,直至130帧后仍能稳定跟踪目标。此外,该文物展示柜具有实时性好、定位准确和鲁棒性强的优点,且在快速有遮挡的目标检测和跟踪方面有很好的效果,取得了意想不到的效果。
QQ群二维码
意见反馈