首页 / 专利库 / 多媒体工具与应用 / 宏模块 / 像素 / 前景像素 / 基于视频图像的物体移动侦测方法、装置、设备及存储介质

基于视频图像的物体移动侦测方法、装置、设备及存储介质

阅读:1049发布:2020-05-24

专利汇可以提供基于视频图像的物体移动侦测方法、装置、设备及存储介质专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于视频图像的物体移动侦测方法、装置、设备及存储介质,所述方法包括:通过将获取到的监控视频中的当前 帧 图像的各个 像素 点的YUV像素分量值,与各个像素点对应的且预先建立的 背景像素 模型进行相似度匹配,以得对应的像素点的相似度匹配值;将得到的当前帧图像的各个像素点的相似度匹配值与预设的匹配 阈值 进行比较,判别出当前帧图像中为图像背景的像素点及为图像前景的像素点;获得为图像前景的像素点因相邻而形成的连通区域,并判断每一连通区域的区域面积是否大于预设的面积阈值,以此得到当前帧图像的物体移动侦测结果。本发明能解决 现有技术 的移动侦测 算法 因 颜色 空间转换过程占用计算资源而影响移动侦测的计算效率的问题。,下面是基于视频图像的物体移动侦测方法、装置、设备及存储介质专利的具体信息内容。

1.一种基于视频图像的物体移动侦测方法,其特征在于,包括:
获取由摄像头当前拍摄的视频中的当前图像,并获取所述当前帧图像的各个像素点的像素分量值;所述视频及所述当前帧图像均为YUV格式,所述像素分量值包括:Y分量值,或所述像素分量值包括:Y分量值、U分量值及V分量值;
将所述当前帧图像的各个所述像素点的所述像素分量值,与各个所述像素点对应的且预先建立的至少一个背景像素模型进行相似度匹配,以得对应的像素点的相似度匹配值;
所述背景像素模型包括有为对应的所述像素点的各个像素分量值而对应预设的匹配参数,所述匹配参数用于作为对应的所述像素点为图像背景的匹配标准;
将得到的所述当前帧图像的各个所述像素点的相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点;
获得判别为所述图像前景的像素点因相邻而连在一起所形成的至少一个连通区域,并判断每一所述连通区域的区域面积是否大于预设的且为判别物体移动所需的面积阈值,以此得到所述当前帧图像的物体移动侦测结果。
2.如权利要求1所述的基于视频图像的物体移动侦测方法,其特征在于,所述将所述当前帧图像的各个所述像素点的所述像素分量值,与各个所述像素点对应的且预先建立的至少一个背景像素模型进行相似度匹配,以得对应的像素点的相似度匹配值,包括:
若所述当前帧图像的所述像素点的所述像素分量值,不位于对应的所述背景像素模型中的对应的像素分量值的预设的高阈值与预设的低阈值的两者数值之间,则以第一值作为对应的所述像素点的相似度匹配值;
若所述像素分量值位于所述两者数值之间,以第二值作为对应的所述像素点的相似度匹配值;
其中,所述匹配阈值与所述第二值均不大于所述第一值;所述像素分量值为Y分量值时,所述高阈值为高光偏移阈值,所述低阈值为阴影偏移阈值;所述像素分量值为两种色彩分量值时,所述高阈值为色彩偏移高阈值,所述低阈值为色彩偏移低阈值;两种所述色彩分量值为U分量值和V分量值。
3.如权利要求2所述的基于视频图像的物体移动侦测方法,其特征在于,所述背景像素模型还包括有预设为图像背景的像素点的像素分量值的:最小值、最大值及均值;
则,所述高光偏移阈值,等于预设的图像高光的鲁棒性系数与预设的明暗调节系数的乘积与Y分量值的均值之和,且不小于Y分量值的最大值;所述阴影偏移阈值,等于预设的图像阴影的鲁棒性系数与预设的明暗调节系数的乘积与Y分量值的均值之差,且不大于Y分量值的最小值;
所述色彩偏移高阈值等于预设的图像色彩的鲁棒性系数与对应的色彩分量值的均值之和,且不小于对应的色彩分量值的最大值;所述色彩偏移低阈值等于预设的图像色彩的鲁棒性系数与对应的色彩分量值的均值之差,且不大于对应的色彩分量值的最小值;
其中,所述明暗调节系数与背景像素模型中的Y分量值的均值的成正比例关系且正比例关系为预先设定的。
4.如权利要求3所述的基于视频图像的物体移动侦测方法,其特征在于,若所述像素分量值还包括两种所述色彩分量值,则所述像素分量值位于所述两者数值之间,以第二值作为对应的所述像素点的相似度匹配值,包括:
若所述像素分量值位于所述两者数值之间,计算所述当前帧图像的所述像素点的U分量值和V分量值组成的二维向量与对应背景像素模型中U均值和V均值组成的二维向量之间的欧式距离;
以该欧式距离除以所述图像色彩的鲁棒性的系数而得到的数值作为第二值,该值即为对应的所述像素点的色彩分量值的相似度匹配值;其中所述第二值的数值范围为0~1。
5.如权利要求3所述的基于视频图像的物体移动侦测方法,其特征在于,所述背景像素模型还包括有用于表征背景像素模型的稳定程度的权重值及最大权重值;且每个所述背景像素模型所对应的所述背景像素模型的数量为至少两个;
则,所述将所述当前帧图像的各个所述像素点的所述像素分量值,与各个所述像素点对应的且预先建立的至少一个背景像素模型进行相似度匹配,以得到对应的像素点的相似度匹配值,包括:
将所述当前帧图像的各个所述像素点的所述像素分量值,依次与对应的且排序后的所述背景像素模型进行相似度匹配,并累计每一所述像素点匹配过的所述背景像素模型的所述权重值的总和,直到各自与背景像素模型匹配成功;其中,所述当前帧图像的各个所述像素点各自所对应的所有所述背景像素模型,会预先按照其权重值的大小进行前后排序;
若所述权重值的总和大于预设的可靠背景权重值且小于预设的有效权重值,并且所述最大权重值小于预设的可靠背景最大权重值,则对应的所述像素点与匹配成功的所述背景像素模型之间的匹配为不可靠匹配,此时将预设的所述匹配阈值与预设的不可靠背景系数的乘积作为该像素点本次的相似度匹配值;
其中,所述不可靠背景系数越大,输出为背景的非相似性就越大;所述可靠背景权重值用于表征在权值总和中划分为多少权重比例的背景模型会被认为是可靠的背景模型,所述有效权重值用于表示划分为多少权重比例的背景模型会参与前景背景的判别。
6.如权利要求5所述的基于视频图像的物体移动侦测方法,其特征在于,在所述将得到的所述当前帧图像的各个所述像素点的相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点之后,还包括:
根据预设的均值更新算法,对各个将对应的所述像素点匹配为图像背景的背景像素模型的对应的像素分量值的所述均值进行更新;
根据所述当前帧图像中判别为图像背景的像素点的像素分量值和将该像素点匹配为图像背景的背景像素模型的对应的像素分量值的所述最小值两者的大小比较,更新该背景像素模型的对应的像素分量值的最小值;
根据所述当前帧图像中判别为图像背景的像素点的像素分量值和将该像素点匹配为图像背景的背景像素模型的对应的像素分量值的所述最大值两者的大小比较,更新该背景像素模型的对应的像素分量值的最大值;
根据预设的权值更新算法,对所述当前帧图像中判别为图像背景的像素点各自所对应的每一所述背景像素模型的所述权重值及所述最大权重值进行更新,并删除权值更新后所述权重值小于预设的衰减系数的背景像素模型;
对每一所述像素点对应的更新后的所有背景像素模型按其更新后的权重值的大小进行排序。
7.如权利要求6所述的基于视频图像的物体移动侦测方法,其特征在于,所述预设的均值更新算法为:
对应的像素分量值更新后的均值=对应的像素分量值更新前的均值*(1-k)+对应的像素分量值*k;k为加权系数,且k=预设的学习速率/对应的背景像素模型的最大权重值;
所述预设的权值更新算法为:
更新后的权重值=更新前的权重值*(1-预设的学习速率)-预设的衰减系数+所述学习速率;
更新后的最大权重值=更新前的最大权重值和更新后的权重值两者中的最大值。
8.如权利要求7所述的基于视频图像的物体移动侦测方法,其特征在于,所述学习速率的预设方式为:
为预设颜色的像素分量值设置的学习速率,要大于为不是所述预设颜色的颜色的像素分量值设置的学习速率;其中,所述预设颜色为需要移动侦测出来的目标物体的少见颜色。
9.如权利要求1、5或6所述的基于视频图像的物体移动侦测方法,其特征在于,在所述将所述当前帧图像的各个所述像素点的所述像素分量值,与各个所述像素点对应的且预先建立的至少一个背景像素模型进行相似度匹配,以得对应的像素点的相似度匹配值之前,还包括:
获取所述摄像头启动后所拍摄到的拍摄时间位于最前面的N张图像,并按拍摄时间的前后顺序将所述N张图像分为至少N/2组图像;其中,N为偶数;
计算每组图像各个像素点的像素分量值的均值,并生成与每组图像对应的均值图像;
其中,所述均值图像的各个像素点的像素分量值为对应的一组图像的对应像素点的像素分量值的均值的近似值,所述均值的近似值为整数;
求取所有所述均值图像的各个像素点的像素分量值的中值,并生成中值图像;其中,所述中值图像的各个像素点的像素分量值为所有所述均值图像的对应的像素点的像素分量值的中值;
根据所述中值图像的各个像素点的像素分量值,初始化对应的像素点的背景像素模型。
10.如权利要求9所述的基于视频图像的物体移动侦测方法,其特征在于,所述背景像素模型包括用于表征背景像素模型的稳定程度的权重值、最大权重值、预设为图像背景的像素点的像素分量值的:均值、最小值及最大值;
则,所述根据所述中值图像的各个像素点的像素分量值,初始化对应的像素点的背景像素模型,包括:
将所述中值图像的各个像素点的像素分量值的数值,作为对应的像素点的所述背景像素模型的对应的像素分量值的所述均值、所述最小值及所述最大值;并将对应的所述像素点的所述背景像素模型的所述权重值及所述最大权重值置为1。
11.如权利要求1所述的基于视频图像的物体移动侦测方法,其特征在于,所述将得到的所述当前帧图像的各个所述像素点的相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点,包括:
将得到的所述当前帧图像的各个所述像素点的相似度匹配值组成一个相似度匹配值矩阵;
将所述相似度匹配值矩阵中的数值与其周围的点的数值的差值均大于预设阈值的点的数值,调整至与其周围点的数值的差值小于预设阈值;
将调整后的所述相似度匹配值矩阵中的各个相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点。
12.如权利要求11所述的基于视频图像的物体移动侦测方法,其特征在于,所述将所述相似度匹配值矩阵中的数值与其周围的点的数值的差值均大于预设阈值点的数值,调整至与其周围点的数值的差值小于预设阈值,包括:
利用GaussianBlur滤波算法对所述相似度匹配值矩阵进行滤波,以将所述相似度匹配值矩阵中的数值与其周围的点的数值的差值均大于预设阈值的点的数值,调整至与其周围点的数值的差值小于预设阈值。
13.一种基于视频图像的物体移动侦测装置,其特征在于,包括:
获取模,用于获取由摄像头当前拍摄的视频中的当前帧图像,并获取所述当前帧图像的各个像素点的像素分量值;所述视频及所述当前帧图像均为YUV格式,所述像素分量值包括:Y分量值,或所述像素分量值包括:Y分量值、U分量值及V分量值;
匹配模块,用于将所述当前帧图像的各个所述像素点的所述像素分量值,与各个所述像素点对应的且预先建立的至少一个背景像素模型进行相似度匹配,以得对应的像素点的相似度匹配值;所述背景像素模型包括有为对应的所述像素点的各个像素分量值而对应预设的匹配参数,所述匹配参数用于作为对应的所述像素点为图像背景的匹配标准;
第一判别模块,用于将得到的所述当前帧图像的各个所述像素点的相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点;
第二判别模块,用于获得判别为所述图像前景的像素点因相邻而连在一起所形成的至少一个连通区域,并判断每一所述连通区域的区域面积是否大于预设的且为判别物体移动所需的面积阈值,以此得到所述当前帧图像的物体移动侦测结果。
14.一种基于视频图像的物体移动侦测设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至12中任意一项所述的基于视频图像的物体移动侦测方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至12中任意一项所述的基于视频图像的物体移动侦测方法。

说明书全文

基于视频图像的物体移动侦测方法、装置、设备及存储介质

技术领域

[0001] 本发明涉及视频技术领域,尤其涉及一种基于视频图像的物体移动侦测方法、装置、设备及存储介质。

背景技术

[0002] 移动侦测(Motion detection)功能已经成为监控摄像头(例如红外触发的监控摄像头)的标配,该功能用于无人值守监控报警、录像。移动侦测的基本原理是将摄像头采集到的图像序列作为输入,由算法进行计算和比较,当画面有变化时(如有人走过,小动物经过,车辆经过等),算法给出的计算结果值会超过阈值并指示系统做出相应的处理(如报警,视频录像等)。
[0003] 由于成本控制的需要,在监控摄像头产品中,移动侦测算法必须尽可能占用较少的计算资源。而一些虽然侦测效果好但是计算复杂度过大的移动侦测算法,不宜在监控摄像头产品中被采用,例如Multi-Layer算法。
[0004] 目前,占用较少计算资源的移动侦测算法有MOG2算法。
[0005] 本发明人在实施本发明的过程中发现,现有技术中存在以下技术问题:现有的监控摄像头拍摄的视频为YUV格式,由于现有的MOG2算法在进行基于视频图像的移动侦测时,需要将视频的每图像的数据进行颜色空间转换,而这一颜色空间转换过程会占用一定的计算资源,从而会影响到移动侦测的计算效率。

发明内容

[0006] 本发明实施例提供一种基于视频图像的物体移动侦测方法、装置、设备及存储介质,能有效解决现有技术的移动侦测算法因颜色空间转换过程占用计算资源而影响移动侦测的计算效率的问题。
[0007] 本发明一实施例提供一种基于视频图像的物体移动侦测方法,包括:
[0008] 获取由摄像头当前拍摄的视频中的当前帧图像,并获取所述当前帧图像的各个像素点的像素分量值;所述视频及所述当前帧图像均为YUV格式,所述像素分量值包括:Y分量值;或,所述像素分量值包括:Y分量值、U分量值及V分量值;
[0009] 将所述当前帧图像的各个所述像素点的所述像素分量值,与各个所述像素点对应的且预先建立的至少一个背景像素模型进行相似度匹配,以得对应的像素点的相似度匹配值;所述背景像素模型包括有为对应的所述像素点的各个像素分量值而对应预设的匹配参数,所述匹配参数用于作为对应的所述像素点为图像背景的匹配标准;
[0010] 将得到的所述当前帧图像的各个所述像素点的相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点;
[0011] 获得判别为所述图像前景的像素点因相邻而连在一起所形成的至少一个连通区域,并判断每一所述连通区域的区域面积是否大于预设的且为判别物体移动所需的面积阈值,以此得到所述当前帧图像的物体移动侦测结果。
[0012] 作为上述方案的改进,若所述当前帧图像的所述像素点的所述像素分量值,不位于对应的所述背景像素模型中的对应的像素分量值的预设的高阈值与预设的低阈值的两者数值之间,则以第一值作为对应的所述像素点的相似度匹配值;
[0013] 若所述像素分量值位于所述两者数值之间,以第二值作为对应的所述像素点的相似度匹配值;
[0014] 其中,所述匹配阈值与所述第二值均不大于所述第一值;所述像素分量值为Y分量值时,所述高阈值为高光偏移阈值,所述低阈值为阴影偏移阈值;所述像素分量值为两种色彩分量值时,所述高阈值为色彩偏移高阈值,所述低阈值为色彩偏移低阈值;两种所述色彩分量值为U分量值和V分量值。
[0015] 所述背景像素模型还包括有预设为图像背景的像素点的像素分量值的:最小值、最大值及均值;
[0016] 则,所述高光偏移阈值,等于预设的图像高光的鲁棒性系数与预设的明暗调节系数的乘积与Y分量值的均值之和,且不小于Y分量值的最大值;所述阴影偏移阈值,等于预设的图像阴影的鲁棒性系数与预设的明暗调节系数的乘积与Y分量值的均值之差,且不大于Y分量值的最小值;
[0017] 所述色彩偏移高阈值等于预设的图像色彩的鲁棒性系数与对应的色彩分量值的均值之和,且不小于对应的色彩分量值的最大值;所述色彩偏移低阈值等于预设的图像色彩的鲁棒性系数与对应的色彩分量值的均值之差,且不大于对应的色彩分量值的最小值;
[0018] 其中,所述明暗调节系数与背景像素模型中的Y分量值的均值的成正比例关系且正比例关系为预先设定的。
[0019] 作为上述方案的改进,若所述像素分量值还包括两种所述色彩分量值,则所述像素分量值位于所述两者数值之间,以第二值作为对应的所述像素点的相似度匹配值,包括:
[0020] 若所述像素分量值位于所述两者数值之间,计算所述当前帧图像的所述像素点的U分量值和V分量值组成的二维向量与对应背景像素模型中U均值和V均值组成的二维向量之间的欧式距离;
[0021] 以该欧式距离除以所述图像色彩的鲁棒性的系数而得到的数值作为第二值,该值即为对应的所述像素点的色彩分量值的相似度匹配值;其中所述第二值的数值范围为0~1。
[0022] 作为上述方案的改进,所述背景像素模型还包括有用于表征背景像素模型的稳定程度的权重值及最大权重值;且每个所述背景像素模型所对应的所述背景像素模型的数量为至少两个;
[0023] 则,所述将所述当前帧图像的各个所述像素点的所述像素分量值,与各个所述像素点对应的且预先建立的至少一个背景像素模型进行相似度匹配,以得到对应的像素点的相似度匹配值,包括:
[0024] 将所述当前帧图像的各个所述像素点的所述像素分量值,依次与对应的且排序后的所述背景像素模型进行相似度匹配,并累计每一所述像素点匹配过的所述背景像素模型的所述权重值的总和,直到各自与背景像素模型匹配成功;其中,所述当前帧图像的各个所述像素点各自所对应的所有所述背景像素模型,会预先按照其权重值的大小进行前后排序;
[0025] 若所述权重值的总和大于预设的可靠背景权重值且小于预设的有效权重值,并且所述最大权重值小于预设的可靠背景最大权重值,则对应的所述像素点与匹配成功的所述背景像素模型之间的匹配为不可靠匹配,此时将预设的所述匹配阈值与预设的不可靠背景系数的乘积作为该像素点本次的相似度匹配值;
[0026] 其中,所述不可靠背景系数越大,输出为背景的非相似性就越大;所述可靠背景权重值用于表征在权值总和中划分为多少权重比例的背景模型会被认为是可靠的背景模型,所述有效权重值用于表示划分为多少权重比例的背景模型会参与前景背景的判别。
[0027] 作为上述方案的改进,在所述将得到的所述当前帧图像的各个所述像素点的相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点之后,还包括:
[0028] 根据预设的均值更新算法,对各个将对应的所述像素点匹配为图像背景的背景像素模型的对应的像素分量值的所述均值进行更新;
[0029] 根据所述当前帧图像中判别为图像背景的像素点的像素分量值和将该像素点匹配为图像背景的背景像素模型的对应的像素分量值的所述最小值两者的大小比较,更新该背景像素模型的对应的像素分量值的最小值;
[0030] 根据所述当前帧图像中判别为图像背景的像素点的像素分量值和将该像素点匹配为图像背景的背景像素模型的对应的像素分量值的所述最大值两者的大小比较,更新该背景像素模型的对应的像素分量值的最大值;
[0031] 根据预设的权值更新算法,对所述当前帧图像中判别为图像背景的像素点各自所对应的每一所述背景像素模型的所述权重值及所述最大权重值进行更新,并删除权值更新后所述权重值小于预设的衰减系数的背景像素模型;
[0032] 对每一所述像素点对应的更新后的所有背景像素模型按其更新后的权重值的大小进行排序。
[0033] 作为上述方案的改进,所述预设的均值更新算法为:
[0034] 对应的像素分量值更新后的均值=对应的像素分量值更新前的均值*(1-k)+对应的像素分量值*k;k为加权系数,且k=预设的学习速率/对应的背景像素模型的最大权重值;
[0035] 所述预设的权值更新算法为:
[0036] 更新后的权重值=更新前的权重值*(1-预设的学习速率)-预设的衰减系数+所述学习速率;
[0037] 更新后的最大权重值=更新前的最大权重值和更新后的权重值两者中的最大值。
[0038] 作为上述方案的改进,所述学习速率的预设方式为:
[0039] 为预设颜色的像素分量值设置的学习速率,要大于为不是所述预设颜色的颜色的像素分量值设置的学习速率;其中,所述预设颜色为需要移动侦测出来的目标物体的少见颜色。
[0040] 作为上述方案的改进,在所述将所述当前帧图像的各个所述像素点的所述像素分量值,与各个所述像素点对应的且预先建立的至少一个背景像素模型进行相似度匹配,以得对应的像素点的相似度匹配值之前,还包括:
[0041] 获取所述摄像头启动后所拍摄到的拍摄时间位于最前面的N张图像,并按拍摄时间的前后顺序将所述N张图像分为至少N/2组图像;其中,N为偶数;
[0042] 计算每组图像各个像素点的像素分量值的均值,并生成与每组图像对应的均值图像;其中,所述均值图像的各个像素点的像素分量值为对应的一组图像的对应像素点的像素分量值的均值的近似值,所述均值的近似值为整数;
[0043] 求取所有所述均值图像的各个像素点的像素分量值的中值,并生成中值图像;其中,所述中值图像的各个像素点的像素分量值为所有所述均值图像的对应的像素点的像素分量值的中值;
[0044] 根据所述中值图像的各个像素点的像素分量值,初始化对应的像素点的背景像素模型。
[0045] 作为上述方案的改进,所述背景像素模型包括用于表征背景像素模型的稳定程度的权重值、最大权重值、预设为图像背景的像素点的像素分量值的:均值、最小值及最大值;
[0046] 则,所述根据所述中值图像的各个像素点的像素分量值,初始化对应的像素点的背景像素模型,包括:
[0047] 将所述中值图像的各个像素点的像素分量值的数值,作为对应的像素点的所述背景像素模型的对应的像素分量值的所述均值、所述最小值及所述最大值;并将对应的所述像素点的所述背景像素模型的所述权重值及所述最大权重值置为1。
[0048] 作为上述方案的改进,所述将得到的所述当前帧图像的各个所述像素点的相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点,包括:
[0049] 将得到的所述当前帧图像的各个所述像素点的相似度匹配值组成一个相似度匹配值矩阵;
[0050] 将所述相似度匹配值矩阵中的数值与其周围的点的数值的差值均大于预设阈值的点的数值,调整至与其周围点的数值的差值小于预设阈值;
[0051] 将调整后的所述相似度匹配值矩阵中的各个相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点。
[0052] 作为上述方案的改进,所述将所述相似度匹配值矩阵中的数值与其周围的点的数值的差值均大于预设阈值点的数值,调整至与其周围点的数值的差值小于预设阈值,包括:
[0053] 利用GaussianBlur滤波算法对所述相似度匹配值矩阵进行滤波,以将所述相似度匹配值矩阵中的数值与其周围的点的数值的差值均大于预设阈值的点的数值,调整至与其周围点的数值的差值小于预设阈值。
[0054] 本发明另一实施例对应提供了一种基于视频图像的物体移动侦测装置,包括:
[0055] 获取模,用于获取由摄像头当前拍摄的视频中的当前帧图像,并获取所述当前帧图像的各个像素点的像素分量值;所述视频及所述当前帧图像均为YUV格式,所述像素分量值包括Y分量值,或所述像素分量值包括:Y分量值、U分量值及V分量值;
[0056] 匹配模块,用于将所述当前帧图像的各个所述像素点的所述像素分量值,与各个所述像素点对应的且预先建立的至少一个背景像素模型进行相似度匹配,以得对应的像素点的相似度匹配值;所述背景像素模型包括有为对应的所述像素点的各个像素分量值而对应预设的匹配参数,所述匹配参数用于作为对应的所述像素点为图像背景的匹配标准;
[0057] 第一判别模块,用于将得到的所述当前帧图像的各个所述像素点的相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点;
[0058] 第二判别模块,用于获得判别为所述图像前景的像素点因相邻而连在一起所形成的至少一个连通区域,并判断每一所述连通区域的区域面积是否大于预设的且为判别物体移动所需的面积阈值,以此得到所述当前帧图像的物体移动侦测结果。
[0059] 本发明另一实施例提供了一种基于视频图像的物体移动侦测设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述发明实施例所述的基于视频图像的物体移动侦测方法。
[0060] 本发明另一实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的基于视频图像的物体移动侦测方法。
[0061] 相比于现有技术,本发明实施例提供的所述基于视频图像的物体移动侦测方法、装置、设备及存储介质,通过将获取到的监控视频中的当前帧图像的各个像素点的YUV像素分量值,与各个所述像素点对应的且预先建立的至少一个背景像素模型进行相似度匹配,以得对应的像素点的相似度匹配值;将得到的所述当前帧图像的各个所述像素点的相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点;获得为图像前景的像素点因相邻而形成的连通区域,并判断每一连通区域的区域面积是否大于预设的面积阈值,若有连通区域的区域面积大于面积阈值则侦测到物体移动,否则没有侦测到物体移动。由上分析可知,本发明实施例在进行基于视频图像的移动侦测时,是直接通过对YUV格式的监控视频的当前帧图像的YUV像素分量值进行分析的,无需对YUV格式的视频图像进行颜色空间转换,因此可以有效避免因颜色空间转换过程占用计算资源而影响移动侦测的计算效率。附图说明
[0062] 图1是本发明一实施例提供的一种基于视频图像的物体移动侦测方法的流程示意图;
[0063] 图2a示出了本发明一实施例中的视频图像的像素点与背景像素模型之间的关联关系;
[0064] 图2b示出了本发明一实施例中的背景像素模型的基本结构;
[0065] 图3示出了本发明一实施例中的亮度Y与明暗调节系数之间的正比例关系;
[0066] 图4是本发明一实施例提供的一种基于视频图像的物体移动侦测装置的结构示意图。

具体实施方式

[0067] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0068] 参见图1,是本发明一实施例提供的一种基于视频图像的物体移动侦测方法的流程示意图,所述方法包括以下步骤:
[0069] S10,获取由摄像头当前拍摄的视频中的当前帧图像,并获取所述当前帧图像的各个像素点的像素分量值;所述视频及所述当前帧图像均为YUV格式,所述像素分量值包括:Y分量值;或,所述像素分量值包括:Y分量值、U分量值及V分量值;
[0070] S11,将所述当前帧图像的各个所述像素点的所述像素分量值,与各个所述像素点对应的且预先建立的至少一个背景像素模型进行相似度匹配,以得对应的像素点的相似度匹配值;所述背景像素模型包括有为对应的所述像素点的各个像素分量值而对应预设的匹配参数,所述匹配参数用于作为对应的所述像素点为图像背景的匹配标准;
[0071] S12,将得到的所述当前帧图像的各个所述像素点的相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点;
[0072] S13,获得判别为所述图像前景的像素点因相邻而连在一起所形成的至少一个连通区域,并判断每一所述连通区域的区域面积是否大于预设的且为判别物体移动所需的面积阈值,以此得到所述当前帧图像的物体移动侦测结果。
[0073] 本发明实施例的物体移动侦测原理为:
[0074] 每一帧视频图像中,有运动物体(例如人、动物、车辆等)移动的区域的像素点会被分析为前景点,没有物体运动的区域的像素点会被分析为背景点;其中,视频图像成像有运动物体时,运动物体的成像区域的像素点的YUV像素分量值会与该成像区域原先的背景点的YUV像素分量值不同;而通过将像素点的YUV像素分量值与对应的背景像素模型的对应预设的匹配参数进行匹配,若匹配结果为成功,则像素点会被分析为背景点,若匹配结果为不成功,则像素点会被分析为前景点;视频图像成像有运动物体的区域的像素点被分析为前景点后,会因为该区域的像素点相邻而连在一起并对应形成一个连通区域(一个连通区域一般对应为一个运动物体在视频图像的对应成像区域,有多个连通区域,则表示当前的视频图像成像有多个运动物体)。若一帧视频图像中被分析为前景点的像素点因相邻而连在一起所形成的至少一个连通区域中,有连通区域的区域面积大于预设的面积阈值,那么表示侦测到有物体运动。其中,判断连通区域的区域面积是否大于所述面积阈值的目的是:有些物体虽然在监控摄像头的监控区域内运动,但是其为小物体(例如运动物体为小或为被吹动的树叶等不需要触发报警的物体),这些小物体往往成像出来的图像面积较小,所以不希望因为侦测到这些运动物体而误触发报警;另外,有些物体虽然是大物体(例如人或车),但是其距离监控摄像头比较远,导致这些大物体成像出来的图像面积也比较小,表明这些大物体还没有正式进入监控摄像头的报警区域,此时也不希望因为侦测到这些运动物体而触发报警。
[0075] 为了便于对本实施例的理解,基于视频图像的物体移动侦测的过程具体可以示例为如下所示(像素分量值包括Y分量值、U分量值及V分量值):
[0076] 首先,预先建立视频图像的每个像素点的背景像素模型,所述背景像素模型可以是预先根据至少一帧没有物体运动的视频图像(即该视频图像中的各个像素点均是背景点,可以利用摄像头启动后最前面拍摄到的一些视频图像作为背景训练用的图像)来训练建立的,训练建立后的背景像素模型包括有训练好的所述匹配参数,这些匹配参数用于评价对应的像素点的YUV像素分量值是否为图像背景的像素分量值,例如匹配参数包括有:用于评价对应的像素点的Y像素分量值是否为图像背景的Y像素分量值的Y匹配参数、用于评价对应的像素点的U像素分量值是否为图像背景的U像素分量值的U匹配参数、用于评价对应的像素点的V像素分量值是否为图像背景的V像素分量值的V匹配参数;接着,在进行移动侦测时,获取视频中的当前帧图像,并获取当前帧图像中的像素点的YUV像素分量值;然后,将所述当前帧图像的各个所述像素点的所述YUV像素分量值,与各个所述像素点对应的至少一个背景像素模型进行相似度匹配,具体可以为与所述至少一个背景像素模型的YUV匹配参数进行对应匹配,以根据匹配相似程度得到对应的像素点的相似度匹配值;其中,若像素点的YUV像素分量值,与对应的至少一个背景像素模型的YUV匹配参数的匹配度均很高(匹配度高,可以将相似度匹配值设置为小于匹配阈值,也可以设置为大于匹配阈值),那么该像素点在后续会很大可能被判别为图像背景点;若像素点的YUV像素分量值,有任一分量值与对应的一个背景像素模型的YUV匹配参数的匹配度低(与匹配度高对应的,匹配度低,可以将相似度匹配值设置为大于匹配阈值,也可以设置为小于匹配阈值),那么该像素点在后续会很大可能被判别为图像前景点;当匹配度高而将相似度匹配值设置为小于匹配阈值时,匹配度低而将相似度匹配值设置为大于匹配阈值时,那么相似度匹配值大于匹配阈值的像素点会被判别为图像前景的像素点,相似度匹配值低于匹配阈值的像素点会被判别为图像背景的像素点。
[0077] 需要指出的是,由于天气变化或时间早晚,摄像头的同一监控场景的不同时刻成像出来的图像的图像亮度是不同的,所以,每一像素点可以设置有多个不同的背景像素模型,每一背景像素模型用于作为对应的像素点在对应的图像亮度情况下是否为图像背景的匹配标准,这样能够更加全面且准确地对像素点的类型进行判别。其中,像素点的各个背景像素模型可以用不同亮度的图像背景的像素点来训练建立。此外,在进行移动侦测阶段,可以不断用当前帧图像的为图像背景的像素点的像素分量值,来更新该像素点所对应的多个不同的背景像素模型。
[0078] 需要说明的是,本发明实施例的所述基于视频图像的移动侦测的方法的执行主体,可以为与监控摄像头系统连接(无线连接或有线连接)的本地计算机、服务器甚至是移动终端等,具体可以为这些设备的处理器。
[0079] 由上分析可知,本发明实施例在进行基于视频图像的移动侦测时,是直接通过对YUV格式的监控视频的当前帧图像的YUV像素分量值进行分析的,无需对YUV格式的视频图像进行颜色空间转换,因此可以有效避免因颜色空间转换过程占用计算资源而影响移动侦测的计算效率。
[0080] 作为其中一个可选实施例,所述匹配参数包括预设为图像背景的像素点的像素分量值的:最小值及最大值;则所述步骤S11,包括以下步骤:
[0081] 若所述当前帧图像的所述像素点的所述像素分量值,不位于对应的所述背景像素模型中的对应的像素分量值的预设的高阈值与预设的低阈值的两者数值之间,则以第一值作为对应的所述像素点的相似度匹配值;
[0082] 若所述像素分量值位于所述两者数值之间,以第二值作为对应的所述像素点的相似度匹配值;
[0083] 其中,所述匹配阈值与所述第二值均不大于所述第一值;所述像素分量值为Y分量值时,所述高阈值为高光偏移阈值,所述低阈值为阴影偏移阈值;所述像素分量值为两种色彩分量值时,所述高阈值为色彩偏移高阈值,所述低阈值为色彩偏移低阈值;两种所述色彩分量值为U分量值和V分量值。
[0084] 进一步的,所述背景像素模型还包括有预设为图像背景的像素点的像素分量值的:最小值、最大值及均值;则,所述高光偏移阈值,等于预设的图像高光的鲁棒性系数与预设的明暗调节系数的乘积与Y分量值的均值之和,且不小于Y分量值的最大值;所述阴影偏移阈值,等于预设的图像阴影的鲁棒性系数与预设的明暗调节系数的乘积与Y分量值的均值之差,且不大于Y分量值的最小值;所述色彩偏移高阈值等于预设的图像色彩的鲁棒性系数与对应的色彩分量值的均值之和,且不小于对应的色彩分量值的最大值;所述色彩偏移低阈值等于预设的图像色彩的鲁棒性系数与对应的色彩分量值的均值之差,且不大于对应的色彩分量值的最小值;其中,所述明暗调节系数与背景像素模型中的Y分量值的均值的成正比例关系且正比例关系为预先设定的。
[0085] 在本实施例中,背景像素模型中的Y分量值的最大值和最小值是分别用来限制高光偏移阈值和阴影偏移阈值的。色彩分量的最大值和最小值是分别用来限制色彩偏移高阈值和色彩偏移低阈值的。其中,所述图像高光的鲁棒性的系数、所述图像阴影的鲁棒性的系数及所述图像色彩的鲁棒性的系数,均为根据经验而预设的数值。此外,本实施例通过设置这些鲁棒性系数,能够使得移动侦测算法对图像噪声具有更好的鲁棒性,更能适应光照环境的变化,从而使得侦测结果更加准确。进一步地,视频图像中经常有高光区域和阴影区域,当光照环境发生变化(例如遮挡太阳)或摄像头进行自动曝光调整时,图像中高光区域的亮度变化幅度往往大于阴影区域。而在本实施例中,通过为所述图像高光的鲁棒性系数和所述图像阴影的鲁棒性的系数设置所述明暗调节系数,能够更加适应视频图像的当前的光照环境变化。
[0086] 作为上述实施例的一种可选的具体实施方式,若所述像素分量值包括U分量值或V分量值的色彩分量值,则所述步骤S112,包括以下步骤:
[0087] 若所述像素分量值位于所述两者数值之间,计算所述当前帧图像的所述像素点的U分量值和V分量值组成的二维向量与对应背景像素模型中U均值和V均值组成的二维向量之间的欧式距离;
[0088] 以该欧式距离除以所述图像色彩的鲁棒性的系数而得到的数值作为第二值,该值即为对应的所述像素点的色彩分量值的相似度匹配值;其中所述第二值的数值范围为0~1。
[0089] 在本实施例中,当所述像素分量值位于所述两者数值之间而使得像素点初步被匹配为图像背景的像素点时,还需要进一步通过上述方式来判断该匹配的可靠性,从而使得移动侦测的结果更加准确。其中,若匹配度高而将相似度匹配值设置为小于匹配阈值,且匹配阈值为0.9,第一值为1,那么,当得到的所述第二值大于1时,会将第二值限制为1,避免第二值的概率值大于1。而当得到的所述第二值小于1时,则不作改变。示例性地,当第二值为0.1,那么小于匹配阈值,此时像素点会被判别为图像背景的像素点,当第二值为1,那么大于匹配阈值,此时像素点会被判别为图像前景的像素点。
[0090] 作为上述实施例的一种可选的具体实施方式,所述背景像素模型还包括有用于表征背景像素模型的稳定程度的权重值及最大权重值;且每个所述背景像素模型所对应的所述背景像素模型的数量为至少两个;则,所述步骤S11,包括步骤S110’与步骤S111’:
[0091] S110’,将所述当前帧图像的各个所述像素点的所述像素分量值,依次与对应的且排序后的所述背景像素模型进行相似度匹配,并累计每一所述像素点匹配过的所述背景像素模型的所述权重值的总和,直到各自与背景像素模型匹配成功;其中,所述当前帧图像的各个所述像素点各自所对应的所有所述背景像素模型,会预先按照其权重值的大小进行前后排序;
[0092] S111’,若所述权重值的总和大于预设的可靠背景权重值且小于预设的有效权重值,并且所述最大权重值小于预设的可靠背景最大权重值,则对应的所述像素点与匹配成功的所述背景像素模型之间的匹配为不可靠匹配,此时将预设的所述匹配阈值与预设的不可靠背景系数的乘积作为该像素点本次的相似度匹配值;
[0093] 其中,所述不可靠背景系数越大,输出为背景的非相似性就越大;所述可靠背景权重值用于表征在权值总和中划分为多少权重比例的背景模型会被认为是可靠的背景模型,所述有效权重值用于表示划分为多少权重比例的背景模型会参与前景背景的判别。具体地,不可靠背景点虽然匹配为背景点,但只用于更新模型参数,在输出背景相似性结果时,仍然被当做前景对待。不可靠背景系数越大,输出的背景非相似性就越大。后面高斯滤波使空间临近位置的相似性输出结果存在相互影响,不可靠背景系数越大,对周边像素点的影响越大,可以理解为不可靠程度,即不可靠程度越大,不可靠背景点对周围点的影响就越大。一个像素点常常对应有多个背景模型,经常得到匹配的背景模型具有较大的权值,偶然出现匹配的模型权值较小.多个模型按照权值从大到小排序.可靠背景权值表示在权值总和中划分多少比例的背景模型,认为是可靠的背景模型.背景模型可靠的稳定程度不仅和可靠背景权值有关,还和模型最近若干帧的匹配频度有关。长时间没有匹配并且还没被移除的背景模型仍然可以匹配并更新模型参数,但它的相似性输出不参与后面前景背景的判别.有效权值表示划分多少比例的背景模型参与前景背景判别。超过权值的背景模型不参与前景背景判别,也就是相似度不会赋值到相似度矩阵中。此外,某个像素点所对应的多个背景像素模型的权重值的总和为1,背景像素模型的权重值越大,表示其与当前像素点的匹配优先程度越高。
[0094] 在本实施例中,在判断出像素点的像素分量值与对应的背景像素模型的对应的匹配参数匹配成功后,通过上述方式来进一步判断该匹配是否可靠匹配,从而使得移动侦测结果更加准确。
[0095] 示例性地,之所以对匹配成功的背景像素模型区分不可靠配对,是因为一个运动物体通常要覆盖某个像素的许多帧,如果一个背景像素模型刚创建,在接下来几帧很可能输入的yuv值会很接近背景像素模型的均值,对于这样的还没有稳定的配对,理当大概率表现为前景,能够显著提升运动物体前景块的空间连通性。而在背景像素模型稳定之后,背景像素模型的最大权重值会大于可靠背景最大权重值,就不再是不可靠配对。因此,本实施例可以使得摄像头启动阶段的移动侦测的结果更加准确,且能够更快速侦测到物体运动,无需等待背景像素模型稳定之后再进行侦测识别。
[0096] 作为上述实施例的一种可选的具体实施方式,在所述步骤S12之后,还包括步骤S120至步骤S124:
[0097] S120,根据预设的均值更新算法,对各个将对应的所述像素点匹配为图像背景的背景像素模型的对应的像素分量值的所述均值进行更新;
[0098] S121,根据所述当前帧图像中判别为图像背景的像素点的像素分量值和将该像素点匹配为图像背景的背景像素模型的对应的像素分量值的所述最小值两者的大小比较,更新该背景像素模型的对应的像素分量值的最小值;
[0099] S122,根据所述当前帧图像中判别为图像背景的像素点的像素分量值和将该像素点匹配为图像背景的背景像素模型的对应的像素分量值的所述最大值两者的大小比较,更新该背景像素模型的对应的像素分量值的最大值;
[0100] S123,根据预设的权值更新算法,对所述当前帧图像中判别为图像背景的像素点各自所对应的每一所述背景像素模型的所述权重值及所述最大权重值进行更新,并删除权值更新后所述权重值小于预设的衰减系数的背景像素模型;
[0101] S124,对每一所述像素点对应的更新后的所有背景像素模型按其更新后的权重值的大小进行排序。
[0102] 在本实施例中,当初始化好所述背景像素模型后且在移动侦测的过程中,可以通过上述方式来不断更新背景像素模型,从而使得背景像素模型能够更加准确且更加符合当前视频图像的拍照状态,从而最终使得移动侦测的结果更加可靠。
[0103] 示例性地,所述预设的均值更新算法为:对应的像素分量值更新后的均值=对应的像素分量值更新前的均值*(1-k)+对应的像素分量值*k;k为加权系数,且k=预设的学习速率/对应的背景像素模型的最大权重值;
[0104] 示例性地,所述预设的权值更新算法为:更新后的权重值=更新前的权重值*(1-预设的学习速率)-预设的衰减系数+所述学习速率;更新后的最大权重值=更新前的最大权重值和更新后的权重值两者中的最大值。
[0105] 作为上述实施例的一种可选的具体实施方式,所述学习速率的预设方式为:
[0106] 为预设颜色的像素分量值设置的学习速率,要大于为不是所述预设颜色的颜色的像素分量值设置的学习速率;其中,所述预设颜色为需要移动侦测出来的目标物体的少见颜色。
[0107] 在本实施例中,如果学习速率设置得较大,运动物体的成像区域融入图像背景的速度就会加快,对该图像区域的侦测灵敏度就会降低。因此可以统计哪些颜色更容易在目标物体(例如人)身上出现,哪些颜色不容易在目标物体身上出现。比如很少人会穿绿色的服装,因此当输入某个像素点的YUV值为绿色时,就可以加大这个像素点的绿色的YUV值的学习速率,以达到局部降低灵敏度的目的。需要注意的是灵敏度降低并不是就不报警了,而是检测距离变小了。也就是较远较小的物体,原来会在视频图像中产生运动块,可能因为降低灵敏度就不产生运动块了,而较近较大的物体仍然会在视频图像中产生运动块。其中,可以通过大数据统计的方式得到每个颜色YUV值对应的权值。
[0108] 在本实施例中,具体而言,电池供电的监控摄像头产品需要尽可能减少误触发,从而提高电池的使用寿命。在一些安防场景(例如家庭安防)中,用户最关心的是是否有人入侵,因此需要减小人以外的运动物体的触发可能。而高端的图像检测、图像分类技术往往需要较多计算资源,实现难度和成本较大。而通过本实施例提供的上述色彩灵敏度加权方式,可以用较小的计算资源,实现轻量级误报警过滤。
[0109] 作为上述实施例的一种可选的具体实施方式,在所述步骤S11之前,还包括步骤S1至步骤S4:
[0110] S1,获取所述摄像头启动后所拍摄到的拍摄时间位于最前面的N张图像,并按拍摄时间的前后顺序将所述N张图像分为至少N/2组图像;其中,N为偶数;
[0111] S2,计算每组图像各个像素点的像素分量值的均值,并生成与每组图像对应的均值图像;其中,所述均值图像的各个像素点的像素分量值为对应的一组图像的对应像素点的像素分量值的均值的近似值,所述均值的近似值为整数;
[0112] S3,求取所有所述均值图像的各个像素点的像素分量值的中值,并生成中值图像;其中,所述中值图像的各个像素点的像素分量值为所有所述均值图像的对应的像素点的像素分量值的中值;
[0113] S4,根据所述中值图像的各个像素点的像素分量值,初始化对应的像素点的背景像素模型。
[0114] 其中,在电池供电的监控摄像头产品中,从红外运动探测器(P I R)触发开始,摄像头的每帧视频图像都很有价值,因为运动物体有可能就出现在前几帧视频图像中。因此,用一个尚不存在侵入物体的场景图像来初始化背景像素模型有可能是无法做到的。另一方面,在启动时很可能还伴随着自动曝光和自动白平衡的调节过程。这就需要一种快速初始化模型的方法,能够在画面中存在入侵物体的情况下,既要能够快速且准确地初始化背景像素模型,还要在初始化模型后能够快速且准确判断移动物体,并且在一定程度上能够适应3A调节导致的图像亮度和色彩的变化。而在本实施例中,通过上述的模型初始化方法,即通过“对多帧图像进行分组--对分组后的每一组图像计算像素点的像素分量值以得到多张均值图像---对多张均值图像的像素点的像素分量值求中值以生成中值图像--最后利用一张中值图像来快速初始化模型”这种方式,能够大概率取到图像序列中运动物体经过前后的背景点,这样在初始化模型的时候就使用了更多接近背景点的值,从而可以更快更准确的初始化模型,并可以更快更准确的判断图像序列中是否存在运动物体。
[0115] 为了便于对本实施例的理解,在此进行如下举例说明:假设摄像头开机3秒内缓存了14帧图像,要利用这14帧图像初始化背景减除模型,同时还要分析这里面有没有运动物体。这里提出一种简单有效的初始化方法。将14帧图像每相邻2帧一组,分为7组。每组中两张图像对每个像素分别求Y通道的均值、U通道的均值、V通道的均值三者的为整数的近似值(四舍五入)而得到均值图像。然后对7张均值图像求中值图像,7张均值图像每个像素点的对应的像素分量值都可以排成一个长度为7的数组,通过插入排序可以快速求取每个像素点的对应的像素分量值的中值,于是得到一张每个像素点的像素分量值都是中值的中值图像。最后用中值图像来初始化背景减除模型。对于红外触发后的图像序列,这种方法能够大概率取到图像序列中运动物体经过前后的背景点。这样在初始化模型的时候就使用了更多接近背景点的值,从而可以更快更准确的判断图像序列中是否存在运动物体。
[0116] 作为上述实施例的一种可选的具体实施方式,所述背景像素模型包括用于表征背景像素模型的稳定程度的权重值、最大权重值、预设为图像背景的像素点的像素分量值的:均值、最小值及最大值;则,所述步骤S4,包括:
[0117] 将所述中值图像的各个像素点的像素分量值的数值,作为对应的像素点的所述背景像素模型的对应的像素分量值的所述均值、所述最小值及所述最大值;并将对应的所述像素点的所述背景像素模型的所述权重值及所述最大权重值置为1。
[0118] 作为上述实施例的一种可选的具体实施方式,所述步骤S12,包括步骤S120至步骤S122:
[0119] S120,将得到的所述当前帧图像的各个所述像素点的相似度匹配值组成一个相似度匹配值矩阵;
[0120] S121,将所述相似度匹配值矩阵中的数值与其周围的点的数值的差值均大于预设阈值的点的数值,调整至与其周围点的数值的差值小于预设阈值;
[0121] S122,将调整后的所述相似度匹配值矩阵中的各个相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点。
[0122] 其中,如果矩阵中某个点是前景点的概率较大,但是它周围的点是前景点的概率都很小,那么在经过上述数值调整之后,这个点是前景点的概率值就会被拉小,最终很可能不会被认为是前景点。例如,假设背景是纯色的(比如泥路面,墙面)。阳光被运动物体遮挡产生阴影时,根据距离度量方法(例如上述的欧式距离的计算)的特性,阴影中大部分点是前景点的概率会很小,少数概率较大的点往往是孤立存在的,且分布在阴影边缘并靠近图像背景区域的静态区域(即没有光照明显变化的区域)中,经过上述数值滤波调整后,许多为前景点的概率较大的阴影像素会被过滤掉,从而实现对无效的阴影区域的消除。而运动物体(比如行人)的表面亮度和色度的变化则较为丰富,根据前景概率计算方法,容易产生一大片相互靠近的前景概率较大的点,经过上述数值滤波调整后仍然会被认为是前景,而运动区域中个别前景概率较小的点也会被周边概率较大的点拉大,从而运动物体的成像的前景区域(即运动物体的连通区域)会有更好的空间连通性。所以,在本实施例中,通过上述的对相似度匹配值的数值滤波调整方式,能够在一定程度上消除无效的阴影区域,并能够使得运动物体的成像的前景区域会有更好的空间连通性。
[0123] 示例性地,所述将所述相似度匹配值矩阵中的数值与其周围的点的数值的差值均大于预设阈值点的数值,调整至与其周围点的数值的差值小于预设阈值,包括:利用GaussianBlur滤波算法对所述相似度匹配值矩阵进行滤波,以将所述相似度匹配值矩阵中的数值与其周围的点的数值的差值均大于预设阈值的点的数值,调整至与其周围点的数值的差值小于预设阈值。
[0124] 综上所述,上述实施例可以对应有以下技术效果:
[0125] 通过上述的直接通过对YUV格式的监控视频的当前帧图像的YUV像素分量值进行分析的方式,能够有效避免因颜色空间转换过程占用计算资源而影响移动侦测的计算效率;
[0126] 通过构建包括权重值、最大权重值及YUV像素分量值的均值、最大值及最小值的背景像素模型,能够更加准确的实现对移动物体的侦测;
[0127] 通过设置上述的鲁棒性系数及明暗调节系数,能够使得移动侦测算法对图像噪声具有更好的鲁棒性,更能适应光照环境的变化,从而使得侦测结果更加准确;
[0128] 通过上述的色彩灵敏度加权方式,可以用较小的计算资源,实现轻量级误报警过滤;
[0129] 通过上述的快速初始化背景像素模型的方式,能够大概率取到图像序列中运动物体经过前后的背景点,这样在初始化模型的时候就使用了更多接近背景点的值,从而可以更快更准确的初始化模型,并可以更快更准确的判断图像序列中是否存在运动物体;
[0130] 通过上述的对相似度匹配值的数值滤波调整方式,能够在一定程度上消除无效的阴影区域,并使得运动物体的成像的前景区域会有更好的空间连通性。
[0131] 为了便于对上述实施例的理解,在此给出基于视频图像的物体移动侦测算法各个方面的以下的具体示例方案:
[0132] (1)背景像素模型的基本结构和原理:
[0133] 如图2a所示,每个像素点可以对应有多个背景像素模型(mode)。如图2b所示,背景像素模型的基本结构中,均值(mean)的3个元素分别代表Y、U、V分量的均值,最小值(min)的3个元素分别代表Y、U、V分量的最小值,最大值(max)的3个元素分别代表Y、U、V分量的最大值。
[0134] 本算法同样为每个像素点自适应选择合适的模型数量,建立多个数学模型。本算法通过为YUV色彩空间设计的概率计算方法来计算像素值是否符合高斯概率分布,这种方法将亮度分量(Y)和色彩分量(U、V)区分对待。在亮度分量上采用最大值、最小值双阈值。而阈值受限于均值,和均值之间有一个最小距离(差值的绝对值)。最小值和均值之间的距离不得小于图像阴影的鲁棒性的系数(RobustShadowOffset),最大值和均值之间的距离不能小于图像高光的鲁棒性系数(RobustHighlightOffset)。色彩分量也采用双阈值,最大值与均值之间的最小距离、最小值与均值之间的最小距离都不小于图像色彩的鲁棒性系数(RobustColorOffset)。但凡YUV像素值的亮度分量或色彩分量超过模型的阈值,将认为它是前景的概率为1。否则就计算像素值的色彩分量和模型均值的色彩分量之间的欧式距离,将距离除以RobustColorOffset的结果作为像素值是前景的概率,概率如果超过1,将被限制为1。像素值是前景的概率也反应了像素值和模型之间的不匹配程度。每个像素点和它对应的多个模型中只要有一个可靠的配对,这个像素点是前景点的概率就会很小。如果没有可靠配对,是前景点的概率就很大。最后在高斯滤波后的概率矩阵中,各个点是前景的概率值大小超过阈值的就是前景点,否则是背景点。
[0135] 图像中经常有高光区域和阴影区域,当光照环境发生变化(例如云遮挡太阳)或摄像机进行自动曝光调整,图像中高光区域的亮度变化幅度往往大于阴影区域。因此在RobustShadowOffset和RobustHighlightOffset上加入一个倍乘系数:明暗缩放系数(LightDarkRatio)。根据实践经验,可以用如图3所示的一条随模型的Y像素分量值的均值变化的曲线计算明暗缩放系数的系数值。
[0136] (2)背景像素模型的初始化方案:
[0137] 参考上述内容。
[0138] (3)背景像素模型的更新方案:
[0139] 用于对背景像素模型更新时用的可调参数包括:匹配阈值(Threshold),学习速率(LearningRate),衰减系数(Prune)。
[0140] 对于每一帧输入图像中的每个像素点,相当于输入一个三通道[0,255]的YUV向量。
[0141] 像素值和模型之间的匹配条件改为:像素值是前景的概率小于Threshold,也就是在像素值亮度分量和色彩分量不超过最大最小值范围的情况下,色彩分量和均值之间欧式距离除以RobustColorOffset要小于Threshold,就认为这个像素值不是前景点,并且用这个像素值更新模型。
[0142] 对模型均值和weight的更新和MOG2一样,此外还需要对min、max、max_weight也进行更新,min更新为像素值和min中更小的值,max更新为max和像素值中更大的值。max_weight更新为max_weight和weight中更大的值。加权k的值为"k=LearningRate÷mode->max_weight"。
[0143] 对于新创建的mode,初始化如下:mode->max_weight=mode->weight;mode->mean=yuv;mode->min=yuv;mode->max=yuv。
[0144] 在对modes的weight进行归一化之后,也需要更新modes的max_weight。
[0145] (4)像素点的前景背景判别方案:
[0146] 可调参数:有效权值(BgRatio),可靠背景权值(ReliableBgRatio),可靠背景最大权值(ReliableBgWeight),不可靠背景系数(UnreliableBgScale)区分前景背景,首先每个像素点和它对应的modes之间逐个配对。像素值是前景的概率小于Threshold的时,就成功配对。这时还需要区分是否属于不可靠配对。先对每个像素点对应的modes按照mode->weight从大到小排序,然后可以从第一个mode开始累计weight的总和total_weight。如果mode匹配成功时,total_weight大于ReliableBgRatio并且小于BgRatio,且mode的max_weight小于ReliableBgRatio的话,认为是不可靠配对,此时将像素值是前景的概率增大为Threshold*UnreliableBgScale。只要有mode配对成功,不管是可靠或者不可靠的配对,modes中之后的mode都不再进行配对了。如果这个像素值和所有modes都没有配对成功,那它是前景的概率就等于这轮配对中total_weight小于BgRatio情况下概率最小的那个值。
[0147] 之所以对匹配成功的mode区分不可靠配对,是因为一个运动物体通常要覆盖某个像素许多帧,如果一个mode刚创建,在接下来几帧很可能输入的YUV值会很接近mode的mean,对于这样的还没有稳定的mode配对,理当大概率表现为前景,能够显著提升运动物体前景块的空间连通性。而在稳定之后,mode->max_weight会大于ReliableBgWeight,就不再是不可靠配对。
[0148] 每个pixel都分别得到一个是前景的概率,组成一个矩阵。最后用GaussianBlur对矩阵进行滤波。之后矩阵中概率大于匹配阈值(Threshold)的点就认为是前景点,否则是背景点。
[0149] 经过GaussianBlur滤波,图像中空间位置接近的各个像素点之间不再相互独立。
[0150] (5)色彩灵敏度加权的方案:
[0151] 其中,如果学习速率(LearningRate)设置得较大,运动物体的成像区域融入图像背景的速度就会加快,对该图像区域的侦测灵敏度就会降低。因此可以统计哪些颜色更容易在目标物体(例如人)身上出现,哪些颜色不容易在目标物体身上出现。比如很少人会穿绿色的服装,因此当输入某个像素点的YUV值为绿色时,就可以加大这个像素点的绿色的YUV值的学习速率,以达到局部降低灵敏度的目的。需要注意的是灵敏度降低并不是就不报警了,而是检测距离变小了。也就是较远较小的物体,原来会在视频图像中产生运动块,可能因为降低灵敏度就不产生运动块了,而较近较大的物体仍然会在视频图像中产生运动块。其中,可以通过大数据统计的方式得到每个颜色YUV值对应的权值。
[0152] 在具体算法实现中,要对每个颜色存储一个权值,就需要2563=16M内存,这是无法应用的。一方面嵌入式系统中开机时读取这么大内存需要耗费大量时间,为了省电,开机时间不能太长,另一方面嵌入式硬件中内存资源也很有限。为了满足实际应用需求,可以牺牲一点计算精度,降低Y、U、V分量的色阶数。具体来说,从实践经验得出,可以将Y分为16阶,U、V分为64阶。Y小于8为第0阶,大于247为第15阶,中间按照(Y-8)/15取值。U和V的计算是一样的,小于36为第0阶,大于221为第63阶,中间按(U_V-33)/3来取值。最终把YUV颜色-权值表的大小缩小为64KB,满足实际应用需求。
[0153] 参见图2,是本发明另一实施例提供的一种基于视频图像的物体移动侦测装置的结构示意图,所述装置包括:
[0154] 获取模块10,用于获取由摄像头当前拍摄的视频中的当前帧图像,并获取所述当前帧图像的各个像素点的像素分量值;所述视频及所述当前帧图像均为YUV格式,所述像素分量值包括Y分量值,或所述像素分量值包括:Y分量值、U分量值及V分量值;
[0155] 匹配模块11,用于将所述当前帧图像的各个所述像素点的所述像素分量值,与各个所述像素点对应的且预先建立的至少一个背景像素模型进行相似度匹配,以得对应的像素点的相似度匹配值;所述背景像素模型包括有为对应的所述像素点的各个像素分量值而对应预设的匹配参数,所述匹配参数用于作为对应的所述像素点为图像背景的匹配标准;
[0156] 第一判别模块12,用于将得到的所述当前帧图像的各个所述像素点的相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点;
[0157] 第二判别模块13,用于获得判别为所述图像前景的像素点因相邻而连在一起所形成的至少一个连通区域,并判断每一所述连通区域的区域面积是否大于预设的且为判别物体移动所需的面积阈值,以此得到所述当前帧图像的物体移动侦测结果。
[0158] 在本发明实施例中,通过将获取到的监控视频中的当前帧图像的各个像素点的YUV像素分量值,与各个所述像素点对应的且预先建立的至少一个背景像素模型进行相似度匹配,以得对应的像素点的相似度匹配值;将得到的所述当前帧图像的各个所述像素点的相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点;获得为图像前景的像素点因相邻而形成的连通区域,并判断每一连通区域的区域面积是否大于预设的面积阈值,若有连通区域的区域面积大于面积阈值则侦测到物体移动,否则没有侦测到物体移动。由上分析可知,本发明实施例在进行基于视频图像的移动侦测时,是直接通过对YUV格式的监控视频的当前帧图像的YUV像素分量值进行分析的,无需对YUV格式的视频图像进行颜色空间转换,因此可以有效避免因颜色空间转换过程占用计算资源而影响移动侦测的计算效率。
[0159] 作为上述实施例的改进,所述匹配参数包括预设为图像背景的像素点的像素分量值的:最小值及最大值;则所述匹配模块,包括:
[0160] 第一数值设置单元,用于若所述当前帧图像的所述像素点的所述像素分量值,不位于对应的所述背景像素模型中的对应的像素分量值的预设的高阈值与预设的低阈值的两者数值之间,则以第一值作为对应的所述像素点的相似度匹配值;
[0161] 第二数值设置单元,用于若所述像素分量值位于所述两者数值之间,以第二值作为对应的所述像素点的相似度匹配值;
[0162] 其中,所述匹配阈值与所述第二值均不大于所述第一值;所述像素分量值为Y分量值时,所述高阈值为高光偏移阈值,所述低阈值为阴影偏移阈值;所述像素分量值为两种色彩分量值时,所述高阈值为色彩偏移高阈值,所述低阈值为色彩偏移低阈值;两种所述色彩分量值为U分量值和V分量值。
[0163] 作为上述实施例的改进,所述背景像素模型还包括有预设为图像背景的像素点的像素分量值的:最小值、最大值及均值;
[0164] 则,所述高光偏移阈值,等于预设的图像高光的鲁棒性系数与预设的明暗调节系数的乘积与Y分量值的均值之和,且不小于Y分量值的最大值;所述阴影偏移阈值,等于预设的图像阴影的鲁棒性系数与预设的明暗调节系数的乘积与Y分量值的均值之差,且不大于Y分量值的最小值;
[0165] 所述色彩偏移高阈值等于预设的图像色彩的鲁棒性系数与对应的色彩分量值的均值之和,且不小于对应的色彩分量值的最大值;所述色彩偏移低阈值等于预设的图像色彩的鲁棒性系数与对应的色彩分量值的均值之差,且不大于对应的色彩分量值的最小值;
[0166] 其中,所述明暗调节系数与背景像素模型中的Y分量值的均值的成正比例关系且正比例关系为预先设定的。
[0167] 作为上述实施例的改进,若所述像素分量值包括两种所述色彩分量值,则所述第二数值设置单元,包括:
[0168] 第一计算子单元,用于若所述像素分量值位于所述两者数值之间,计算所述当前帧图像的所述像素点的U分量值和V分量值组成的二维向量与对应背景像素模型中U均值和V均值组成的二维向量之间的欧式距离;
[0169] 第二计算子单元,用于以该欧式距离除以所述图像色彩的鲁棒性的系数而得到的数值作为第二值,该值即为对应的所述像素点的色彩分量值的相似度匹配值;其中所述第二值的数值范围为0~1。
[0170] 作为上述实施例的改进,若所述像素分量值包括Y分量值,则预设的且为默认值的所述图像高光的鲁棒性系数和所述图像阴影的鲁棒性的系数,均会乘以一个与该模型中的Y分量值的均值的大小成正比的且为预设的明暗调节系数,以作为当前需要使用的图像高光的鲁棒性系数和图像阴影的鲁棒性的系数;其中,所述明暗调节系数与背景像素模型中的Y分量值的均值的正比例关系为预先设定的。
[0171] 作为上述实施例的改进,所述背景像素模型还包括有用于表征背景像素模型的稳定程度的权重值及最大权重值;且每个所述背景像素模型所对应的所述背景像素模型的数量为至少两个;则,所述匹配模块,包括:
[0172] 匹配单元,用于将所述当前帧图像的各个所述像素点的所述像素分量值,依次与对应的且排序后的所述背景像素模型进行相似度匹配,并累计每一所述像素点匹配过的所述背景像素模型的所述权重值的总和,直到各自与背景像素模型匹配成功;其中,所述当前帧图像的各个所述像素点各自所对应的所有所述背景像素模型,会预先按照其权重值的大小进行前后排序;
[0173] 判别单元,用于若所述权重值的总和大于预设的可靠背景权重值且小于预设的有效权重值,并且所述最大权重值小于预设的可靠背景最大权重值,则对应的所述像素点与匹配成功的所述背景像素模型之间的匹配为不可靠匹配,此时将预设的所述匹配阈值与预设的不可靠背景系数的乘积作为该像素点本次的相似度匹配值;
[0174] 其中,所述不可靠背景系数越大,输出为背景的非相似性就越大;所述可靠背景权重值用于表征在权值总和中划分为多少权重比例的背景模型会被认为是可靠的背景模型,所述有效权重值用于表示划分为多少权重比例的背景模型会参与前景背景的判别。
[0175] 作为上述实施例的改进,所述装置还包括:
[0176] 均值更新模块,用于根据预设的均值更新算法,对各个将对应的所述像素点匹配为图像背景的背景像素模型的对应的像素分量值的所述均值进行更新;
[0177] 第一比较模块,用于根据所述当前帧图像中判别为图像背景的像素点的像素分量值和将该像素点匹配为图像背景的背景像素模型的对应的像素分量值的所述最小值两者的大小比较,更新该背景像素模型的对应的像素分量值的最小值;
[0178] 第二比较模块,用于根据所述当前帧图像中判别为图像背景的像素点的像素分量值和将该像素点匹配为图像背景的背景像素模型的对应的像素分量值的所述最大值两者的大小比较,更新该背景像素模型的对应的像素分量值的最大值;
[0179] 权值更新模块,用于根据预设的权值更新算法,对所述当前帧图像中判别为图像背景的像素点各自所对应的每一所述背景像素模型的所述权重值及所述最大权重值进行更新,并删除权值更新后所述权重值小于预设的衰减系数的背景像素模型;
[0180] 排序模块,用于对每一所述像素点对应的更新后的所有背景像素模型按其更新后的权重值的大小进行排序。
[0181] 作为上述实施例的改进,所述预设的均值更新算法为:对应的像素分量值更新后的均值=对应的像素分量值更新前的均值*(1-k)+对应的像素分量值*k;k为加权系数,且k=预设的学习速率/对应的背景像素模型的最大权重值;所述预设的权值更新算法为:更新后的权重值=更新前的权重值*(1-预设的学习速率)-预设的衰减系数+所述学习速率;更新后的最大权重值=更新前的最大权重值和更新后的权重值两者中的最大值。
[0182] 作为上述实施例的改进,所述学习速率的预设方式为:为预设颜色的像素分量值设置的学习速率,要大于为不是所述预设颜色的颜色的像素分量值设置的学习速率;其中,所述预设颜色为需要移动侦测出来的目标物体的少见颜色。
[0183] 作为上述实施例的改进,所述装置还包括:
[0184] 图像获取及分组模块,用于获取所述摄像头启动后所拍摄到的拍摄时间位于最前面的N张图像,并按拍摄时间的前后顺序将所述N张图像分为至少N/2组图像;其中,N为偶数;
[0185] 均值图像生成模块,用于计算每组图像各个像素点的像素分量值的均值,并生成与每组图像对应的均值图像;其中,所述均值图像的各个像素点的像素分量值为对应的一组图像的对应像素点的像素分量值的均值的近似值,所述均值的近似值为整数;
[0186] 中值生成模块,用于求取所有所述均值图像的各个像素点的像素分量值的中值,并生成中值图像;其中,所述中值图像的各个像素点的像素分量值为所有所述均值图像的对应的像素点的像素分量值的中值;
[0187] 模型初始化模块,用于根据所述中值图像的各个像素点的像素分量值,初始化对应的像素点的背景像素模型。
[0188] 作为上述实施例的改进,所述背景像素模型包括用于表征背景像素模型的稳定程度的权重值、最大权重值、预设为图像背景的像素点的像素分量值的:均值、最小值及最大值;则,所述模型初始化模块,具体用于:将所述中值图像的各个像素点的像素分量值的数值,作为对应的像素点的所述背景像素模型的对应的像素分量值的所述均值、所述最小值及所述最大值;并将对应的所述像素点的所述背景像素模型的所述权重值及所述最大权重值置为1。
[0189] 作为上述实施例的改进,所述第一判别模块,包括:
[0190] 矩阵生成单元,用于将得到的所述当前帧图像的各个所述像素点的相似度匹配值组成一个相似度匹配值矩阵;
[0191] 数值调整单元,用于将所述相似度匹配值矩阵中的数值与其周围的点的数值的差值均大于预设阈值的点的数值,调整至与其周围点的数值的差值小于预设阈值;
[0192] 数值比较单元,用于将调整后的所述相似度匹配值矩阵中的各个相似度匹配值与预设的匹配阈值进行比较,判别出所述当前帧图像中为图像背景的像素点及为图像前景的像素点。
[0193] 作为上述实施例的改进,所述数值比较单元具体用于:利用Gauss i anB l ur滤波算法对所述相似度匹配值矩阵进行滤波,以将所述相似度匹配值矩阵中的数值与其周围的点的数值的差值均大于预设阈值的点的数值,调整至与其周围点的数值的差值小于预设阈值。
[0194] 参见图4,是本发明一实施例提供的基于视频图像的物体移动侦测设备的示意图。该实施例的设备包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,例如基于视频图像的物体移动侦测程序。所述处理器执行所述计算机程序时实现上述各个基于视频图像的物体移动侦测方法实施例中的步骤。或者,所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
[0195] 示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述**装置/终端设备中的执行过程。
[0196] 所述基于视频图像的物体移动侦测装置/设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于视频图像的物体移动侦测装置/设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述示意图仅仅是基于视频图像的物体移动侦测装置/设备的示例,并不构成对装置/设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述基于视频图像的物体移动侦测装置/设备还可以包括输入输出设备、网络接入设备、总线等。
[0197] 所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述基于视频图像的物体移动侦测装置/设备的控制中心,利用各种接口和线路连接整个基于视频图像的物体移动侦测装置/设备的各个部分。
[0198] 所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述基于视频图像的物体移动侦测装置/设备的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0199] 其中,所述基于视频图像的物体移动侦测装置/设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
[0200] 需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
[0201] 以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈