专利汇可以提供交通监控视频编码方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种交通监控 视频编码 方法,该方法基于车辆和背景 数据库 实现交通监控视频编码,在付出一定存储空间的代价后,可以有效去除交通监控视频在时间维度上存在的全局冗余,最终,总体的效果是在未明显增加编、解码端复杂度的情况下,有效的提升了交通监控视频的整体编码性能。,下面是交通监控视频编码方法专利的具体信息内容。
1.一种交通监控视频编码方法,其特征在于,包括:
采用前背景分割方法对原始交通监控视频序列进行处理,分离出车辆与背景,并分别去除分离出的车辆与背景之间存在的冗余后放入数据库;
对于待编码的交通监控视频同样采用前背景分割方法,分离出待编码车辆与待编码背景;对于待编码车辆采用特征匹配与快速运动估计的方式从数据库中选出匹配车辆;对于待编码背景基于绝对差和从数据库中选出匹配背景;
当采用帧间预测模式或者帧内预测模式时,使用预定方式判断待编码车辆或待编码背景是否需要在匹配车辆或匹配背景上进行率失真优化处理;根据判断结果进行相应处理,并使用相应的预测模式进行编码。
2.根据权利要求1所述的一种交通监控视频编码方法,其特征在于,所述采用前背景分割方法对原始交通监控视频序列进行处理,分离出车辆与背景,并分别去除分离出的车辆与背景之间存在的冗余后放入数据库包括:
对于去除冗余后的车辆,从1到N进行编号;
初始时,数据库中车辆为空;对于某个去除冗余后的车辆vi,采用基于倒排表的方法从除车辆vi外所有其余车辆中检索出相似的车辆{vi1,vi2,…,vim},其中m为相似车辆的数目;
检索相似车辆时,比较车辆vi和其余车辆中任一车辆vj匹配的SIFT特征数目,当车辆vi和车辆vj匹配的SIFT特征数目满足下式时,将车辆vj放入{vi1,vi2,…,vim}中:
Nij≥β×Ni;
Nij≥min(N0,Ni);
上式中,Nij为车辆vi和车辆vj匹配的SIFT特征数目,Ni为车辆vi中的SIFT特征数目,β和N0为常数;
之后,对车辆进行像素级别相似度的比较:对于车辆vi,如果数据库中的车辆为空,则将车辆vi放入数据库;否则,将车辆vi与{vi1,vi2,…,vim}中已经放入数据库的车辆进行像素级别相似度的比较,相似度比较时使用快速运动估计方式,损失函数使用绝对差和,如果计算得到的绝对差和平均值小于设定值,则判定判断两辆车在像素级别是相似的;如果{vi1,vi2,…,vim}中已经放入数据库的车辆连续多辆没有与车辆vi在像素级别相似,将车辆vi放入数据库,反之,车辆vi不放入数据库;如果将最终决定车辆vi放入数据库中,则将{vi1,vi2,…,vim}中已经放入数据库的车辆与车辆vi进行像素级别相似度的比较,如果存在与车辆vi在像素级别相似的车辆,则将已放入数据库中的相似的车辆剔除出数据库;如果累计超过多辆车辆与车辆vi在像素级别不相似,上述检查过程停止;
采用上述方式处理每一车辆,确定最终放入数据库中的车辆并进行编码后放入数据库;
对于去除冗余后的背景,每隔一段时间取一帧背景并进行编码后放入数据库。
3.根据权利要求1或2所述的一种交通监控视频编码方法,其特征在于,采用前背景分割方法分离车辆与背景时,将分离出的车辆的左上角至右下角的方形区域中的像素作为车辆,剩余部分作为背景;
对于分离出的当前待编码车辆与对应的背景,分别提取二者的SIFT特征,对于从当前待编码车辆上提取的每一SIFT特征,采用下式在对应背景上一定的位置邻域范围内进行检索:
(xsc-xsb)2+(ysc-ysb)2≤d2;
其中,xsc和ysc表示从当前待编码车辆上提取的SIFT特征的坐标,xsb和ysb表示从对应背景上提取的SIFT特征的坐标,d为位置邻域的界定范围;
如果检索到的归一化后欧氏距离最小的SIFT特征与当前待编码车辆的某一SIFT特征的距离小于一定的阈值,则说明背景区域中存在与当前待编码车辆的SIFT特征相像的SIFT特征,当前待编码车辆的相应SIFT特征为背景SIFT特征,将其从车辆SIFT中去除。
4.根据权利要求1所述的一种交通监控视频编码方法,其特征在于,对于待编码车辆采用特征匹配与快速运动估计的方式从数据库中选出匹配车辆包括:
首先,采用特征匹配的方式从数据库中粗略的选出若干候选车辆:将数据库中每一车辆的SIFT特征采用k-means算法量化成视觉文字,对于每一视觉文字,计算对应的映射均值向量;再将数据库中每一车辆的每一SIFT特征映射到最近邻的视觉文字,比较映射的SIFT特征向量与最近邻视觉文字对应的映射均值向量,得到每一SIFT特征向量的二值化表征;
同时,将数据库中的每一车辆用其SIFT特征对应的视觉文字的频率直方图表示,采用倒排表的方式组织数据库中每一车辆的频率直方图;对于当前待编码车辆,同样按照上述处理数据库中车辆的方法,将其每一SIFT特征分配到最近邻的视觉文字,得到当前待编码车辆的频率直方图,同时计算每一SIFT特征的二值化表征;在比较当前待编码车辆与数据库中某个车辆的相似度时,在映射到同一视觉文字的SIFT特征的二值化表征的汉明距离小于一定阈值的条件下,以tf-idf项加权的频率直方图的距离作为相似度的评价指标,得到当前待编码车辆与数据库中每一车辆的相似度的比较结果;依照计算的相似度的比较结果进行排序,选出相似度排名靠前的若干车辆作为候选车辆;
然后,使用快速运动估计的方式从若干候选车辆中精选出一个匹配车辆:先将当前待编码车辆与每一候选车辆进行对齐,再将当前待编码车辆划分成固定大小为16x16的块,每一16x16的块在某一候选车辆中搜索损失函数最小的块,其中损失函数由绝对差和及运动矢量的编码码率组成;搜索的方式为以当前16x16的块的位置为起始点,在该起始点周围上下左右64像素范围内进行八点钻石型搜索,将所有16x16的块的损失函数累加作为整个当前待编码车辆在某一候选车辆上的整体损失函数;最终保留整体损失函数最小的候选车辆作为匹配车辆。
5.根据权利要求4所述的一种交通监控视频编码方法,其特征在于,将当前待编码车辆与每一候选车辆进行对齐的方式如下:
对于当前待编码车辆的某个SIFT特征,计算其与每一候选车辆的所有SIFT特征的距离,将计算得到的距离按从小到大的方式排序后,如果满足下式,则判定当前待编码车辆的相应SIFT特征在相应候选车辆中找到了匹配SIFT特征:
d1≤D2;
d1/d2≤α;
其中,d1和d2分别为最小和第二小距离,D2和α为常数;
按照上述方式计算当前待编码车辆的每一SIFT特征,得到当前待编码车辆与每一候选车辆的SIFT匹配对;依照得到的SIFT特征匹配对的结果,计算当前待编码车辆与每一候选车辆的位置偏移,如下式所示:
其中,MVx和MVy为偏移的水平分量和竖直分量,n为匹配的SIFT特征对的数目,xci和yci为当前待编码车辆的SIFT特征的坐标,xvi和yvi为候选车辆的SIFT特征的坐标;i为SIFT特征匹配对的序号;
再采用迭代的方式去除异常点,得到最终的位置偏移结果;依照计算得到的位置偏移结果,将当前待编码车辆与相应候选车辆进行对齐。
6.根据权利要求1所述的一种交通监控视频编码方法,其特征在于,对于待编码背景基于绝对差和从数据库中选出匹配背景包括:
以当前待编码背景与数据库中背景对应位置像素的绝对差和作为相似度评价准则,计算当前待编码背景与数据库中每个背景的绝对差和,如下式所示:
SAD=∑k∈B|pck-plk|;
其中,pck与plk分别为当前待编码背景与数据库中背景第k个像素的值,B为当前待编码背景像素的集合;
将计算结果从小到大排序,以绝对差和最小的背景作为当前待编码背景的匹配背景。
7.根据权利要求1所述的一种交通监控视频编码方法,其特征在于,当采用帧间预测模式时,使用预定方式判断待编码车辆或待编码背景是否需要在匹配车辆或匹配背景上进行率失真优化处理包括:
帧间预测模式下率失真优化的比较准则为:
其中,J为拉格朗日损失函数,D为预测块与匹配块的绝对差和,R为用于表示模式信息的比特数,λ为拉格朗日乘子;
首先,计算当前待编码车辆和当前待编码背景与现有参考帧的拉格朗日损失函数:
对于当前待编码车辆的每一个现有参考帧,以4×4的块为单位,得到当前待编码车辆对应位置上采用帧间预测4×4的块的运动矢量和及其参考帧的图像编号信息,以此为基础,估计当前待编码车辆上对应4×4的块的运动矢量信息,估计的公式如下:
其中,MVXref和MVYref分别为现有参考帧上帧间预测4×4的块运动矢量的水平分量和竖直分量;POCcur、POCref和POCcolref分别为当前待编码车辆所在的帧的图像编号、现有参考帧的图像编号和现有参考帧上帧间预测4×4的块参考帧的图像编号;MVXcur和MVYcur分别为估计得到的当前待编码车辆对应4×4的块运动矢量的水平分量和竖直分量;遍历当前待编码车辆中的每一个4x4小的块,记录帧间预测4×4的块的数目及其对应的当前待编码车辆4×
4的块的运动矢量,最终估计的当前待编码车辆运动矢量的水平分量与竖直分量为所有帧间预测4x4小的块运动矢量的平均值;
从而得到当前待编码车辆在每个现有参考帧上的位移,之后,将当前待编码车辆划分成固定大小为16x16的块,每一16x16的块在所有现有参考帧中依次搜索损失函数最小的块,其中损失函数由绝对差和及运动矢量的编码码率组成;搜索的方式为以当前16x16的块按估计得到的位移平移后的位置为起始点,在该起始点周围上下左右64像素范围内进行八点钻石型搜索;以16x16的块为单位,记录当前待编码车辆中所有块与其在从所有现有参考帧中匹配块的最小损失函数;依次遍历当前待编码车辆中每个16x16的块,累加其记录得最小损失函数和,得到当前待编码车辆相对于现有参考帧的拉格朗日损失函数对于当前待编码背景,将其划分成16x16的块;对于当前16x16的块,从所有现有参考帧中搜索最小损失函数对应的匹配块;搜索的方式为比较所有参考帧对应位置的16x16的块与当前待编码背景内当前16x16的块的绝对差和,选出最小的绝对差和作为当前待编码背景内当前16x16的块的损失函数;遍历当前待编码背景中所有16x16的块,累加所有16x16的块的损失函数,作为当前待编码背景的拉格朗日损失函数
然后,将匹配车辆和背景考虑进来,计算更新后的拉格朗日损失函数:
对于当前待编码车辆内的每个16x16的块,在拉格朗日损失函数 计算结果的基础上,采用快速运动估计的方法,计算其与匹配车辆的损失函数;再将每一16x16的块与匹配车辆的损失函数,与计算拉格朗日损失函数 时得到的与现有参考帧的最小损失函数比较,取较小者为相应16x16的块的最小损失函数;遍历当前待编码车辆内的每个16x16的块,累加每个16x16的块的最小损失函数,得到当前待编码车辆的拉格朗日损失函数 同时,对于当前待编码车辆,引起比特数的变化包含了匹配车辆在数据库中的位置索引信息、匹配车辆在参考帧中的位置信息、参考索引比特变化信息和CTU级别的表示信息,将这些比特数变化与拉格朗日损失函数 组合起来,得到更新后的拉格朗日损失函数
对于当前待编码背景内的每个16x16的块,在拉格朗日损失函数 计算结果的基础上,计算与匹配背景的损失函数;再将每一16x16的块与匹配背景的损失函数,与计算拉格朗日损失函数 时得到的与现有参考帧的最小损失函数比较,取较小者为相应16x16的块的最小损失函数;遍历当前待编码背景内的每个16x16的块,累加每个16x16的块的最小损失函数,得到当前待编码背景的损失函数 同时,对于当前待编码背景,引起比特数的变化包含了匹配背景在数据库中的位置索引信息及参考索引比特变化信息,将这些比特数变化与拉格朗日损失函数 组合起来,得到更新后的拉格朗日损失函数
最后,比较拉格朗日损失函数 与更新后的拉格朗日损失函数 之间的大小,若则在匹配车辆上进行率失真优化处理;比较拉格朗日损失函数 与更新后的拉格朗日损失函数 之间的大小,若 则在匹配背景上进行率失真优化处理。
8.根据权利要求1所述的一种交通监控视频编码方法,其特征在于,当采用帧内预测模式时,使用预定方式判断待编码车辆或待编码背景是否需要在匹配车辆或匹配背景上进行率失真优化处理包括:
帧内预测模式下率失真优化的比较准则为:
其中,J为拉格朗日损失函数,D为预测块与匹配块的绝对差和,R为用于表示模式信息的比特数,λ为拉格朗日乘子;
对于当前待编码背景,在帧内预测模式下,始终在匹配背景上进行率失真优化处理;
对于当前待编码车辆,首先,粗略估计出当前待编码车辆采用帧内预测时的损失函数:
将当前待编码车辆划分成固定大小为16x16的块,对于每个16x16的块,依次进行DC、planar、水平和垂直帧内预测模式的估计,得到每个16x16的块对应于每种模式的绝对差和;帧内预测模式估计时,当前16x16的块的参考像素值由邻近16x16的块的原始值推出;对于每个16x16的块,将其在所有模式下估计得到的绝对差和按照从小到大的顺序排序,以绝对差和最小的结果作为当前16x16的块的最优匹配结果;遍历当前待编码车辆中所有16x16的块,累加每个16x16的块的最优匹配结果,得到当前待编码车辆的拉格朗日损失函数然后,将匹配车辆考虑进来,计算更新后的拉格朗日损失函数:对于当前待编码车辆内的每个16x16的块,在拉格朗日损失函数 计算结果的基础上,采用快速运动估计的方法,计算与匹配车辆的损失函数;再将每一16x16的块与匹配车辆的损失函数,与计算拉格朗日损失函数 时得到的其帧内预测估计出的最小绝对差和比较,取较小者为相应16x16的块的最小损失函数;遍历当前待编码车辆内的每个16x16的块,累加每个16x16的块的最小损失函数,得到当前待编码车辆的损失函数 同时,对于当前待编码车辆,引起比特数的变化包含了匹配车辆在数据库中的位置索引信息、匹配车辆在参考帧中的位置信息和CTU级别的表示信息,将这些比特数变化与拉格朗日损失函数 组合起来,得到更新后的拉格朗日损失函数
最后,比较拉格朗日损失函数 与更新后的拉格朗日损失函数 之间的大小,若则在匹配车辆上进行率失真优化处理。
9.根据权利要求1或7或8所述的一种交通监控视频编码方法,其特征在于,所述根据判断结果进行相应处理,并使用相应的预测模式进行编码,同时将编码时参考到的匹配车辆或匹配背景的信息一同编入码流
当采用帧间预测模式时,如果判定需要在匹配车辆或匹配背景上进行率失真优化处理,则新申请一个参考帧的空间,将匹配车辆或匹配背景贴于新申请的参考帧上与现有的参考帧一起供当前待编码车辆或待编码背景做帧间预测;帧间预测结束后,遍历当前待编码车辆或当前待编码背景覆盖的每个4x4的块,如果某个4x4的块参考了当前待编码车辆或当前待编码背景的信息,则将相应的语法元素编入码流;
当采用帧内预测模式时,如果判定需要在匹配车辆或匹配背景上进行率失真优化处理,则新申请一个参考帧的空间,将匹配车辆或匹配背景贴于新申请的参考帧上供当前待编码车辆或待编码背景做帧内预测;
将匹配车辆贴于新申请的参考帧的位置由下式确定:
x0=xc+MVx;
y0=yc+MVy;
其中,x0和y0表示匹配车辆贴到新申请的参考帧上的位置,xc和yc表示当前待编码车辆在当前帧的位置,MVx和MVy为当前待编码车辆相对于匹配车辆偏移的水平分量和竖直分量;
将匹配背景贴在参考帧上时,与参考帧位置对齐即可。
10.根据权利要求9所述的一种交通监控视频编码方法,其特征在于,编码码流的结构分为片slice和树形编码单元CTU两层;其中:
slice层:对于当前待编码车辆,slice层包含一个表示当前slice层中是否有匹配车辆被参考的标记;遍历当前slice层中所有车辆覆盖的4x4的块,判断其是否参考了匹配车辆,如果存在某个4x4的块参考了匹配车辆,则标记为真,否则标记为假;如果标记为真,则slice层还要包含表示当前slice层中被参考匹配车辆数目的语法元素;对于每个匹配车辆,其在数据库中的位置索引、其贴在新申请的参考帧上的位置一并编入码流,被参考的匹配车辆数目、每个匹配车辆的索引、以及每个匹配车辆贴在新申请的参考帧上的位置采用定长编码方式进行编码;
对于当前待编码背景,slice层包含一个表示当前slice层中是否有匹配背景被参考的标记;遍历当前slice层中所有背景覆盖的4x4的块,判断其是否参考了匹配背景,如果存在某个4x4的块参考了匹配背景,则标记为真,否则标记为假;如果标记为真,则slice层还要包含被参考的匹配背景在数据库中的位置索引语法元素,该语法元素采用定长编码方式进行编码;
CTU层:对于当前待编码车辆,CTU层包含一个表示当前CTU层是否参考了匹配车辆像素的标记;遍历当前CTU层中每个4x4的块,如果存在某个4x4的块参考了匹配车辆像素,则标记为真,否则标记为假;当标记为真时,CTU层还要包含一个表示匹配车辆索引的语法元素;
对于当前待编码背景,CTU层包含一个表示当前CTU层是否参考了匹配背景像素的标记。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
一种基于SVC数据特性的P2P流媒体分片及调度方法 | 2020-05-08 | 255 |
一种视频编码方法及装置 | 2020-05-11 | 354 |
向后兼容的HDR视频多层压缩技术 | 2020-05-12 | 152 |
编码方法、系统和编码器、解码方法、系统和解码器 | 2020-05-12 | 159 |
压缩/解压缩的装置和系统、芯片、电子装置、方法 | 2020-05-08 | 169 |
BIO中的时间梯度计算的改善 | 2020-05-08 | 174 |
一种基于动态注意力机制的多事件视频描述方法 | 2020-05-08 | 733 |
不同视频块尺寸的仿射模式计算 | 2020-05-11 | 965 |
用于视频编码或解码的运动信息获取方法与装置 | 2020-05-11 | 396 |
视频编码和解码中的仿射模式 | 2020-05-11 | 901 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。