首页 / 专利库 / 视听技术与设备 / 运动估计 / 用于视频捕获的方法、设备和系统

用于视频捕获的方法、设备和系统

阅读:6发布:2020-08-15

专利汇可以提供用于视频捕获的方法、设备和系统专利检索,专利查询,专利分析的服务。并且事件 感知 视频系统(EAVS)将在第一时间段期间捕获 视频 帧 ,并处理视频帧的事件部分,然后将经处理数据传递给中央计算系统。EAVS可从视频帧建立当前无事件帧,其中如果视频帧的相邻帧对之差小于 阈值 ,则视频帧的最后一帧被标记为当前无事件帧。EAVS可建立事件帧,其中如果当前帧与在当前帧之前捕获的前一帧之差大于阈值,则在建立无事件帧之后捕获的当前帧被标记为事件帧。EAVS可通过处理事件帧的事件来生成经处理数据。,下面是用于视频捕获的方法、设备和系统专利的具体信息内容。

1.一种用于视频捕获的方法,包括:
在第一时间段期间捕获第一多个视频,其中所述第一多个视频帧包括两个或多个相邻帧对,
从所述第一多个视频帧建立当前无事件帧,其中,如果所述第一多个视频帧的各相邻帧对之差小于阈值,则将所述第一多个视频帧的最后一帧标记为所述当前无事件帧,建立事件帧,其中,如果在建立所述无事件帧之后捕获的当前帧与在所述当前帧之前捕获的前一帧之差大于所述阈值,则将所述当前帧标记为所述事件帧,以及将事件信息提供给中央计算系统,其中通过处理从所述事件帧提取的事件来生成所述事件信息,并且其中处理所述事件包括生成所述事件帧中运动对象的实际运动向量,其中,生成所述运动对象的实际运动向量包括:
标注所述运动对象,
将所述事件帧中的运动对象与所述前一帧中的运动对象组对,
对所述事件帧中运动对象的边界调整大小以匹配所述前一帧中运动对象的边界,以及计算所述事件帧和所述前一帧中运动对象的边界重心的坐标。
2.如权利要求1所述的方法,还包括:如果所述当前帧与所述无事件帧之差小于所述阈值,则拒绝在所述第一时间段之后捕获的所述当前帧。
3.如权利要求1所述的方法,其中,处理所述事件包括在将所述事件信息发送给所述中央计算系统之前去除所述事件帧的背景信息。
4.如权利要求3所述的方法,其中,去除所述背景包括:
在所述事件帧中识别排除所述事件的区域,以及
将第一颜色值分配给所述区域的像素,其中将所述第一颜色分配给所述区域的像素去除所述事件帧中的背景信息。
5.如权利要求1所述的方法,还包括:计算所述运动对象的运动误差。
6.如权利要求5所述的方法,其中,计算所述运动误差包括:
通过使用所述运动向量将所述前一帧中的运动对象位移来生成所估计运动向量,以及计算所述实际运动对象图像与所述运动估计运动对象图像之差。
7.如权利要求5所述的方法,还包括:
如果所述运动误差大于可允许误差阈值,则执行运动细化,以及
如果所述运动误差小于所述可允许误差阈值,则执行运动误差编码。
8.如权利要求7所述的方法,执行所述运动细化还包括:
将所述事件帧中所述运动对象的边界细分成第一、第二、第三和第四较小矩形,以及确定所述第一、第二、第三和第四较小矩形的第一、第二、第三和第四运动向量及误差。
9.如权利要求7所述的方法,执行所述运动误差编码还包括:
通过对所述运动误差执行离散余弦变换来生成变换值,以及
执行所述运动误差的压缩。
10.一种用于视频捕获的设备,包括:
图像捕获单元,在第一时间段期间捕获第一多个视频帧,其中所述第一多个视频帧包括两个或多个相邻帧对,
事件感知视频系统使能控制器,耦合到所述图像捕获单元,其中所述事件感知视频系统使能控制器将
从所述第一多个视频帧建立当前无事件帧,其中,如果所述第一多个视频帧的各相邻帧对之差小于阈值,则将所述第一多个视频帧的最后一帧标记为所述当前无事件帧,以及建立事件帧,其中,如果在建立所述无事件帧之后捕获的当前帧与在所述当前帧之前捕获的前一帧之差大于所述阈值,则将所述当前帧标记为所述事件帧,以及网络接口,耦合到所述事件感知视频系统使能控制器,其中,所述网络接口将事件信息传递给中央计算系统,其中通过处理从所述事件帧提取的事件来生成所述事件信息,并且其中所述事件感知视频系统使能控制器将生成所述事件帧中运动对象的实际运动向量,其中,所述事件感知视频系统使能控制器将:
标注所述运动对象,
将所述事件帧中的运动对象与所述前一帧中的运动对象组对,
对所述事件帧中运动对象的边界调整大小以匹配所述前一帧中运动对象的边界,以及计算所述事件帧和所述前一帧中运动对象的边界重心的坐标。
11.如权利要求10所述的设备,还包括:
缓冲器,耦合到所述事件感知视频系统使能控制器,其中所述帧缓冲器将存储所述第一多个图像,以及
无事件帧缓冲器,耦合到所述事件感知视频系统使能控制器,其中所述无事件帧缓冲器将存储所述无事件帧。
12.如权利要求10所述的设备,其中,所述事件感知视频系统使能控制器将在处理所述事件帧时去除所述事件帧的背景信息。
13.如权利要求12所述的设备,其中,所述事件感知视频系统使能控制器将:
在所述事件帧中识别排除所述事件的区域,以及
将第一颜色值分配给所述区域的像素,其中将所述第一颜色分配给所述区域的像素去除所述事件帧中的背景信息。
14.如权利要求10所述的设备,其中,所述事件感知视频系统使能控制器将计算所述运动对象的运动误差。
15.如权利要求14所述的设备,其中,所述事件感知视频系统使能控制器将:
通过使用所述运动向量将所述前一帧中的运动对象位移来生成所估计运动向量,以及计算所述实际运动对象图像与所述运动估计运动对象图像之差。
16.如权利要求14所述的设备,其中,所述事件感知视频系统使能控制器将:
在所述运动误差大于可允许误差阈值时执行运动细化,以及
在所述运动误差小于所述可允许误差阈值时执行运动误差编码。
17.如权利要求16所述的设备,其中,所述事件感知视频系统使能控制器将:
把所述事件帧中运动对象的边界细分成第一、第二、第三和第四较小矩形,以及确定所述第一、第二、第三和第四较小矩形的第一、第二、第三和第四运动向量及误差。
18.一种用于视频捕获的系统,包括:
事件感知视频系统,和
将所述事件感知视频系统耦合到中央计算系统的网络,
其中,所述事件感知视频系统将从包括两个或多个相邻帧对的第一多个视频帧建立当前无事件帧,其中如果所述第一多个视频帧的各相邻帧对之差小于阈值,则将所述第一多个视频帧的最后一帧标记为所述当前无事件帧,以及
其中,所述事件感知视频系统将建立事件帧,其中如果在建立所述当前无事件帧之后捕获的当前帧与在所述当前帧之前捕获的前一帧之差大于所述阈值,则将所述当前帧标记为所述事件帧,
其中,所述网络将事件信息传递给中央计算系统,其中通过处理从所述事件帧提取的事件来生成所述事件信息,并且其中所述事件感知视频系统要生成所述事件帧中运动对象的实际运动向量,以及
其中,所述事件感知视频系统将:
标注所述运动对象,
将所述事件帧中的运动对象与所述前一帧中的运动对象组对,
对所述事件帧中运动对象的边界调整大小以匹配所述前一帧中运动对象的边界,以及计算所述事件帧和所述前一帧中运动对象的边界重心的坐标。
19.如权利要求18所述的系统,其中,所述事件感知视频系统将,
通过将所述帧标记为所述事件帧来检测场景中事件的发生,以及
通过处理所述事件帧来生成经处理数据,其中通过从所述事件帧去除背景信息、确定所述事件帧中运动对象的运动、确定运动误差以及对所述运动误差进行编码来生成经处理数据。
20.如权利要求19所述的系统,其中,所述中央计算系统将接收所述经处理数据,并且再现所述事件信息,其中再现所述经处理数据将保存所述中央计算系统的处理周期。
21.如权利要求19所述的系统,其中,所述网络将所述经处理数据传递给所述中央计算系统,其中传递所述经处理数据保存所述网络的带宽。

说明书全文

用于视频捕获的方法、设备和系统

技术领域

[0001] 本发明涉及视频监视领域。

背景技术

[0002] 视频监视系统一般包括多个摄像机,并且各摄像机可捕获该摄像机视野中特定区域的图像。摄像机可捕获数据,并且压缩视频数据,然后将经压缩数据发送给中央计算系统。

发明内容

[0003] 本发明一方面提供一种用于视频捕获的方法,包括:在第一时间段期间捕获第一多个视频,其中所述第一多个视频帧包括两个或多个相邻帧对,从所述第一多个视频帧建立当前无事件帧,其中,如果所述第一多个视频帧的各相邻帧对之差小于阈值,则将所述第一多个视频帧的最后一帧标记为所述当前无事件帧,建立事件帧,其中,如果在建立所述无事件帧之后捕获的当前帧与在所述当前帧之前捕获的前一帧之差大于所述阈值,则将所述当前帧标记为所述事件帧,以及将事件信息提供给中央计算系统,其中通过处理从所述事件帧提取的事件来生成所述事件信息,并且其中所述事件信息描述运动对象的动作。
[0004] 本发明另一方面提供一种用于视频捕获的设备,包括:图像捕获单元,在第一时间段期间捕获第一多个视频帧,其中所述第一多个视频帧包括两个或多个相邻帧对,事件感知视频系统使能控制器,耦合到所述图像捕获单元,其中所述事件感知视频系统使能控制器将从所述第一多个视频帧建立当前无事件帧,其中,如果所述第一多个视频帧的各相邻帧对之差小于阈值,则将所述第一多个视频帧的最后一帧标记为所述当前无事件帧,以及建立事件帧,其中,如果在建立所述无事件帧之后捕获的当前帧与在所述当前帧之前捕获的前一帧之差大于所述阈值,则将所述当前帧标记为所述事件帧,以及网络接口,耦合到所述事件感知视频系统使能控制器,其中,所述网络接口将事件信息传递给中央计算系统,其中通过处理从所述事件帧提取的事件来生成所述事件信息,并且其中所述事件信息描述运动对象的动作。
[0005] 本发明再一方面提供一种用于视频捕获的系统,包括:事件感知视频系统,其中,所述事件感知视频系统将从包括两个或多个相邻帧对的第一多个视频帧建立当前无事件帧,其中如果所述第一多个视频帧的各相邻帧对之差小于阈值,则将所述第一多个视频帧的最后一帧标记为所述当前无事件帧,以及其中,所述事件感知视频系统将建立事件帧,其中如果在建立所述当前无事件帧之后捕获的当前帧与在所述当前帧之前捕获的前一帧之差大于所述阈值,则将所述当前帧标记为所述事件帧,以及网络,将所述事件感知视频系统耦合到中央计算系统,其中所述网络将事件信息传递给中央计算系统,其中通过处理从所述事件帧提取的事件来生成所述事件信息,并且其中所述事件信息描述运动对象的动作。附图说明
[0006] 本文所述的本发明在附图中通过示例方式而不是通过限制方式进行说明。为了说明的简洁和清楚起见,图中所示的要素不一定按比例绘制。例如,为了清楚起见,一些要素的尺寸可能相对其它要素经过放大。此外,在认为适当的情况下,参考标号可在附图中重复以指明对应或相似要素。
[0007] 图1根据一个实施例示出包括一个或多个事件感知视频系统(EAVS:event aware video system)的视频监视系统。
[0008] 图2根据一个实施例示出其中支持事件捕获技术的事件感知视频系统(EAVS)。
[0009] 图3是根据一个实施例示出可由EAVS执行的操作的流程图
[0010] 图4是根据一个实施例示出由EAVS执行的计算和压缩操作的流程图。
[0011] 图5根据一个实施例示出由EAVS捕获的一个或多个情景(scenario)。

具体实施方式

[0012] 以下说明描述通过使用数码相机捕获事件信息的技术的实施例。在以下描述中,提出例如逻辑实现、资源划分或共享或者复制实现、系统组件的类型和相互关系以及逻辑划分或综合(integration)选择的许多具体细节,以便提供对本发明的更透彻了解。然而,本领域技术人员将领会,即使没有这类具体细节,也可实施本发明。在其它情况下,没有详细示出控制结构、电路和完全软件指令序列,以免混淆本发明。通过所包含的描述,本领域技术人员将能够实现适当的功能性而无需过分实验。
[0013] 说明书中提到“一个实施例”、“实施例”、“示例实施例”表示所述实施例可包括具体特征、结构或特性,但每一个实施例可能不一定都包括该具体特征、结构或特性。此外,这类短语不一定是指同一实施例。此外,在结合一个实施例描述具体特征、结构或特性时,无论是否明确描述,均认为使这种特征、结构或特性结合其它实施例起作用处于本领域技术人员的知识内。
[0014] 本发明的实施例可通过硬件固件、软件或者它们的任何组合来实现。本发明的实施例还可实现为存储于机器可读介质的指令,指令可被一个或多个处理器读取和运行。机器可读介质可包括用于存储或传送具有机器(例如计算装置)可读形式的信息的任何机构。
[0015] 例如,机器可读介质可包括:只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光存储介质;闪速存储器装置;电、光、声或其它形式的传播信号。此外,本文中可将固件、软件、例程和指令描述为执行某些动作。但是,应当领会,这类描述只是为了方便起见,并且这类动作实际上由运行固件、软件、例程和指令的计算装置、处理器、控制器及其它装置产生。
[0016] 根据一个实施例可支持捕获事件信息的视频监视系统100在图1中示出。在一个实施例中,视频监视系统100可包括事件感知视频系统(EAVS)150-1至150-N、网络160以及中央计算系统190。在一个实施例中,EAVS150-1至150-N可分别捕获场景110-1至110-N中的图像。
[0017] 中央计算系统190可接收由EAVS150发送的事件信息,并且可执行进一步分析。在一个实施例中,事件信息可包括通过处理事件帧的事件所生成的经处理数据。在一个实施例中,中央计算系统可保存例如处理周期的资源,以便进一步处理经处理数据。在一个实施例中,中央计算系统190可由可接收来自EAVS150-1至150-N的事件信息并且监控包括场景110-1至110-N的大区域的安全主管使用。在一个实施例中,中央计算系统190可表示具有存储事件信息还供在以后时间点进行查看的大存储能服务器系统。
[0018] 网络160可包括路由器、交换机、网关和类似的其它这类装置,以便在EAVS150与中央计算系统190之间传递事件信息。在一个实施例中,当表示事件信息的经处理数据通过网络160来传递时,可保存网络160的带宽。网络160可表示局域网、广域网、城域网、因特网或者任何其它这类网络。在一个实施例中,网络160可以是基于有线的或基于无线的或者有线和无线技术的组合。网络160可支持例如传输控制协议/因特网协议(TCP/IP)、用户数据报协议/因特网协议(UDP/IP)和这类其它类似协议的协议。
[0019] 在一个实施例中,EAVS150可建立‘无事件帧’,将入局帧与无事件帧进行比较,并且确定入局帧是事件帧还是无事件帧。在一个实施例中,如果‘无事件帧’与入局帧之差大于阈值,则EAVS150可确定入局帧是‘事件帧’。在一个实施例中,‘无事件帧’可用作用其执行比较以检测事件发生的参考帧。
[0020] 在一个实施例中,为了建立无事件帧,EAVS150可在将视频帧标记为‘无事件帧’之前,在时间段‘K’以规则间隔捕获视频帧(P1、P2、...Pt)。在一个实施例中,EAVS150可比较在时间段‘K’的各相邻帧对,以便确定视频帧是否为‘无事件帧’。例如,EAVS150可比较第一对相邻帧(P2和P1),以及如果第一对相邻帧之差小于阈值,则EAVS150可进一步比较第二对相邻帧(P3和P2)。同样,EAVS150可比较相邻帧{(P4和P3)...(Pt和Pt-1)},直到时间段K过去。如果相邻视频帧对之差小于阈值,则EAVS150可将最近的帧(Pt)标记为无事件帧。
[0021] 例如,如果场景110-1表示大型购物中心的空停车场,则EAVS150可在时间点T1至T10捕获图像P1至P10,并且比较相邻帧{(P2,P1),(P3,P2)...(P10,P9)},以及如果没有检测到活动,则图像P10可被标记为‘无事件帧’。此外,EAVS150可在时间点T11捕获图像P11,将图像P11与图像P10进行比较,以及如果P10与P11之差小于阈值,则图像P11可被丢弃,同时将P10保持为无事件帧。在一个实施例中,EAVS150可将空停车场标记为第一无事件帧,并且将第一无事件帧存储在无事件帧缓冲器260中。
[0022] 但是,如果在图像P11检测到例如汽车进入停车场的事件,则EAVS150可捕获该事件,将图像标记为‘事件帧’,以及将事件传送给中央计算机系统190。在一个实施例中,EAVS150可比较P11和P10,并且当事件(汽车进入停车场)已经发生时,差可大于阈值。在一个实施例中,EAVS150可捕获下一10个图像P12至P21,并且比较相邻帧对以检测事件。如果没有检测到事件,则包括停放在停车场的汽车的帧P21可被标记为‘无事件帧’。可以注意到,第一‘无事件帧’是空停车场,而第二无事件帧是具有停放在停车场的汽车的停车场。在一个实施例中,EAVS150可在无事件帧缓冲器260中用‘第二无事件帧’取代第一‘无事件帧’。在一个实施例中,EAVS150可按照第一帧速率并按照第一空间质量向中央计算系统190发送该无事件帧。
[0023] 在一个实施例中,事件感知视频系统EAVS150可捕获当前视频帧(第P+1个视频帧),以及如果(第P+1个视频帧)与(第P个视频帧)之差大于阈值并且如果(第P+1个视频帧)实质上与‘无事件’帧不同,则将当前视频帧标记为‘事件帧’。在一个实施例中,阈值可根据统计或经验方法确定。在一个实施例中,从无事件帧连续收集在各像素位置颜色值直方图(即经验概率分布)。如果在当前视频帧(P+1视频帧)的相同像素位置的颜色值超过无事件帧颜色分布的90%的似然值,则那个像素可被标记为事件帧的候选像素。在一个实施例中,似然值可以是可调系统配置参数。另外,如果在当前视频帧(第P+1个视频帧)中存在事件帧的候选像素的至少一个大区域,则整个帧可被标记为事件帧。
[0024] 另外,在一个实施例中,整个帧可被分为许多小区域A1、A2...Ak。与前一视频帧的区域A1中相同X个像素相比,可将阈值施加于当前视频帧的各区域A1中X个像素的平均颜色等级的变化。在一个实施例中,如果区域A1中X个像素的平均颜色等级改变例如色标(例如0-255颜色等级)上的10个等级,则EAVS150可将区域A1标记为事件帧的候选者。在一个实施例中,如果候选小区域A1、A2...AJ连接在一起以形成较大区域,则当前视频帧(P+1视频帧)可被标记为事件帧。在一个实施例中,当前视频帧可被称作‘事件帧’,而前一视频帧(第P个视频帧)可被称作‘无事件帧’。
[0025] 在一个实施例中,事件感知视频系统(EAVS)150可捕获事件帧、从事件帧提取事件信息、分析事件信息以及将事件信息传递给中央计算系统190。在一个实施例中,发送给中央计算系统190的第一事件信息可包括无事件帧(第P个帧)与第一事件帧(第P+1个帧)之差。另外,下一事件信息可包括第一事件帧(第P+1个帧)与下一事件帧(P_next帧)之差。在一个实施例中,EAVS150可按照第二帧速率(SFR)并按照第二空间质量等级(SQ)发送事件信息。在一个实施例中,第二帧速率可高于第一帧速率,而第二空间质量可低于第一空间质量。
[0026] 根据一个实施例可支持捕获事件信息的事件感知视频系统(EAVS)150在图2中示出。EAVS150可包括图像捕获系统210、数据转换系统220、帧缓冲器230、EAVS使能控制器EEC250、无事件帧缓冲器260、存储器280和网络接口290。
[0027] 图像捕获系统210可捕获图像,并且可包括例如电荷耦合器件(CCD)的图像捕获装置、例如有源(active)像素传感器的CMOS传感器以及类似的这类其它装置。图像捕获系统210可捕获光信号,并且将光信号转换成电信号。数据转换系统220可包括模数转换器和其它信号调节装置,例如放大器衰减器、噪声消除装置以及这类其它类似装置。数据转换系统220可接收来自图像捕获系统210的电信号、调节电信号以及将经调节信号提供给帧缓冲器230。
[0028] 在一个实施例中,帧缓冲器230可存储表示经调节电信号的数据。在一个实施例中,帧缓冲器230可存储从数据转换系统230接收的可被EEC250快速检索的少量帧(例如2至3帧)。
[0029] 无事件帧缓冲器260可用于存储‘无事件帧’。在任何给定时间点,可存在一个无事件帧,它可被存储在无事件帧缓冲器260中。在一个实施例中,无事件帧缓冲器260可包括少量高速存储器。但是,无事件帧缓冲器260可以规则时间间隔进行更新,并且因而可提供有支持较高刷新速率的能力。
[0030] 存储器280可存储可被EAVS使能控制器EEC250用于捕获事件信息的指令。存储器280可存储数据和/或软件指令,并且可包括例如在例如视频监视系统100的系统中使用的DRAM(动态随机存取存储器)装置、SDRAM(同步DRAM)装置、DDR(双倍数据速率)SDRAM装置或者其它易失和/或非易失存储器装置的一种或多种不同类型的存储器装置。
[0031] 网络接口290可接收来自EAVS使能控制器250的数据分组,并且可通过网络接口290传递数据分组。在一个实施例中,网络接口290可包括网络接口卡(NIC)以将数据分组传递给网络150的适当路由选择装置。
[0032] EAVS使能控制器(EEC)250可捕获事件信息,并且将事件信息传递给中央计算系统190。在一个实施例中,EEC250可从帧缓冲器230检索视频帧,并且确定视频帧是‘无事件帧’还是‘事件帧’。在一个实施例中,如果视频帧是事件帧,则EEC250可从视频帧提取事件信息。在一个实施例中,如果视频帧是‘无事件帧’,则EEC250可将视频帧标记为‘无事件帧’,并且可将‘无事件帧’存储在无事件帧缓冲器260中。
[0033] 事件感知视频系统(EAVS)150的EAVS使能控制器(EEC)250根据一个实施例捕获事件信息的操作在图3中示出。
[0034] 在框305,EEC250可将可变时间范围TS(time span)初始化为0。在一个实施例中,时间范围TS可表示时间窗口,在该时间窗口期间,当输入帧中没有事件发生时,所有输入帧与无事件帧不同。在一个实施例中,大TS值可暗示当前‘无事件’帧可能不再有效,并且可需要重新建立新‘无事件’帧。
[0035] 在框310,EEC250可使当前‘无事件帧’无效。在一个实施例中,使当前‘无事件帧’无效以建立新‘无事件帧’,新‘无事件帧’可在捕获任何事件之前提供可表示在场景110-1的情景的准确参考。
[0036] 例如,在框305被无效的当前‘无事件帧’可表示有阳光的停车场。但是,彩可能在某个时间之后并且在捕获事件之前移到停车场上方,可建立在停车场上方有云彩的新‘无事件帧’。在一个实施例中,EEC250可使当前‘无事件帧’(有阳光的停车场)无效,并且重新建立新‘无事件帧’(有云彩的停车场)以避免假警报。在一个实施例中,图5的帧510(F(ne))可表示重新建立的‘无事件’帧,它可表示云彩遮盖的停车场。
[0037] 在框315,EEC250可从帧缓冲器230检索新帧F(n)。在一个实施例中,EEC250可检索图5中可被捕获并且存储在帧缓冲器230中的帧520(=F(n))。在框320,EEC250可检查是否建立有效‘无事件’F(ne),并且如果‘无事件’帧有效则控制转到框325,否则转到框370。
[0038] 在框325,EEC250可计算F(n)(帧520)与F(ne)(帧510)之差,并且控制可转到框330。在框330,EEC250可检查F(n)(帧520)与F(ne)(帧510)之差是否大于阈值,以及如果F(n)(帧520)与F(ne)(帧510)之差小于阈值则控制转到框335,而如果F(n)与F(ne)之差大于阈值则控制转到框345。
[0039] 在框335,EEC250可将时间范围初始化为0。在框340,EEC250可将帧F(n)标记为‘无事件’帧,并且将‘无事件帧’传递给中央计算机系统190。控制转到框315。在一个实施例中,如果汽车尚未进入停车场,则帧520与510之差可小于阈值。因此,帧520可被标记为‘无事件’帧。
[0040] 在框345,EEC250可计算在新帧F(n)之前接收的帧F(n-1)之间的差。在框350,EEC250可检查F(n)与F(n-1)之差是否大于阈值,以及如果F(n)与F(n-1)之差大于阈值则控制转到框355,否则转到框360。在框352,EEC250可将时间范围初始化为0。
[0041] 在框355,EEC250可计算并且压缩运动对象的动作。在框358,EEC250可压缩运动对象的身份(identity)。在框359,EEC250可将‘事件帧’(帧520)传送给中央计算机系统190。
[0042] 在框360,EEC250可递增时间范围(TS),以及控制转到框363。在框363,EEC250可检查TS的值是否大于持续时间‘K’,以及如果TS的值大于持续时间K则控制转到框310,否则转到框355。
[0043] 在框370,EEC250可传送空(null)标签。在一个实施例中,空标签可指明‘无事件帧’尚待被建立。在框374,EEC250可计算在新帧F(n)之前接收的帧F(n-1)之差。
[0044] 在框378,EEC250可检查F(n)与F(n-1)之差是否大于阈值,以及如果F(n)与F(n-1)之差大于阈值则控制转到框380,否则转到框390。
[0045] 在框380,EEC250可将时间范围初始化为0,以及控制转到框315。在框390,EEC250可递增时间范围(TS),以及控制转到框394。
[0046] 在框394,EEC250可检查TS的值是否大于持续时间‘K’,以及如果TS的值大于持续时间K则控制转到框398,否则转到框315。在框398,EEC250可通过用新帧F(n)取代‘无事件帧’F(ne)使F(ne)帧有效。
[0047] 事件感知视频系统(EAVS)150的EAVS使能控制器(EEC)250根据一个实施例计算和压缩事件帧中的事件信息的操作在图4中示出。
[0048] 在框405,EEC250可从‘事件帧’(帧520)去除背景信息。在一个实施例中,EEC250可在从帧520去除背景信息之后生成帧560。在一个实施例中,EEC250可包括有限脉冲响应(FIR)滤波器,其可将新帧F(n)的每一个像素与‘无事件帧’F(ne)中的对应像素进行比较。在比较之后,EEC250可识别其中F(ne)和F(n)中颜色等级差小于阈值的像素。在一个实施例中,EEC250可将差小于阈值的所有像素标记为背景的一部分。
[0049] 在一个实施例中,识别为背景一部分的像素的红(R)、绿(G)和蓝(B)颜色等级可设置成表示黑色。在一个实施例中,将像素的颜色等级设置成黑色可相当于去除背景信息。在一个实施例中,其中可去除背景信息的新帧F(n)可被称作背景去除帧BRF(n)。在一个实施例中,FIR滤波器可包括乘法器、累加器、存储器行以及DMA逻辑以执行滤波和背景信息去除。在一个实施例中,EEC250可生成1位位图b(n),其可指明运动对象在背景去除当前帧BRF(n)中的位置。在一个实施例中,位图b(n)可指明帧BRF(n)的各像素是运动对象的一部分还是背景。例如,行1的像素3-8和行2的像素1至14可表示运动对象的一部分,并且对于这些像素(行1的3至8和行2的1至14)位图b(n)可包括第一逻辑值(例如
1),而对于其余像素位图b(n)可包括第二逻辑值(例如0)。
[0050] 但是,为了识别事件,以较高速率捕获帧520和530。例如,在时间点T1捕获的新帧520可在时间点T2捕获下一帧530之后成为前一帧,其中T1在T2之前出现。在一个实施例中,帧F(n)(帧530)可表示在最近时间点T2捕获的新帧,BRF(n)(帧570)可表示从其去除背景信息的帧F(n)(帧530),以及b(n)可表示BRF(n)(帧570)的位图。在一个实施例中,在F(n)之前即时捕获的帧520可被称作前一帧F(n-1),且BRF(n-1)(帧560)可表示从其去除背景信息的前一帧F(n-1)(帧520),以及b(n-1)可表示BRF(n-1)的位图。在一个实施例中,位图b(n-1)可指明运动对象在帧BRF(n-1)中的位置。
[0051] 在框410,EEC250可标注表示事件的运动对象。在一个实施例中,事件帧可包括一个或多个运动对象,并且EEC250可用标识符(运动对象ID)标注运动对象中的每个。在一个实施例中,EEC250可在标注运动对象之前扫描位图b(n)和帧BRF(n),并且可使用变量‘i’标注运动对象,其中,‘i’可以是识别运动对象中每个的正整数值(例如,i=1,2,3...L),其中L是帧中运动对象的总数。BRF(n)中的各像素可在逻辑上被标注为属于运动对象中之一或者背景。另外,对于各运动对象,EEC250可收集统计向量V(i,k),其中‘i’可表示运动对象ID且‘k’可表示帧索引。在一个实施例中,统计向量可包括BRF(n)中边界矩形的大小和位置、运动对象的Y、U和V分量的总质量、运动对象中每个的Y分量的重心位置以及这类其它类似统计,它们实现运动对象的准确识别。
[0052] 在框415,EEC250可将新帧BRF(n)(帧570)和前一帧BRF(n-1)(帧560)中的运动对象组对。在一个实施例中,EEC250可使用在框410确定的统计向量V(i,k)和V(i’,k-1)将运动对象组对。在一个实施例中,EEC250可检测与BRF(n)和BRF(n-1)中运动对象对应的对。在一个实施例中,EEC250可对BRF(n)中的各运动对象确定BRF(n-1)中的对应运动对象,使得这两个运动对象表示事件帧的相同部分。在一个实施例中,EEC250可使用以下原理根据BRF(n)的统计V(i,k)和BRF(n-1)的V(i’,k-1)执行组对:
[0053] 假定O(i,k)和O(i’,k-1)是与V(i,k)和V(i’,k-1)对应的两个对象,则[0054] 如果缩放(scale)到V(i,k)的边界矩形区域的V(i,k)总质量与V(i’,k-1)的相同量相似,则O(i,k)和O(i’,k-1)更可能是相同对象;
[0055] 如果相对于V(i,k)边界矩形中心的V(i,k)重心位置与V(i’,k-1)的相同量相似,则O(i,k)和O(i’,k-1)更可能是相同对象;例如,如果V(i,k)重心位置为Lgi而V(i’,k-1)的为Lgi’,以及如果V(i,k)边界矩形中心为Lbi而V(i’,k-1)的为Lbi’,则如果{(Lgi-Lbi)-(Lgi’-Lbi’)}为0或者极小那么O(i,k)和O(i’,k-1)更可能是相同对象;以及
[0056] 可最大限度地存在与O(i,k)匹配的一个O(i’,k-1)。
[0057] 在一个实施例中,由于对象组对,EEC250可确定对象级运动向量,其指明O(i’,k-1)重心位置与O(i,k)重心位置之间的空间偏移。
[0058] 在框420,EEC250可对预先组对的运动对象调整大小。在一个实施例中,对于BRF(n)和BRF(n-1)中的各组对对象,EEC250可对BRF(n)中的边界矩形调整大小,使得BRF(n)中的边界矩形可具有与BRF(n-1)中的边界矩形相同的大小。在另一实施例中,对于BRF(n)和BRF(n-1)中的各组对对象,EEC250可对BRF(n-1)中的边界矩形调整大小,使得BRF(n-1)中的边界矩形可具有与BRF(n)中的边界矩形相同的大小。在一个实施例中,EEC250可将边界矩形的大小选择成小于总图像大小的1/5。在一个实施例中,EEC250可对经调整大小运动对象中存在的像素的Y分量执行内插。在一个实施例中,BRF(n)中Y分量内插可产生可覆盖(cover)O(i,k)的Y(i,k)。在一个实施例中,BRF(n-1)中Y分量内插可产生可覆盖O(i’,k-1)的Y(i’,k-1)。
[0059] 在一个实施例中,对预先组对运动对象调整大小可提高运动向量估计的精度,并且减小运动误差。在一个实施例中,可执行预先组对运动对象的调整大小,以便保持运动对象的大小。在一个实施例中,保持运动对象的大小可提高精度,因为与对在视野(view)中改变其大小的运动对象估计运动向量相比,如果运动对象的大小在视野中未改变大小则更易于对运动对象估计运动向量。在一个实施例中,背景去除可允许运动对象的按组对调整大小。在一个实施例中,调整大小可使用像素的线性内插来执行。
[0060] 例如,帧BRF(n-1)的边界矩形大小可等于Q(=3×3像素矩阵),并且BRF(n)的边界矩形大小可等于Z(=2×2)像素阵列。在一个实施例中,可使大小Q等于Z。在一个实施例中,Q可等于3×3像素矩阵,并且可包括元素{(1,2,3},(4,5,6),及(7,8,9)]。在一个实施例中,3×3像素矩阵可被调整大小为包含元素{(3,4),(6,7)}的2×2像素矩阵。在一个实施例中,第一元素(=3)可通过下列步骤来生成:对包含元素(1,2,4,5)的左上部2×2矩阵的最初四个元素求和(1+2+4+5=12),并且将该和除以左上部矩阵的元素数量(=4)。所得经调整大小的2×2矩阵可包含元素{(3,4),(6,7)}。
[0061] 在框430,EEC250可估计运动对象的实际(real)运动向量(V)。在一个实施例中,EEC250可通过计算边界矩形B(k)和B(k-1)的重心来确定实际运动向量,并且B(k)与B(k-1)的重心之差可表示实际运动向量。在一个实施例中,V(i,k)和V(i’,k-1)的重心位置可提供运动对象的运动向量。在一个实施例中,在前一帧中,对象的边界框B(k-1)可以坐标(X,Y)=(7,13)为中心,并且B(k-1)内部的像素可等于{(1,2),(3,4)}。在一个实施例中,在当前帧中,同一对象的边界框B(k)可以坐标(X,Y)=(25,49)为中心,并且B(k-1)内部的像素可等于{(9,7),(10,8)}。在一个实施例中,B(k-1)的重心坐标可等于(X,Y)=(7.1,12.8),并且B(k)的重心可等于(X,Y)=(24.94,48.97)。在一个实施例中,可对B(k-1)和B(k)如下计算重心的定义:
[0062] 对于B(k-1),X坐标=(7-0.5)×(1+3)/(1+2+3+4)+(7+0.5)×(2+4)/(1+2+3+4)=7.1;并且,Y坐 标=(13-0.5)×(3+4)/(1+2+3+4)+(13+0.5)×(1+2)/(1+2+3+4) =12.8。
[0063] 对 于 B(k),X 坐 标 = (25-0.5)×(9+10)/(7+8+9+10)+(25+0.5)×(7+8)/(7+8+9+10)=24.94;并且,Y坐标=(49-0.5)×(10+8)/(7+8+9+10)+(49+0.5)×(9+7)/(7+8+9+10)=48。
[0064] 在一个实施例中,从B(k-1)至B(k)的重心得出的实际运动向量则为:(24.94-7.1,48.97-12.8)=(17.84,36.17)。
[0065] 在框450,EEC250可估计运动误差。在一个实施例中,EEC250可将B(k-1)中的运动对象偏移实际运动向量,以生成B(k)中的所估计运动对象。在一个实施例中,EEC250可通过计算实际与所估计运动向量之差来确定运动误差。在一个实施例中,EEC250可通过根据运动向量Y(i,k)和Y(i’,k-1)计算Y(i,k)与Y(i,k)运动估计之差来估计运动误差。在一个实施例中,B(k-1)至B(k)的运动向量可用于使B(k-1)中的运动对象偏移量V,以成为称作B’(k)的运动估计B(k)。在一个实施例中,B(k-1)至B(k)的所估计运动向量可通过使B(k-1)中的运动对象偏移量V以得到称作B’(k)的运动估计B(k)来确定,误差‘e’可使用e=[B(k)-B’(k)]来计算。
[0066] 在框470,EEC250可确定运动误差是否大于可允许误差阈值,以及如果运动误差大于可允许误差阈值则控制转到框480,而如果运动误差小于可允许误差阈值则控制转到框490。在一个实施例中,EEC250可将误差‘e’与可允许误差阈值进行比较,以及如果误差‘e’大于可允许误差阈值,则边界框B(k)的细化(refined)运动估计可通过将边界框B(k)分成‘X’个更小矩形,例如Bsmall(k,m),m=1,2,3,4,来执行。
[0067] 在框480,EEC250可执行运动细化,以及控制转到框450。在一个实施例中,对于每个较小矩形Bsmall(k,m),可通过在B(k-1)中四处移动Bsmall(k,m)以查找Bsmall(k,m)与B(k-1)中相同大小的矩形之间的最佳匹配来执行传统运动搜索。在一个实施例中,这种方式可对较小矩形中的每个生成四个运动向量V(m),m=1,2,3,4。在一个实施例中,较小矩形中每个的运动误差可按上文所述进行确定。如果误差足够小,则对那个特定小矩形的运动误差细化可被认为已完成。但是,如果误差较大,则较小矩形可进一步被分成更小矩形,例如分成X个较小矩形,并且可对较小矩形再次执行运动估计。在一个实施例中,该过程可继续,直到运动误差全部处于限制内。这种过程可被称作“运动细化”。
[0068] 在框490,EEC250可执行运动向量和运动误差编码。在一个实施例中,EEC250可使用例如对YUV运动误差的离散余弦变换(DCT)、DCT系数量化、运动误差压缩以及这类其它类似操作来执行编码。在一个实施例中,例如所有运动对象的边界矩形、所有运动对象的对象级运动向量、对象组对和调整大小因数、经编码和经压缩运动误差值的事件信息可通过网络发送给中央计算机系统190。
[0069] 已经参照示例实施例描述了本发明的某些特征。但是,本描述并不是要以限制方式进行解释。对本发明所涉及领域的技术人员显而易见的示例实施例的各种修改以及本发明的其它实施例被认为落入本发明的精神和范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈