首页 / 专利库 / 筛选器 / 预过滤器 / 监视设备、过滤器校准方法和过滤器校准程序

监视设备、过滤器校准方法和过滤器校准程序

阅读:1033发布:2020-05-24

专利汇可以提供监视设备、过滤器校准方法和过滤器校准程序专利检索,专利查询,专利分析的服务。并且本 发明 涉及监视设备、 过滤器 校准方法和过滤器校准程序。该监视设备包括:过滤器设置单元,其被配置为存储用于分析视频数据的过滤器设置信息;过滤单元,其被配置为判断视频数据是否满足存储在过滤器设置单元中的过滤器的过滤器条件,当视频数据满足过滤器条件时,进行如下过滤,即计数并输出检测到的物体数量;以及过滤器校准单元,其被配置为进行过滤器校准,其中相对于预定过滤器或新设置的过滤器布置至少一个虚拟过滤器,使用预定过滤器或新设置的过滤器以及虚拟过滤器进行过滤,计算作为过滤的结果而获得的值的最频值,当判断出该最频值等于或接近于真实值时,将虚拟过滤器作为正式过滤器进行存储。,下面是监视设备、过滤器校准方法和过滤器校准程序专利的具体信息内容。

1.一种监视设备,用于使用由监视摄像设备所捕获和输出的视频图像的视频数据进行监视,该监视设备包括: 过滤器设置单元,其被配置为存储用于分析所述视频数据的过滤器设置信息; 过滤单元,其被配置为判断所述视频数据是否满足存储在所述过滤器设置单元中的过滤器的过滤器条件,当所述视频数据满足所述过滤器条件时,进行对从所述视频数据检测到的物体数量进行计数并输出计数结果的过滤;以及 过滤器校准单元,其被配置为进行过滤器校准,其中相对于从所述过滤器设置单元读取的预定过滤器或新设置的过滤器而布置至少一个虚拟过滤器,由所述过滤单元使用从所述过滤器设置单元读取的所述预定过滤器或所述新设置的过滤器以及所述虚拟过滤器进行过滤,计算作为所述过滤的结果而获得的值的最频值,当判断出所述最频值等于或接近于作为所述过滤的结果而获得的真实值时,将所述虚拟过滤器作为正式过滤器存储在所述过滤器设置单元中,其中所述真实值已预先获得。
2. 根据权利要求l所述的监视设备,其特征在于,对表示与所监视物体有关的信息的元数据设置所述过滤 器,其中所述元数据与所述视频数据 一 起由所述监视摄像设备 输出。
3. 根据权利要求l所述的监视设备,其特征在于, 所述虚拟过滤器被布置在预期可以使用从所述过滤器设置单元读取的所述过滤器或所述新设置的过滤器以提高的精度进 行过滤的位置处。
4. 根据权利要求3所述的监视设备,其特征在于, 通过改变所述虚拟过滤器的设置位置来重复由所述过滤器校准单元进行的所述虚拟过滤器的设置,直到所述最频值被判 断为等于或接近于所述真实值为止。
5. —种对过滤器进行校准的过滤器校准方法,所述过滤器 用于进行如下过滤,即从监视摄像设备获取视频数据并且计数 和输出从所述视频数据检测到的物体数量,所述方法包括以下步骤:存储过滤器设置信息;相对于从与所存储的过滤器设置信息相对应的过滤器中读 取的预定过滤器或新设置的过滤器而设置至少 一 个虚拟过滤 器;以及使用所述预定过滤器或所述新设置的过滤器以及所述虚拟 过滤器进行过滤,计算作为所述过滤的结果而获得的值的最频 值,当所述最频值被判断为等于或接近于作为所述过滤的结果 而获得的真实值时,将所述虛拟过滤器作为正式过滤器进行存 储,其中所述真实值已预先获得。
6. —种对过滤器进行校准的过滤器校准程序,所述过滤器 用于进行如下过滤,即从监视摄像设备获取视频数据并且计数 和输出从所述视频数据检测到的物体数量,所述程序包括以下 步骤:存储过滤器设置信息;相对于从与所存储的过滤器设置信息相对应的过滤器中读 取的预定过滤器或新设置的过滤器而设置至少 一 个虚拟过滤 器;以及使用所述预定过滤器或所述新设置的过滤器以及所述虚拟 过滤器进行过滤,计算作为所述过滤的结果而获得的值的最频 值,当所述最频值被判断为等于或接近于作为所述过滤的结果而获得的真实值时,将所述虚拟过滤器作为正式过滤器进行存 储,其中所述真实值已预先获得。

说明书全文

监视设备、过滤器校准方法和过滤器校准程序 技术领域本发明涉及监—见设备(monitoring apparatus),该监牙见设备接 收来自监视照相机的视频数据和与该视频数据有关的数据(元 数据(metadata))、对元数据进行过滤、并基于过滤的结果输出 监视结果。本发明还涉及用于该监视设备的过滤器校准方法和 过滤器校准程序。背景技术具有经由网络相互连接的监视照相机和控制装置的监视系 统已经投入使用。在这种监视系统中,监碎见照相机经由网络将 所捕获视频图像的数据发送到作为控制装置工作的监视设备。 该监视设备记录所接收的视频数据并分析该视频数据以检领'J异 常并输出警报。监视系统的操作员可以在检查正显示在屏幕上 的所监视图像和从控制装置输出的警报内容的同时进行监视。新近的监视照相机不仅能够将所捕获视频图像的数据发送 到监视设备,而且还能够生成与该视频数据有关的元数据(例如 警报信息、温度信息、照相机的视信息等)并将该元数据发送 到监视设备。在包括这种监视照相机的监视系统中,监视设备 将由监视照相机提供的元数据传送通过设置了用于警报输出的 预定条件的元数据过滤器(以下称为过滤器),从而当满足所述 条件时输出警报。用于异常检测的条件的例子包括可疑物体 (object)侵入预定区域和移动物体通过预定边界线(line)等。曰本未审专利申请公开第2003-274390号公开了 一种技术, 该技术中所监视视频图像的视频数据经由网络从监视终端(监 视照相机)提供给监视设备,并且由监视设备对异常发生时所获 得的监视图像进行检查。 发明内容然而,使用上述这种监视系统进行监视可能存在缺点。例 如,当使用配置成测量已通过预定边界线的物体的数量并基于 该数量输出警报的过滤器时,可能在已实际通过预定边界线的 物体的数量和通过过滤器计数的物体的数量之间存在误差。当 例如由于物体相互相邻而将多个物体由监视照相机识别为 一 个 物体时,物体的真实数量可能大于通过过滤所获得的数量。另外,当所监视的物体为人时,物体数量的真实值可能小 于通过过滤所获得的数量。例如,当监视照相机检测到一个人 的手臂或腿的运动时,他或她可能被识别为多个物体。此外, 也可能存在当由于亮度的瞬时改变而出现噪声时将一个物体识 别为多个物体的情况。考虑到以上情况而做出了本发明。因而,需要一种提高过 滤精度的技术。根据本发明,当使用由监视摄像设备所捕荻和输出的视频 图像的视频数据进行监视时,将过滤器设置信息存储在过滤器 设置单元中,相对于从过滤器设置单元中读取的预定过滤器或新设置的过滤器而布置至少一个虚拟过滤器(virtual filter),使 用从过滤器设置单元读取的预定过滤器或新设置的过滤器以及 虚拟过滤器进行过滤,计算作为过滤的结果而获得的值的最频 值(m o d e),当该最频值被判断为等于或接近于作为过滤的结果 而获得的真实值时,将该虚拟过滤器作为正式过滤器(primary filter)存储在过滤器设置单元中,其中该真实值已预先获得。具体地,在本发明的一个方面,提供一种使用由监视摄像 设备所捕获和输出的视频图像的视频数据进行监视的监视设

备,该监视设备包括:过滤器设置单元,其被配置为存储用于 分析所述视频数据的过滤器设置信息;过滤单元,其被配置为 判断所述视频数据是否满足存储在所述过滤器设置单元中的过 滤器的过滤器条件,当所述视频数据满足所述过滤器条件时, 进行对从所述视频数据检测到的物体数量进行计数并输出计数 结果的过滤;以及过滤器校准单元,其被配置为进行过滤器校 准,其中相对于从所述过滤器设置单元读取的预定过滤器或新 设置的过滤器而布置至少一个虚拟过滤器,由所述过滤单元使 用从所述过滤器设置单元读取的所述预定过滤器或所述新设置 的过滤器以及所述虚拟过滤器进行过滤,计算作为所述过滤的 结果而获得的值的最频值,当判断出所述最频值等于或接近于 作为所述过滤的结果而获得的真实值时,将所述虚拟过滤器作 为正式过滤器存储在所述过滤器设置单元中,其中所述真实值 已预先获得。在本发明的另一方面,提供一种对过滤器进行校准的过滤 器校准方法,该过滤器用于进行如下过滤,即从监视摄像设备 获取视频数据并且计数和输出从所述视频数据检测至U的物体数 量,所述方法包括以下步骤:存储过滤器设置信息;相对于从 与所存储的过滤器设置信息相对应的过滤器中读取的预定过滤 器或新设置的过滤器而设置至少一个虚拟过滤器;以及使用所 述预定过滤器或所述新设置的过滤器以及所述虚拟过滤器进行 过滤,计算作为所述过滤的结果而荻得的值的最频值,当所述 最频值被判断为等于或接近于作为所述过滤的结果而获得的真 实值时将所述虚拟过滤器作为正式过滤器进行存储,其中所述 真实值已预先获得。利用该布置,除了从过滤器设置单元读取的预定过滤器或 新设置的过滤器之外,新设置过滤器,并且通过使用所有过滤

获得的真实值。根据本发明,提高了过滤的精度。具体地,可以通过计算 设置过滤器的适当位置并将过滤器设置在所计算出的位置处, 来获得作为过滤的结果而获得的数量的精度的提高。附图说明图1A和1B是各自示出根据本发明的实施例的监视系统的 配置的图;图2是示出根据本发明的实施例的监视系统的内部配置的 框图;图3是示出根据本发明的实施例的客户端的内部配置的框图;图4示出根据本发明的实施例的视频数据和元数据的显示 的例子;图5示出根据本发明的实施例的所监视图像的例子; 图6是示出根据本发明的实施例的过滤器校准处理过程的 例子的流程图;图7示出根据本发明的实施例的所监视图像的例子 图8示出根据本发明的实施例的所监视图像的例子 图9示出根据本发明的实施例的所监视图像的例子 图10示出根据本发明的实施例的所监视图像的例子 图ll示出根据本发明的实施例的所监视图像的例子 图12示出根据本发明的实施例的所监视图像的例子 图13示出根据本发明的实施例的所监视图像的例子 图14示出根据本发明的实施例的所监视图像的例子;以及 图15示出根据本发明的实施例的所监视图像的例子以下将参考附图说明本发明的优选实施例。在以下说明中, 示出了将实施例应用到监视系统的情况,在该监视系统中,通 过分析由生成被摄体的所捕获图像的视频数据以及该视频数据 的元数据的摄像设备(监视照相机)所获得的元数据来检测物 体,并且计算所检测物体的数量。图1A和1B示出根据本发明的实施例的监视系统的连接配 置。图1A示出作为监视设备工作的客户端经由网络获取从监视 照相机输出的数据的系统。图1B示出服务器获取从监视照相机 输出的数据并将所获取的数据提供给客户端(服务器/客户系统) 的系统。将参考图1A说明监视系统100。如图所示,监视系统100监 视一个或多个监视照相机。在该例子中,监视系统100管理两个 监视照相机。监视系统100包括监视照相机la和lb,监视照相机 la和lb各自捕获被监视的物体的图像,生成视频数据,并从视 频数据生成元数据。监视系统还具有分析并存储视频数据和相 应的元数据并且计算所检测物体的数量的客户端3 、以及将监视 照相机la和lb连接到客户端3的网络2。使用元数据过滤器(以下 也称为过滤器)分析由客户端3经由网络2从各监视照相机la和 1 b获取的元数据。客户端3将切换指示信号提供给各监视照相机 1 a和1 b以控制监视照相机的工作,从而可以获得适当的被监视 的图像。基于过滤的结果提供该切换指示信号。不必说,监视照相机、服务器以及客户端的数量不限于以 上例子所表示的数量。现在将说明由监视照相机生成的元数据。元数据是指关于 由监视照相机的摄像单元(未示出)所捕获的视频图像的视频数 据的属性信息。以下是元数据的例子:物体信息(所检测到的移

动物体的ID、坐标、大小等);拍摄时间数据,关于监视照相机 的方位的信息(左右摇摄(pan)、上下摇摄(tilt)等);关于监视照 相机的位置的信息;关于所捕获图像的署名信息。例如,物体 信息是指通过将以二进制数据的形式记录在元数据中的信息展 开成具有有意义的结构的数据而获得的信息。元数据过滤器是指从物体信息生成警报信息的条件。基于 从元数据得到的物体信息对警报信息进行了过滤。可以通过进 行例如分析包括多个的元数据、基于移动物体的位置的改变 计算速度以及检查移动物体是否已通过预定边界线等处理,来 获得警报信息。也可以通过全面分析以上处理的结果来获得警 报信息。下面说明过滤器的类型的七个例子,并且任何过滤器类型 都可以从这七种过滤器类型中选择。出现(Appearance):用于判 断物体是否存在于预定区域内的过滤器。消失(Disappearance): 用于判断物体是否在预定区域内出现然后从该区域消失的过滤 器。通过(Passing):用于判断物体是否已通过预定边界线的过 滤器。容量(Capacity):用于计数出现在预定区域内的物体的数 量并且判断物体的累积数量是否超过预定值的过滤器。滞留 (Loitering):用于判断物体是否在预定区域内停留了长于预定 时间段的过滤器。未留意(Unattended):用于判断侵入预定区域 的静止物体是否存在了长于预定时间段的过滤器。离开 (Removed):用于判断存在于预定区域内的物体是否已离开的过 滤器。包含在警报信息中的数据包括:例如,通过"容量"等使用 所检测到的物体的累积数量的过滤器所生成的"物体的累积数 量"、作为满足过滤器条件的物体的数量的"物体数量"、作为满 足过滤器中设置的条件(过滤器条件)的特定帧中的物体的数量

的"物体数量"、以及满足过滤器条件的物体的"属性信息"(物体的ID、 X坐标、Y坐标、大小等)。警报信息还包含存在于视频图像中的人数及关于人数的统计,并且还可以用作报告信息。现在将参考图2的框图,说明对应于图1A中的监视照相机 1 a或1 b的监视照相机1的详细配置。监 一见照相机1包括纟见频数据 生成部21、摄像操作切换部22和元数据生成部23。视频数据生 成部21包括镜头单元211、摄像单元212、摄像信号处理单元213 和数据处理单元214。摄像单元212通过对通过镜头单元211入射 到摄像元件(未示出)上的摄像光进行光电变换来生成摄像信号 Sv。摄像单元212具有例如前置放大器和A/D(模/数)转换器(未 示出)。前置放大器放大作为电信号的摄像信号Sv,并且还通过 进行相关双采样(correlated double sampling)来去除复位噪声。 A/D转换器对摄像信号Sv进行模-数变换。摄像单元212还对摄 像信号Sv进行增益调整、黑电平(black level)稳定以及动态范围 调整等处理。随后将处理后的摄像信号Sv提供给摄像信号处理 单元213。摄像信号处理单元213对从摄像单元212提供的摄像信号 Sv进行各种处理并且生成视频数据Dv。例如,摄像信号处理单 元213进行:拐点才交正(knee correction), 其中对处于等于或高 于预定信号电平的电平处的摄像信号Sv进行压缩;y校正,其中 根据Y曲线对摄像信号Sv的电平进行校正;以及白电平限幅 (white clipping)或黑电平限幅(black clipping),其中控制摄像信 号Sv的电平使其处于预定范围内。随后,将所生成视频数据Dv 提供给数据处理单元214。数据处理单元214对视频数据D v进行编码以生成纟见频数据 Dt,从而减少与客户端3通信所传输的数据量。数据处理单元214

还以预定数据结构向客户端3发送所生成的视频数据D t 。基于从客户端3输入的切换指示信号CA,摄像操作切换部 22进行监视照相机1操作的切换以获得最佳图像。例如,摄像操 作切换部2 2进行摄像单元212的摄像方向的切换。摄像操作切换 部22还将控制信号CMa提供给镜头单元211以切换变焦比(zoom ratio)和光圈功能(iris function),并将控制信号CMb提供给摄像 单元212和摄像信号处理单元213以切换所捕获视频图像的帧频 (frame rate)。此外,摄像操作切换部22将控制信号CMc提供给 数据处理单元214以切换 一见频数据的压缩率。元数据生成部23生成表示与所监视物体有关的信息的元数 据Dm。当所监一见物体为移动物体时,元数据生成部23使用由一见 频数据生成部21生成的视频数据Dv来检测移动物体。随后,元 数据生成部2 3生成表示移动物体是否已被检测到的移动物体检 测信息以及表示所检测到的移动物体的位置的移动物体位置信 息,并且将这些信息包含到元数据中作为物体信息。这时, 对所才企测到的物体分配唯 一 的ID 。与所监视物体有关的信息(也称作被监视物体信息)不限于 与移动物体有关的信息,其可以是表示监视照相机所监视的区域的状态的信息。例如,关于所监视区域的温度、亮度等的信 息以及关于在所监视区域内进行的操作的信息也可以是被监视 物体信息。当监视温度时,温度测量的结果包含在元数据中。 当监视亮度时,元数据生成部23基于视频数据Dv判断例如所监 视视频图像的平均亮度,并将判断结果包含在元数据中。jt匕夕卜,当监-见用户在ATM(automated teller machine, 自动 取款机)、POS(point of sales,销售点)终端上进行的操作时,可 将用户在操作键和操作面板上进行的操作的信息包含在元数据 中。

元数据生成部23还可以在元数据中设置摄像操作QF(例 如,在捕获所监视物体的图像时的摄像方向和变焦状态、视频 数据生成部21的设置信息等)以及时间信息,从而记录生成元数 据的时间和生成元数据的状态。现在将说明视频数据及相应元数据的结构。视频数据和元 数据均包括数据体和链接信息。在视频数据中,数据体为监视 照相机l所捕获的被监视视频图像的视频数据。在元数据中,数 据体包括表示所监视物体的信息以及定义对关于该物体的信息 所应用的描述方案的属性信息。链接信息包括表示视频数据和 元数据之间的关联性的关联信息以及定义对该关^f关信息的内容 所应用的描述方案的属性信息等的信息。作为关联信息,例如,可以使用用于指定视频数据的时间 戳(time stamp)和顺序号(sequence number)。 时间戳是指表示生 成该视频数据的时间的时间信息。顺序号是指表示生成内容数 据的顺序的顺序信息。当存在多个具有相同时间戳值的被监视 视频图像时,可以识别具有相同时间戳值的视频数据的顺序。 关联信息还可以是用于指定已生成视频数据的装置的信息(例 如制造商名称、型号名称、序列号等)。为了说明链接信息和元数据体,使用定义为用于描述通过 万维网(WWW)交换的信息的标记语言(Markup Language)。标记 语言的使用使得容易进行通过网络2的信息交换。另外,例如, 通过使用用于交换文档和电子数据的XML(Extensible Markup Language,可扩展标记语言),可使得容易进行视频数据和元数 据的传输。当使用XML时,定义信息描述方案的属性信息使用 例如XML才莫式(schema)。可以在 一 个流中将由监视照相机1 a和1 b生成的视频数据和 元数据提供给客户端3。也可以在不同的流中将视频数据和元数

据异步地发送到客户端3。上面结合图1 A的监视系统1 OO所述的数据结构可以应用到 图1B所示的监视系统,以获得相同的功能和效果。图1B的监视 系统100采用包括服务器ll和客户端12的服务器-客户端结构。 利用这种布置,可以配置为使得,具有高处理性能的服务器ll 可以处理大量数据,而具有低处理性能的客户端12仅查看处理 结果。这种功能分布有利地提高了监视系统100的灵活性。将参考图3的框图说明图1A中所示的客户端3的详细配置。 包括在客户端3中的各功能块可以由硬件软件来实现。客户端3具有:网络连接单元101,用于将数据发送到监视 照相机1 a和1 b以及从监视照相机1 a和1 b接收数据;视频緩沖器 单元102,用于/人监^L照相机la和lt^妻收^L频数据;元数据緩冲 器单元103,用于从监视照相机la和lb接收元数据;过滤器设置 数据库107,用于基于过滤处理存储过滤器设置信息;元数据过 滤单元106,用于对元数据进行过滤;元数据过滤器4交准单元 113,用于校准元数据过滤器;规则切换单元108,用于将设置 改变通知给监视照相机la和lb;视频数据数据库104,用于存储 视频数据;元数据数据库105,用于存储元数据;显示单元lll, 用于显示视频数据、元数据等;视频数据处理单元109,用于进 行在显示单元lll上再现视频数据的处理;元数据处理单元IIO, 用于进行在显示单元lll上再现元数据的处理;以及再现同步单 元112,用于使元数据的再现和相应视频数据的再现同步。视频緩冲器单元10 2从监视照相机1 a和1 b接收视频数据并 对已被编码的该视频数据进行解码。然后,视频緩冲器单元102 将解码后的视频数据存储到设置在视频緩冲器单元102内的緩 冲器(未示出)中。视频緩冲器单元102还将存储在緩沖器中的图 像数据顺序发送到用于显示图像的显示单元111 。通过在緩冲器 中存储视频数据,可以与从监视照相机1 a和1 b接收视频数据的 定时无关地将视频数据顺序发送到显示单元lll。另外,视频缓 冲器单元102基于从以下将要说明的规则切换单元108提供的记 录请求信号而将其中所存储的视频数据存储到视频数据数据库 104中。这时,可以将被编码的视频数据存储在视频数据数据库 104中,并且可以在视频数据处理单元109中进行视频数据的解 码。元数据緩冲器单元10 3将从监 一见照相机1 a和1 b接收的元数 据存储到设置在元数据緩冲器单元103内的緩冲器(未示出)中。 元数据緩冲器单元103将其中所存储的元数据顺序发送到显示 单元lll。元数据緩冲器单元103还将存储在緩冲器中的元数据 发送到以下将要说明的元数据过滤单元106。通过将元数据存储 在緩沖器中,可以与从监视照相机la和lb接收元数据的定时无 关地将元数据顺序发送到显示单元lll。元数据緩冲器单元103 还可以与视频数据同步地将元数据提供给显示单元lll。此外, 元数据緩沖器单元103将从监视照相机1 a和lb所接收的元数据 存储到元数据数据库105中。当将元数据存储到元数据数据库 105中时,元数据緩沖器单元103将与元数据同步的视频数据的 时间信息附加到该元数据。通过使用附加的时间信息,可以从 元数据数据库105中读取与所期望的时间相对应的元数据,而不 用读出元数据的内容来判断相应的时间。过滤器设置数据库10 7根据以下所述的元数据过滤单元10 6 所进行的过滤处理而存储过滤器设置信息,并且还将该过滤器 设置信息提供给元数据过滤单元106。在过滤器设置中,针对包 含在元数据中的每块所监视物体信息来表示用于判断是否需要 输出警报信息等或者是否需要切换监视照相机1 a和1 b的摄像操 作的判据。通过使用该过滤器设置信息来过滤元数据,可以针 对每块所监视物体信息表示过滤的结果。该过滤结果可以表示需要输出警报信息等或者表示需要切换监视照相机1 a和1 b的摄像操作。元数据过滤单元106使用存储在过滤器设置数据库107中的 过滤器设置信息来过滤元数据并且判断是否要生成警报。然后, 元数据过滤单元106过滤从元数据緩冲器单元103接收的元数据 或由元数据数据库105提供的元数据,并将过滤的结果发送到规 则切换单元108。元数据过滤器校准单元113进行处理以提高通过元数据过 滤单元10 6所接收的"物体数量"和"累积物体数量"等警报信息 的精度。以下将更详细地说明该元数据过滤器^^准单元113的处 理。规则切换单元108基于由元数据过滤单元106所提供的过滤 结果,生成设置改变信号,并将设置改变通知给监视照相机la 和lb。例如,基于由元数据过滤单元106提供的过滤结果,规则 切换单元10 8输出用于切换监视照相机1 a和1 b的操作的指示,使 得可以获取适合于监视的视频图像。另外,规则切换单元108 可以基于过滤结果将记录请求信号提供给视频緩冲器单元102, 使得视频数据数据库10 4存储由视频緩沖器单元10 2接收的视频 数据。视频数据数据库104存储视频緩冲器单元102中所获取的视 频数据。元数据数据库105存储元数据緩沖器单元103中所获取 的元数据。视频数据处理单元109进行处理以在显示单元lll上显示存 储于视频数据数据库104中的视频数据。具体地,视频数据处理 单元109从由用户指定的再现开始位置起顺序地读取视频数据, 并将所读取的视频数据提供给显示单元lll。视频数据处理单元 1 09还将正要再现的视频数据的再现位置(再现时间)提供给再 现同步单元112。再现同步单元112控制元数据处理单元110的操作。这时, 再现同步单元112将同步控制信号提供给元数据处理单元IIO, 使得由视频数据处理单元10 9提供的视频信号的再现位置与在 元数据处理单元110中再现存储在元数据数据库105中的相应元 数据的再现位置同步。元数据处理单元110进行处理以在显示单元111上显示存储 在元数据数据库105中的元数据。具体地,元数据处理单元UO 从由用户指定的再现开始位置起顺序地读取元数据,并将所读 取的元数据提供给显示单元111 。当再现视频数据和元数据二者 时,如上所述,元数据处理单元110基于从再现同步单元1U提 供的同步控制信号控制再现操作,并将与视频数据同步的元数 据输出到显示单元lll。显示单元lll显示从视频緩冲器单元102提供的实时(live) 视频数据、从视频数据处理单元109提供的再现视频数据、从元 数据缓冲器单元103提供的实时元数据、以及从元数据处理单元 IIO提供的再现元数据。基于由元数据过滤单元106提供的过滤 器设置信息,显示单元11 l使用被监视图像、表示元数据的图像、 或表示过滤器设置的图像、或者这些图像的合成图像,显示(输出)表示基于过滤结果的监视结果的视频图像。显示单元111还具有GUI(graphical user interface,图形用户界面)的功能。因而,允许用户通过使用操作键、鼠标、遥控器 等选择在显示单元lll上显示的过滤器设置菜单项等来定义过 滤器。GUI还允许显示各处理单元的信息、警报信息的分析结果等。图4示出^4居本发明的实施例在客户端3的显示单元111上

显示视频数据和元数据的例子。如图所示,将由监视照相机la 和lb所生成的^L频数据IOOI和相应的元数据1002经由网络2提 供给客户端3。由每一监视照相机la和lb所生成的元数据的类型 包括时间信息、基于视频分析结果的移动物体信息(例如位置、 类型和状况)、以及监视照相机的当前状态。当客户端或服务器 具有软件模块并且监视照相机独立于网络工作时,也可以获得S见频It据和元It据的该显示。客户端3获取、分析并存储从监视照相机1 a和1 b提供的视频 数据1001和元数据1002。输入到客户端3的视频数据1001和元数 据1002分别存储在视频数据数据库104和元数据数据库105中。 使用客户端3中所提供的过滤器设置功能,通过显示单元lll上 显示的过滤器设置画面(过滤器设置菜单),来进行各种过滤器 的设置。将设置结果作为设置信息存储在过滤器设置数据库107中。如图4所示,在过滤器设置显示画面1003中,显示了基于过 滤器设置生成的边界线LN以及区域PA。箭头PB表示将被检测 的物体通过LN的方向。在图4中的被监视视频图像1004中,显示了由显示单元lll 将视频数据10 01和表示过滤器的图像进行叠加的图像。边界线 LN被设置为表示上述"通过"过滤器的图像。当进行设置使得对 通过该过滤器的物体数量进行计数时,计算已通过边界线LN的 物体数量。在该画面中,物体MB1和物体MB2^皮4企测为已通过 了边界线LN,因而所计算的物体数量为2。然而,如图4所示,当监视照相才几la和lb识别出物体MB1 和MB2等物体时,每一物体被识别为多边形(该例子中为四边 形)。因而,当多个物体相互相邻时,监视照相机la和lb可能将 这些物体识别为 一 个物体。

图5示出监视照相机所捕荻的区域的视频图像的 一 帧,其中 该监视照相机被设置在天花板位置从而向下捕获图像。在这种情况下,边界线LNO被设置为过滤器("通过")并且对通过边界线 LNO的物体数量进行计数。在图5的帧图像中,示出了三个行走 的人P1 ~ P3被监视照相机识别为两个物体MB3和MB4的情况。 这是因为行走的人P2和P3的位置相互相邻从而被识别为 一个 物体MB4。如果行走的人P2和P3通过边界线LN0,同时被识别 为物体MB4,则在边界线LNO处计数的物体数量为1。根据本发明的实施例,为了减少过滤结果中的误差,在由 元数据过滤单元106进行实际过滤之前进行过滤器冲交准。在该过 滤器校准中,在预期可以获得精度提高的过滤结果的位置处, 对从过滤器设置数据库107中提取的过滤器或新设置的过滤器 自动布置至少一个虛拟过滤器。然后使用该虚拟过滤器进行过 滤。如果作为该过滤的结果可以获得精度提高的过滤结杲,则 采用该虚拟过滤器作为正式过滤器。将参考图6的流程图,说明由元数据过滤器校准单元113进 行的过滤器校准的处理过程。在该例子中,示出了对计数通过 预定边界线的物体数量的"通过,,过滤器进行校准的情况。在步 骤Sl 1,从视频数据数据库104或视频緩冲器单元102中选择用 于过滤器校准的视频图像(也称作校准视频图像)。假定所选择 的视频图像为具有预定时间长度的视频数据。在步骤S12,从过滤器设置数据库107中选择或者新设置期 望进行校准的过滤器。所选择的过滤器在画面中作为例如图5 中的边界线LNO等固定边界线显示。在新设置过滤器的情况下, 将该边界线设置在画面中。在步骤S13,计算当将所选择的过滤器或新设置的过滤器 应用到用于过滤器校准的校准视频数据时获得的物体数量。具

体地,计算真实数量。真实数量T为用于过滤器校准的视频图 像中的、在从校准视频数据的开始时间起到校准视频数据的结 束时间为止的时间段内通过步骤S 1 2中所选择的过滤器(在该情况下为边界线)的物体的数量。真实数量T是指物体已通过设置 为过滤器的边界线的次数,并且通过即使在如参考图5所述的那样有一些物体相互相邻时也将图4象中的每一物体计为 一个物体来获得真实数量T。为了获得真实数量T,可以使用能够计算已 通过边界线的物体的准确数量或真实数量T的近似值的专用系 统。也可以是人通过目测来计数真实数量T。当获得真实数量T时,元数据过滤器校准单元113选择虚拟 过滤器的位置并将虚拟过滤器布置在步骤S14中所选择的位置 处。具体地,在步骤S12中所选择的或新设置的过滤器的周围 互补地设置多个虚拟过滤器。选择这些虚拟过滤器的位置使得 物体数量的最频值接近真实数量T,其中物体数量的最频值是 通过确定作为使用各个虚拟过滤器过滤的结果所给出的值中的 最频繁的值而获得的。图7示出产生该最频值的过滤器设置的例 子。边界线LN0表示在步骤S12的处理中所选择的或新设置的过 滤器,边界线LN1和边界线LN2表示新设置为虛拟过滤器的过 滤器。随后,在步骤S15,元数据过滤单元106进行过滤,在步骤 S16,元数据过滤器校准单元113提取通过与边界线LN0〜LN2 相对应的各过滤器的过滤所获得的物体数量。然后,在步骤 S17,元数据过滤器校准单元113计算通过与边界线LNO ~ LN2 相对应的过滤器所获得的物体数量的最频值F。这时,在步骤 S18,将真实数量T和通过各个过滤器所获得的物体数量的最频 值F进行比较。如果T不等于F,则过程返回到步骤S14并且重复 该处理序列直到T等于F为止。如果T等于F,则在步骤S19中采 用虚拟过滤器作为正式过滤器,然后将虚拟过滤器存储在过滤器设置数据库107中。在这种情况下,当F不等于T但却为T的近 似值(T《F)时算法中采用虚拟过滤器作为正式过滤器。图7示出将虚拟过滤器布置在适当位置的情况的例子。边界 线LN0为在步骤S12的处理中所选^^的或新设置的过滤器,边界 线LN1和LN2作为与步骤S14的处理相对应的虚拟过滤器而添 加。从画面下部向上行走的人P1 ~ P3的^见频图像的—见频数据被 用作用于过滤器校准的视频图像(过滤器校准视频图像)。该视 频图像是由安装到点的监视照相机从天花板垂直向下捕获的。 图7~ 15均示出了过滤器校准视频图像的帧图像,图7~ 15的图 像是按顺序的时间序列。在各图的右部,表示了在相应的时间 点上通过各过滤器所获得的物体的累积总数。图7示出了监视照相机将人P1识别为物体MB3、将人P2识 别为物体MB4、将人P3识别为物体MB5的状态。这时,没有物 体已通过边界线LNO〜LN2中的任何一个。因而,将通过各过 滤器所获得的物体数量(即,已通过各边界线的物体数量)表示 为0。图8为图7的帧图像之后的帧图像并且示出了被识别为物体 MB3的Pl正通过被设置为虛拟过滤器的边界线LN2的状态。因 而,将边界线LN2处的物体的累积总数表示为1。图9示出了被识别为物体MB3的人P1正通过边界线LN0,而 被识别为物体MB4的人P2和被识别为物体MB5的人P3正通过 边界线LN2的状态。因而,边界线LNO处的物体的累积数量为1, 而由于在帧图^f象的该时间点物体MB3、 MB4和MB5已通过了边 界线LN2,因此边界线LN2处的物体的累积数量为3。因而,当一个人^皮适当地识别为一个物体时,在通过过滤 器所获得的物体数量和实际已通过表示该过滤器的边界线的人 数之间没有出现误差。然而,当移动多个所监视物体相互相邻 时,不同移动物体被监视照相机识别为一个物体。另外,当监 视照相机4全测到所监一见的人的身体部位的移动时,该人和身体 部位被识别为不同物体。图IO示出了人P2和人P3蜂皮识别为一个物体MB4的情况。图ll示出了在图10的帧图^f象的时间点^皮识别为 一个物体 MB4的人P2和P3正通过边界线LN0同时^皮识别为物体MB4的状 态。因而,边界线LNO处的物体的累积数量为物体MB3和MB4 的总值,即2。边界线LN0和边界线LN2处的累积数量应该是相 同的。然而,由于边界线LN0和边界线LN2的位置之间的差异 而获得了边界线LN0和边界线LN2处所识别的不同数量的物 体。图12示出了被识别为物体MB3的人P1正通过边界线LN1, 因而边界线LN1处的物体的累积数量为l的状态。图13示出了人 P2和人P3被再次识别为不同物体,分别为物体MB6和物体MB4 的状态。在图14所示的随后帧中,被识别为物体MB4的人P3已 通过边界线LN1。由于被识别为物体MB3的人P1已经通过了边 界线LNl,因而边界线LN1处的物体的累积数量为2。图15示出了被识别为物体MB6的人P2正通过边界线LN1, 因而在该时间点边界线LN1处的物体的累积数量为3(MB3 、 MB4和MB6)的状态。使用图7~图15说明的处理对应于参考图6 所述的步骤S15中的执行过滤以及步骤S16中的提取通过各过 滤的物体数量。因此,通过过滤获得物体数量的最频值,其对 应于图6中步骤S17的处理。在图15的例子中,边界线LN2、边 界线LN0和边界线LN1处的物体的累积数量分别为3、 2和3,因 而物体数量的最频值为3。在图7~ 15的例子中,实际通过了边界线LNO的物体(人)的

数量为3。因而,要准备的真实数量T为3。然后,通过比较T和 F,这对应于图6中步骤S18的处理,可以测量虚拟过滤器位置 的适合程度。在该情况下,由于丁=?=3,因而用于过滤器校准 的虚拟过滤器以及所选择的过滤器或新设置的过滤器的位置被 判断为适当的。因而,采用边界线LN0〜LN2作为正式过滤器 并将其存储在过滤器设置数据库107中,这相应于图6中步骤 S19的处理。当T和F之间发生大的误差时,则改变和复位与虚 拟过滤器对应的边界线的位置,并且重复步骤S15〜步骤S18的 处理直到满足T^F或TVF为止。通过使用经以上处理所获得的正式过滤器进行实际过滤, 作为实际过滤的结果的物体的累积数量等于或接近于基于所监 视物体的实际状态的值。另外,尽管在图7~图15的例子中使用了三个过滤器,但是 所使用的过滤器的数量不限于三个。当通过各个过滤器所获得 的物体数量被设置为C( 1 )-C(n)(n为整数)时,最频值F可以通过 将物体数量代入用于计算最频值的函数f而获得,如 F=f(C(l)...C(n))。此外,当设置了虚拟过滤器时,可以进行校准视频数据的 再现速率或放大倍率的调整以获得最佳的过滤器设置。上述一 系列处理可以由软件也可以由石更件来冲丸行。当这一 系列处理由软件来执行时,将构成软件的程序安装到包含在专 用硬件内的计算机中。这一系列处理也可以通过将构成所期望 的软件的程序安装到例如能够使用安装于其内的各种程序执行 不同功能的通用计算机中来执行。在上述实施例中,说明了对从监视照相机输出的元数据进 行过滤的情况。然而,实施例不限于该情况,而是也可以应用 到过滤其它类型数据的情况。例如,可以过滤视频数据并进行 随后的处理,例如对视频数据进行分析。本领域的技术人员应当理解,在所附权利要求书或其等同 内容的范围内,根据设计要求和其它因素,可以发生各种变形、 组合、子组合和变更。本发明包含与2006年7月27日在日本专利局提交的日本专 利申请JP2006-205068相关的主题,其全部内容通过引用包含于此。

高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈