闭路电视(CCTV)系统主要用于监视目的。近年来，在机场、公共区 域、学校、高速路以及其它诸多场所，监视系统已增多。CCTV市场由两部 分组成：模拟系统和数字网络视频系统。与模拟系统相比，网络视频系统具 有若干优点。网络视频的市场份额增长的最重要原因在于：远程可访问性， 轻松的未来证据整合(proof integration)，可量测性(scalability)和灵活性。
区分数字网络视频系统与模拟系统的一个特征在于前一个系统对实时 图像处理的适宜性。当将某种数字信号处理器与摄像机集成在一起并且在该 数字信号处理器上实施算法时，实时图像处理是可能的。
现在的实时监视是极其劳动密集的，这导致了高成本。人类的注意力水 平也会随着时间而迅速下降。因此期望使用处理图像的智能视频功能作为这 些类型的工作中的辅助工具。这将会降低劳动力成本并提高性能。便于实时 监视的有用的智能视频功能是：运动检测，例如检测空的工厂中的非法侵入 人员；检测具体的事件，例如检测汽车碰撞；辨认，例如在大型模糊摄像机 系统中追踪嫌疑人的路径。
如果网络视频摄像机能够以令人满意的方式来执行这些功能，它们就会 以独一无二的优势胜过它们的模拟对手。
为了能够在包括多个摄像机的视频监视系统中，即在不同的摄像机所捕 获的不同视频序列或场景之间对诸如人的非刚体进行检测和跟踪，必须考虑 下列因素：人是非刚性的，因此他们的形状可能改变；序列中的不同观察点； 场景之间和场景内的不同照明水平；场景之间和场景内的不同照明颜色；序 列中到摄像机的不同距离。
这些情况使得若干种用于对非刚性对象进行检测和跟踪的方法不可用。 低分辨率以及摄像机与对象之间的距离使得所有处理细节的方法毫无用处。 人们的衣服中的纹理往往极其细微，因此基于纹理的方法也以失败告终。
本发明的目的在于能够辨认诸如人的非刚性对象。因此，该方法对对象 形状的变化不敏感。
由于监视摄像机的客户不愿校准他们的摄像机，因此该方法不能依赖于 已知摄像机的位置。因此，也不能将观察对象的角度纳入考虑范围。因此， 基于对象的不同部分的相对尺寸的方法，例如基于胳膊和腿的相对长度的方 法也毫无用处。
已经对跟踪问题进行了广泛的探究，但是由于在一场景内跟踪人和在可 能源自不同摄像机的不同场景中辨认人之间具有一些重要差异，已知的跟踪 人的方法不适用于这里。当在一场景内跟踪人时，问题在于在每个新的帧中 找到这个人。因而来自先前帧的信息非常有用。在帧与帧之间，照明、视角 和人的位置都很可能相同或仅有很小的改变。当改变场景时，所有这些信息 可能都丢失了。因此，在不同场景之间辨认人的方法必须使用不同于常规跟 踪方法的其它特征。
在不同场景之间对对象进行识别和跟踪的方法应当用作具有大量摄像 机的监视系统中的辅助工具。因此可以接受该方法进行了一些错误的匹配， 而不能接受该方法遗漏了一些正确的匹配。在前者的情况下，注视监视器的 监视人员能够容易地人工辨认出正确的人。在后者的情况下，该方法对该人 员来说没有任何帮助。
因此，需要一种识别对象的特性的方法和系统，所述特性能够被用于在 不同的视频序列之间跟踪对象，该方法不会遗漏在两个不同的视频序列中出 现的任何对象，因而具有高可靠性。

本发明的目的是实现视频监视系统中的方法、视频监视系统中的装置和 减轻以上所提及的问题中的至少一些问题的视频监视系统。
根据本发明的第一方面，这是由一种在视频监视系统中用于在视频监视 摄像机所捕获的视频序列中识别对象的特性的方法来实现的，该方法包括以 下步骤：在所述视频序列中识别特定对象；基于在所述视频序列中识别出的 特定对象的颜色和强度信息，来在至少两维的颜色空间中生成颜色直方图， 所述颜色和强度信息源自所述视频序列的多个图像；以及基于所生成的颜色 直方图来识别所述对象的特性。
通过基于视频序列的多个图像来生成颜色直方图，该对象的所有可能外 表被接收并合并到颜色直方图中。这意味着，如果对象在视频序列中大幅转 向并且移动，则可以获得从很多可能的视图来充分描述该对象的颜色直方 图。因而，直方图变得与图像中的空间变化无关。例如，如果该对象是人， 这个人拿着夹克还是穿着在颜色直方图中无关紧要。随后基于该颜色直方图 识别出的该对象的特性可以用于例如检测来自同一摄像机或来自另一摄像 机的随后的视频序列中的对象，不管该对象在新的视频序列中的位置和视 角。并且，由于颜色直方图基于强度和颜色，因此颜色直方图独立于作为信 息来源的图像，即独立于时间。
对于本领域技术人员来说，显而易见的是，同样的方法适用于使用源自 颜色和强度颜色空间的任意多维表示的任意至少两维的直方图。
根据本发明的实施例，基于所生成的颜色直方图来识别所述对象的特性 的步骤包括以下步骤：通过若干个诸如正态分布的分布对所述颜色直方图进 行建模；和基于所生成的和经过建模后的颜色直方图来识别所述对象的特 性。通过所述若干个分布来对所述颜色直方图进行建模，可以将从所述颜色 直方图接收的数据量减少到对识别对象的特性来说更容易管理的量。
根据本发明的实施例，所述颜色直方图通过若干个分布使用诸如期望最 大化算法的分布拟合算法来建模。通过使用分布拟合算法，可以获得颜色直 方图的好的模型。并且，期望最大化算法是用于通过若干个正态分布获得对 颜色直方图的良好估计的相对快速的方法。
根据本发明的另一实施例，所述方法进一步包括将所述颜色直方图从卡 笛尔坐标系变换为极坐标系的步骤。因此，有利于将直方图中该对象的特性 与依赖于环境的颜色直方图的特性分离开来。在颜色直方图中，对象的每个 颜色部分由在所述颜色直方图中具有特定扩张(extension)的块(blob)来 表示。通过将建模后的颜色直方图变换为具有？和a坐标的极坐标系，对象 的第一视频序列与同一对象的第二视频序列之间照明强度的变化就粗略地 导致块在？方向上的位置变化，并且序列之间光的颜色变化粗略地导致块在 a方向上的位置变化。在将图像中的环境影响与对象的特性分离时，会用到 这个知识。变换的步骤优选在使用分布对颜色直方图进行建模的步骤之后执 行，以减小变换步骤中的计算工作量，但是变换步骤也可以在建模步骤之前 执行。
根据本发明的再一实施例，计算所述对象的特性的步骤包括：通过根据 所述若干个分布的参数中各参数与所述对象的特性的相关性对所述若干个 分布的参数进行加权，来计算所述对象的特性。通过根据估计的各参数与对 象的特性的相关程度来给分布的参数以不同的加权因子，可以接收到该对象 的特性的计算值。
根据本发明的又一实施例，计算所述分布的参数的步骤包括：将颜色直 方图从所述极坐标系变换为第二卡笛尔坐标系，以及在颜色直方图中，将所 述第二卡笛尔坐标系的原点布置所述对象的质心处。因而，可以获得用于在 颜色直方图中描述该对象的内部坐标系，这边缘将颜色直方图中的信息分为 或多或少与对象的特性相关的参数。
根据本发明的另一实施例，对象的每个颜色部分由在所述颜色直方图中 具有特定扩张的块来表示，并且其中所述对象被描述为这类块的聚类。因而， 便于将颜色直方图中的信息分为或多或少与对象的特性相关的参数。
根据本发明第一方面的另一实施例，该方法进一步包括针对在各个图像 中对所述对象进行描述的像素数目来对源自所述多个图像中各图像的颜色 和强度信息进行归一化的步骤。因而，颜色和强度信息变得与像素无关，即 对于提取每个图像的不同时间和该对象的缩放而言是不变的。
根据再一实施例，所述颜色空间是能够将强度信息和颜色信息分离开来 的颜色空间，诸如YCbCr、HSV或YUV颜色空间。通过使用能够将强度信 息和颜色信息分离开来的颜色空间，就可以将颜色直方图中与对象有关的特 性从颜色直方图中与捕获视频序列所在的环境有关的特性分离开来。
根据又一实施例，所述颜色直方图是基于所述视频序列的所有图像中的 颜色和强度信息生成的。用于生成颜色直方图的图像越多，直方图对于该对 象的时间的和空间方面的相关性就越小。
根据再一实施例，基于颜色直方图来识别所述对象的特性的步骤包括： 基于所述颜色直方图来识别对所述视频序列中的对象进行描述的参数；以及 基于识别出的参数来计算所述对象的特性。识别对所述视频序列中的对象进 行描述的参数的步骤包括：对所述颜色直方图的质心和颜色直方图分布进行 识别；和基于识别出的质心和识别出的颜色直方图分布来计算用于识别所述 对象的特性的参数。已经证明，质心和颜色直方图分布的特征是用于计算能 用来识别对象特性的参数的良好特征。
根据本发明的第二方面，提供一种用于在视频监视系统中跟踪对象的方 法。所述方法包括以下步骤：在由第一视频监视摄像机捕获的第一视频序列 中识别待跟踪对象；根据本发明第一方面的方法来识别所述待跟踪对象的特 性；在由第二视频监视摄像机捕获的第二视频序列中识别候选对象；根据本 发明第一方面的方法来识别所述候选对象的特性；将识别出的所述候选对象 的特性与识别出的所述待跟踪对象的特性进行匹配；基于所述匹配步骤来计 算所述候选对象与所述待跟踪对象相同的可能性。通过该方法，可以自动检 测第二视频序列中的候选对象是否与早先捕获的第一视频序列中的待跟踪 对象是相同的对象。由于本发明第一方面的方法与对象在各个视频序列中的 空间变化和时间变化无关，因此第二方面的方法遗漏正确的匹配的可能性很 低。
根据本发明的第三方面，提供一种视频监视系统中的识别装置。所述识 别装置包括：对象识别单元，用于对视频序列中的特定对象进行识别；颜色 直方图发生器，用于基于在所述视频序列中识别出的特定对象的颜色和强度 信息，来在至少两维的颜色空间中生成颜色直方图，所述颜色和强度信息源 自所述视频序列的多个图像；和对象特性识别器，用于基于所生成的颜色直 方图来识别所述对象的特性。通过被布置为基于视频序列的多个图像来生成 对象的颜色直方图的颜色直方图发生器，该对象的不同的可能外表就可以被 接收并被合并到颜色直方图中。这意味着，如果该对象在视频序列中大幅转 换或移动，也能够获得从多个可能的视图充分描述该对象的颜色直方图。因 而，该直方图变得与图像中的空间变化无关。并且，由于颜色直方图仅基于 颜色和强度，所以颜色直方图与该信息源自哪个图像无关，即与时间无关。
根据本发明的第四方面，提供一种视频监视系统。该视频监视系统包括： 连接至公用通信网络的若干个视频监视摄像机；根据本发明第三方面的至少 一个识别装置，所述至少一个识别装置连接至所述公用通信网络；用于在视 频监视系统中跟踪对象的跟踪设备，所述跟踪设备连接至所述公用通信网 络。所述跟踪设备包括：用于从所述至少一个识别装置接收信息的接收器， 所述信息包括，与识别出的在由第一视频监视摄像机捕获的第一视频序列中 识别出的待跟踪对象的特性有关的信息和与识别出的在由第二视频监视摄 像机捕获的第二视频序列中识别出的候选对象的特性有关的信息；用于将识 别出的所述候选对象的特性与识别出的所述待跟踪对象的特性进行匹配的 匹配单元；用于基于所述匹配步骤来计算所述候选对象与所述待跟踪对象相 同的可能性的计算单元。这种视频监视系统能够自动检测第二视频序列中的 候选对象是否与早先捕获的第一视频序列中的待跟踪对象是相同的对象。通 过被布置为从视频序列的多个图像生成对象的颜色直方图的至少一个识别 装置，该系统将与对象在各个视频序列中的空间变化和时间变化无关，由此 该系统遗漏正确的匹配的可能性就会较低。
附图说明
以下将参考附图对本发明进行更加详细的描述，其中：
图1a示意性地图示出根据本发明一实施例的视频监视系统。
图1b示意性地图示出根据本发明另一实施例的视频监视系统。
图2图示出根据本发明的包括识别装置的视频监视摄像机的方框图。
图3示出根据本发明的跟踪设备的方框图。
图4示出根据本发明的识别对象的特性的方法的流程图。
图5示出根据本发明的在视频监视系统中跟踪对象的方法的流程图。
图6图示出RGB与YCbCr颜色空间之间的关系。
图7a示出已经捕获到对象的视频序列的图像。
图7b示出图7a的已经分割出对象的图像。
图8示出改变照明对YCbCr颜色空间中图示出的有色对象的影响。
图9a示出一个人在第一场景中的CbCr、YCb和YCr颜色直方图。
图9b示出图9a的人在第二场景中的CbCr、YCb和YCr颜色直方图。
图10a示出另一个人在第一场景中的CbCr、YCb和YCr颜色直方图。
图10b示出图10a的人在第二场景中的CbCr、YCb和YCr颜色直方图。
在图11a-c的各图中，左边的图像中以αρ坐标示出一个人在一场景中 的直方图，右边的图像中以αρ坐标示出利用数目变化的正态分布建模得到 的直方图。
图12包括八个图像，其中第一图像示出一个人在一场景中的直方图， 其它图像以相对频率(p0)不同的矩形分布示出对应的正态分布的直方图。
图13在YC坐标系中示出具有坐标？和a的坐标系。
图14在左边的图中示出YCb中的直方图，在右边的图中示出在以α和？ 作为坐标轴的坐标系中的同一直方图。
图15示出内部聚类坐标系统。
图16a-b分别示出从视频序列中分割出的图像，各个图像来自分离的视 频序列。
图17a-b分别示出以图16a-b的相应图中的图像所图示的各个视频序列 的，YCb颜色空间中的一个直方图(左边)、利用正态分布建模得到的直方 图(中间)和变换为？-α坐标系的分布模型(右边)。
图18a-b分别示出从其它视频序列中分割出的图像，各个图像来自分离 的视频序列。
图19a-b分别示出以图18a-b的相应图中的图像所图示的各个视频序列 的，YCb颜色空间中的一个直方图(左边)、利用正态分布建模得到的直方 图(中间)和变换为？-α坐标系的分布模型(右边)。

以下参考附图对本发明进行更充分的描述，附图中示出本发明的优选实 施例。然而，本发明可以采用多种不同的形式来实施，并且不应被解释为局 限于这里阐述的实施例；相反，提供这些实施例的目的在于使该公开内容全 面且完整，并且将本发明的范围完全传达给本领域技术人员。在附图中，相 似的附图标记指代相似的元件。
图1a和1b图示出根据本发明的视频监视系统。该视频监视系统包括通 过通信网络20连接至监视中心30的若干个视频监视摄像机10、12、14。 所述视频监视摄像机10、12、14可以是任何能够生成图像序列的数字摄像 机和/或任何能够生成图像序列的模拟摄像机，在为模拟摄像机的情况下， 模拟摄像机连接至转换器，该转换器将模拟图像信息变换为数字图像数据并 向网络20提供所述数字图像数据。通信网络20可以是诸如有线或无线数据 通信网络的用于传达数字图像信息的任何种类的通信网络，例如局域网 (LAN)或无线局域网(W-LAN)或广域网(WAN)。
在图1a中所描绘的系统中，视频监视摄像机10、12、14各自包括根据 本发明的识别装置100a、100b、100c(见图2)，所述识别装置用于对视频 监视摄像机所捕获的视频序列中对象的特性进行识别。在识别对象的特性之 后，各个视频监视摄像机被布置为向网络中诸如监视中心30之类的节点传 达所识别出的特性、ID。出于这个原因，监视中心30具有根据本发明的跟 踪设备200(见图3)，跟踪设备200用于基于识别出的从第一视频摄像机 10接收的待跟踪对象的特性和识别出的从第二摄像机12接收的候选对象的 特性来在视频监视系统中跟踪对象。跟踪设备被布置为，将识别出的待跟踪 对象的特性与识别出的候选对象的特性进行比较，以计算候选对象是否与要 跟踪的对象相同。
在图1b中所描绘的系统中，视频监视摄像机10、12、14中没有识别装 置。相反，监视中心30除了包括其跟踪设备200之外，还包括至少一个识 别装置100。在该系统中，视频监视摄像机10、12、14被布置为，向监视 中心发送视频序列，以在监视中心中布置的识别装置中识别对象的特性。
根据另一实施例，一些摄像机具有识别装置100，而一些摄像机没有识 别装置。然后输入数据从没有识别装置的摄像机传达至具有识别装置的摄像 机。作为这种情况的替换，在诸如监视中心30之类的中心节点中也具有识 别装置100，此时输入数据可以从没有识别装置的摄像机传达至中心节点中 的识别装置。
根据再一实施例，视频监视系统中摄像机中的至少一个摄像机可以具有 跟踪设备200。
而且，该跟踪设备200可以在其已经接收到识别出的待跟踪对象的特性 时从同一摄像机接收关于识别出的候选对象的特性的信息。在这种情况下， 识别出的待跟踪对象的特性源自第一视频序列，识别出的候选对象的特性源 自与第一视频序列分离的第二视频序列。
在图2中，示意性地描绘根据本发明实施例的包括识别装置100的视频 监视摄像机10。为了便于理解本发明，不再描述视频监视摄像机的与本发 明无关的标准特征。视频监视摄像机10包括用于记录入射光的图像传感器 52，例如电荷耦合器件(CCD)、CMOS传感器或相似器件；图像处理工具 54；用于通过通信网络向连接至该网络的其它节点传达信息的通信单元150； 以及根据本发明实施例的识别装置100。
图像处理工具54接收与所记录的光有关的信息，并借助于A/D转换器 和信号处理工具56对该信息进行处理，其中信号处理工具56是技术人员公 知的。在一些实施例中，例如当图像传感器52是CMOS传感器时，图像传 感器52包括A/D转换器，因此图像处理工具54中不需要任何A/D转换器。 由A/D转换器和信号处理工具56产生的结果是数字图像数据，根据一个实 施例，该数字图像数据在被发送到识别装置100之前，在缩放单元57和编 码器58中被处理。缩放单元57被布置为将该数字图像数据处理为至少一个 特定大小的图像。然而，缩放单元57可以被布置为生成多个不同大小的图 像，所有图像均表示由A/D转换器和信号处理工具56提供的同一图像/帧。 根据另一实施例，缩放单元的功能由编码器来执行，在再一实施例中，不需 要对来自图像传感器的图像执行任何缩放或大小调整。
编码器58对于执行本发明来说是可选的，被布置为针对连续的视频序 列、针对有限的视频序列、针对静态图像或针对图像/视频流将该数字图像 数据编码为多种已知格式中的任意一种。举例来说，可以将图像信息编码为 MPEG1、MPEG2、MPEG4、JPEG、MJPG、位映像等。识别装置100可以 使用未经编码的图像作为输入数据。在这种情况下，图像数据从信号处理工 具56或从缩放单元57传输到识别装置100，而不通过编码器58传递该图 像数据。未经编码的图像可以采用任何未经编码的图像格式，例如BMP、 PNG、PPM、PGM、PNM和PBM，尽管识别装置100也可以使用经过编码 的数据作为输入数据。
在本发明的一个实施例中，可以将图像数据从信号处理工具56直接发 送至识别装置100，而不通过缩放单元57或编码器58。在再一实施例中， 可以将图像数据从缩放单元57发送至识别装置100，而不通过编码器。
图2的识别装置100包括对象识别单元102、颜色直方图发生器104、 对象特性识别器106。对象识别单元102被布置为基于从图像处理工具54 接收的图像信息来在视频序列中识别对象。可以根据任何已知的对象识别技 术来在对象识别单元102中人工或自动识别该对象。颜色直方图发生器104 被布置为基于识别出的对象的源自视频序列中多个图像的颜色和强度信息 来生成颜色直方图。颜色直方图的意思是描述颜色的直方图。对象特性识别 器106被布置为基于所生成的颜色直方图对对象的特性进行识别。与使用源 自仅一个图像的信息的情况相比，通过在生成颜色直方图时使用源自视频序 列中多个图像的信息，识别装置对时间和空间方面(aspect)变得不敏感， 即对对象在何时和在图片中的何处被识别出来不敏感。所使用的图像越多， 识别装置对时间和空间方面的鲁棒性越高。这意味着由于本发明的识别装置 对对象的外表在不同视频序列中的变化具有较低的灵敏度，因此该装置能够 以高确定性识别对象的特性。
根据本发明的实施例，可以在不同的步骤中识别对象的特性。例如，首 先，可以基于视频序列的少量图像，例如5个图像中的颜色和强度信息对特 性进行识别。之后，例如在已经在该视频序列的更多个图像中看见该对象的 后期，可以基于该视频序列的较大量图像来完成对对象特性的精确识别。
根据本发明的实施例，对象特性识别器包括：直方图建模器108、直方 图变换器110、参数计算器112和对象特性计算器114。
直方图建模器108被布置为，通过若干个分布对所生成的颜色直方图进 行建模，在一个实施例中使用正态分布对所生成的颜色直方图进行建模，这 样减小了数据量。直方图变换器110被布置为将颜色直方图从笛卡尔坐标系 变换为以ρ表示强度并以α表示颜色的极坐标系。从而便于分离颜色直方图 中对象的特性与颜色直方图随环境而定的特性。参数计算器112被布置为计 算若干个分布的参数，其中参数是指示性的，用于识别对象的特性。对象特 性计算器114被布置为通过根据各参数对识别对象特性的重要性对参数进 行加权，来基于计算出的参数计算对象的特性。各参数的重要性例如可以在 测试步骤中预先被测试。摄像机10的通信单元150被布置为例如将与摄像 机10中的识别装置100从颜色直方图中识别出的对象的特性相关的信息传 达至跟踪设备，所述跟踪设备被布置在通信网络中的另一节点中，或可替换 地，被布置在同一摄像机中。
图3图示出根据本发明的跟踪设备200。该跟踪设备200包括接收器 202、匹配单元204、计算单元206和信号发生器208。接收器202被布置为， 从第一识别装置接收关于识别出的待跟踪对象的特性的信息，并从第二识别 装置接收关于识别出的候选对象的特性的信息。可替换地，第一识别装置和 第二识别装置可以是同一识别装置。匹配单元204被布置为将关于识别出的 候选对象的特性的信息与关于识别出的待跟踪对象的特性的信息进行匹配。 计算单元206被布置为基于匹配步骤来计算候选对象与待跟踪对象相同的 可能性。然后计算的结果作为信号发送给显示单元，例如视频中心中的显示 器，用于显示在显示器上，以向在监视中心工作的人员指示已经发现了匹配 /非匹配。计算的结果是指示候选对象与待跟踪对象相同的概率的概率值。 信号发生器208被布置为基于计算结果生成这样的信号。
图4图示出根据本发明实施例的用于识别由视频监视摄像机捕获的视 频序列中的对象的特性的方法。该方法包括以下步骤：识别302由视频监视 摄像机捕获的视频序列中的对象；基于该对象在该视频序列中多个图像的颜 色和强度信息来生成306颜色直方图；基于所生成的颜色直方图来识别该对 象的特性。
根据本发明的实施例，基于所生成的颜色直方图来识别该对象的特性的 步骤进一步包括以下步骤中的一个或多个步骤：通过若干个正态分布对该颜 色直方图进行建模308；将建模后的分布从卡笛尔坐标系变换310到极坐标 系；计算312用于识别该对象的特性的分布的参数；以及通过根据各参数与 该对象的特性的相关性对分布的参数进行加权，来基于计算出的该对象的参 数计算314该对象的特性。建模308和变换310的步骤可以任意的相互次序 发生。
根据本发明的实施例，该方法进一步包括由在各图像中对该对象进行描 述的像素数目对该对象在各图像中的颜色和强度信息进行归一化的步骤。该 归一化的步骤可以发生在生成306颜色直方图的步骤之前或之后。
在本发明的实施例中，计算312分布的参数的步骤包括：将该颜色直方 图从极坐标系变换到第二卡笛尔坐标系；将坐标的原点移到颜色直方图中该 对象的质心(the centre of mass)；计算所述若干个分布在第二卡笛尔坐标 系中的位置，其中所述若干个分布在第二卡笛尔坐标系中的位置被用作用于 识别该对象的特性的参数。
计算312分布的参数的步骤可以进一步包括：识别颜色直方图的质心和 颜色直方图分布；以及基于识别出的质心和识别出的颜色直方图分布来计算 用于识别该对象的特性的参数。在这种情况下，术语“颜色直方图分布”应 该被解释为描述该对象的块的聚类(a cluster of blobs)的颜色直方图中的扩 张。该直方图可以被描述为包括若干个块，其中每个块被定义为单色对象部 分，并且其中该对象被描述为这种单色对象部分的聚类。
图5图示出根据本发明实施例的在视频监视系统中跟踪对象的方法。该 方法包括：在由第一视频监视摄像机捕获的第一视频序列中识别402待跟踪 对象；根据图4所示的方法来识别404该待跟踪对象的特性；在由第二视频 监视摄像机捕获的第二视频序列中识别406候选对象；根据图4中所示的方 法来识别408该候选对象的特性；将识别出的该候选对象的特性与识别出的 该待跟踪对象的特性进行匹配410；基于所述匹配步骤来计算412该候选对 象与该待跟踪对象相同的可能性；以及生成414指示该候选对象与该待跟踪 对象相同的可能性的信号。
所生成的信号可以在监视中心的操作员的屏幕上以可视的方式显示。然 后该操作员可以使用该信息以可视的方式进一步检查在两个视频序列中是 否确实存在候选对象与待跟踪对象之间的匹配。
在本发明的可替换实施例中，第一视频监视摄像机和第二视频监视摄像 机可以同一台视频监视摄像机，在这种情况下，第一视频序列和第二视频序 列是由同一台摄像机捕获的分离视频序列。
视频监视摄像机和/或视频监视系统中的其它节点可以具有被布置为接 纳存储计算机程序产品的计算机可用介质的计算机。该计算机程序产品包括 计算机可读程序工具，该计算机可读程序工具用于使该计算机执行在视频序 列中识别对象特性的方法步骤和/或执行根据本发明的在视频监视系统中跟 踪对象的方法步骤。
理论
本章包括所调查的问题背后的基本理论。第一部分讨论调查中所使用的 配备，第二部分论述数学。
在调查期间，已经产生了用于研究、训练和验证的视频序列。所使用的 摄像机是安讯士(Axis)207网络摄像机和安讯士210网络摄像机，两者都 具有自动白平衡和曝光控制。这些摄像机使用两种不同的传感器技术，前一 种摄像机中使用数字传感器CMOS，后一种摄像机中使用模拟传感器CCD。 于是，与适于特定摄像机或传感器技术的方法相比，本申请中所描述的方法 在更通用的技术环境中被开发。视频序列已经被捕获为MJPG文件。每个 MJPG文件由一系列JPG文件组成。这些文件是分离的，并被转换为PPM 文件，这些PPM文件被用作调查中的数据，虽然任何种类的图像格式都可 以用于实施本发明。
下面的部分对白平衡和颜色空间问题进行更深入的描述，并且还论述这 些领域的数学方面。
我们周围的大多数光源是辐射黑体。它们的光谱强度取决于它们的温 度，并且由黑体辐射的普朗克法则给出：
$I(?,T)=\frac{{2h?}^3}{c^2}\frac{1}{e^{[(h?)/\mathrm{kT}]}-1}$
其中，I是光谱辐射率，？是频率，T是温度，h是普朗克常数，c是光速， e是自然对数的底数，k是玻尔兹曼常数。
由于黑体辐射，低温光源向红色偏移(例如电灯泡)，而高温光源向蓝 色偏移(例如太阳)。
从对象反射的光的颜色取决于该对象的颜色和入射光的颜色。人脑作出 调整以补偿周围光的颜色，因此人类看到与入射光无关的对象的正确颜色。 然而，常规的摄像机不会作出这些调整，这影响了图像的颜色(例如，如果 场景中的入射光是蓝色，那么白色对象可能在图像中会变得有点蓝)。为了 创建示出对象的真实颜色的图像，必须采用白平衡算法。该算法以一定的准 确性使得场景中的白色对象在图像中为白色，并且使所有其它颜色也变为正 确的颜色。
网络摄像机使用传感器来捕获图像。这些传感器通常使用RGB或 CMYG颜色空间。人眼对颜色的灵敏度低于对光强的灵敏度，因此颜色所 需的分辨率低于强度所需的分辨率。为此，在图像压缩中最好分开处理颜色 和强度。因此，由于图像在被压缩为JPEG格式或MPEG格式之前被转换为 YCbCr颜色空间，其中Y包含强度信息，Cb和Cr包含颜色信息。由于不 需要进一步的转换，因此这使得YCbCr成为所有的图像处理的优选颜色空 间。图6示出相对于RGB颜色空间的YCbCr颜色空间。
YCbCr颜色空间是由以下等式定义的RGB颜色空间的线性映射：
$\left(\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.169& -0.331& 0.500\\ 0.500& -0.419& -0.0813\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)$
其中0≤R，G，B≤256，0≤Y≤256，并且-128≤Cb，Cr≤128。
方法
首先，对视频监视摄像机所捕获的图像进行预处理，以对识别出的对象 进行正确的分割。在图7a中示出包括识别出的对象的图像，该对象是一个 室内环境中的人。在图7b中，该对象已经被分割，即图像中与该对象不相 对应的部分已经被删除。该分割可以通过任何已知的分离对象与场景的剩余 部分的分割方法来执行。
已经证明，识别对象的特性和基于识别出的待跟踪对象的特性和识别出 的候选对象的特性在两个不同的视频序列之间跟踪对象的最有前途的特征 之一是颜色。使用人的颜色直方图作为特征应该对诸如形状变化、较小的局 部掩蔽(partial occlusion)、方位变化和观察位置移位之类的改变不敏感。 另一方面，颜色直方图特征对照明的颜色和强度的变化很敏感。因此，最好 使用强度信息和颜色信息可以分离的颜色空间，例如，由于改变照明的强度 和改变照明的颜色的影响在YCbCr颜色空间中是分离的，因此最好使用 YCbCr颜色空间，而不使用RGB作为颜色空间。近似地，照明的强度沿Y 轴变化，而照明的颜色在CbCr平面中变化。可以利用这一知识调整照明中 的变化。YCbCr颜色空间还更适合在硬件应用中使用，如前面所提及的。
以三维颜色空间来工作不仅消耗大量的计算机能力，并且很难呈现以用 于分析。二维数据(在CbCr、YCb和YCr平面中)会更为方便。在图8中 可以看出，YCbCr颜色空间并不是立体的。因此，不同照明强度下的单色对 象不会平行于Y轴延伸，而是沿着图8中看到的线延伸。正确的做法是沿 这些线投影到CbCr平面上，但是在本文献中为了简化而做了近似。YCbCr 直方图到所有三个平面的直线投影已经用于创建二维直方图。
为了根据本发明来生成待用于在视频序列中识别对象的特性的直方图， 需要该视频序列的多个图像。来自视频序列的用于生成直方图的图像越多， 使用的信息就越多，并且该方法的鲁棒性就变得越高。优选地，由所使用的 所有图像中组成该对象的像素的数目对直方图进行划分，以使该方法对于对 象被观察的不同时间和比例尺而言是不变的。当以颜色直方图作为特征来工 作时，由于不使用人的不同部位的位置，因此该方法对于图像中的空间变化 而言是不变的。例如一个人是将夹克拿在他手里或者穿着，在颜色直方图中 都无关紧要。一个人在第一场景中的这些特征在图9a中示为从左到右依次 呈现的人的CbCr、YCb和YCr直方图。每对中的第一变量在纵轴上呈现， 而每对中第二变量在横轴上呈现。在Cb和Cr刻度上增加了128的偏移量。
同一个人在另一场景中的特征在图9b中示为这个人的CbCr、YCb和 YCr直方图。这两个场景中的照明颜色具有很大的差异。在场景之一中，照 明主要由向蓝色偏移的室外光组成，该对象被这种光来照明。但是这里也存 在向红色偏移的室内光。在该场景中这种光对白色的对象进行照明，因此摄 像机对这种照明进行白平衡，这导致该对象的颜色不正确。因此图9a和图 9b中的直方图不是很相似。使用这种数据来辨认人是难以解决的问题，因 此如果摄像机的白平衡尽力实现好的结果，则是有利的。这通过使用一种类 型的光源来保证。该文献的最终方法是使用一种类型的光源验证的，尽管测 试已经表明使用不同类型的光源也能实现好的结果。
在图10a和10b中可以看到一个人在两个不同场景中的CbCr、YCb和 YCr颜色直方图，其中使用了一种类型的光源。在图10a和10b中，一个人 的CbCr、YCb和YCr直方图从左到右依次呈现。每对中的第一变量在纵轴 上呈现，每对中的第二变量在横轴上呈现。在Cb和Cr刻度上增加了128 的偏移量。图10a和10b中的颜色直方图之间的相似性远大于图9a和9b中 的场景之间的相似性。对多个人的直方图(来自两个不同的场景)的分析表 明，当待辨认的对象为人类时，只要人趋向于穿着温和颜色的衣服，那么 CbCr平面在用于辨认时不像YCb和YCr平面那么有用。因此，CbCr平面 中的数据经常集中到接近原点的位置，并且表示不同颜色的对象(衣服的片) 的块重叠。所以，优选使用YCb和YCr直方图作为用于辨认穿着温和颜色 的衣服的人的特征。
匹配特征
为了能够在不同的视频序列中辨认人，将来自不同视频序列的特征彼此 进行匹配。文献中已经提出多种对直方图进行匹配的方法。这类方法可以直 接使用。这类用于对直方图进行匹配的方法之一是直接比较直方图中的柄 (bin)。实现该比较的一种途径是使用巴氏(Bhattacharyya)系数，该巴氏 系数是两个直方图中对应柄的乘积的平方根之和。D.Comaniciu、V.Ramesh 和P.Meer在IEEE计算机视觉和模式识别(Computer Vision and Pattern Recognition)(2000)的“Kernel-based object tracking(基于内核的对象跟 踪)”中对该方法进行了描述。
二次曲线匹配(conic matching)是用于对块特征进行匹配(例如在视 图匹配)的替换匹配方法。二次曲线匹配算法将具有相似颜色的像素分割为 类似于椭圆形的块。然后将一个图像中发现的块与其它图像中的块进行比 较，来察看它们是否匹配。在该比较中使用的特征是块的颜色、形状和位置。 P.E.Forssén和A.Moe在林克平大学( University)电气工程系的 开放课件中的“View matching with blob features(使用块特征的视图匹配)” 中对该匹配方法进行了描述。
可以在本发明中使用的另一种匹配方法是，使用正态分布对直方图进行 建模，然后使用模型的参数作为匹配特征。这会大大降低数据量。
诸如期望最大化(Expectation Maximization，EM)算法的分布拟合算 法通过一组正态分布来对未知的分布进行建模。EM算法使用给定数目的正 态分布(类)和这些类的初始参数估计来开始。然后对两个步骤进行迭代， 直到满足停止判据为止。这些步骤是使用当前参数的期望步骤(E步骤)， 然后是寻找新的参数的最大化步骤(M步骤)。EM算法不必收敛来获取有 用的结果，但是该模型在每次迭代后变得更好。由于需要可以实时应用的快 速方法，因此这在该论题上是有用的。以下以及在隆德大学(Lund University) 2005年的“Image Modeling and Estimation，a Statistical Approach(图像建模 和估计，一种统计方法)”第2.3.3章The EM-algorithm for unknown distributions(未知分布的EM算法)中对EM算法进行了更详细的描述。
由于已分割的对象图像中的黑色背景，测试人的所有直方图中的Y＝0 且Cb，Cr＝0处均存在尖峰。这些尖峰干扰了EM算法，并且它们不包含关于 该对象的信息，因此被删除。所有的直方图除了具有块之外，还具有总体分 布(underlying distribution)。因此将矩形分布添加到模型中。因此，完成 了对EM算法的调整。该算法也可以被调整以处理直方图。
当对分布进行建模时，可以人工确定或通过任何种类的已知自动方法来 计算矩形分布的相对频率以及类的最优数目。使用不同数目的类即不同数目 的正态分布建模后的直方图示于图11a-c中。这些图中的每一个由两个图像 组成：直方图示于左边图像中，使用正态分布建模的直方图以αρ坐标示于 右边的图像中，这将在下面在本文献中给出。变量α在纵轴上呈现。在图 11a中，K＝2，其中K是在建模后的直方图中所使用的正态分布的数目，在 图11b中，K＝3，在图11c中，K＝4。对于每个直方图，该算法还根据初始 参数估计向几个不同的模型迭代。大多数直方图具有多于一个，通常是两个 可能的正态分布模型。可以人工或通过任意类型的自动方法来选择使用这些 模型中的哪一个。
为了获取初始参数估计，使用K均值(K-means)算法的一次迭代。 J.B.Mac Queen在1967年第5届数学统计和概率的伯克利学术会议(5th Berkeley Symposium on Mathematical Statistics and Probability)第281-297页 中的“Some methods for classification and analysis of multivariate observations (用于多变量观测的分类和分析的若干方法)”中对K均值算法进行了描 述。K均值算法将每个类的一个聚类中心随机地布置在直方图中，然后将柄 聚类到最接近的聚类中心。最后，针对不同的聚类来计算初始参数。
以下描述调整后的用于具有矩形分布的直方图的EM算法。在该算法 中，hj是直方图的柄的高度，二维zj是与柄对应的坐标(Y以及Cb或Cr)； j＝1，...，H，其中H是非空柄的数目；k＝0，...，K，k是类数目，其中K是正 态分布的数目，并且k＝0表示矩形分布；Θk＝{μk，∑k}是分布参数，其中μ＝E(z) 是期望值，并且∑＝E((z-μ)(z-μ)T)是分布的观测z的协方差矩阵；πk表示相 对频率，并且Ψk＝{πk，Θk}。
K均值算法的一个步骤是运行并且将所有柄进行分类。当假设统一的初 始相对频率并具有条件
$\underset{k=1}{\overset{K}{\Sigma }}{\pi }_k=1-{\pi }_0$
时，其中k＝1，...，K和π0＝C，C是人工选择的常数，初始相对频率估计πk0 由
${{\pi }_k}^0=\frac{1-{\pi }_0}{K}$
确定。
初始期望值μk0由
${\bar{\mu }}_k^0=\frac{1}{{\Sigma }_{j\in k}{h}_j}\underset{j\in k}{\Sigma }{h}_j{\bar{z}}_j$
确定，其中k＝1，...，K，k表示不同的类。j∈k表示已经被归类为类k的柄 j。
假设分布在不同的维度中不相关，换句话说，初始协方差矩阵∑k0不具 有协方差，并且所有的类的方差相同。使∑k0＝∑，其中对于k＝1，...，K，
$\Sigma =\left[\begin{array}{cc}\underset{j=1}{\overset{H}{\Sigma }}{u_j}^1{u_j}^1{h}_j& 0\\ 0& \underset{j=1}{\overset{H}{\Sigma }}{u_j}^2{u_j}^2{h}_j\end{array}\right]$
并且uj∈k＝zj∈k-μk。uj是二维变量 $({\bar{u}}_j=\left[\begin{array}{c}{u}_j^1\\ u_j^2\end{array}\right]),$ 其中uj1是Y部分，uj2是 Cb或Cr部分。
EM算法使用具有附属(belonging)柄h＝{h1，...，hH}}的数据z＝{z1，...zH} 来估计Ψ＝{π，Θ}。变量y＝(z，ω)是针对各个z，完成模型选择的z的形式，让 p(z|Ψ)成为所观测的数据z的似然，并让p(z|Ψ)成为y的似然， p(y|Ψ)＝∏j＝1Hπωjp(zj|ωj，Θωj)。
给定初始参数估计Ψ0，对以下步骤进行迭代。E步骤：估计
Q(ψ，ψ(t))＝E(log(p(y|ψ))|z，h，ψ(t))
$Q(\psi ,{\psi }^{\left(t\right)})=\underset{j=1}{\overset{H}{\Sigma }}\underset{K=1}{\overset{K}{\Sigma }}{h}_j{p}_{j,k}^{\left(t\right)}(\log {\pi }_k+\log p\left({\bar{z}}_j\right|w_j=k,{\Theta }_k))$
其中，
$p_{j,k}^{\left(t\right)}=P(w_j=k|{\bar{z}}_j,h_j,{\psi }^{\left(t\right)})$
使用贝叶斯公式并对于k＝1，...，K，得到
$p_{j,k}^{\left(t\right)}=\frac{{\pi }_k^{\left(t\right)}p\left({\bar{z}}_j\right|w_j=k,{\Theta }_k^{\left(t\right)})}{{\pi }_{0}p\left({\bar{z}}_j\right|w_j=0)+{\Sigma }_{k=1}^K{\pi }_k^{\left(t\right)}p\left({\bar{z}}_j\right|w_j=k,{\Theta }_k^{\left(t\right)})}$
对于矩形分布(k＝0)的特殊情况
$p_{j,0}^{\left(t\right)}=\frac{{\pi }_{0}p\left({\bar{z}}_j\right|w_j=0)}{{\pi }_{0}p\left({\bar{z}}_j\right|w_j=0)+{\Sigma }_{k=1}^K{\pi }_k^{\left(t\right)}p\left({\bar{z}}_j\right|w_j=k,{\Theta }_k^{\left(t\right)})}$
其中，在前面两个等式中j＝1，...，H，并且t是迭代次数。ωj＝k意味着柄数 目j已经被归类为类号码k。
回忆起我们有正态分布，对于k＝1，...，K，并且j＝1，...，H
$p\left({\bar{z}}_j\right|w_j=k,{\Theta }_k^{\left(t\right)})=\frac{1}{\sqrt{{\left(2\pi \right)}^d\left|{\Sigma }_k\right|}}\exp (-\frac{1}{2}{({\bar{z}}_j-{\bar{\mu }}_k)}^T{\Sigma }_k^{-1}({\bar{z}}_j-{\bar{\mu }}_k))$
d＝2是维数(Y以及Cb或Cr)。p(zj|wj＝0)被近似设置为1/2562。p(zj|wj＝0) 应该是1/A，其中A是颜色平面的面积。该近似并不影响该结果，但是该表 述失去了其统计意义。
M步骤：使用拉格朗日乘法寻找在 ${\pi }_0+{\Sigma }_{k=1}^K{\pi }_k=1$ 的条件下使Q(Ψ，Ψ(t))最 大化的Ψ＝Ψ(t+1)，以使约束最优化，对于k＝1，...，K，给定
${\bar{\mu }}_k^{(t+1)}=\frac{1}{{\Sigma }_{j=1}^H{p}_{j,k}^{\left(t\right)}{h}_j}\underset{j=1}{\overset{H}{\Sigma }}{p}_{j,k}^{\left(t\right)}{\bar{z}}_j{h}_j$
对于k＝1，...，K，给定
${\Sigma }_k^{(t+1)}=\frac{1}{{\Sigma }_{j=1}^H{p}_{j,k}^{\left(t\right)}{h}_j}\underset{j=1}{\overset{H}{\Sigma }}{p}_{j,k}^{\left(t\right)}{h}_j{({\bar{z}}_j-{\bar{\mu }}_k^{(t+1)})}^T({\bar{z}}_j-{\bar{\mu }}_k^{(t+1)})$
对于k＝1，...，K，给定
${\pi }_k^{(t+1)}=\frac{1-{\pi }_0}{n-{\Sigma }_{j=1}^H{p}_{j,0}^{\left(t\right)}{h}_j}\underset{j=1}{\overset{H}{\Sigma }}{p}_{j,k}^{\left(t\right)}{h}_j$
其中n是直方图中的像素数目。
在本发明中可以使用矩形分布来对直方图中的噪声进行建模，从而可以 在直方图中从感兴趣的信息中减去噪声。当对直方图进行建模时，通常使用 二到五个分布进行建模比较合适。然而，也可以使用更少或更多个分布。在 对直方图进行建模时所使用的分布的数目还可以称作类，其中类K＝2意味 着使用了两个分布。当将矩形分布增加到模型中时，需要更少的类，但是模 型与直方图的相似性会降低。这在图12中可以看出，图12示出YCb中测 试人的直方图和该直方图的具有不同的矩形分布相对频率(π0)的对应正态 分布。直方图在左上角呈现。可以看出，该直方图的具有不同相对频率(π0) 的矩形分布的对应正态分布模型在图中从左到右从上到下增加π0。这里 0＜＝π0＜＝0.35。在Cb上增加了128的偏移量。
由于必须对另一个参数(矩形分布的相对大小)进行调整，或人工调整 或自动调整，因此，这个问题还变得更加复杂。因此在本文献中不再使用矩 形分布，并且在以上的算法中矩形分布的相对频率被设置为0(π0＝0)， 尽管矩形分布可以用作本发明的另一实施例。
度量
本节涉及测量不同视频序列中对象之间的相似性的度量的开发。第一部 分包含关于使用哪个变量的讨论，在第二部分中开发度量函数。
度量变量
参数(针对类k＝1，...，K的μk，∑k和πk)可用于创建度量，但是出于 若干个原因，通过直接比较这些参数可能难以获得好的结果。由于改变不同 场景中光的强度和颜色，因此块在直方图中的位置会变化。这使得很难将正 态分布期望值(μk)的值当作度量函数的直接输入来对待。正态分布的协方 差矩阵(∑k)和相对频率(πk)均依赖于场景中的光以及分布拟合算法建 立直方图的模型的方式。它们描述了正态分布的维数。此外，块并不会沿坐 标轴向延伸，而是沿图8中示出的线延伸。由于方差和协方差是沿Y、Cb 和Cr轴测量的，因此如果块略微旋转，则方差和协方差就会有很大的变化。 所以很难对协方差矩阵进行相互比较。相应地，∑k和πk在辨认中都是不稳 定的特征。
如果使用了具有沿块延伸的轴的坐标系，那么协方差矩阵就会容易分析 和用作辨认特征。因此，将坐标系从YCb或YCr变为图13中所示的具有坐 标ρ和a的坐标系，并且由下式来定义：
$\alpha =\frac{180}{\pi }\arctan (-\frac{C}{Y})$
$\rho =\sqrt{C^2+Y^2}$
其中C表示Cb或Cr，ρ以度数为单位给出。在新的坐标系中，照明的强度 变化粗略地导致块在ρ方向上的位置变化，并且光的颜色变化粗略地导致块 在α方向上的位置变化。在对模型进行比较时，可以使用上述知识。有利地， 原点可以位于Y＝256且C＝0，而不是Y＝0且C＝0。否则α无法描绘图8中 示出的线的方向。然而，这仅发生在黑暗场景中捕获了极亮对象的情况下， 当对象是人时，这种情况不太可能发生。因此，在大多数情况下，可以进行 近似，并且可以将原点置于Y＝0且C＝0的位置。
图14在图的左边示出采用YCb的直方图，并且在图的右边示出以α和 ρ作为坐标轴的新坐标系中的同一直方图，其中α在纵轴上呈现，ρ在横轴 上呈现。在Cb上增加了128的偏移量。
两个不同视频序列之间可能至少出现三种类型的影响模型的变化：
●块的整个聚类在ρ和α方向上的平移(translation)。
●块的整个聚类的旋转。
●块相对彼此的内部平移。
然后将与场景和环境有关的变化从与对象有关的变化中分离出来。接 着，相对于它们在该对象的辨认中的重要性，赋予它们在度量函数中的不同 权重。
为了测量整个聚类的平移，使用直方图中的质心(ρcw和αcw)，其由以 下等式来定义：
${\rho }_{\mathrm{cw}}=\frac{{\Sigma }_{j=1}^H{h}_j{\rho }_j}{{\Sigma }_{j=1}^H{h}_j}$
${\alpha }_{\mathrm{cw}}=\frac{{\Sigma }_{j=1}^H{h}_j{\alpha }_j}{{\Sigma }_{j=1}^H{h}_j}$
其中H是直方图中非空的柄的数目，hj是柄数目的高j。
还可以在YCr或YCb平面中或YCbCr空间中直接计算质心。
为了估计聚类的旋转，要获取控制方向，即聚类的中心轴。获取该中心 轴的一种方法是主分量分析(PCA)算法。然而，还存在若干种针对此目的 的其它算法。在隆德大学(Lund University)2005年的“Image Modeling and Estimation，a Statistical Approach(图像建模和估计，一种统计方法)”第2.3.4 章Data reduction(数据减少)中对PCA进行了描述。在本发明的实施例中， 该算法可以考虑直方图中的每个样本具有权重。加权PCA算法是这种算法 的一个例子。以下描述加权PCA。
在该算法中，hj是直方图的柄的高度，其被用作权重。两维Zj是格子的 两个坐标，Zj＝(ρj，αj)。j＝1，...，H，其中H是非空柄的数目。
通过使协方差矩阵∑对角化来找出具有附属权重hj，j＝1，...，H的数据Zj 的主分量。
∑＝PΛPT
$\Sigma =\frac{1}{{\Sigma }_{j=1}^H{h}_j}\left[\begin{array}{cc}{\Sigma }_{j=1}^H{h}_j{\rho }_j{\rho }_j& {\Sigma }_{j=1}^H{h}_j{\rho }_j{\alpha }_j\\ {\Sigma }_{j=1}^H{h}_j{\alpha }_j{\rho }_j& {\Sigma }_{j=1}^H{h}_j{\alpha }_j{\alpha }_j\end{array}\right]$
其中∑j＝1Hhj是直方图中像素的数目。Λ是具有特征值λ1≥λ2的降序对角矩阵。 P是正交矩阵，其中列Pj是属于λi的特征向量。用作参考方向的第一主方向 是P中与最大特征值对应的特征向量。为了保证明确的结果，在需要时改变 P1和P2的符号，以使P1点在负ρ方向上，P2点在正α方向上。
为了测量块相对于彼此的内部运动，使用一种新的内部聚类坐标系。该 坐标系示于图15中。参考方向被转换为参考角度φ，该参考角度在正α方 向处开始逆时针增加。原点位于聚类的质心(cw)，并且所使用的轴是根据 上述算法得到的两个主方向(P1和P2)，即内部聚类坐标轴。到新坐标的变 换由以下等式来定义：
[p1 p2]＝[α-αcw ρ-ρcw]·P
其中p1和p2是新坐标，α和ρ是旧坐标，ρcw和αcw是聚类的质心的α和ρ坐 标。P是以第一主方向和第二主方向分别作为列的2×2的矩阵。由于P的行 列式为1，因此不需要考虑因为变换而引起的比例变化。
在度量函数中最终使用的变量是整个聚类的质心(ρcw和αcw)、整个聚 类的参考角度(φ)、不同类的相对频率(πk)和正态分布(p1k和p2k)在 内部聚类坐标系中的位置，其中再一次说明k＝1，...，K是类号码，而K是 当前模型中类的总数。
度量函数
由于在辨认时度量函数中的变量的重要性不一定相等，因此可以根据它 们的重要性来将它们对最终两个被比较的对象之间的相似程度的影响进行 加权。所以总函数被构建为加权的子函数之和。根据一实施例，子函数被构 建为两个被比较的模型中变量之间的偏差的二次函数。使用二次子函数代替 线性函数来适当地使大的偏差受到比小的偏差更多的惩罚。子函数从0到1， 其中最大的偏差为0，1相当于根本没有偏差。最终将属于变量的权重加到 子函数上。处理连接至个别块而不是整个聚类的变量的子函数也被除以块数 目最小的模型中的块数目。这是以使总函数在0与1之间延伸的方法来实现 的，其中如果对两个相同的模型进行比较，则接收后者的结果。
在以下的等式1.1中，可以看出一般(general)变量x的子函数f(x1，x2) 的构建。x1是模型1中的变量值，x2是模型2中的变量值，其中模型1是正 态分布数目最大(K1是模型1中正态分布的数目)的模型，模型2是正态分 布数目最小(K2是模型2中正态分布的数目)的模型。
$f(x_1,x_2)=W_x·(1-\frac{{\left(\mathrm{\Delta x}\right)}^2}{{\left(({\mathrm{\Delta x}}^{\max }\right)}^2})---\left(1.1\right)$
其中0≤Wx≤1，并且∑x∈UWx＝1，U＝{ρcw，αcw，φ，π，p1，p2}是矩阵中所使用的 所有变量组成的集合。Δx＝|x1-x2|和Δxmax是当前变量的最大可能偏差， Δρcwmax＝256，Δαcwmax＝90，Δφmax＝180，Δπmax＝1，Δp1max＝271，Δp2max＝271。
当对两个模型中的块进行相互匹配时，最相称的块对首先匹配。然后， 剩余的块中最相称的块对匹配，以此类推，直到块数目最小的模型中所有的 块与另一模型中的块匹配为止。用于匹配块的函数h(k1，k2)由下式来定义：
$h(k_1,k_2)=\underset{x\in T}{\Sigma }f(x_1,x_2)---\left(1.2\right)$
其中f由公式1.1定义，并且T＝{π，p1，p2}是矩阵中连接至个别块而不是块的 聚类的所有变量的集合。注意到这些变量针对模型的每个正态分布都具有一 个值，即在模型1中是πk1、p1k1、p2k1，并且在模型2中是πk2、p1k2、p2k2， 其中1≤k1≤K1，并且1≤k2≤K2。该函数给出模型1和模型2中一对正态分 布之间的相似性值，但是在能够确定最优匹配之前，应当对两个模型中类的 所有可能匹配组合都进行测试。在总度量函数中，仅使用最优匹配。
如果在两个被比较的模型中有不同数目的块，那么惩罚函数 p(K1，K2，πk1)在总度量函数中对此进行惩罚，总度量函数由以下等式来定义：
$F(K_1,K_2,{\pi }_{k1},k_1,k_2,x_1,x_2)=H(k_1,k_2)-p(K_1,K_2,{\pi }_{k1})+\underset{x\in R}{\Sigma }f(x_1,x_2)---\left(1.3\right)$
其中F≤1。在没有p的情况下，该函数在0与1之间延伸。f(x1，x2)如等式 1.1那样构建。R＝{ρcw，αcw，φ}是连接至整个聚类而不是个别块的所有变量的 集合。p(K1，K2，πk1)由以下的等式1.2定义：
$p(K_1,K_2,{\pi }_{k1})=\frac{\Delta K^2}{10}\underset{k_1\in V}{\Sigma }\frac{1}{K_1}{\pi }_{k1}---\left(1.4\right)$
其中K1是模型1中正态分布的数目，K2是模型2中正态分布的数目，K1≥K2， 并且ΔK＝K1-K2。πk1是模型1中类k1的相对频率，1≤k1≤K1。V是由模型 1中不与模型2中的任意一个块相匹配的所有块组成的集合。p的构建是关 于在两个不同的序列中获取不同的块数目的可能性的实际测试和分析的结 果，尽管在两个不同的序列中观察到相同的人。如果序列中的块数目仅有小 量不同，例如仅有一块不同，其它块很好地互相匹配，则度量函数应当仍给 出高的相似性值，例如，如果这个人穿着一件在前面具有大的标记的运动衫， 该标记只在一个场景中能够看到。然而，如果块的数目差别大于1，则在两 个序列中具有相同的人的可能性很小。因此p正比于2的ΔK次幂。即使是 相同的人观察，小的块相对于大的块而言，在序列之间丢失块的可能性更高。 对于与仅由少量块组成的人而言相比由很多块组成的人来说，这种情况是事 实。因此p正比于不匹配的块的相对频率πk1并且反比于模型1中块的数目 K1。最后，该公式被除以变量Z＝10，以得到合适的值。H(k1，k2)由以下等式 定义：
$H(k_1,k_2)=\frac{1}{K_2}\underset{\{k_1,k_2\in S\}}{\Sigma }h(k_1,k_2)---\left(1.5\right)$
其中h(k1，k2)由等式1.2定义，并且S是在两个模型中的块之间发现的最优匹 配的集合。
等式1.3是在本文献的测试和验证部分中用于测量被比较的对象之间的 相似性的度量函数，该等式可以在matlab中实现。
验证
本章论述对所提出的用于在视频序列中识别对象的特性的方法以及对 所提出的用于在视频监视系统中跟踪该对象的方法进行的训练和测试。第一 节描述训练部分，在这里确定度量的权重。然后在第二节中介绍测试和结果。
训练
为了确定度量函数中所使用的权重(W＝{Wρcw，Wαcw，Wφ，Wπ，Wp1，Wp2，})，使用 了训练数据的集合。该集合由来自具有相似照明条件的两个不同场景(1和 2)的六个视频序列(L1、L2、M1、M2、N1和N2)组成，其中每个场景有 三个序列。这些视频序列中的每一个已经捕获了在当前场景中来回走动的测 试人。使用了三个测试人(L，M和N)，每个测试人产生两个序列，一个 序列来自于一个场景。在两个场景中，摄像机位置和视角不相同，并且到对 象的距离和所观察的对象的部位在序列之间有所变化。来自视频序列L1的 图像可以在图16a中看到，来自视频序列L2的图像可以在图16b中看到。
通过所提出的方法，针对各个训练序列创建直方图和正态分布模型。针 对测试序列，在模型中使用以下分布数目，L1使用K＝3，L2使用K＝3，M1 使用K＝3，M2使用K＝3，N1使用K＝5，N2使用K＝5，其中K是所使用的正 态分布的数目。在图17a和17b中，在每个图中以从左到右的次序示出针对 L1和L2的三个直方图：YCb中的直方图；？-a中的直方图；？-a中的直方图 模型。图17a示出L1的直方图和模型，图17b示出L2的直方图和模型。
使用所提出的度量以所有可能的组合对所有六个序列进行相互比较。当 对包含相同的人的两个序列进行比较时，度量函数的期望输出是高相似性 值，而当对包含不同的人的两个序列进行比较时，度量函数的期望输出是低 相似性值。在权重W变化时这些结果也变化，并且选择了这样一种权重组 合作为权重的最优组合，即包含相同的人的序列之间的最低相似性值与包含 不同的人的两个序列之间的最高相似性值之间的差值最大化。为了找出最优 权重，在例如Matlab中使用了简单的for循环，以在W的所有可能组合中 循环。在0≤WX∈U≤1且∑X∈UWX＝1的约束条件下，使用0.04的增量，其中 U＝{ρcw，αcw，φ，π，p1，p2}。随后在本论文的测试部分中使用最优权重Wopt。由 于使用两维数据来工作，因此，该优化必须在YCb平面中进行一次，并且 在YCr平面中进行一次，得到WoptCb和WoptCr，这可以从以下等式中看出：
${\bar{W}}_{\mathrm{opt}}^{\mathrm{Cb}}=\left[\begin{array}{cccccc}0.16& 0.80& 0.00& 0.00& 0.04& 0.00\end{array}\right]$
${\bar{W}}_{\mathrm{opt}}^{\mathrm{Cr}}=\left[\begin{array}{cccccc}0.04& 0.84& 0.04& 0.00& 0.08& 0.00\end{array}\right]$
其中并且C是Cb或Cr。
以下列方式给出相似性矩阵SCb和SCr，所述相似性矩阵示出在场景1和 2中所比较的训练人L、M和N的所有可能组合的相似性值：
$S^C=\left[\begin{array}{cccccc}{L}_1{L}_1& L_1{L}_2& L_1{M}_1& L_1{M}_2& L_1{N}_1& L_1{N}_2\\ L_2{L}_1& L_2{L}_2& L_2{M}_1& L_2{M}_2& L_2{N}_1& L_2{N}_2\\ M_1{L}_1& M_1{L}_2& M_1{M}_1& M_1{M}_2& M_1{N}_1& M_1{N}_2\\ M_2{L}_1& M_2{L}_2& M_2{M}_1& M_2{M}_2& M_2{N}_1& M_2{N}_2\\ N_1{L}_1& N_1{L}_2& N_1{M}_1& N_1{M}_2& N_1{N}_1& N_1{N}_2\\ N_2{L}_1& N_2{L}_2& N_2{M}_1& N_2{M}_2& N_2{N}_1& N_2{N}_2\end{array}\right]$
其中C是Cb或Cr。
使用[W]optCb和[W]optCr得出
$S^{\mathrm{Cb}}=\left[\begin{array}{cccccc}1.0000& 0.9992& 0.9746& 0.9759& 0.9782& 0.9745\\ 0.9992& 1.0000& 0.9777& 0.9789& 0.9792& 0.9756\\ 0.9746& 0.9777& 1.0000& 0.9995& 0.9696& 0.9597\\ 0.9759& 0.9789& 0.9995& 1.0000& 0.9709& 0.9685\\ 0.9782& 0.9792& 0.9696& 0.9709& 1.0000& 0.9990\\ 0.9745& 0.9756& 0.9597& 0.9685& 0.9990& 1.0000\end{array}\right]$
$S^{\mathrm{Cr}}=\left[\begin{array}{cccccc}1.0000& 0.9997& 0.9805& 0.9730& 0.9548& 0.9582\\ 0.9997& 1.0000& 0.9798& 0.9721& 0.9548& 0.9582\\ 0.9805& 0.9798& 1.0000& 0.9999& 0.9766& 0.9799\\ 0.9730& 0.9721& 0.9999& 1.0000& 0.9769& 0.9800\\ 0.9548& 0.9548& 0.9766& 0.9769& 1.0000& 0.9996\\ 0.9582& 0.9582& 0.9799& 0.9800& 0.9996& 1.0000\end{array}\right]$
相同的人之间在Cb中的最低相似性值为0.9990，并且不同的人之间在 Cb中的最高值为0.9792，有0.0198的差值。对于Cr而言，同样的值为0.9996 和0.9805，有0.0191的差值。
测试
为了测试所提出的辨认方法，执行类似于训练程序的程序。从与训练集 合中相同的两个场景(1和2)中捕获八个视频序列(E1、E2、F1、F2、G1、 G2、H1和H2)的测试集合。使用了四个测试人(E，F，G和H)，每个测 试人产生两个序列，一个序列来自一个场景。与摄像机位置、视角、到对象 的距离和所观察的对象的部位有关的条件与训练序列中相同。来自视频序列 E1和E2的图像示于图18a-b中。
正如在训练程序中，针对各个测试程序来创建直方图和直方图的正态分 布模型。该训练程序中，在模型中使用以下的分布数目，E1使用K＝2，E2 使用K＝2，F1使用K＝3，F2使用K＝3，G1使用K＝3，G2使用K＝3，H1使用 K＝3，H2使用K＝3，其中K是所使用的正态分布的数目。视频序列E1和E2 的序列直方图和对应的模型在图19a-b中给出，每个图由三个图像组成，这 些图像从左到右示出：YCb中的直方图；？-a中的直方图；？-a中的直方图模 型。
使用来自训练的相似性函数和权重，以所有可能的组合对所有八个序列 进行相互比较。在序列1和2中相比较的测试人E、F、G和H之间的相似 性值以下列方式在两个相似性矩阵中给出：
$S^C=\left[\begin{array}{cccccccc}{E}_1{E}_1& E_1{E}_2& E_1{F}_1& E_1{F}_2& E_1{G}_1& E_1{G}_2& E_1{H}_1& E_1{H}_2\\ E_2{E}_1& E_2{E}_2& E_2{F}_1& E_2{F}_2& E_2{G}_1& E_2{G}_2& E_2{H}_1& E_2{H}_2\\ F_1{E}_1& F_1{E}_2& F_1{F}_1& F_1{F}_2& F_1{G}_1& F_1{G}_2& F_1{H}_1& F_1{H}_2\\ F_2{E}_1& F_2{E}_2& F_2{F}_1& F_2{F}_2& F_2{G}_1& F_2{G}_2& F_2{H}_1& F_2{H}_2\\ G_1{E}_1& G_1{E}_2& G_1{F}_1& G_1{F}_2& G_1{G}_1& G_1{G}_2& G_1{H}_1& G_1{H}_2\\ G_2{E}_1& G_2{E}_2& G_2{F}_1& G_2{F}_2& G_2{G}_1& G_2{G}_2& G_2{H}_1& G_2{H}_2\\ H_1{E}_1& H_1{E}_2& H_1{F}_1& H_1{F}_2& H_1{G}_1& H_1{G}_2& H_1{H}_1& H_1{H}_2\\ H_2{E}_1& H_2{E}_2& H_2{F}_1& H_2{F}_2& H_2{G}_1& H_2{G}_2& H_2{H}_1& H_2{H}_2\end{array}\right]$
其中C是Cb或Cr，得到
$S^{\mathrm{Cb}}=\left[\begin{array}{cccccccc}1.0000& 0.9997& 0.9908& 0.9924& 0.9931& 0.9942& 0.9820& 0.9858\\ 0.9997& 1.0000& 0.9877& 0.9899& 0.9928& 0.9941& 0.9813& 0.9850\\ 0.9908& 0.9877& 1.0000& 0.9998& 0.9859& 0.9769& 0.9928& 0.9923\\ 0.9924& 0.9899& 0.9998& 1.0000& 0.9874& 0.9785& 0.9939& 0.9934\\ 0.9931& 0.9928& 0.9859& 0.9874& 1.0000& 0.9971& 0.9543& 0.9607\\ 0.9942& 0.9941& 0.9769& 0.9785& 0.9971& 1.0000& 0.9925& 0.9941\\ 0.9820& 0.9813& 0.9928& 0.9939& 0.9543& 0.9925& 1.0000& 0.9996\\ 0.9858& 0.9850& 0.9923& 0.9934& 0.9607& 0.9941& 0.9996& 1.0000\end{array}\right]$
$S^{\text{Cr=}}\left[\begin{array}{cccccccc}1.0000& 0.9996& 0.9909& 0.9928& 0.9926& 0.9930& 0.9977& 0.9976\\ 0.9996& 1.0000& 0.9836& 0.9947& 0.9938& 0.9923& 0.9983& 0.9979\\ 0.9909& 0.9936& 1.0000& 0.9997& 0.9887& 0.9773& 0.9885& 0.9878\\ 0.9928& 0.9947& 0.9997& 1.0000& 0.9901& 0.9800& 0.9895& 0.9892\\ 0.9926& 0.9938& 0.9887& 0.9901& 1.0000& 0.9982& 0.9969& 0.9966\\ 0.9930& 0.9923& 0.9773& 0.9800& 0.9982& 1.0000& 0.9985& 0.9986\\ 0.9977& 0.9983& 0.9885& 0.9895& 0.9969& 0.9985& 1.0000& 0.9999\\ 0.9976& 0.9979& 0.9878& 0.9892& 0.9966& 0.9986& 0.9999& 1.0000\end{array}\right]$
相同的人之间在Cb中的最低相似性值为0.9971，并且不同的人之间在 Cb中的最高值为0.9942，有0.0029的差值。对于Cr而言，同样的值为0.9982 和0.9986，有-0.0004的差值。
同时使用Cb和Cr中的信息的简单方法是将SCb和SCr加到相似性矩阵S 中，得到
$S^{\mathrm{Cb}}=\left[\begin{array}{cccccccc}1.0000& 0.9997& 0.9909& 0.9926& 0.9929& 0.9936& 0.9898& 0.9917\\ 0.9997& 1.0000& 0.9907& 0.9923& 0.9933& 0.9932& 0.9898& 0.9914\\ 0.9909& 0.9907& 1.0000& 0.9997& 0.9873& 0.9771& 0.9906& 0.9901\\ 0.9926& 0.9923& 0.9997& 1.0000& 0.9888& 0.9793& 0.9917& 0.9913\\ 0.9929& 0.9933& 0.9873& 0.9888& 1.0000& 0.9976& 0.9756& 0.9786\\ 0.9936& 0.9932& 0.9771& 0.9793& 0.9976& 1.0000& 0.9955& 0.9963\\ 0.9898& 0.9898& 0.9906& 0.9917& 0.9756& 0.9955& 1.0000& 0.9998\\ 0.9917& 0.9914& 0.9901& 0.9913& 0.9786& 0.9963& 0.9998& 1.0000\end{array}\right]$
在该矩阵中，相同的人之间的最低相似性值为0.9976，不同的人之间的 最高值是0.9963，有0.0013的差值。
已经在附图和说明书中公开了本发明的优选实施例和例子，尽管采用了 特定的术语，但是它们仅以通用的和描述性的意义被使用，并不作为限定的 目的，本发明的范围记录在以下的权利要求中。