基于对对象的模型进行变换来确定模型参数专利检索-选定国际初步审查要求国际初步审查专利权专利检索查询-专利查询网

基于对对象的模型进行变换来确定模型参数

阅读：120发布：2021-06-12

专利汇可以提供基于对对象的模型进行变换来确定模型参数专利检索，专利查询，专利分析的服务。并且用于确定模型参数的装置，该装置包括：对象模型变换器、区域比较器、以及模型参数确定器。对象模型变换器被配置为：接收已知对象的对象模型并且基于模型参数集将对象模型从第一参考系变换到第二参考系。对象模型变换器被进一步配置为：作为该变换的结果，确定包括至少一个区域的经变换对象模型，其中，该至少一个区域与对象的对象区域相关联。区域比较器被配置为：接收经变换对象模型以及描绘了该对象的图像，以针对经变换对象模型的选定区域，确定区域相关相似性度量，该相似性度量表示选定区域与经由变换相关映射关联到选定区域的图像的图像区段之间的相似性。模型参数确定器被配置为基于区域相关相似性度量和优化方案来确定更新的模型参数集。，下面是基于对对象的模型进行变换来确定模型参数专利的具体信息内容。

权利要求

1.一种用于确定模型参数的装置，所述装置包括：
对象模型变换器，被配置为接收已知对象的对象模型并且基于模型参数集将所述对象模型从第一参考系变换到第二参考系，作为所述变换的结果，确定包括至少一个区域的经变换对象模型，其中，所述至少一个区域与所述对象的对象区域相关联，其中，所述对象模型变换器进一步配置为执行图像值变换；
区域比较器，被配置为接收经变换对象模型和描绘了所述对象的图像，针对经变换对象模型的选定区域，确定区域相关相似性度量，所述区域相关相似性度量表示所述选定区域与经由变换相关映射关联到所述选定区域的所述图像的图像区段之间的相似性，其中，所述相似性度量包括几何相似性分量和图像值相似性分量；以及
模型参数确定器，被配置为基于所述区域相关相似性度量和优化方案来确定更新的模型参数集。
2.根据权利要求1所述的装置，其中，所述对象模型包括通过几何属性来描述至少一个区域的数据结构，并且所述对象模型变换器被配置为：将所述几何属性变换为经变换对象模型的经变换几何属性。
3.根据权利要求1所述的装置，其中，所述区域比较器被配置为：对所述选定区域上所述图像的特性值进行积分。
4.根据权利要求1所述的装置，其中，所述区域比较器被配置为：对所述图像的至少一个积分图像进行评估，以确定所述区域相关相似性度量。
5.根据权利要求1所述的装置，其中，所述区域比较器被配置为：通过闭合曲线来近似所述选定区域的边界，所述闭合曲线具有与所述图像的坐标轴平行的曲线段。
6.根据权利要求1所述的装置，其中，所述区域比较器被配置为：使用离散格林定理来评估所述图像区段，其中，用于所述离散格林定理的所述图像区段的边界基于所述选定区域的边界的多边形近似。
7.根据权利要求1所述的装置，其中，所述区域比较器被配置为：确定针对所述选定区域的所述图像的至少一个统计矩，并且基于所述至少一个统计矩来确定所述区域相关相似性度量。
8.根据权利要求7所述的装置，其中，所述区域比较器被配置为：基于所述至少一个统计矩来确定平均图像值，其中，将所述平均图像值与同所述选定区域相关联的预期图像值进行比较，以获得相应的比较结果，其中，所述相似性度量是至少基于所述比较结果来确定的。
9.根据权利要求8所述的装置，其中，所述区域比较器被配置为：基于所述至少一个统计矩或者另一统计矩来确定一致性度量，其中，所述一致性度量指示所述图像区段与所述选定区域的对准程度，其中，所述相似性度量是至少基于所述一致性度量来确定的。
10.根据权利要求1所述的装置，其中，所述对象模型描述了与所述对象的多个对象区域相对应的多个区域，所述区域比较器被配置为：在所述对象模型的所述多个区域的至少一个子集上对所述选定区域进行迭代，并且基于多个区域由相关相似性度量来确定组合的相似性度量。
11.根据权利要求1所述的装置，其中，所述对象包括多个阴影区域或彩色区域，其中，每一个阴影区域或彩色区域包含唯一的阴影或颜色，并且所述选定区域是所述多个阴影区域或彩色区域之一。
12.根据权利要求1所述的装置，其中，所述优化方案执行以下各项之一或各项的任意组合中的至少一个优化步骤：Levenberg-Marquardt 算法、粒子滤波、下坡单项法、遗传算法和梯度下降算法。
13.根据权利要求1所述的装置，其中，所述装置被配置为：重复由对象模型变换器、区域比较器、以及模型参数确定器基于更新的模型参数集执行的参数确定。
14.根据权利要求1所述的装置，其中，所述对象是校准图表、校准对象、以及标准化对象之一。
15.根据权利要求1所述的装置，其中，所述图像是使用要校准的摄像机获取的摄像机图像，所述模型参数包括：至少部分地描述所述对象模型如何从所述第一参考系变换到所述摄像机相关第二参考系的摄像机参数，并且所述模型参数确定器被配置为确定更新的摄像机参数作为所述更新的模型参数集的一部分。
16.根据权利要求1所述的装置，其中，所述装置被配置为检测或跟踪所述对象，并且所述模型参数描述了所述对象的当前位置和当前方位中的至少一个。
17.一种使用已知对象确定模型参数的方法，所述方法包括：
接收所述对象的对象模型；
基于模型参数集将所述对象模型从第一参考系变换到第二参考系，作为所述变换的结果，确定包括至少一个区域的经变换对象模型，其中，所述至少一个区域与所述对象的至少一个对象区域相关联，其中，变换所述对象模型包括图像值变换；
接收描绘了所述对象的图像，
针对经变换对象模型的选定区域，确定区域相关相似性度量，所述区域相关相似性度量表示所述选定区域与经由变换相关映射关联到所述选定区域的所述图像的图像区段之间的相似性，其中，所述相似性度量包括几何相似性分量和图像值相似性分量；以及基于所述区域相关相似性度量和优化方案来确定更新的模型参数集。
18.根据权利要求17所述的方法，其中，所述对象模型包括通过几何属性来描述至少一个区域的数据结构，并且变换所述对象模型包括：将所述几何属性变换为经变换对象模型的经变换几何属性。
19.根据权利要求17所述的方法，还包括：
在确定所述区域相关相似性度量之前，对所述选定区域上所述图像的特征值进行积分。
20.根据权利要求17所述的方法，其中，确定所述区域相关相似性度量包括：对所述图像的至少一个积分图像进行评估，以确定所述区域相关相似性度量。
21.根据权利要求17所述的方法，其中，确定所述区域相关相似性度量包括：通过闭合曲线来近似所述选定区域的边界，所述闭合曲线具有与所述图像的坐标轴平行的曲线段。
22.根据权利要求17所述的方法，其中，确定所述区域相关相似性度量包括：使用离散格林定理来评估所述图像区段，其中，用于所述离散格林定理的所述图像区段的边界基于所述选定区域的边界的多边形近似。
23.根据权利要求17所述的方法，其中，确定所述区域相关相似性度量包括：确定所述选定区域的所述图像的至少一个统计矩，并且基于所述至少一个统计矩来确定所述区域相关相似性度量。
24.根据权利要求23所述的方法，其中，确定所述区域相关相似性度量包括：基于所述至少一个统计矩来确定平均图像值，其中，将所述平均图像值与同所述选定区域相关联的预期图像值进行比较，以获得相应的比较结果，其中，所述相似性度量是至少基于所述比较结果来确定的。
25.根据权利要求23所述的方法，其中，确定所述区域相关相似性度量包括：基于所述至少一个统计矩或者另一统计矩来确定一致性度量，其中，所述一致性度量指示所述图像区段与所述选定区域的对准程度，其中，所述相似性度量是至少基于所述一致性度量来确定的。
26.根据权利要求17所述的方法，其中，所述对象模型描述了与所述对象的多个对象区域相对应的多个区域，所述方法还包括：
在所述对象模型的所述多个区域的至少一个子集上对所述选定区域进行迭代，以及基于多个区域相关相似性度量来确定组合的相似性度量。
27.根据权利要求17所述的方法，其中，所述对象包括多个阴影区域或彩色区域，其中，每一个阴影区域或彩色区域包含唯一的阴影或颜色，并且所述选定区域是所述多个阴影区域或彩色区域之一。
28.根据权利要求17所述的方法，其中，所述优化方案是以下各项之一或各项的任意组合：Levenberg-Marquardt算法、粒子滤波、下坡单项法、遗传算法和梯度下降算法。
29.根据权利要求17所述的方法，其中，所述对象是校准图表、校准对象、以及标准化对象之一。
30.根据权利要求17所述的方法，其中，所述图像是使用要校准的摄像机获取的摄像机图像，所述模型参数包括：至少部分地描述所述对象模型如何从所述第一参考系变换到摄像机相关第二参考系的摄像机参数，并且确定所述更新的模型参数集包括：确定更新的摄像机参数作为所述更新的模型参数集的一部分。
31.根据权利要求17所述的方法，其中，所述方法是用于检测或跟踪所述对象的方法，并且所述模型参数描述了所述对象的当前位置和当前方位中的至少一个。

说明书全文

基于对对象的模型进行变换来确定模型参数

技术领域

[0001] 本发明的实施例涉及用于确定模型参数的装置。一些实施例涉及用于确定模型参数的方法。一些实施例涉及基于区域的对象检测和跟踪框架。一些实施例涉及基于匹配区域的模型参数确定。一些实施例涉及统一颜色和几何摄像机校准框架。描述了允许以高效、鲁棒和统一的方式对摄像机单独或同时地进行几何和/或颜色校准的校准框架。

背景技术

[0002] 在该部分中，将给出摄像机校准算法的现有技术的简要概述。在摄像机校准的情况下，我们理解了估计摄像机的几何和/或色度属性的过程。

[0003] 可以将几何校准划分为两个部分：估计内部方位和估计外部方位。内部方位描述了光波如何通过光学透镜系统从三维世界投影到二维图像传感器上。通过3x3的上三角矩阵(也称作内在摄像机矩阵)给出了内部方位，该上三角矩阵描述了光的几何投影。由于透镜和图像传感器的不准确度，因此在图像中可能出现额外的几何失真，从而像素相对于其理想位置发生移位。通过所谓的透镜失真系数来描述这些失真。外部方位(也称作外在摄像机参数)描述了摄像机在世界上的位置，并且是由旋转矩阵和平移向量给出的。该位置可以相对于给定的世界坐标系或者关于某校准图案或另一摄像机。

[0004] 通常存在几种不同的方法来估计几何失真和内部方位参数。广泛使用的一类使用某种具有先验已知的几何形状的专门设计的校准对象(参见在说明书最后的列表中指示的参考文献[2、24、21])。这种校准对象可以是2D平面[24]、3D对象[21]、或1D对象[25]。第二类算法尝试分析场景，以提取诸如直线或直角等的一些潜在失真的几何特征，并且使用这些几何信息来进行摄像机校准[8、3、4、5]。相对较新的方法尝试使用很多人造对象和自然对象中包含的对称信息。计算针对感兴趣的观测对象(这些对象大多数是平面的)的变换，其使观测对象具有最对称的表示[26、19]。最后一类算法不使用任何先验知识，而是尝试基于来自多个图像的点到点的对应关系来分析参数[6、20、3]。可以在参考文献[11]中找到全面的概述。

[0005] 摄像机的外部方位描述了其在与坐标系有关的世界中的位置。该坐标系可以由另一摄像机给出，或者由校准对象给出，或者由用户唯一定义。为了确定外部方位，需要场景的一个或多个视图。在[24]中，参照被假定置于坐标原点处的图案来获得外部方位。否则，可以通过对相邻摄像机图像中的点对应关系进行评估来找到摄像机在摄像机阵列中的方位或者移动摄像机的轨迹。至少7个对应关系点允许计算所谓的基本矩阵，该基本矩阵描述了旋转参数和平移参数[16、9、10]。

[0006] 色度校准描述了在光学系统中发生的光强和颜色偏差。将多个典型的误差加在一起作为色像差[17、13]。另一个典型的误差是渐晕[27、23]。由于不同的照明条件，因此在图像中再现颜色可能明显偏离肉眼感知的真实颜色。这是由于眼睛可以自动地适应不同的光(不同的亮温)但是摄像机不能这样的事实。可以在[18、14、15、1、7、22]中找到用于根据自由场景来进行颜色校正的不同算法。如果颜色检验图可以用于校准，则可以通过计算将失真颜色变换为校正表示的3x3的矩阵来完成颜色校正。在参考文献[12]中，可以找到用于颜色和几何校正的方法。

[0007] 用于校准摄像机的大多数上述构思需要相对高的计算工作量。例如，用于摄像机校准的上述方法中的一些方法需要使用计算机图形完全呈现已知的校准对象。此外，每当修改摄像机参数中的一个或多个时，都必须重复完全呈现，即，可能每进行一次优化算法迭代，就重复完全呈现一次，以确定摄像机参数的良好估计。用于摄像机校准的上述方法中的其它方法需要图像特征分析和/或对称确定，其通常具有很大的计算量。

[0008] 可能必须对摄像机或另一获取设备(例如，X-射线、计算机断层摄影、磁共振成像、毫米波扫描仪、雷达、声呐等)获取的图像(更一般地：数据)执行的另一个任务是检测和/或跟踪对象。摄像机参数(或获取参数)以足够的准确度已知。此外，至少一些与对象有关的参数通常是已知的。为了检测或跟踪对象，可以确定对象的位置和/或方位。

发明内容

[0009] 本发明的实施例提供了一种用于确定模型参数的装置。该装置包括对象模型变换器、区域比较器、以及模型参数确定器。对象模型变换器被配置为：接收已知对象的对象模型并且基于模型参数集来执行对象模型的变换。变换将对象模型从第一参考系变换到第二参考系。作为该变换的结果，对象变换器被配置为：确定包括至少一个区域的经变换对象模型，所述至少一个区域与对象的对象区域相关联。区域比较器被配置为：接收经变换对象模型和描绘该对象的图像。区域比较器被进一步配置为：针对经变换对象模型的选定区域确定区域相关相似性度量。区域相关相似性度量表示选定区域与图像的图像区段(image section)之间的相似性。该图像区段经由与变换有关的映射关联到选定区域。模型参数确定器被配置为：基于区域相关相似性度量和优化方案来确定更新的模型参数集。

[0010] 模型参数通常但不一定由装置在用于对对象进行成像的成像技术的情况下或者与成像技术关联地确定。成像技术可以是光学的、基于声音的(例如，声呐)、基于辐射的(例如，X射线、计算机断层摄影、雷达等)、基于电磁场的(例如，毫米波扫描仪)等。此外，成像技术可以用于以n维方式(一维、二维、三维、……)获取对象，并且产生m维图像，其中，m和n是相同的或不同的。

[0011] 本发明的其它实施例提供了一种用于使用已知对象确定模型参数的方法。该方法包括：接收所述对象的对象模型；对该对象模型进行变换，接收图像，确定区域相关相似性度量，以及确定更新的模型参数集。变换对象模型基于模型参数集。相应的变换将对象模型从第一参考系变换到第二参考系。作为所述变换的结果，确定经变换对象模型，该经变换对象模型包括至少一个区域。所述至少一个区域与所述对象的至少一个对象区域相关联。所接收的图像描绘了对象。针对所变换的对象的选定区域确定区域相关相似性度量，所述相似性度量表示选定区域与经由变换相关映射关联到选定区域的所述图像的图像区段之间的相似性。基于所述区域相关相似性度量和优化方案来确定更新的模型参数集。模型参数通常但不一定在用于对对象进行成像的成像技术上下文或者与该成像技术关联地确定。

[0012] 本发明的其它实施例提供了一种计算机程序，该计算机程序具有用于当在计算机上运行时执行上述方法的程序代码。类似地，一些实施例可以提供其上存储有计算机程序的计算机可读数字存储介质，该计算机程序具有用于当在计算机上运行时执行用于使用已知对象确定模型参数的方法的程序代码，其中，该方法包括：接收对象的对象模型；基于模型参数集来变换对象模型，相应的变换将对象模型从第一参考系变换到第二参考系，以作为该变换的结果，确定包括至少一个区域的经变换对象模型，所述至少一个区域与对象的至少一个对象区域相关联；接收描绘对象的图像；针对所变换的对象模型的选定区域确定与区域有关的相似性度量，所述相似性度量表示选定区域与经由变换相关映射关联到选定区域的所述图像的图像区段之间的相似性；以及基于所述区域相关相似性度量和优化方案来确定更新的模型参数集。模型参数通常但不一定在用于对对象进行成像的成像技术的上下文或者与该成像技术关联地确定。

[0013] 在本发明的一些实施例中，对象模型的变换通常需要较少的计算工作量。这对于区域相关相似性度量可能是成立的。因此，例如，针对每一个新更新的模型参数集，可以相对快速地执行通常需要针对每一次迭代都执行的任务。

[0014] 所提到的将对象模型变换为经变换对象模型还可以包括图像值变换。相似性度量可以包括几何相似性分量和图像值相似性分量。几何相似性分量指示图像区段的几何形状与选定区域的几何形状的匹配程度。几何相似性可以考虑图像区段与选定区域之间的任何平移偏移和/或旋转偏差。此外或备选地，几何相似性可以考虑图像区段的形状(例如，边界、圆周等)与选定区域的形状的匹配程度。图像值相似性分量指示图像区段的图像值(例如，颜色、灰度的阴影、吸收系数(在X射线或CT图像的情况下)、反射系数(在雷达、声呐的情况下)等)与选定区域的图像值的一致程度，选定区域的图像值经由变换相关映射与图像区段的图像值相关。

[0015] 对象模型可以包括通过几何属性的方式描述至少一个区域的数据结构(例如，向量、XML列表等)。对象模型变换器可以被配置为将几何属性变换为经变换对象模型的经变换几何属性。

[0016] 区域比较器可以被配置为在选定区域上对图像的特征值进行积分。此外或备选地，区域比较器可以被配置为评估图像的至少一个积分图像，以确定区域相关相似性度量。区域比较器还可以被配置为通过闭合曲线来近似选定区域的边界，所述闭合曲线具有与所述图像的坐标轴平行的曲线段。所述区域比较器还可以被配置为使用离散格林定理来评估所述图像区段，其中，用于所述离散格林定理的所述图像区段的边界基于选定区域的边界的多边形近似。区域比较器的另一选项是其可以被配置为确定选定区域的所述图像的至少一个统计矩，并且基于所述至少一个统计矩来确定所述区域相关相似性度量。所述区域比较器可以被配置为基于第一统计矩来确定平均图像值并且基于针对在图像区段中出现的图像值的一致性的第二统计矩来确定一致性度量，其中，可以将所述平均图像值与同选定区域相关联的预期图像值进行比较，以获得相应的比较结果。所述一致性度量可以指示所述图像区段与选定区域的对准程度，所述相似性度量是至少基于所述比较结果和/或所述相似性度量来确定的。可以单独地或者彼此结合地执行用于区域比较器的前述选项。

[0017] 所述对象模型可以描述了与所述对象的多个校准区域相对应的多个区域，其中，所述区域比较器可以被配置为在所述对象模型的多个区域的至少一个子集上对选定区域进行迭代，并且基于多个区域相关相似性度量来确定组合的相似性度量。

[0018] 所述对象可以包括多个阴影或颜色校准区域，每一个阴影或颜色校准区域包含独有的阴影或颜色。选定区域可以是所述多个阴影或颜色校准区域之一。

[0019] 所述优化方案可以执行以下各项中的一项的至少一个优化步骤：Levenberg-Marquardt算法、粒子滤波、下坡单项法、遗传算法、或者这些算法的任意组合。

[0020] 所述装置可以被配置为重复由以下各项基于所更新的参数集作为当前参数集执行的校准参数确定：所述对象模型变换器、所述区域比较器、以及所述校准参数确定器。

[0021] 所述对象可以是校准图表、校准对象、以及标准化对象之一。附图说明

[0022] 在本文中参照附图来描述本发明的实施例。

[0023] 图1示意性地示出了用于使用诸如校准图表等校准对象来校准摄像机的设置；

[0024] 图2A示出了根据一些实施例用于确定模型参数的装置的示意性框图；

[0025] 图2B示出了根据一些实施例用于确定摄像机的校准参数的装置的示意性框图；

[0026] 图3示意性地示出了对象模型的变换；

[0027] 图4以框图的形式示出了根据本文公开的教导的校准框架的系统概述；

[0028] 图5示意性地示出了摄像机图像的一部分以及用于参考的经变换校准图表模型的一部分，该部分描绘了具有不同颜色的多个区域；

[0029] 图6示意性地示出了图5的经变换校准图表模型的一部分和摄像机图像的一部分，以强调经变换校准图表模型的选定区域；

[0030] 图7示意性地示出了图6的经变换校准图表模型的一部分和摄像机图像的一部分，其中，选定区域的边界由内接形状近似；

[0031] 图8示意性地示出了图6的经变换校准图表模型的一部分和摄像机图像的一部分，其中，选定区域的边界由外接形状近似；

[0032] 图9示意性地示出了多边形的内部形状近似和外部形状近似；

[0033] 图10示出了说明处理摄像机图像和选定区域以确定选定区域与摄像机图像的相关联的图像区段之间的相似性度量的示意性框图；

[0034] 图11示出了根据本文公开的教导用于确定摄像机校准参数的方法的示意性流程图；

[0035] 图12a示出了根据本发明的实施例的方法的流程图；

[0036] 图12b示出了根据本发明的实施例的装置的示意性框图；

[0037] 图13a示出了根据一个实施例关于如何选择顶点处用于加上或减去的值从而导出区域的度量的示例；

[0038] 图13b示出了具有要近似的区域的二维画面表示以及相应积分图像的示例；

[0039] 图13c示出了图12b的具有改变后的要近似的区域的二维画面表示以及相应积分图像的示例；

[0040] 图14示出了仅包括对区域的边界加以近似的线段在内的闭合曲线或形状的示例，其中，所有线段均平行于轴；

[0041] 图15a示出了可以如何使用根据实施例的方法以不同的准确度近似三角形；

[0042] 图15b示出了对三角形的边界加以近似的不同闭合曲线的示例；

[0043] 图16示出了处理图15a和图15b的三角形的示例；

[0044] 图17示出了形状的不同闭合区域的示例，其中，该区域具有根据方位加上或减去的交叉点；

[0045] 图18示出了用于找到由图像或边界框中的形状包围的所有像素的快速且简单的算法的示例；

[0046] 图19示出了针对交通标志的基于简单二维区域的对象模型的示例，其中，该交通标志包括具有不同(或相同)特征(例如，强度、变化)的区域；

[0047] 图20a示出了由轴对准的矩形近似的任意区域的示例；以及

[0048] 图20b示出了对近似的区域进行较小处理的示例，其着重于在处理中涉及的所有直角。

具体实施方式

[0049] 在下面的描述中通过相同或相等的附图标记来表示具有相同或相等功能的相同或相等的元件。

[0050] 在下面的描述中，阐述了很多细节，以提供本发明实施例的更详尽的解释。然而，对于本领域技术人员而言显而易见的是，可以在没有这些具体细节的情况下实践本发明的实施例。在其它实例中，以框图的形式而非详细地示出了公知的结构和设备，以避免模糊本发明的实施例。此外，除非另外明确指出，否则下文描述的不同实施例的特征可以相互结合。

[0051] 一些实施例涉及检测和/或跟踪对象。其它实施例涉及校准摄像机或另一获取设备。两个任务以某种方式相关。检测和/或跟踪对象通常旨在确定对象的位置和/或方位。因此，位置和/或方位是未知的变量，而描述对象和获取几何形状的参数(例如，焦距、图像分辨率、图像失真等)以足够的准确度先验已知。在摄像机校准的情况下，获取几何形状相关参数形成了未知变量，而对象及其位置和方位是已知的。作为第三种可能性，对象可能不完全已知，例如，对象的大小是未知的。对象还可能是可变形的(例如，可折叠校准图表)，使得对象的一个或多个变形参数是变化的并且需要被确定。在下面的描述中，为了解释的原因，着重于摄像机校准。然而，下文所描述的构思可以容易地应用于根据本文描述的实施例的方法和装置的其它使用情况或应用，具体地说，对象跟踪和/或检测。

[0052] 图1示意性地示出了使用诸如校准图表3等已知对象来进行摄像机2的校准的设置。可以针对摄像机2定义光轴OA和视场FOV。校准图表3在图1中的摄像机2的视场FOV内。可以相对于参考系来定义校准图表3的位置和方位。在图1中所示的配置中，由坐标系来定义参考系，该坐标系的原点与校准图表3的角之一相一致。此外，三个坐标轴中的两个平行于校准图表3的相应边缘。当然，也可以选择另一个参考系(例如，通过房间、录音室、风景等的固定点定义的有关参考系)，并且(手动地或者以其它方式)确定校准图表在该参考系中的位置和方位。摄像机校准的任务可以是确定摄像机在校准图表的参考系中的位置和方位。

[0053] 图1中所示的校准图表3表示可以使用摄像机获取的任何对象。该对象包括一个或多个区域，例如，校准图表3的色场。如果对象包括两个或更多个区域，则这些区域可以彼此相邻或者它们可以彼此相隔一定距离。摄像机2可以被视为表示可以用于获取真实对象的图像数据的任何获取设备，例如，数字静止摄像机、视频摄像机、摄影机、医学成像设备、雷达、声呐等。图像本身可以是一维的、二维的、三维的、或者更高维的。

[0054] 图2A示出了根据至少一些实施例用于确定模型参数的装置的示意性框图。该装置包括对象模型变换器120、区域比较器130、以及模型参数确定器140。对象模型变换器120被配置为接收对象模型112，该对象模型112通过例如对象的大小、维度、形状、颜色等描述了对象。具体地说，可以描述对象的几个特性位置、以及其彼此之间的几何关系以及与一个对象相关参考点之间的几何关系。对象关于其形状和维度通常是已知的。对象模型变换器120被配置为接收模型参数集114，该模型参数集114描述了模型参数(例如，位置和方位)的当前估计。基于这两个输入，对象模型变换器然后可以确定如何在模型参数的假设下对模型进行成像。变换获得经变换对象模型。下面将结合图3的描述来描述将对象模型112变换为经变换对象模型的一些方面。

[0055] 将经变换对象模型转发给区域比较器130。区域比较器130被进一步配置为接收已经使用手边的获取设备(例如，摄像机)获取的图像。通过使用该图像，可以确定模型参数集114与实际模型参数集(然而，其在此时是未知的)的匹配程度。区域比较器130的另一个可选输入是区域选择，其确定针对经变换对象模型的多个区域中的哪个区域，将确定经变换对象模型与摄像机图像之间的相似性度量。经变换对象模型的区域与呈现特定特性的真实对象的区域相对应。例如，对象的区域可以是具有单一颜色的形状(正方形、矩形、圆形、多边形等)。

[0056] 作为变换的结果，对象的给定区域被投影到图像的特定图像区段上。变换允许确定图像区段的几何形状和/或图像区段中的图像值。示例将说明这一点：考虑真实对象的区域并且假设区域是绿色正方形。对象模型现在可以定义正方形的四个顶点相对于对象固有的参考点(例如，对象的一个角)的位置。此外，对象模型可以通过某一预定的颜色分类方案来定义绿色阴影。通过变换，绿色正方形的四个顶点的位置被投影到摄像机相关参考系，例如，用像素表示的图像传感器的2D坐标。注意，该变换或投影可能不再一定获得正方形，而是通常获得矩形、平行四边形、梯形、或一般的四边形。此外，由于某一图像失真，因此经变换正方形的边缘可能不再是直线，而是曲线。这种图像失真通常不能由顶点来表示，而是除了区域轮廓的顶点的位置以外，还可以用模型参数加以说明。

[0057] 将由区域比较器130确定的相似性度量提供给模型参数确定器140，模型参数确定器140被配置为更新(当前的)模型参数集并且提供更新后的模型参数集。更新后的模型参数集可以替代(当前的)模型参数集，并且在优化方案的后续迭代期间被使用。向模型参数确定器140提供的相似性度量可以是标量或者多维数据结构，其包含关于经变换对象模型的区域与摄像机图像中的相关联的图像区段之间的相异类别(几何、失真、颜色等)的指示。基于该信息，校准参数确定器140可以以(更加)面向目标的方式确定更新后的模型参数集。
例如，如果相似性度量指示区域的几何形状与图像区段的几何形状相对较好地匹配，但是在颜色方面仍然存在差异，则模型参数确定器140可以保存当前几何形状相关参数，而同时在下一次迭代期间修改颜色相关参数中的一个或多个。相似性度量可以包括几何形状相似性分量(或者：几何形状相关相似性分量)和/或图像值相似性分量(或者：图像值相关相似性分量)。

[0058] 此外，校准参数确定器140可以例如以优化策略或方案的方式通过对先前确定的(在先前的迭代期间获得的)模型参数集进行评估，来推断更新后的模型参数集。先前确定的模型参数集可以存储在参数存储设备中。通过这种方式，可以估计随着模型参数而变化的相似性度量的行为，其可以用于对下一个更新后的模型参数集进行更好地推测。

[0059] 图2B示出了根据至少一些实施例用于确定摄像机校准参数的装置的示意性框图。该装置包括对象模型变换器220、区域比较器230、以及校准参数确定器240。对象模型变换器220被配置为接收对象模型212，该对象模型212通过例如对象的大小、维度、形状、颜色等描述了对象。具体地说，可以描述对象的几个特性位置、以及其彼此之间的几何关系以及与一个对象相关参考点之间的几何关系。对象通常是已知的，并且可以是例如校准图表。此外，对象模型变换器220被配置为接收模型参数集214，该模型参数集214描述了摄像机相关参数(例如，在对于对象而言有效的参考系中的位置和方位)的当前估计、以及摄像机的成像属性(焦距、像素大小、失真、颜色映射等)。基于这两个输入，对象模型变换器然后可以确定摄像机参数集有效用于的摄像机将如何对模型进行成像。变换获得经变换对象模型。下面将结合图3的描述来描述将对象模型212变换为经变换对象模型的一些方面。

[0060] 将经变换对象模型转发给区域比较器230。区域比较器230被进一步配置为接收已经使用要校准的摄像机获取的摄像机图像。通过使用该摄像机图像，可以确定参数集214与实际摄像机参数集的匹配程度。区域比较器230的另一个可选输入是区域选择，其确定针对经变换对象模型的多个区域中的哪个区域，将确定经变换对象模型与摄像机图像之间的相似性度量。经变换对象模型的区域与呈现特定特征的真实对象的区域相对应。例如，对象的区域可以是具有单一颜色的形状(正方形、矩形、圆形、多边形等)。

[0061] 作为变换的结果，对象的给定区域被投影到摄像机图像的特定图像区段上。变换允许确定图像区段的几何形状和/或图像区段中的图像值。示例将说明这一点：考虑真实对象的区域并且假设区域是绿色正方形。对象模型现在可以定义正方形的四个顶点相对于对象固有的参考点(例如，对象的一个角)的位置。此外，对象模型可以通过某一预定的颜色分类方案来定义绿色阴影。通过变换，绿色正方形的四个顶点的位置被投影到摄像机相关参考系，例如，用像素表示的图像传感器的2D坐标。注意，该变换或投影可能不再一定获得正方形，而是通常获得矩形、平行四边形、梯形、或一般的四边形。此外，由于某一图像失真，因此经变换正方形的边缘可能不再是直线，而是曲线。

[0062] 将由区域比较器230确定的相似性度量提供给校准参数确定器240，校准参数确定器240被配置为更新(当前的)摄像机参数集并且提供更新后的摄像机参数集。更新后的摄像机参数集可以替代(当前的)摄像机参数集，并且在优化方案的后续迭代期间被使用。向校准参数确定器240提供的相似性度量可以是标量或者多维数据结构，其包含关于经变换对象模型的区域与摄像机图像中的相关联的图像区段之间的相异类别(几何、失真、颜色等)的指示。基于该信息，校准参数确定器140可以以(更加)面向目标的方式确定更新后的摄像机参数集。例如，如果相似性度量指示区域的几何形状与图像区段的几何形状相对较好地匹配，但是在颜色方面仍然存在差异，则校准参数确定器240可以保存当前几何形状相关参数同时在下一次迭代期间修改颜色相关参数中的一个或多个。相似性度量可以包括几何形状相似性分量(或者：几何相关相似性分量)和/或图像值相似性分量(或者：图像值相关相似性分量)。

[0063] 此外，校准参数确定器240可以例如以优化策略或方案的方式通过对先前确定的(在先前的迭代期间获得的)摄像机参数集进行评估，来推断更新后的摄像机参数集。先前确定的摄像机参数集可以存储在参数存储设备中。通过这种方式，可以估计随着摄像机参数而变化的相似性度量的行为，其可以用于对下一个更新后的摄像机参数集进行更好地推测。

[0064] 图3示意性地示出了在第一参考系中定义的对象模型变换为在第二参考系中定义的经变换对象模型。对象3被示意性地示出为校准图表，其包括m个不同的区域。第一参考系是由3D坐标系x、y、z来指示的。注意，以透视图的形式示出了对象3，以说明对象3自身可以关于第一参考系旋转和/或平移。m个不同的区域分别具有颜色color1、color2、color3、colorm。第一区域的几何形状由color1矩形的四个角A1、B1、C1、D1的3D坐标来定义，其中，四个角A1、B1、C1、D1的3D坐标是使用第一参考系的坐标x、y、z来表示的，在该情况下，(xA1，yA1，zA1)、(xB1，yB1，zB1)、(xC1，yC1，zC1)、(xD1，yD1，zD1)。此外，颜色被定义为color1。通过相同的方式，定义了剩余区域的几何形状，使得获得了描述对象的向量，

[0065] (xA1，yA1，zA1，xB1，yB1，zB1，xC1，yC1，zC1，xD1，yD1，zD1，color1，...[0066] ...xAm，yAm，zAm...colorm)T

[0067] 如图3的右上部所示。

[0068] 变换关于由2D坐标系x*、y*定义的第二参考系来确定经变换对象模型。第一区域的角被变换到(或用几何学投影到)位置A*1、B*1、C*1、D*1。颜色colorl被(颜色)变换为新颜色color*1。可以通过向量来表示经变换对象模型：

[0069] (x*A1，y*A1，x*B1，y*B1，x*C1，y*C1，x*D1，y*D1，color*1，...x*Am，y*Am，...color*m)T[0070] 如图3的右下部所示。

[0071] 在接下来将描述的图4中，以框图的形式给出了用于确定摄像机校准参数的装置的实施例。

[0072] 为了校准摄像机，基本上可以使用校准图表和摄像机的参数化模型来模拟真实世界，然后可以基于参数集来生成(呈现)人造摄像机视图，并且可以将模拟的人造摄像机图像与真实摄像机的图像进行比较。假设使用模型和参数集对真实世界进行了非常好地模拟，可以预期，模拟的摄像机图像中的校准图表看起来几乎与真实摄像机图像中的校准图表相同。因此，以模拟图像中的校准图表尽可能好地拟合真实图像中的外观的方式来优化参数集。最后，优化处理获得反映真实摄像机校准参数的参数集。

[0073] 优化器通常需要示出了模拟图像与真实摄像机图像之间的一致性的目标函数。实现该目标函数的明显方法是使用分别属于模拟图像与真实摄像机图像中的校准图表的图像像素的差别。该强力计算法具有明显的缺点。它导致计算量非常大的系统，这是因为使用目标函数对参数集进行的每一次评估需要生成(呈现)人造摄像机图像并且计算属于校准图表的像素的真实图像与人造图像之间的差别。此外，在优化过程中，通常必须非常频繁地评估目标函数。

[0074] 基于该思想，在下面的段落中描述了最小化计算成本并且提供较大灵活性和鲁棒性的校准框架。图4示出了校准框架的最重要的元素的概述。现在将详细地描述该图的所有元素。

[0075] 校准框架的输入是显示校准图表的真实摄像机图像(右下部)以及在真实摄像机图像中显示的校准图表的三维模型(左中部)。此外，需要针对参数向量405(包含摄像机校准参数)的先验知识或初始猜测。例如，可以基于与图像中的校准图表(或者关于摄像机)的大小、位置和方位有关的假设来获得该先验知识或初始猜测。如果将校准框架应用于图像序列(例如，跟踪校准图表)，则先前图像的结果可以用作初始估计。在最坏的情况下，在参数空间中进行强力搜索是必需的。

[0076] 使用参数向量405对系统进行参数化，其中，参数向量405是由非固有摄像机参数(针对三个坐标轴的旋转和平移分量rx；ry；rz；tx；ty；tz)、内部摄像机参数以及透镜失真参数(焦距、像素大小、原点和透镜失真系数f；sx；sy；cx；cy；k1；k2)构成。此外，参数向量405包括颜色校正参数，例如，线性3x3颜色变换矩阵M3x3的元素。从左侧的3D校准图表模型的描述开始。仅通过区域边界和片(patch)的参考颜色来对校准图表的每一个颜色补片(或具有均匀颜色的区域)进行建模。可以通过用顶点在3D空间中定义的多边形以任意精度来近似区域边界。如果使用平面校准图表并且将三维世界坐标系放置在图表中，则可以在所有顶点的z为0的情况下在x-y平面中定义所有多边形。对于矩形区域，甚至定义矩形的四个角将足够。通过并入校准过程中的所有颜色补片(和均匀区域)来对整个校准图表进行建模。为了方便起见，世界坐标系相对于校准图表可以是固定的。

[0077] 通过使用块“3D变换(旋转和平移)”402，校准图表的3D多边形顶点受到由非固有参数定义的3D旋转和平移(这也可以被视为摄像机逆变换)。

[0078] 此后，使用通过内部摄像机参数参数化的摄像机模型404(例如，使用投影或针孔摄像机模型)将经变换三维顶点投影到二维图像平面中。这获得针对多边形顶点的二维图像坐标。然后，将二维顶点转发给多边形重采样块406。

[0079] 后续的多边形重采样将通过将额外的顶点插入涉及的多边形线段中，来将与预定的阈值相比更长的所有多边形线划分为段。因此，可以通过针对最大多边形线段长度选择较小值使用任意数目的顶点来近似多边形区域。不必在这里完成重采样步骤，而是原则上可以在下游的区域积分块412和不将直线映射为直线(这是后续的透镜失真块中的情况)的第一块前面的任意位置处应用重采样步骤。实际上，该重采样步骤406也可能已经对三维校准图表模型的多边形应用了一次。

[0080] 透镜失真408应用于重采样的多边形顶点，以对摄像机透镜的物理属性进行建模，并且通常获得图像中的颜色补片边界的曲线。在没有重采样步骤的情况下，可能不能准确地对该透镜失真进行建模。例如，通过仅使用颜色补片的四个角，矩形边界的失真是不可能的。此外，重采样步骤406对于下面的块412中的区域积分是必需的，并且至少简化了该区域积分。

[0081] 颜色补片的失真多边形顶点被转发到区域积分步骤412。在右下部，使示出了校准图表的摄像机图像进入校准过程。对于输入图像的每一个色带，由块“积分图像计算”414(下面在确定二维图片表示的区域的测量的描述的上下文中对此进行了描述)来计算积分图像。此外，计算针对所有图像像素值的平方值的积分图像(这对于颜色补片中的方差计算是必须的；也将在下面对此进行描述)。所有这些积分图像平面被馈送到区域积分块412。它表示校准框架的关键思想和要素之一。

[0082] 区域积分块412在积分图像的辅助下针对校准图表模型的每一个多边形计算以下各项(可以使用下面在本公开的另一部分中描述的形状近似来完成这一点)：

[0083] ·由真实摄像机图像中的多边形包围的所有像素值的总和，

[0084] ·由真实摄像机图像中的多边形包围的所有平方像素值的总和，以及

[0085] ·由真实摄像机图像中的多边形包围的区域的大小。

[0086] 下面将结合图9来描述用于计算多边形区域中的像素值的总和的有效且简单的方法。

[0087] 通过使用中间结果(针对每一个色带的多边形内的像素值的总和以及多边形区域的面积)，计算真实摄像机区域中的针对每一个颜色补片区域的所有色带的均值和方差，并且将其馈送到颜色变换块416。

[0088] 为了非失真的颜色，颜色变换416使用颜色映射(或者颜色校正)参数来映射所有平均颜色值(和方差)。颜色变换416可以是线性变换，或者任何其它可应用的颜色校正。该步骤/块的输出被转发给误差函数块422。

[0089] 误差函数422将在多边形区域内的摄像机图像中测量的映射的平均颜色与由校准图表定义的颜色补片的参考颜色进行比较。此外，考虑多边形区域内的颜色方差，并且基于颜色差和颜色方差来生成误差向量。例如，误差向量可以包括颜色方差和在适当的颜色空间(例如，等视距的CIE Lab颜色空间或者RGB颜色空间)中的测量平均颜色与参考颜色之间的差异。误差向量受到优化器424的优化。

[0090] 优化器424以最小化误差向量的方式迭代地更新参数向量405。为此，可以应用各种优化方案。例如，Levenberg-Marquardt算法、粒子滤波(如果将框架应用于图像序列，则其也可以向参数向量405并入其它状态参数)、下坡单项法算法或遗传算法。

[0091] 在优化处理以后，参数向量405应当非常好地反映校准参数。如果所有多边形理想拟合摄像机图像中的颜色补片，则所有多边形区域中的颜色方差以及多边形区域中的平均颜色值与相应参考颜色之间的差别应当达到零(在理性情况下并且忽略传感器噪声)。

[0092] 图5示出了摄像机图像的一部分和经变换对象模型(即，用作示例的经变换校准图表模型)的一部分。摄像机图像显示了对象或者其至少一部分。对象包含具有不同颜色或图案的多个区域。假设每一个区域是正方形。通常，区域可以具有任意形式。

[0093] 摄像机图像的所示部分描绘了多个彩色区域，即，中心的绿色区域和周围的八个区域，周围的八个区域具有以下颜色：浅蓝色、蓝色、紫色、青绿色、红色、黄色、橙色、以及粉色。出于要校准的摄像机获取对象的视角并且由于摄像机固有的失真，原始对象的正方形区域呈现为失真的多边形(为了图5中的说明的目的，该多边形被放大)，如图5中的虚线所示。

[0094] 为了参考，图5还将经变换区域的区域边界示出为点线。经变换区域属于经变换对象模型。在图5中所示的示例中，经变换区域的边界是直线，这意味着摄像机参数集未对摄像机失真进行建模。然而，经变换区域的区域边界也可以是曲线，即，摄像机参数集假设摄像机引入了失真。

[0095] 通过将经变换校准图表模型(点线)与摄像机图像中的成像区域(虚线)进行比较，可以看出，例如，摄像机图像的成像绿色区域未与经变换校准图表模型的相应绿色区域很好地匹配。更确切地说，摄像机图像的成像绿色区域还延伸到经变换校准图表模型的蓝色和青绿色区域中。摄像机图像与经变换校准图表模型之间的这种失配指示已经用于生成经变换校准图表模型的摄像机参数集未非常好地再现几何形状相关实际摄像机参数。此外，摄像机参数集的颜色相关摄像机参数也可能与摄像机的实际颜色性能不同，这将导致摄像机参数集错误地再现摄像机的颜色获取。

[0096] 摄像机校准参数确定的目的是更新摄像机参数集，直到经变换区域边界(点线)基本上匹配图像区段的成像边界(虚线)为止，并且直到每一个经变换区域中的颜色基本上与摄像机图像的相应呈现彩色区域的颜色相同为止。当达到该状态时，可以假设相应的摄像机参数集以相对高的准确度再现要校准的摄像机的行为。

[0097] 图6与图5类似，然而，着重于经变换对象模型而不是摄像机图像。因此，图6的中间所示的区域是由实线限定的，并且与校准图表(即，真实对象)的经变换绿色区域相对应。该区域与在图6中用粗点划线指示的选定区域相对应。摄像机图像的图像区段与选定区域相一致。可以看出，图像区段(因此，选定区域)未与摄像机图像的成像区域的边界对准。更确切地说，图像区段与可以在摄像机图像中看到的摄像机图像的六个不同颜色的成像区域相对应，即，青绿色区域、绿色区域、红色区域、黄色区域、橙色区域、以及粉色区域。当对与选定区域相对应的图像区段中的颜色进行评估时，可以看出，绿色占主导，然后是橙色，红色，青绿色，粉色，最后是黄色。经变换校准图表模型与底部偏移，并且关于摄像机图像以顺时针方向旋转约20度。因此，在图6所描绘的情形中，应当修改摄像机参数集，使得经变换对象上移并且以逆时针方向旋转，以便更好地匹配摄像机图像(虚线)。此外，摄像机参数集将需要再现摄像机的失真，以近似可以在摄像机图像中观测到的弯曲区域边界。此外，调整颜色相关摄像机参数使得经变换模型的选定区域的绿色的阴影基本上与摄像机图像中出现的绿色的阴影相同可能是必需的。

[0098] 图7示出了通过与摄像机图像的第一轴或第二轴平行的线段的方式近似选定区域的边界。近似通过内切形状再现选定区域的边界，即，近似形状完全在选定区域中。注意，摄像机图像的轴在另一参考系(例如，对象相关参考系或者“真实世界”参考系)中可以不表现为直线和/或彼此正交。由于该原因，对形状加以近似的线段可以表现为曲线。在图7中，示出了摄像机图像的像素分辨率。近似形状的线段遵循两个像素之间的边界。如上面参照图6所述，摄像机图像的不同颜色的区域可以落入选定区域中。由近似形状包围的每一个像素可以根据摄像机图像的相应部分检测不同的颜色或两个不同颜色的混合。通过下面的字母在图7中指示由选定区域内的各个像素检测到的颜色：针对绿色的“G”、针对红色的“R”、针对青绿色的“T”、针对黄色的“Y”、针对橙色的“O”、针对粉色的“P”(参照图5以及图5中指示获取的摄像机图像中的不同颜色之间的边界的虚线——在图7中也再现了这些虚线)。大多数像素获取单个颜色。然而，一些像素在两个成像区域之间的边界上，使得它们获取两种(或更多种)不同的颜色。例如，绿色成像区域与红色成像区域之间的边界刚好通过多个像素的中间。因此，这些像素获取绿色和红色，其在图7中由缩写“G+R”指示。类似地，缩写“O+P”意味着橙色和粉色。

[0099] 对由近似形状包围的像素进行计数产生以下结果：

[0100] 绿色： 18个像素

[0101] 橙色： 13个像素

[0102] 粉色： 4个像素

[0103] 青绿色： 3个像素

[0104] 红色： 2个像素

[0105] 绿色和红色： 2个像素

[0106] 橙色和粉色： 2个像素

[0107] 黄色： 1个像素

[0108] 总计： 45个像素

[0109] 这些结果的评估揭示选定区域中的主要颜色是绿色。然而，这些颜色示出了显著的分散，即，颜色的方差相对较高。这可能意味着选定区域的几何形状不会非常好地再现成像区域的几何形状。

[0110] 下面将描述用于评估选定区域的备选选项，并且该备选选项基于积分图像。

[0111] 图8在很大程度上类似于图7。图8中的近似形状是外切形状。此外，可以对包含特定颜色的像素进行计数：

[0112] 绿色： 25个像素

[0113] 黄色： 19个像素

[0114] 粉色： 10个像素

[0115] 青绿色： 8个像素

[0116] 红色： 6个像素

[0117] 黄色： 4个像素

[0118] 绿色和红色： 4个像素

[0119] 橙色和粉色： 2个像素

[0120] 黄色和橙色： 1个像素

[0121] 总计： 79个像素

[0122] 图9示出了用于计算多边形内的像素值的总和的有效且简单的方法。思想是将多边形的两个形状近似(内部形状近似和外部形状近似的类型)进行组合。设P＝{x1，y1，...，xn，yn}表示具有适合数目的顶点xi，yi的多边形区域(在该上下文中，适合意味着分别通过足够的顶点和线段来表示多边形的至少非轴对准的线，这在我们的情况中是通过重采样步骤来保证的)。为了方便，定义xn+1：＝x1和yn+1：＝y1，这类似于将第—顶点添加到顶点列表的末尾。此外，设I(x，y)为像素位置x、y处积分图像中的值。然后，可以通过来近似多边形区域中的所有像素值的总和sP。

[0123] 图9示出了该等式并且显示多边形顶点处的积分图像值被消除，这是因为它们与一个近似相加并且减去另一近似。换言之，图9示意性地示出了多边形的内部形状近似和外部形状近似(实线)。顶点位置处的积分图像的值被消除。值sP可以是该总和的负值，这取决于多边形的方位，然而，这可以容易地被消除。每一个像素值为1的辅助映像(helper image)的积分图像可以用于计算由多边形定义的区域的面积(如在本公开中的另一位置处所描述的)。然而，可以容易地显示其也可以在形状积分期间被计算。

[0124] 图10示出了说明要校准的摄像机2提供的摄像机图像的可能处理的示意性框图。

[0125] 摄像机图像被馈送到积分图像计算块1012并且被馈送到平方积分计算块1014。积分图像计算块1012针对摄像机图像的每一个像素位置x*，y*，确定积分图像值I1(x*，y*)。为了对积分图像中的相应像素编索引，变量x*和y*是整数，并且表示与摄像机有关的坐标系中的坐标。通过对像素值p(i，j)进行求和来确定积分图像I1(x*，y*)的每一个像素，其中，i≤x*并且j≤y*。换言之，对像素值p(i，j)进行积分，一直到当前的像素位置。以类似的方式来确定平方积分图像I2(x*，y*)，然而，在相加之前对像素值p(i，j)进行平方。

[0126] 除了积分图像I1和平方积分图像I2以外，确定图像区段中(与选定区域相关联(或对准)的)像素的数目也可以是有用的。图像区段中的像素的数目可以在确定图像区段的统计矩的上下文中，如下面将描述的。

[0127] 积分图像I1被转发给边界确定块1022。边界确定块1022的另一输入是经变换对象(例如，校准图表)的选定区域的几何形状。选定区域的几何形状描述了如何使用当前摄像机参数集来变换真实对象的特定区域。然后，边界确定块1022近似积分图像I1的坐标系中的选定区域的边界。例如，可以通过与积分图像I1的轴平行的线段的方式来近似选定区域的边界。除了积分图像I1以外或作为积分图像I1的备选，边界确定块1022可以接收平方积分图像I2或者原始摄像机图像作为输入，这是因为摄像机图像、积分图像I1和平方积分图像I2的轴通常是相同的。通过添加新的第一行和填充有零的新的第一列，使得积分图像加宽一个像素并且加高一个像素。

[0128] 选定区域的近似边界、积分图像I1和平方积分图像I2被馈送到块1032，以确定与选定区域相对应的(边界近似的)图像区段中的统计矩。可以通过例如使用离散格林定理对图像区段的边界处的积分图像值和平方积分图像值进行评估，来实现这一点。通过这种方式，可以以非常高效的方式来确定与选定区域相对应的图像区段的统计矩。块1032输出统计矩，例如，与选定区域相对应的图像区段中的摄像机图像值的平均图像值和一致性度量。一致性度量描述了在图像区段中出现的图像值是相对类似(即，基本上相同的颜色、颜色阴影、或灰度阴影)还是广泛分布(即，多个不同的颜色、颜色阴影、或灰度阴影)。

[0129] 注意，由摄像机2提供的摄像机图像可以被划分为两个或更多个颜色分量画面，并且对于每一个颜色分量，可以计算单独的积分图像和单独的平方积分图像。此外，还可以以颜色分量单独方式对统计矩进行确定。

[0130] 然后，将统计矩(例如，图像区段中的平均图像/颜色值、一致性度量)提供给比较块1034，该比较块1034将所确定的统计矩与选定区域的对应属性进行比较。该比较的结果是相似性度量。可选地，比较块1034可以输出选定区域与对于的真实图像区段的对准的度量。

[0131] 在一些实施例中，相似性度量可以考虑两个或更多个区域之间的关系。具体地说，当与一个或多个区域有关的某信息不是作为绝对值先验已知的，而仅两个或更多个区域之间的关系是先验已知的时，这可以是有利的。例如，已知对象区域的第一对象区域的颜色可能不是(或者不正好是)已知的，而只是该第一对象区域与对象的第二对象区域相比更亮或更暗而已。除了更亮/更暗的关系以外，其它关系也是可以想到的，例如，较低-较高关系、较强-较弱关系等等。在经变换对象中以正确的方式表示第一对象区域与第二对象区域之间的先验已知关系这样的事实对第一对象区域和第二对象区域中的至少一个的相似性度量造成影响，也即是说，如果在经变换对象中观测到先验已知的关系，则相似性度量通常将具有更高的分数。因此，可以假设对象模型从第一参考系变换到第二参考系，从而以正确的方式处理第一对象区域与第二对象区域之间的关系。例如，黑白摄像机可以获取彩色对象的图像，例如，具有红色区域、白色区域和黑色区域的交通标志。由黑白摄像机获取的图像是灰度图像，因此颜色“红色”将在图像中表现为灰色阴影。在描述交通标志的对象模型中，可以将白色区域定义为与红色区域相比更亮。类似地，可以将红色区域定义为与黑色区域相比更亮。通过这两个条件推断出，白色区域与黑色区域相比也更亮。此外，对象模型可以规定白色区域(黑色区域)是在由黑白摄像机获取的图像中出现的最亮区域(最深区域)之一。当确定相似性度量时，也可以评估这个条件。注意，在一些实施例中，具有两个或更多个有关区域的组可以被认为(视为)一个较大的组合区域，以用于确定针对该较大的组合区域的与区域有关的相似性度量。

[0132] 只要未修改摄像机图像，积分图像I1和平方积分图像I2就是恒定的。这意味着只要未对摄像机图像进行修改，就只需要计算积分图像I1和平方积分图像I2一次。摄像机参数的估计的优化仅影响选定区域的几何形状，因此影响块边界确定块1022。因为可以使用积分图像I1和平方积分图像I2以非常有效的方式对感兴趣的图像区段内的统计矩进行确定，因此针对每一个优化步骤的计算成本相对较小。

[0133] 图11示意性地示出了用于根据本文公开的教导的一个或多个实施例确定摄像机校准参数的方法的流程图。在第一步骤1102期间，接收到将用于校准摄像机的对象的对象模型。对象通常是已知的，使得对象模型是可用的。例如，对象可以是包括具有不同颜色的多个区域的校准图表。

[0134] 然后，基于要校准的摄像机的(当前)摄像机参数集来变换对象模型，如图11中的流程图的块1104所指示的。相应的变换至少包括将对象模型的从第一参考系几何投影到与摄像机有关的第二参考系。作为该变换的结果，确定包括至少一个区域的经变换对象模型。将该至少一个区域关联到对象的至少一个校准区域(例如，真实对象的具有单一颜色的区域)。

[0135] 在图11中的流程图的块1106处，接收摄像机图像。摄像机图像描绘了使用要校准的摄像机获取的对象。通过摄像机图像的方式，可以验证变换的质量，因此验证当前估计的摄像机参数集的质量。换言之，摄像机图像用作参考。

[0136] 在步骤1108，针对经变换对象模型的选定区域，确定与区域有关的相似性度量。相似性度量表示选定区域与经由变换相关映射关联到选定区域的摄像机图像的图像区段之间的相似性。在本文中描述了用于确定与区域有关的相似性度量的一些可能选项。

[0137] 在用于确定摄像机校准参数的方法的步骤1109，基于区域相关相似性度量和优化方案来确定更新的摄像机参数集。

[0138] 因为摄像机校准仅是根据本文公开的至少一些实施例的方法的很多可能的应用之一，因此也可以以更一般的形式来给出流程图。在第一步骤1102期间，接收到将用于执行该方法的对象的对象模型。对象通常是已知的，使得对象模型是可用的。然后，基于(当前)模型参数集来变换对象模型。该动作与图11中的流程图的块1104相对应。相应的变换将对象模型从第一参考系变换到第二参考系。作为该变换的结果，确定包括至少一个区域的经变换对象模型。该至少一个区域被关联到对象的至少一个校准区域(例如，真实对象的具有单一颜色的区域)。

[0139] 在与图11中的流程图的块1106相对应的动作期间，接收图像。该图像描绘了使用获取设备获取的对象。通过该图像，可以验证变换的质量，因此验证当前估计的模型参数集的质量。换言之，图像用作参考。针对经变换对象模型的选定区域，确定区域相关相似性度量(这与图11中的流程图的步骤1108相对应)。相似性度量表示选定区域与经由变换相关映射关联到选定区域的摄像机图像的图像区段之间的相似性。在本文中描述了用于确定与区域有关的相似性度量的一些可能选项。在与图11中的流程图的步骤1109相对应的动作期间，基于区域相关相似性度量和优化方案来确定更新的模型参数集。

[0140] (具体地说，在图4和图9中)所描述的系统是校准框架的一个可能的实现。系统的一些可能的变形如下：

[0141] ·可以将其它参数添加至参数向量，以更好地对真实世界系统进行建模，或者可以改变参数。例如，也可以对切向失真或照明条件进行建模。此外，也可以对校准对象(图表)进行参数化，例如，可以使用额外的参数对可折叠(非刚性)校准图表的张角进行建模。

[0142] ·也可以对色像差(chromatic aberration)进行参数化和建模。因此，可以在区域积分块412(与透镜失真块408类似)之前针对每一个色带单独地使描述颜色补片的边界的多边形变形。

[0143] ·系统并且特别是误差函数块422可以利用各种颜色空间。例如，可以使用等视距的CIE Lab颜色空间或者RGB颜色空间。也可以考虑使用原始传感器数据。

[0144] ·作为摄像机图像的备选或者除了摄像机图像以外，也可以在系统中使用图像的预处理或经变换版本(例如，边缘图像或强度图像)。术语“摄像机图像”涵盖这种预处理或经变换版本的图像。此外，不仅可以考虑强度或颜色图像，而且还可以考虑深度图像。

[0145] ·提出了计算和使用平方像素值的图像和适当的积分图像以计算多边形区域中的像素方差。取而代之地，可以将每一个多边形区域划分为任意数目的子区域，并且可以通过子区域的平均值的方差来近似整个多边形区域的方差。这可能导致速度和内存优化，这是因为必须计算和存储更少的积分图像。

[0146] ·颜色变换参数的优化可以不基于整个颜色补片(选定区域)，而是如果颜色补片未非常好地适应在图像中，则跳过颜色补片的边缘以避免误差。为此，可以通过定义精确的边界的多边形以及减少了边缘的多边形来对每一个颜色补片进行建模。

[0147] ·优化过程可以在一开始仅包括一些颜色补片(直到达到某一收敛为止)，并且逐步地添加其它补片以减少计算成本。

[0148] ·不仅可以对补片的边界和参考颜色(或强度)进行建模，而且还可以对颜色补片周围的边框以及边框的对应颜色和强度(背景)进行建模。它们也可以被并入误差向量中。

[0149] ·多边形重采样块可以在一开始针对最大线段长度使用高阈值，并且在优化期间对其进行减小，从而由于较少的顶点而降低计算负载。

[0150] ·除了多边形区域的颜色(强度)和方差的以外或者作为多边形区域的颜色(强度)和方差的备选，还可以计算和使用更高阶矩。

[0151] ·多边形重采样块还可以遵循其它重采样策略，例如，根据图像中的图表(或多边形)的大小来调整额外顶点的数目的白适应方法。

[0152] ·如果只需要几何校准、摄像机曲线校准或者白平衡，则可以使用灰度级或者黑白校准图表，并且对灰度图像进行处理。

[0153] ·可以通过在积分图像中进行插值，来以子像素精度改善多边形区域的积分。

[0154] ·通常，可以对校准图表的仅有部分进行建模并且将其包含在优化过程中，例如，颜色补片(区域)中的仅一些。此外，还可以对颜色补片之间的区域进行建模，并且将其包含在优化过程中。

[0155] ·仅使用校准图案的单个图像或视图可以导致欠定的系统。因此，可以同时或逐步地将多个视图或图像并入到校准过程中。

[0156] ·可以对任意颜色校准或者映射进行建模和参数化，而不是仅使用3x3线性颜色映射。

[0157] ·颜色变换块416也可以放置在积分图像计算414之前并且应用于图像中的每一个像素，然而，在该情况下，每当颜色映射参数改变时，都必须在优化期间更新积分图像。

[0158] ·可以将误差向量的每一个元素与单独的加权因子相乘，以着重于误差向量的特定分量或者将校准集中于特定的颜色补片。权重也可以基于校准图表或图像中的多边形区域的大小。

[0159] 所提出的校准框架的优点中的一些如下：

[0160] ·系统以封闭形式解对色度和几何摄像机校准进行统一，并且还可以应用于商用校准图表。

[0161] ·由于多边形区域的积分，其关于传感器噪声是高度鲁棒的，这是因为在积分步骤中消除了具有零均值的噪声。

[0162] ·可以非常有效地实现该校准框架的所有分量，这导致较低的计算成本。此外，除了积分图像计算成本以外，其它计算成本均与图像大小无关。这些算法也完全适合于专用硬件(例如，图形卡)上的并行计算和实现。

[0163] 也可以在摄像机校准是有利的很多应用中使用所提出的系统，例如：

[0164] ·集成到图像处理程序中，以对照片进行几何校准和颜色校准。

[0165] ·由于算法的效率，还可以将其集成到家用摄像机或专业摄像机中以简化校准过程。一旦摄像机检测到图像中的校准图表，摄像机就可以自动地校准自身。因此，如果光或摄像机设置被改变，则摄影师仅必须将校准图表置于摄像机前面一次，以校准系统。

[0166] ·系统可以用于对多摄像机设置(例如，立体摄像机)进行几何校准和色度校准。这在例如3D产品中是有利的。

[0167] 使用积分图像确定二维画面表示的区域的度量

[0168] 结合用于确定模型参数的装置/方法，采用用于使用积分图像和/或相应方法来确定二维画面表示的区域的度量的装置/方法可能令人感兴趣。例如，这种用于确定二维画面表示的区域的度量的方法可以使用二维画面表示的积分图像(更高维图片表示也是可以想到的)。

[0169] 在P.Viola和M.Jones的Rapid object detection using a boosted cascade of simple features，in IEEE Conference on Computer Vision and Pattern Recognition，volume1，pages 511-518，Kauai，HI，USA，Apr.2001中，Viola和Jones提出了用于进行快速对象检测的框架。他们使用Haar型矩形特征和AdaBoost来训练分类器级联以进行对象检测。他们提出了用于进行快速特征提取的积分图像。积分图像中的每一个像素包含该像素的左侧和上面的所有像素的总和。因此，积分图像可以用于通过加上左上角和右下角的像素值并且减去右上角和左下角的像素值来计算矩形区域中的所有像素的总和。
为此，可以通过在固定时间内在积分图像中仅进行四次查找来对任意大小的矩形区域中的所有像素进行求和。

[0170] 然后，已经在大量出版物中使用了积分图像的Haar型特征和应用，并且提出了各种改进。然而，它们均给予矩形区域或矩形区域的组合。

[0171] Yin和Collins(Z.Yin和R.T.Collins的Object tracking and detection after occlusion via numerical hybrid local and global modeseeking，in Computer Vision and Pattern Recognition，2008.CVPR2008.IEEE Conference on，page1-8，2008)提出了可以将任意图像区域划分为边缘平行于坐标轴的矩形。因此，可以通过在积分图像的帮助下对所有矩形区域进行求和，来计算任意区域内的总和。

[0172] Mohr和Zachmann(D.Mohr和G Zachmann的FAST：fast adaptive silhouette area based template matching，in Proceedings of the British Machine Vision Conference，pages39.1-39.12，2010)还提出通过具有轴对准的边缘的矩形集来近似任意区域。他们使用用于基于概率图像来进行快速模板匹配的方法，其中，每一个像素包含像素是否属于对象的概率。

[0173] 他们还采用积分图像来获得可扩展的且与分辨率无关的解决方案。

[0174] 与先前的方法相比，基于矩形的区域近似具有多个优点。它提供了用于计算任意图像区域中的像素值的总和的非常快速且可扩展的方式。然而，针对各种应用，它具有多个缺点。

[0175] 图20a中示出了由轴对准的矩形近似的任意区域的示例。它采用四个数值来存储每一个矩形，并且在积分图像中进行四次查找以计算矩形中的像素值的总和。需要总共4N个数值和查找来分别存储区域近似并且计算像素值的总和。

[0176] 假设必须近似由任意多边形定义的区域，需要用非交叠矩形划分多边形区域的算法。这可能是耗时且有挑战的任务。此外，如果希望修改或处理近似，则始终必须对处理中涉及的所有矩形的所有角进行处理。图20b示出了区域边界的小规模处理。即使在移动一个矩形角的简单情况下，也必须处理所有强调的矩形。

[0177] 对能够使用非交叠矩形来近似区域的算法的需要以及区域处理中涉及的困难是在很多应用中必须考虑的两个缺点。

[0178] 通过用于使用二维画面表示的积分图像确定二维(或更高维)画面表示的区域的度量的装置来提供用于处理这些缺点的一个选项。该装置包括第一确定器，其被配置为确定对区域的边界加以近似的闭合曲线，使得闭合曲线是包括与积分图像的轴平行的至少六个轴平行线段的多边形。此外，装置包括第二确定器，其被配置为通过交替地加上和减去多边形的顶点处的积分图像的值来确定区域的度量。

[0179] 用于确定二维(或更高维)画面表示的区域的度量的相应方法使用二维画面表示的积分图像。该方法包括以下步骤：确定对区域的边界加以近似的闭合曲线，使得闭合曲线是包括与积分图像的轴平行的至少六个平行线段的多边形。此外，该方法包括以下步骤：通过交替地加上和减去多边形的顶点处的积分图像的值来确定区域的度量。

[0180] 具体地说，可以在确定模型参数的上下文中使用所提出的用于确定区域的度量的装置和方法，其中，相应的模型描述了对象如何从第一参考系(通常，在获取的真实对象的“真实”世界中)变换到第二参考系(通常关于图像被定义，即，获取处理的结果)。

[0181] 可以通过更灵活且紧凑的形状描述来描述任意区域(例如，上面在确定模型参数的上下文中提到的选定区域)，其中，该形状描述不具有与当仅使用对区域的边界加以近似的轴平行线段(例如，水平线段和垂直线段)时的基于矩形的近似有关的缺点。针对任意区域的这种有效的形状表示可以用于通过交替地加上和减去包括轴平行线段的多边形的顶点处的积分图像的值，来快速地计算由闭合曲线定义的区域的度量。

[0182] 在下文中，闭合曲线也可以被指定为形状，轴平行线段也可以被指定为线段。

[0183] 与基于矩形的方法相比，可以非常容易地计算区域的度量，这是因为仅必须考虑区域的边界以计算区域的度量，其原因在于，度量是通过加上和减去多边形的顶点处的值来计算的，其中，所述多边形是对区域的边界加以近似的闭合曲线。对于上面提到的模型参数的确定，在映射到经变换选定区域的图像区段中评估所获取的图像。经变换选定区域用作描述获取图像中的图像区段的掩蔽或模板。可以以快速且有效的方式来确定图像区段的各个度量。可以通过确定图像区段中的图像值(例如，像素值)的总和来确定图像区段中的平均图像值。也可以通过评估所有像素具有相同的值(例如，“1”)的辅助积分图像中的图像区段来确定图像区段中的像素的总数。然后，图像区段中的平均图像值是总数与(经由变换相关映射)对应到选定区域的图像区段中的像素的总数的比例。

[0184] 从图20a可以看出，为了计算图20a中所示的区域的度量，必须考虑所有矩形的所有顶点，这是因为必须针对每一个矩形计算度量。因此，在基于矩形的方法中，不仅必须考虑区域的边界，而且还必须考虑位于任意区域中的矩形的顶点。

[0185] 可以通过一个轴平行线段来连接多边形的两个顶点。换言之，轴平行线段的起始点是第一顶点，轴平行线段的端点是第二顶点，例如，当在闭合曲线上行进时在第一顶点之后。

[0186] 多边形的顶点可以是与积分图像的第一轴平行的轴平行线段的端点和与积分图像的第二轴平行的轴平行线段的起始点。换言之，当在闭合曲线上行进时，与积分图像的第一轴平行的水平轴平行线段和与积分图像的第二轴平行的垂直轴平行线段交替。举例说明，可以使用至少两个轴平行线段来近似与积分图像的轴不平行的区域边缘，其中，轴平行线段中的第一个轴平行线段与积分图像的第一轴平行，轴平行轴中的第二个轴平行轴与积分图像的第二轴平行。

[0187] 图12a示出了用于使用二维画面表示的积分图像来确定二维画面表示的区域的度量的方法100的流程图。方法100包括步骤101：确定对区域边界加以近似的闭合曲线，使得闭合曲线是包括与积分图像的轴平行的至少六个轴平行线段的多边形。

[0188] 此外，方法100包括步骤103：通过交替地加上和减去多边形的顶点处的积分图像的值来确定区域的度量。

[0189] 如上所述，通过使用轴平行线段而不是矩形来近似区域的边界，可以实现更灵活且紧凑的形状描述，其不具有与基于矩形的近似有关的任何缺点。此外，可以容易地通过交替地加上和减去多边形的顶点处的积分图像的值来确定区域的度量(例如，区域的所有像素的总和)。因此，与基于矩形的近似相比，只需要存储和使用对区域边界加以近似的多边形的顶点来计算区域的度量，而不是如在基于矩形的方法中一样，存储和使用区域内的顶点。

[0190] 如前所述，在积分图像中，每一个像素可以包含在该像素左侧和上面的所有像素的总和。因此，可以通过交替地加上和减去多边形的顶点处的积分图像的值，来针对任意区域快速地计算由形状或闭合曲线定义的图像区域中的像素值的总和。

[0191] 图12b示出了用于使用二维画面表示152的积分图像154来确定二维画面表示152的区域的度量151的装置150。装置150包括第一确定器153，其被配置为确定对区域的边界加以近似的闭合曲线155，使得闭合曲线155是包括与积分图像154的轴平行的至少六个轴平行线段的多边形。

[0192] 此外，装置150包括第二确定器157，其被配置为通过交替地加上和减去多边形的顶点处的积分图像154的值，来确定区域的度量151。换言之，装置150可以被配置为执行方法100。

[0193] 第一确定器153可以接收二维画面表示152，并且可以被配置为确定二维画面表示152的积分图像154，或者可以被配置为接收已经确定的二维画面表示152的积分图像154。

[0194] 下面结合装置150所描述的其它(可选的)特征也可以应用于方法100，反之亦然。

[0195] 作为简短注释形式的列表，下面给出与确定二维画面或图像的区域的度量有关的教导的一些方面：

[0196] 用于使用二维画面表示(152)的积分图像(154)来确定二维画面表示(152)的区域(2111、2112、401)的度量(151)的装置(150)，该装置(150)包括：第一确定器(153)，被配置为确定对区域(2111、2112、401)的边界加以近似的闭合曲线(155、1551至1555)，使得闭合曲线(155、1551至1555)是包括与积分图像(154)的轴平行的至少六个轴平行线段的多边形；以及第二确定器(157)，被配置为通过交替地加上和减去多边形的顶点处的积分图像(154)的值来确定区域(2111、2112、401)的度量(151)。

[0197] 第一确定器(153)可以被配置为确定闭合曲线(155、1551至1555)，使得通过一个轴平行线段来连接多边形的两个顶点。

[0198] 第一确定器(153)可以被配置为确定闭合曲线(155、1551至1555)，使得当在闭合曲线(155、1551至1555)上行进时，与积分图像(154)的第一轴平行的水平轴平行线段和与积分图像(154)的第二轴平行的垂直轴平行线段交替。

[0199] 第一确定器(153)可以被配置为使得通过具有与积分图像(154)的第一轴平行的至少一个水平轴平行线段和至少与积分图像(154)的第二轴平行的至少一个垂直轴平行线段的序列来近似区域(2111、2112、401)的每一个非轴平行边缘。

[0200] 多边形的每一个顶点可以与积分图像(154)的二维xy坐标系的x轴值和二维xy坐标系的y坐标值相关联，其中，第一确定器(153)被配置为确定闭合曲线(155、1551至1555)，使得当在闭合曲线(155、1551至1555)上行进时，连续的顶点在x坐标或y坐标上是不同的。

[0201] 第二确定器(157)可以被配置为确定区域(2111、2112)的度量(151)，使得针对多边形的每一个顶点，加上或减去与顶点相邻的积分图像(154)的值。

[0202] 积分图像(154)的水平轴可以沿着积分图像(154)的二维xy坐标系的x坐标方向延伸，而积分图像(154)的垂直轴可以沿着二维xy坐标系的y坐标方向延伸。此外，第二确定器(157)可以被配置为针对多边形的顶点(201)，选择用于加上或减去以确定区域(2111、2112)的度量(151)的值，作为积分图像(154)的值(A)，该积分图像(154)的值(A)与顶点(201)相邻并且关联到顶点(201)的前一x坐标和前一y坐标。作为前一x坐标和前一y坐标的备选，可以使用取整的x坐标和取整的y坐标。

[0203] 第二确定器(157)可以被配置为确定区域(2111、2112)的度量(151)，使得针对多边形的位于积分图像(154)的边界处的顶点(其中，接近该顶点并且关联到前一x坐标和前一y坐标的积分图像(154)的值位于积分图像(154)之外)，该值被选择为零。

[0204] 第一确定器(153)可以被配置为根据二维画面表示(152)的区域(2111)的改变来改变多边形的顶点；第二确定器(157)可以被配置为通过以下操作的来确定改变的区域(2112)的度量：从区域(2111)的度量(151)中减去并且向区域(2111)的度量(151)加上由第一确定器(153)改变或移除的顶点(2011)的旧值，使得从区域(2111)的度量(151)中减去已经被加上以确定区域(2111)的度量(151)的旧值并且向区域(2111)的度量(151)加上已经被减去以确定区域(2111)的度量(151)的旧值；并且通过交替地向区域(2111)的度量(151)加上和减去多边形的改变的或新的顶点(2011、2012、2013)处的新值。

[0205] 积分图像(154)的水平轴可以沿着积分图像(154)的二维xy坐标系的x坐标方向延伸，并且积分图像(154)的垂直轴可以沿着积分图像(154)的二维xy坐标系的y坐标方向延伸。第一确定器(153)可以被配置为在x坐标方向或y坐标方向上将顶点(2011)移位到区域(2111)的边界的改变，并且当被移位的顶点在x方向或y方向上移位时，仅附加地改变闭合曲线(155)上的与移位的顶点相邻的一个顶点，并且当移位的顶点(2011)在x方向和y方向上移位时，仅改变闭合曲线(155、1554、1555)上与移位的顶点(2011)相邻的两个顶点(2012、2023)

[0206] 第一确定器(153)可以被配置为确定对区域(401)的边界加以近似的闭合曲线(1551)，使得区域(401)的边界完全包围多边形。第一确定器(153)可以被配置为确定对区域(401)的边界加以近似的闭合曲线(1552)，使得区域(401)的边界与轴平行线段相交。

[0207] 第一确定器(153)可以被配置为确定闭合曲线(1552)，使得区域(401)的边界与轴平行线段在该轴平行线段的中心处相交。

[0208] 第一确定器(153)可以被配置为确定闭合曲线(1552)，使得多边形的第一顶点(4031)位于区域(401)的外部，并且当在闭合曲线(1553)上行进时，在第一顶点(4031)后面的第二顶点(4032)位于区域(401)的内部。

[0209] 第一确定器(153)可以被配置为确定闭合曲线(1553)，使得多边形的第一顶点(4033)位于区域(401)的外部，并且当在闭合曲线(1553)上行进时，在第一顶点(4033)后面的第二顶点(4034)位于区域(401)的边界上。

[0210] 第一确定器(153)可以被配置为通过改变多边形的轴平行线段的最大固定长度，来调整使用闭合曲线近似区域的边界的精度。

[0211] 区域(2111、2112)可以包括多个像素，每一个像素具有像素值；并且其中，所述第二确定器(157)可以被配置为确定区域(2111、2112)的度量(151)，使得它描述区域(2111、2112)内的二维画面表示(152)的所有像素的像素值的总和。

[0212] 积分图像(154)的每一个值可以被关联到积分图像(154)的二维xy坐标系的坐标位置。第一确定器(153)可以被配置为确定其中的二维画面表示(152)的每一个像素的每一个像素值被设置为相同的值的二维画面表示(152)的另一积分图像。第二确定器(157)可以被配置为通过在与用于确定区域的度量(151)的积分图像(154)的值相同的坐标位置处交替地加上和减去另一积分图像的值来确定另一积分图像中的区域的另一度量，使得区域的另一度量描述区域中的像素数目。

[0213] 第二确定器(157)可以被配置为基于区域的度量和区域的另一度量来计算区域中的所有像素的平均值。

[0214] 还提出了用于使用二维画面表示(152)的积分图像(154)来确定二维画面表示(152)的区域(2111、2112、401)的度量(151)的方法(100)，所述方法(100)包括：

[0215] 确定(101)对区域(2111、2112、401)的边界加以近似的闭合曲线(155、1551至1555)，使得闭合曲线(155、1551至1555)是包括与积分图像(154)的轴平行的至少六个轴平行线段的多边形；

[0216] 通过交替地加上和减去多边形的顶点处的积分图像(154)的值来确定(103)区域(2111、2112、401)的度量(151)。

[0217] 图14示出了二维画面表示152的区域301的示例，区域301的边界是由第一确定器153使用闭合曲线155来近似的。闭合曲线155是多边形，其包括与二维画面表示152的轴平行的多个轴平行线段。举例说明，二维画面表示152可以包括(或者基于)二维xy坐标系，二维xy坐标系具有第一坐标轴(例如，x坐标轴或水平轴)和第二坐标轴(例如，y坐标轴或垂直坐标轴)。二维画面表示152的轴可以与二维画面表示152的积分图像154的轴相同，使得闭合曲线155的与二维画面表示152的轴平行的轴平行线段也与积分图像154的轴平行。从图
14可以看出，闭合曲线155的所有线段与轴平行，并且当在闭合曲线155上行进时，与二维画面表示152的第一坐标轴平行的轴平行线段和与二维画面表示152的第二坐标轴平行的轴平行线段交替。

[0218] 形状的各种表示是可能的。最简单的形式是由构成，而xi、yi是形状的第i个角(或顶点)的与二维画面表示152的坐标系有关的x坐标和y坐标。顶点i和i+1是相邻的，并且由线段连接。顶点n和顶点1描述了从最后一个顶点到第一个顶点闭合形状的线段。

[0219] 更接近的外观揭示该表示的冗余。连续顶点在x坐标或y坐标上是不同的，这是因为仅使用了与轴对准的线段。因此，两个连续的x或y项始终包含相同的值，并且可以将表示缩短为另一种实现可以使用表示起始点并且备选地表示x方向和y方向上的位移dx、dy。在该表示
中，∑idxi＝0和∑idyi＝0成立，否则，S不是闭合形式。因此，可以丢弃x方向和y方向上的最后位移(起始点是已知的)。

[0220] 换言之，多边形的每一个顶点可以被关联到积分图像154和二维画面表示152的坐标系的第一坐标值和第二坐标值，其中，当在闭合曲线155上行进时，连续顶点在第一坐标(例如，x坐标)或第二坐标(例如，y坐标)上不同。

[0221] 另一种可能性是使用边界框和相对于边界框的顶点以已经示出的相同方式来描述形状。因此，可以通过仅改变边界框的大小或位置，容易地处理形状的宽度、高度和位置。

[0222] 可以对该形状进行对指定的应用有用的任何坐标变换，这与所选的表示无关。还可以取而代之地将x；y对的顺序切换为y；x。

[0223] 与基于矩形的方法相比，可以非常容易地使用所描述的形状表示以任意精度来近似任意区域。例如，通过使用如图15a中所示的具有水平形状线段或垂直形状线段的序列近似多边形的每一个边缘，来以任意精度近似多边形区域。

[0224] 换言之，根据另一实施例，通过具有至少一个水平轴平行线段(例如，其与积分图像的第一坐标轴平行)和至少一个垂直轴平行线段(例如，其与积分图像的第二坐标轴平行)的序列来近似区域的边界的每一个单个非轴平行边缘。

[0225] 也容易近似除了图15a和图15b中所示的几何形状以外的几何形状，这是因为仅考虑边界。根据应用和要求，可以以可调整的精度来近似形状。举例说明，可以采用具有固定最大长度的线段以及具有可自由调整的长度的线段。换言之，可以通过改变多边形的轴平行线段的最大固定长度，来调整使用闭合曲线近似区域的边界的分辨率。

[0226] 此外，近似不限于内部区域。还可以近似中间区域或外部区域，如图15b中所示。在中间近似的情况下，区域边界与每一个(形状)线段的中心相交。

[0227] 图15b在顶部画面中示出了示例，其中由第一确定器153确定对区域401的边界加以近似的闭合曲线1551，使得区域的边界以与图7中所示的方式类似的方式完全包围多边形。

[0228] 此外，图15b在中间画面中示出了示例，其中由第一确定器153确定近似区域401的边界的闭合曲线1552，使得区域的边界与轴平行线段相交。在图15b中所示的示例中，区域的边界与多边形的每一个轴平行线段相交。此外，针对多边形的轴平行线段中的至少一些，区域的边界与轴平行线段在该轴平行线段的中心处相交。

[0229] 此外，多边形(或闭合曲线)的第一顶点4031位于区域401的外部，并且当在闭合曲线1552上行进时，在第一顶点4031之后的第二顶点4032位于区域401的内部。

[0230] 此外，图15b在底部画面中示出了示例(也参见图8)，其中确定闭合曲线1553，使得多边形(或闭合曲线1553)的第一顶点4033位于区域401的外部，并且当在闭合曲线1553上行进时在第一顶点4033之后的第二顶点4034位于区域401的边界上。换言之，闭合曲线1553包围区域401。

[0231] 从图15a和图15b可以看出，对任意区域加以近似是使用形状表示(使用轴平行线段)的简单任务，并且可以容易地以任意精度来完成近似。

[0232] 此外，可以以容易且灵活的方式来处理形状表示(或闭合曲线)。在x方向或y方向上移位顶点刚好影响一个相邻顶点。例如，x方向可以是二维画面表示和积分图像的二维xy坐标系的第一坐标方向。此外，y方向可以是二维画面表示和积分图像的二维xy坐标系的第二坐标方向。对二维画面表示的区域的边界加以近似的闭合曲线或多边形的每一个轴平行线段与第一坐标方向平行并且因此沿着x方向延伸，或者与第二坐标方向平行并且因此沿着y方向延伸。

[0233] 当在x方向和y方向上移位时，正好影响两个相邻顶点。

[0234] 作为示例，第一确定器153可以被配置为响应于区域的边界在x方向或y方向上的改变来移位多边形的顶点，并且当被移位顶点在x方向或y方向上移动时，(仅)另外改变闭合曲线上的与被移位顶点相邻的一个顶点，或者当被移位顶点在x方向和y方向上移位时，(仅)另外改变闭合曲线上的与被移位顶点相邻的两个顶点。

[0235] 图16举例说明了仅一个顶点的处理。可以看出，可以以灵活且容易的方式来处理形状。与基于矩形的方法不同，在该处理中仅涉及相邻顶点。从图16可以看出，通过在x方向和y方向移位一个顶点，仅必须改变两个相邻顶点。与如图20b中所示基于矩形的方法相比，这是巨大的优点，其中，在图20b中，如果仅一个顶点改变，则必须改变整个矩形。

[0236] 在上文引入的针对闭合曲线没有冗余的紧凑形状表示中，可以甚至与所有其它项无关地改变每一个项，这是因为每一个项属于两个顶点。

[0237] 此外，形状表示允许以任意方式划分、合并、添加或移除线段，同时使修改的部分的起始顶点位置和终止顶点位置保持恒定。因此，可以以针对很多应用有利的灵活方式改变形状。下面将示出一些可能的应用。

[0238] 形状或闭合曲线可以用于以非常快速且适合的方式使用积分图像来计算由形状包围的所有像素值的总和。通过交替地向积分图像中的形状顶点的位置处的每一个值指派正代数符号或负代数符号，可以通过对这些有符号的值进行求和，来获得区域内的所有像素值的总和。通过形状顶点的顺序来定义向这些值指派代数符号的顺序。第一值的代数符号确定是获得了该形状中的所有像素值的总和还是负总和。

[0239] 换言之，由方法100或装置150确定的区域的度量151可以是区域(由闭合曲线155来近似该区域的边界)内的二维画面表示152的所有像素值的总和。

[0240] 在下文中，使用图13a至图13c，使用二维图形表示152的积分图像154来计算二维画面表示152的区域内的所有像素的总和的示例。如已经描述的，由第一确定器153来确定对区域的边界加以近似的闭合曲线，使得闭合曲线是包括与积分图像154的轴平行的至少六个平行线段的多边形。由第二确定器157通过交替地加上和减去多边形的顶点处的积分图像154的值，来确定区域的度量151(在具体示例中，区域内所有像素的总和)。

[0241] 图13a示出了用于近似区域的边界并且将选择其在顶点处的值以确定区域的度量151的多边形的顶点的不同可能性的示例。在图13a中所示的示例中，顶点201被四个值包围，这四个值中的每一个具有例如积分图像154的和二维画面表示152的二维xy坐标系的x坐标和y坐标。因此，为了使用第一确定器153计算区域的度量151，每一个顶点提供要加上或减去以导出区域的度量151的不同值。顶点201将与二维xy坐标系的y坐标轴平行的第一轴平行线段2031和与二维xy坐标系的x坐标轴平行的第二轴平行线段2032相连。图13a中的阴影区域象征性地表示多边形的内部区域，即，阴影区域中的值属于将确定其度量151的区域。从图13a可以看出，针对每一个顶点，始终加上或减去左上部的值A以确定区域的度量
151。换言之，针对多边形的顶点，用于加上或减去以确定度量的值被选择为积分图像154的值，该值与顶点相邻并且被关联到顶点的前一x坐标(取整的x坐标)和前一y坐标(取整的y坐标)。在积分图像154中，具有前一x坐标和前一y坐标的值是与顶点201相邻的四个值A、B、C、D中的最小值。

[0242] 图13b示出了如何使用图13b的右侧所示的二维画面表示152的积分图像154来确定图13b左侧所示的二维画面表示152的区域2111的所有像素的总和。

[0243] 二维画面表示152包括多个像素，每一个像素具有值和在二维画面表示152和积分图像154的二维xy坐标系中相关联的x坐标和y坐标。由闭合曲线1554来近似区域2111，闭合曲线1554包括与二维画面表示152和积分图像152的轴平行的多个轴平行线段。目的是导出区域2111内的所有像素的总和，作为区域2111的度量。根据方法100，(由第二确定器157)通过交替地加上和减去对区域2111的边界加以近似的多边形(或闭合曲线1554)的顶点处的积分图像154的值，来确定区域2111的度量。

[0244] 通过将区域2111中的所有像素相加，可以将区域2111中的所有像素的总和确定为47。

[0245] 根据图13b的右侧可以看出由第二确定器157可以如何使用二维画面表示152的积分图像154来导出区域2111内的所有像素的总和。从图13b可以看出，通过交替地加上和减去多边形(或闭合曲线1554)的顶点处的值来导出所有像素的总和。在图13b中所示的积分图像154中，针对每一个顶点，使用圆形来标记用于导出区域的度量的值，并且示出了用于该值的代数符号(+或-)。此外，可以看出，当沿着闭合曲线1554行进时，针对每一个顶点，加上或减去某值，其中，当减去前一顶点的值时加上该值，并且当加上前一顶点的值时，减去该值。此外，为了确定区域2111的度量151，必须沿着闭合曲线1554行进一次，使得针对闭合曲线1554的每一个顶点，加上或减去一个值。

[0246] 此外，从图13b可以看出，在顶点位于积分图像的边界处使得与顶点相邻并且关联到前一x坐标和前一y坐标或者具有前一x坐标和前一y坐标的值位于积分图像的外部的情况下，将该值选择为0。

[0247] 沿着闭合曲线1554行进并且加上和减去闭合曲线1554的顶点处的值获得下面的等式：

[0248] 1-6+0-0+15-13+33-44+82-55+42-8＝47。

[0249] 因此，通过交替地加上和减去闭合曲线1554的顶点处的值，来导出区域2111中的所有像素的总和。

[0250] 在图13c中示出了区域2111已经被略微改变的另一示例。图13c中所示的新区域2112未包围具有值7的像素，因此，区域2112的所有像素的总和等于40，如图13c所示。当然，积分图像154保持不变，这是因为二维画面表示152未改变。但是，因为区域2112已经改变，因此由第一确定器153改变闭合曲线1554，这引起新的闭合曲线1555近似新区域2112的边界。这一点可以在图13c左侧所示的二维画面表示152和图13c右侧所示的积分图像154中看出。可以看出，区域的改变引起顶点2011在x方向和y方向上移位，从而产生两个新顶点2012、
2013。以与图13b中的方式相同的方式通过围绕闭合曲线1555行进来导出新区域2112的所有像素的总和，从而得到以下等式：

[0251] 1-6+0-0+15-13+33-44+60-46+61-55+42-8＝40。

[0252] 如前面已经描述的，使用轴平行线段而不是矩形的优点是通过仅考虑由于区域的改变而改变的顶点，容易处理闭合曲线并且容易确定改变区域的新度量。在图13b和图13c中所示的示例中，可以通过减去改变的顶点2011的值(82)并且交替地向旧区域2111的度量加上和从旧区域2111的度量减去新顶点2012、改变的顶点2011和新顶点2013处的值，来容易地计算新区域2112内的所有像素的总和。因此，可以按下式容易地计算新区域2112的度量：

[0253] 47-82+60-64+61＝40，

[0254] 这意味着与再次加上和减去顶点处的所有值相比远远更少的计算工作量。

[0255] 换言之，第一确定器153可以被配置为(例如，响应于改变的区域)改变多边形的顶点。

[0256] 此外，第二确定器157可以被配置为通过以下操作来确定改变区域的度量：从由第一确定器153改变或移除的顶点(例如，顶点2011)的旧区域的度量减去旧值并且向该度量加上旧值，使得从旧区域的度量中减去已经被加上以确定旧区域的度量的旧值(例如，+82)并且向旧区域的度量加上已经被减去以确定旧区域的度量的旧值；并且通过交替地向旧区域的度量加上和减去多边形的改变的顶点(例如，改变的顶点2011)或新顶点(例如，新顶点2012、2013)处的新值(例如，+60、-46、+61)。

[0257] 在下文中，将显示使用任意形状与积分图像的组合的方式为很多应用提供了性能提高和灵活性。

[0258] 形状能力

[0259] 通过使用所描述的形状描述，可以以非常快速、可扩展且灵活的方式获得任意图像区域的各种属性：如前所述，可以对图像的积分图像应用形状，其中，应当处理该积分图像以计算由该形状定义的区域中的所有像素值的总和。

[0260] 此外，如果在每一个像素具有相同的值(1或者另一值)的图像的积分图像上提供形状，则可以获得由形状包围的像素数目(或者乘以该值)。利用形状中的像素值的总和以及像素数目，可以非常快速地计算由形状包围的所有像素值的平均强度或平均值。

[0261] 举例说明，装置150可以被配置为确定二维画面表示的另一积分图像，其中，二维画面表示的每一个像素的每一个像素值被设置为相同的值(例如，1)。此外，装置150可以被配置为通过交替地加上和减去被关联到与用于确定区域的度量的积分图像的值相同的坐标位置的另一积分图像的值，使得另一度量描述区域中的像素数目，来确定另一积分图像中的区域的另一度量。然后，可以由装置150基于描述区域中的所有像素的总和的区域的度量和描述区域中的像素的数量的区域的另一度量来计算(由闭合曲线包围的)区域的所有像素的平均值。

[0262] 也可以考虑更高阶矩和具有加性属性的其它特征来提取和描述任意图像区域的属性。这些方法可以应用于灰度或强度图像以及任意颜色空间中的颜色图像。通常，可以将所有类型的图像与该方法结合使用。也可以将该形状与积分直方图结合使用。

[0263] 形状表示也非常适合于以非常有效且容易的方式找到或标记由图像中的形状包围的所有像素。因此，在图像中用形状标记“+”和“一”交替地标记与形状的顶点相对应的所有像素。在下文中，描述了逐步通过边界框并且打印由形状包围的像素的索引的示例。假设在不是一般性的情况下，针对图18中所示的描绘的算法，用“+”标记与原点最近的顶点。通过在边界框或图像上逐行迭代，如果算法在“加区段”内部或者如果以上像素被标记为“内部形状”并且如果该算法当前既不是“加区段”也不是“减区段”，则将当前像素标记为“内部形状”。每一行具有偶数个被标记像素。两个连续被标记像素定义了区段，在该区段中，如果这两个像素中的第一像素被标记为“+”，则它变为“加区段”，并且如果第一像素被标记为“-”，则它变为“减区段”。为了简单地了解以上像素是否被标记为“内部形状”，引入了保持该信息的具有边界框的列长数(length number of columns)的阵列。作为自然的初始条件，该区域的值被设置为不是“内部形状”。可以通过将形状切为平面，容易地将该算法扩展为三维体积。

[0264] 例如，二维画面表示可以是三维体积的图片或切片。

[0265] 基于区域的对象模型

[0266] 在下文中，将示出可以如何在新的基于区域的对象模型中应用仅使用轴平行线段的形状表示。将举例说明基于区域的匹配方案可以例如与粒子滤波相结合，并且导致几乎不随图像噪声变化的非常快速的检测和跟踪算法。

[0267] 已经在最近二十年集中完成了与对象检测、跟踪和识别有关的研究。Yilmaz等给出了与对象跟踪有关的全面概述(A.Yilmaz，O.Javed，and M.Shah.Object tracking.ACM Computing Surveys，38(4)：13-es，2006)。

[0268] 已经提出了用于对象跟踪的各种模型和方法，尤其例如，原始几何形状、轮廓或骨骼模型(A.Yilmaz，O.Javed，and M.Shah.Object tracking.ACM Computing Surveys，38(4)：13-es，2006)。很多检测和跟踪算法取决于边缘和特征点(S.Baker and I.Matthews.Lucas-Kanade 20 years on：A unifying framework：Part1：The quantity approximated，the warp update rule，and the gradient descent
approximation.International Journal of Computer Vision，56(3)：221-255，2004)。然而，边缘和特征点检测器容易受到噪声的影响，因此通常束缚于良好的图像质量。

[0269] Han和Davis(B.Han and L.Davis.Robust observations for object tracking.In IEEE International Conference on Image Processing，volume 2，2005)提出了另一鲁棒的跟踪方案。他们通过矩形近似对象，并且假设包围对象的区域包含背景。
他们使用粒子滤波和对数似然比来跟踪似然图像中的对象。

[0270] 模型方案

[0271] 下文中描述的模型和跟踪方案不限于矩形区域。此外，它不束缚于似然图像，并且不一定需要对象被背景包围。

[0272] 在下文中，描述了几乎不随图像噪声改变的基于区域的对象模型。所提出的技术可以用于具有刚性或参数化形状的二维模型和三维模型。例如，该方法可以应用于具有参数化面部动作的三维面部模型。

[0273] 图19举例说明了基于原始二维区域的形状模型，其定义了包围区域的具有不同特征的各个区域。通常，该模型包括多个区域，所述多个区域具有相应特征和区域特征之间的依赖性。

[0274] 模型可以包括闭合曲线S1，S2，...，Sm、映射t1，t2，...，tm、以及比较度量C1，C2，...，Cn，并且可以使用参数向量x来对该模型进行参数化。例如，闭合曲线Si(二维或三维)可以实现为多边形或者参数化的几何曲线。通常，对可以使用通过变换、投影和近似的映射ti被映射到形状表示的这些闭合二维或三维曲线Si的任意实现是可行的。因此，每一个映射ti取决于参数向量x。例如，属于三维模型的映射ti可以包括三维曲线的参数化变换和变形、曲线在(使用摄像机模型的)二维图像平面中的投影、以及接下来使用所描述的形状来进行近似。比较度量C1至Cn取决于由形状包围的区域的特征或者取决于不同区域的特征之间的关系。例如，上文参照图2A和图2B以及在本文的各个其它地方提到的对象模型112、212可以包括在与对象有关的参考系中定义的闭合曲线S1，...Sm。此外，对象模型112、212可以包括由闭合曲线S1，..Sm限定的各个区域的图像值。图2A和图2B(以及本文的各个其它地方)的模型参数114、214可以包括映射t1，t2，...，tm。因此，映射t1，t2，...，tm可以取决于对象的位置和/或方位、获取设备的位置/方位、以及获取设备的获取几何形状。

[0275] 针对特定的交通标志的刚性二维模型的参数向量x可以是x＝{xc，yc，s}，其中，标志的中心具有x坐标和y坐标，图像平面中的标志具有大小s。可变形的三维面部模型的参数向量可以包括x＝{x，y，z，α，β，γ，a1，a2，...，ak}，其中，3D位置是x、y、z，关于三个坐标轴的旋转为α、β、γ，面部动作为a1至ak。面部动作可以是开口、睁眼、凝视、或者根据面部动作编码系统(FACS)获知的任何面部动作。此外，诸如速度或加速度等任何状态变量可以是参数向量的一部分。通常，模型的任何有效的参数化是可行的。模型或形状变形也可能受到约束。例如，可能仅允许真实或特定的变形。可以在优化方案的目标函数中防止(penalize)在跟踪或优化期间的不真实的变形。

[0276] 曲线S1至Sm包围对象的可以映射到至并且由比较度量C1至Cn使用以将图像与模型匹配的区域。形状可以覆盖或包围其它形状，并且可以通过比较度量来评估两个或更多个形状之间的区域的特征(也参见图19)。

[0277] 比较度量C1至Cn可以评估由映射的形状至定义的单独区域的特征。它们也可以评估或比较两个或更多个区域的特征。例如，它们可以比较两个或更多个区域的平均强度、方差和颜色特征。比较度量C1至Cn与上文提到的相似性度量相对应或者有关(例如，在图2A和图2B的描述上下文中)。

[0278] 特定的度量可以将两个区域的平均强度进行比较，并且针对平均强度之间的更高差异产生更高的响应。针对更多不同的特征值(例如，强度或方差)产生更高的响应的任何度量可以用于对差异进行建模。此外，可以使用仅当一个区域的特征(例如，强度或方差)大于(或小于)另一区域的特征时才产生响应的度量。针对更类似的特性产生更高响应的度量可以用于对平等性进行建模。此外，可以应用将区域特征与预定的模型特定特征进行比较的度量。这些度量也可以提供测试下的对象或图像的区域的特征属于被建模、搜索或跟踪的对象的概率或可能性。

[0279] 各种度量或者所有度量的组合可以用于将参数化模型与图像进行整体匹配。例如，在图19的交通标志示例中，整体匹配可以包括和评估下面的依赖性：

[0280] ·区域R2的平均强度高于区域R1的平均强度。

[0281] ·区域R3的平均强度等于区域R4的平均强度。

[0282] ·区域R3和R4的平均强度小于区域R2的平均强度。

[0283] 可以通过加上或减去由相应形状定义的像素值的总和，来计算由多于一个形状定义的区域中的像素值的总和。例如，区域R1的像素值的总和是由S1包围的所有像素值的总和减去由S2包围的所有像素值的总和。对于其它特征，这也同样适用。

[0284] 检测、跟踪和识别

[0285] 可以通过模型方案和任何优化或状态估计算法的结合来对对象进行检测、跟踪和识别。

[0286] 例如，可以将粒子滤波(B.Ristic，S.Arulampalam，and N.Gordon.Beyond the Kalman filter：particle filters for tracking applications.Artech House，Boston MA，2004)与所描述的模型结合使用以检测、跟踪和识别图像中的对象。因此，通过粒子滤波来估计状态或参数向量x。随机地或者使用先验知识来初始化粒子。可以根据特定的运动、变形或状态演变模型来对预测步骤进行建模。更新步骤并入了模型(比较度量的组合)与测量模型中的图像的整体匹配。因此，使用图像中的形状来映射和近似模型的闭合曲线，并且由形状包围的区域的所需特征被提取并且用于整体匹配(例如，闭合区域的平均强度的比较)。

[0287] 使用采样的自动模型生成

[0288] 还可以使用对象的采样图像来自动地生成对象模型。因此，使用例如所提出的图像分割方法在图像中自动地对对象的不同区域进行分割。可以在对象模型中包括基于采样图像生成的对象区域的形状和比较度量。

[0289] 扩展到更高维度

[0290] 可以将针对二维形状所描述的方法、模型和应用扩展到(离散)三维体积或甚至n维超体积。对于离散n维超体积，可以按下式来计算积分超体积表示V(x)：

[0291] 其中，

[0292] P(x)是总计高达n维空间中的点x的像素值或简单特征。在该n维空间中，形状也是n维的，并且由n维顶点描述。最简单的形式是由构成，而xi是形状的第i个n维顶点。

[0293] 三维情况的示例是CT或NMR图像的计算机生成的体积。四维情况的示例是针对时间上的离散点描述图像扩展的所添加的时间维度。可以以与二维中类似的方式来使用多维中的形状，以用于分割、跟踪和分类。

[0294] 应用

[0295] 在下文中，将描述关于可以如何使用所描述的方法的示例性应用和不例。

[0296] 似然图像中的跟踪

[0297] 似然图像用于描述特定出现(例如，图像中的对象或图案关于图像中的位置出现)的概率。图像的每一个点包含与出现概率有关的数。所描述的方法可以用于检测针对被搜索的图案或对象具有最高似然的区域。

[0298] 图像分割

[0299] 可以例如使用初始或随机形状(例如，矩形)来进行图像分割，其中，通过优化误差标准(目标函数)来将该初始或随机形状迭代地调整为区域。可以通过随机或直接形状修改结合任意优化或状态估计方案(例如，粒子滤波、Kalman滤波、遗传算法、最速下降、下坡单项法……)来对形状进行调整。目标函数可以比较由形状定义的内部区域和外部区域的特征。此外，可以使用形状演化概率，从而以特定的方式(例如，使用与要分割的区域有关的先验知识)来处理形状。还可以使用例如优化方案来独立于彼此优化每一个线段。粗略到精细的优化方案是可应用的，该粗略到精细的优化方案以初始粗略形状(例如，矩形区域)开始，其中，通过以任何其它有效的方式添加或移除线段或者改变形状来将粗略形状提炼和调整为感兴趣的图像区域。添加线段可以用于以任意精度或性能来指定感兴趣的图像区域。可以使用具有固定(最大)长度以及白适应线段长度的线段。例如，可以使用单个线段来近似水平边界和垂直边界，而可以使用很多线段来近似45°旋转的边界或分段的边界。

[0300] 用于对象分类的无限特征池

[0301] 虽然通常在矩形区域上计算局部特征(例如，用于面部检测的Haar特征)，但是也可以使用几乎随机的形状来创建特征。因此，可以创建几乎任意且随机的特征。优点是可以以使得在其上计算特征的区域更好地拟合要检测的图案的方式调整这些区域。除了使用图像像素本身以外，还可以使用其它导出的(低等级)特征。示例是第二动量和其它动量或局部对比度(例如，使用索贝尔或拉普拉斯运算符)。这样做导致可以用于其它训练和分类步骤的非常丰富的特征池。

[0302] 生成参数化形状

[0303] 可以在没有约束的情况下设计形状。但是，特定的约束可以在寻找最佳解方面改善速度和收敛。可能的约束是：

[0304] ·形状必须自我回避，而不允许白交叉，

[0305] ·形状由顶点的最小值A和顶点的最大值B构成，其中，A和B是预定的值，

[0306] ·形状是由预定的且参数化的外形构成。示例是圆形、具有预定大小和偏心距范围的椭圆形、或者具有描述外形的权重和惩罚项的复杂的预定“弹性”形状。

[0307] ·使用投影根据3D模型导出以实现二维形状的形状。

[0308] 这些形状可以用于近似和匹配图案和区域。具体使用情况可以是三维面部模型(-网格)。

[0309] 非刚性通用2D/3D基于区域的模型

[0310] 这些方法可以用于使用基于区域的模型来检测、跟踪和识别图像中的对象，如上文更详细描述的。

[0311] 具体示例

[0312] 可以使用上述方法处理的一些应用是瞳孔跟踪、面部特征跟踪、交通标志识别、光学字符识别。

[0313] 眼睛内的瞳孔可以被建模为由更亮的外围包围的深色圆形区域。因此，可以使用圆形形状并且在形状内具有更暗的像素并且在形状外部具有更亮的像素的约束的情况下检测瞳孔。根据本申请的实施例的方法也可以作用于灰度级图像(作为二维画面表示)。通过圆形形状近似来对瞳孔进行建模。发明人进行的适合试验可以证明，该方法甚至可以处理具有较高的人造噪声电平的图像。

[0314] 可以使用特定试探法来跟踪其它面部特征，例如，嘴部区域。甚至可以使用不是对像素进行求和而是对描述诸如局部方差等对比度的低等级特征进行求和，来检测皱纹。

[0315] 可以使用与交通标志的形状和纹理有关的精确(或足够精确)知识来对交通标志进行建模。根据纹理可以导出特定的像素值分布，该特定的像素值分布可以用于使用关于子形状的子内容彼此如何关联的规则来对多个子形状进行组合。使用3D---2D变换将已知的真实交通形状作为3D形状投影到图像，使得可以甚至根据不同的视角/角度来检测标志。

[0316] 另一种应用是光学字符识别(OCR)。在这里，可以使用形状对每一个字母进行建模。

[0317] 所描述的形状表示和模型方案具有多个优点和有益属性，将在下文中对其中一些进行命名。

[0318] 可以非常快速地在标准硬件上执行所描述的方法，并且所描述的方法也非常适合于在图形卡上进行并行计算。甚至可以在GPU上对积分图像进行并行计算(首先逐列然后逐行进行求和)。所提出的形状表示在顶点计数和近似的精度方面是可高度扩展的。所提出的形状描述符非常灵活，并且可以非常容易地处理所提出的形状描述符。可以非常容易地近似由多边形或参数化曲线描述的任意区域。所提出的方法的性能几乎不随图像大小改变。所提出的基于区域的跟踪方案对于噪声非常鲁棒。通过以子像素精度在积分图像中进行查找(插值)，可以以子像素精度来计算由形状定义的区域的属性。

[0319] 总而言之，实施例提供了用于使用灵活的形状描述符和积分图像来计算任意图像区域的特征的快速方法。此外，已经描述了用于描述对象的基于区域的模型。此外，已经描述了用于使用2D或3D基于区域的对象模型在图像中对对象进行鲁棒检测、跟踪和识别的匹配方案。此外，已经描述了方法/方案的示例性应用、扩展和一般化。此外，已经描绘了所提出的方法的优点，并且将该优点与现有技术进行比较。

[0320] 此外，已经描述了可以用于计算由形状定义的图像区域中的像素值的总和的任意图像区域的有效形状表示，并且已经示出了该形状表示的优点并将该优点与基于矩形的近似的缺点进行了比较。

[0321] 此外，例如，已经示出了可以以非常容易的方式处理使用灵活的形状表示对非刚性对象进行分割和跟踪的领域中的应用。此外，已经描述了针对更高维的一般化。

[0322] 虽然已经在装置的上下文中描述了一些方面，但是将清楚的是，这些方面也表示相应方法的描述，其中，块或设备与方法步骤或方法步骤的特征相对应。类似地，在方法步骤的上下文中描述的方面也表示相应装置的相应块或项或特征的描述。可以通过(或使用)诸如微处理器、可编程计算机或电路等硬件装置来执行方法步骤中的一些或全部。在一些实施例中，可以由这种装置来执行最重要的方法步骤中的某一个或一些。

[0323] 根据特定的实现需要，可以以硬件或软件来实现本发明的实施例。可以使用其上存储有电子可读控制信号的数字存储介质来执行该实现，该数字存储介质例如是：软盘、DVD、蓝光光盘、CD、ROM、PROM、EPROM、EEPROM、或者闪存存储器，其与(或者能够与)可编程计算机系统协作，使得执行相应的方法。因此，数字存储介质可以是计算机可读的。

[0324] 根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其中，电子可读控制信号能够与可编程计算机系统协作，使得执行本文所描述的方法之一。

[0325] 通常，本发明的实施例可以被实现为具有程序代码的计算机程序产品，该程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。例如，程序代码可以存储在机器可读载体上。

[0326] 其它实施例包括存储在机器可读载体上的用于执行本文所描述的方法之一的计算机程序。

[0327] 换言之，发明方法的实施例因此是具有程序代码的计算机程序，该程序代码用于在计算机程序在计算机上运行时执行本文所描述的方法之一。

[0328] 因此，发明方法的另一实施例是数据载体(或数字存储介质或计算机可读介质)，其上记录有用于执行本文所描述的方法之一的计算机程序。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。

[0329] 因此，发明方法的另一实施例是表示计算机程序的数据流或信号序列，该计算程序用于执行本文所描述的方法之一。例如，数据流或信号序列可以被配置为经由数据通信连接(例如经由互联网)被传送。

[0330] 另一实施例包括被配置或调整为执行本文所描述的方法之一的处理装置，例如，计算机或可编程逻辑设备。

[0331] 另一实施例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所描述的方法之一。

[0332] 根据本发明的另一实施例包括被配置为向接收机传送(例如，电子地或光学地)计算机程序的装置或系统，该计算机程序用于执行本文所描述的方法之一。例如，接收机可以是计算机、移动设备、存储设备等。例如，装置或系统可以包括用于向接收机传送计算机程序的文件服务器。

[0333] 在一些实施例中，可编程逻辑设备(例如，现场可编程门阵列)可以用于执行本文所描述的方法的功能中的一些或全部。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所描述的方法之一。通常，优选地，由任何硬件装置来执行这些方法。

[0334] 上述实施例仅为了说明本发明的原理。将理解的是，对于本领域技术人员而言，本文描述的布置和细节的修改和变形将是显而易见的。因此，目的是仅由所附专利权利要求的范围进行限制，而不由通过对本文的实施例进行描述和解释而呈现的具体细节进行限制。

[0335] 参考文献

[0336] [1]O.C.Au.Automatic white balancing using luminance component and standard deviation of rgb components[image preprocessing].2004 IEEE
International Conference on Acoustics Speech and Signal Processing，pages iii-
493-6，2004.2

[0337] [2]D.C.Brown.Calibration of close range cameras.International Archives of Photogrammetry，19，1972.1

[0338] [3]R.Cipolla，T.Drummond，and D.Robertson.Camera calibration from vanishing points in images of architectural scenes，volume2，pages 382-
391.Citeseer，1999.1

[0339] [4]F.Devernay and O.Faugeras.Automatic calibration and removal of distortion from scenes of structured environments.Proceedings of SPIE，2567(1)：62-72，1995.1

[0340] [5]M.T.El-melegy.Nonmetric lens distortion calibration：closed-form solutions，robust estimation and model selection.Proceedings Ninth IEEE International Conference on Computer Vision，(Iccv)：554-559vol.1，2003.1

[0341] [6]O.D.Faugeras，Q.T.Luong，and S.J.Maybank.Camera Self-Calibration：Theory and Experiments，volume588，pages321-334.Springer-Verlag，1992.1

[0342] [7]G.D.Finlayson，S.D.Hordley，and P.M.HubeL.Color by correlation：a simple，unifying framework for color constancy.IEEE Transactions on Pattern Analysis and Machine Intelligence，23(11)：1209-1221，2001.2

[0343] [8]D.Guru.A simple and robust line detection algorithm based on small eigenvalue analysis.Pattern Recognition Letters，25(1)：1-13，Jan.2004.1

[0344] [9]R.Hartley and A.Zisserman.in computervision multiple view geometry in computer vision.Computer-Aided Design，16(2)：279-309，2003.2

[0345] [10]R.I.Hartley.Estimation of relative camera positions for uncalibrated cameras.Compute，92(1)：579-587，1992.2

[0346] [11]E.E.Hemayed.A survey of camera self-calibration.Proceedings of the IEEE Conference on Advanced Video and Signal Based Surveillanee 2003，
pages351-357，2003.1

[0347] [12]M.Jackowski，A.Goshtasby，S.Bines，D.Roseman，and C.Yu.Correcting the geometry and color of digital images.IEEE Transactions on Pattern Analysis and Machine Intelligence，19(10)：1152-1158，1997.2

[0348] [13]M.K.Johnson and H.Farid.Exposing digital forgeries through chromatic aberration.Proceeding of the 8th workshop on Multimedia and
security MMSec 06，(2)：48，2006.2

[0349] [14]E.Y.Lam.Combining gray world and retinex theory for automatic white balance in digital photography，pages134-139.Ieee，2005.2

[0350] [15]H.-k.Lam，O.C.Au，and C.-w.Wong.Automatic white balancing using standard deviation of RGB components，volume3，pages III-921-4Vol.3.IEEE，2004.2[0351] [16]H.C.Longuet-Higgins.A computer algorithm for reconstructing a scene from two projections.Nature，293(5828)：133-135，1981.2

[0352] [17]T.Luhmann，H.Hastedt，and W.Tecklenburg.Modelling of chromatic aberration for high precision photogrammetry.Evaluation，XXXVI(September)：173-
178，2006.2

[0353] [18]D.Nikitenko，M.Wirth，and K.Trudel.Applicability of white-balancing algorithms to restoring faded colour slides：An empirical evaluation.Journal of Multimedia，3(5)：9-18，2008.2

[0354] [19]y.Peng，A.Ganesh，and S.Member.Rasl：Robust alignment by sparse and low-rank decomposition for linearly correlated images.Image Rochester NY，(July)：1-30，2010.1

[0355] [20]B.Triggs.Autocalibration from planar scenes.Structure，I(11)：89-105，1998.1

[0356] [21]R.Y.Tsai.A versatile camera calibration technique for high accuracy 3d machine vision metrology using off-the-shelf tv cameras and
lenses.IEEE Journal of Robotics and Automation，RA-3(4)：323-344，1987.1

[0357] [22]C.-c.Weng，H.Chen，and C.-s.Fuh.A novel automatic white balance methodfor digital still cameras.2005IEEE International Symposium on Circuits and Systems，pages3801-3804，2005.2

[0358] [23]W.Yu.Practical anti-vignetting methods for digital cameras.IEEE Transactions on Consumer Electronics，50(4)：975-983，2004.2

[0359] [24]Z.Zhang.Flexible camera calibration by viewing a plane from unknown orientations.In Computer Vision，1999.The Proceedings of the Seventh IEEE International Conference on，volume1，pages666-673.Ieee，1999.1

[0360] [25]Z.Zhang.Camera calibration with one-dimensional objects.IEEE Transactions on Pattern Analysis and Machine Intelligence，26(7)：892-9，2004.1[0361] [26]Z.Zhang.Camera calibration with lens distortion from low-rank
textures.Camera，pages2321-2328，2011.1

[0362] [27]Y.Zheng，S.Lin，C.Kambhamettu，J.Yu，and S.B.Kang.Single-image vignetting correction.Pattern Analysis and Machine Intelligence IEEE
Transactions on，31(12)：2243-2256，2009.2

[0363] [28]P.Viola and M.Jones，Rapid object detection using a boosted cascade of simplefeatures，in IEEE Conference on Computer Vision and Pattern Recognition，volume1，pages511-518，Kauai，HI，USA，Apr.2001

[0364] [29]Z.Yin and R.T.Collins，Object tracking and detection after occlusion via numerical hybrid local and global mode seeking，in Computer
Vision and Pattern Recognition，2008.CVPR2008.IEEE Conference on，page1-8，2008[0365] [30]D.Mohr and G.Zachman，FAST：fast adaptive silhouette area based template matching，in Proceedings of the British Machine Vision Conference，pages39.1-39.12，2010

[0366] [31]S.Baker and I.MattheWs.Lucas-Kanade 20 years on：Aunifying framework：Part1：The quantity approximated，the warp update rule，and the gradient descent approximation.International Journal of Computer Vision，56(3)：221-255，2004

[0367] [32]B.Han and L.Davis.Robust observations for object tracking.In IEEE International Conference on Image Processing，volume2，2005

[0368] [33]B.Ristic，S.Arulampalam，and N.Gordon.Beyond the Kalman filter：particle filters for tracking applications.Artech House，Boston MA，2004

[0369] [34]A.Yilmaz，O.Javed，and M.Shah.Object tracking.ACM Computing Surveys，38(4)：13-es，2006

标题	发布/更新时间	阅读量
橡胶的选定方法	2020-05-11	120
焊接线选定方法	2020-05-11	138
电动机的容量选定装置、容量选定方法及容量选定程序	2020-05-11	576
马达的最佳动作模式选定方法、马达的最佳动作模式选定程序以及马达选定装置	2020-05-12	86
焊接线选定方法	2020-05-11	137
照明选定支援系统	2020-05-12	869
选定确认定位优化	2020-05-11	847
伺服选定系统	2020-05-11	626
选定确认定位优化	2020-05-12	1043
基于选定时间段及选定区域筛选进出车辆的方法	2020-05-13	30

基于对对象的模型进行变换来确定模型参数

基于对对象的模型进行变换来确定模型参数

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：