首页 / 专利库 / 视听技术与设备 / 深度相机 / 用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法

用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法

阅读:282发布:2021-07-31

专利汇可以提供用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法专利检索,专利查询,专利分析的服务。并且一种用于提供针对图像的至少一个特征的描述符的方法包括步骤:提供由捕获设备捕获的图像,并且从所述图像提取至少一个特征;并且,向所述至少一个特征分配描述符,所述描述符取决于指示方位的至少一个参数,其中,从由 跟踪 系统测量的所述捕获设备的方位确定所述至少一个参数。本 发明 也涉及一种用于匹配两个或多个图像的特征的方法。,下面是用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法专利的具体信息内容。

1.一种用于提供针对图像的至少一个特征的描述符的方法,包括步骤:
-提供由捕获设备捕获的图像,并且从所述图像提取至少一个特征,
-向所述至少一个特征分配描述符,其中,根据至少一个参数针对相应的提取特征建立描述符向量,所述至少一个参数指示所述提取特征相对于在所述图像中的重方向的投影的在所述图像中的方位,
-其中,从至少一个跟踪系统确定所述至少一个参数;以及
-其中,考虑到所述捕获设备的固有参数来确定所述至少一个参数。
2.根据权利要求1所述的方法,其中,从关于普通坐标系的所述捕获设备的方位确定所述至少一个参数。
3.根据权利要求1所述的方法,其中,所述跟踪系统包括与所述捕获设备相关联的传感器
4.根据权利要求3所述的方法,其中,所述传感器是惯性传感器或加速度计或陀螺仪或指南针。
5.根据权利要求1所述的方法,其中,所述跟踪系统包括机械和/或电磁和/或声音和/或光学跟踪系统。
6.根据权利要求1所述的方法,其中,所述捕获设备包括范围数据捕获设备,所述范围数据捕获设备提供具有相关联的深度和/或3D位置的图像像素
7.根据权利要求6所述的方法,其中,所述范围数据捕获设备是激光扫描器、飞行时间相机或立体相机。
8.根据权利要求1所述的方法,其中,与关于用于在所述图像的坐标系中的变换的所述捕获设备的固有参数的信息一起确定所述至少一个参数。
9.根据权利要求1所述的方法,其中,从所述图像的像素的3D位置确定针对所提取的至少一个特征的所述至少一个参数。
10.根据权利要求1所述的方法,进一步包括步骤:规格化关于所述方位的所述至少一个特征的相邻区域。
11.根据权利要求10所述的方法,其中,在规格化所述至少一个特征的相邻区域的所述步骤中,所述方位提供用于旋转所述图像的度。
12.根据权利要求10所述的方法,其中,在规格化所述至少一个特征的相邻区域的所述步骤中,所述方位用于将整个图像或其的部分弯曲到一个或多个参考方位,以校正在特定特征相邻区域中的透视变形
13.根据权利要求1所述的方法,其中,基于像素强度来计算关于在普通坐标系中的所述方位的所述特征的一个或多个方向,并且将其存储为所述描述符的一部分。
14.根据权利要求1所述的方法,其中,
所述方位与在所述图像中的重力方向的投影对齐。
15.一种用于匹配两个或更多图像的特征的方法,包括:
-提取第一图像的至少一个第一特征和第二图像的至少一个第二特征,
-提供用于所述第一特征的第一描述符和用于所述第二特征的第二描述符,其中,根据权利要求1所述的方法来提供所述第一描述符和第二描述符中的至少一个,-在用于所述第一特征和第二特征的匹配处理中比较所述第一描述符和第二描述符。
16.根据权利要求15所述的方法,其中,在所述匹配处理中,基于相似性度量确定所述第一特征和第二特征是否彼此对应。
17.根据权利要求16所述的方法,其中,所述相似性度量包括多级方法,所述多级方法连续地计算不同的度量以尽可能早地拒绝错误的匹配。
18.根据权利要求15所述的方法,其中,在立体匹配、相机跟踪、图像检索、物体识别、视觉搜索、姿态估计、视觉监督、场景重建、动作估计、全景缝合或图像恢复的处理中实现所述用于匹配两个或更多图像的特征的方法。
19.一种用于提供针对图像的至少一个特征的描述符的设备,包括:
用于提供由捕获设备捕获的图像,并且从所述图像提取至少一个特征的装置,用于向所述至少一个特征分配描述符的装置,其中,根据至少一个参数针对相应的提取特征创建描述符向量,所述至少一个参数指示所述提取特征相对于在所述图像中的重力方向的投影的在所述图像中的方位,
其中,从至少一个跟踪系统确定所述至少一个参数;以及
其中,考虑到所述捕获设备的固有参数来确定所述至少一个参数。
20.一种用于匹配两个或更多图像的特征的设备,包括:
用于提取第一图像的至少一个第一特征和第二图像的至少一个第二特征的装置,用于提供用于所述第一特征的第一描述符和用于所述第二特征的第二描述符的装置,其中,根据权利要求1所述的方法来提供所述第一描述符和第二描述符中的至少一个,用于在用于所述第一特征和第二特征的匹配处理中比较所述第一描述符和第二描述符的装置。

说明书全文

用于提供针对图像的至少一个特征的描述符的方法和用于匹

配特征的方法

[0001] 本发明涉及一种用于提供针对图像的至少一个特征的描述符的方法和用于匹配两个或更多图像的特征的方法。而且,本发明涉及包括用于实现根据本发明的方法的软件代码部分的计算机程序产品。
[0002] 引言
[0003] 在计算机视觉的领域中的许多应用要求在照明和所使用的捕获硬件可能改变的情况下的在不同视点下的同一场景或物体的两个或多个图像中找到对应点或其他特征。特征可以是点或一组点(线、线段、在图像中的区域或仅为一组像素)。示例应用包括窄和宽基线立体匹配、相机姿态估计、图像检索、物体识别和视觉搜索。
[0004] 例如,增强现实系统允许计算机产生的虚拟信息与真实环境的视觉印象叠加。为此,例如,通过例如显示设备的方式将在一个或多个图像中的例如由相机捕获的真实世界的视觉印象与虚拟信息混和,该显示设备向用户显示增加了虚拟信息的相应图像。虚拟信息和真实世界的空间对准要求通常基于特征对应的相机姿态(位置和方位)的计算。
[0005] 用于获得这样的对应性的、例如在David G.Lowe:″Distinctive Image Features from Scale-Invariant Keypoints″,International Journal of Computer Vision,60,2(2004),页91-110中描述的通常的方式是首先从具有高重合性的单独图像中提取特征或兴趣点(例如,在边缘、或局部极点)。即,在不同的图像中提取与相同的物理实体对应的相同的像素集的概率较高。第二步骤是然后基于其相邻区域像素的强度来创建针对每一个特征的描述符,这使得能够进行特征的比较并且因此使得能够进行特征的匹配。对于好的描述符的两个主要要求是:区别性,即,不同的特征点导致不同的描述符;以及,下述部分的不变性:
[0006] 1)在观看方位、旋转和比例上的改变,
[0007] 2)在照明上的改变,
[0008] 3)图像噪声。
[0009] 这是为了保证以关于相似性度量的类似方式来描述在不同图像中的相同特征。为了处理相对于旋转的不变性,在描述符的构造之前,空间规格化将在特征点周围的局部相邻区域(neighborhood)的像素变换为规格化的坐标系
[0010] 对于该不变性关键的是,这种规格化是可再现的。存在更高级的方法,但是在最简单的情况下,规格化仅由根据特征方位的平面内旋转构成。通常基于在特征点的相邻区域中的像素强度来将方位定义为例如最大梯度的方向。理想上,在特征的规格化的相邻区域中的像素对于使用不同的观看方向、旋转和比例获取的不同的图像相同。实际上,它们至少非常类似,与图2比较。
[0011] 在图2中,示出在不同场景21和22中的示例性特征点。在示出场景21和22的第一列中,在两个不同方位下的同一特征点被示出为在场景21中的特征点F21和在场景22中的特征点F22。在下一步步骤,在本示例中,基于在相应的特征点F21和F22的相邻区域中的像素强度将方位定义为最大梯度的方向(由在相应的矩形内的白线描述)。然后,在描述符d1和d2(第三列)的构造之前,空间规格化分别将在特征点F21和F22周围的局部相邻区域的像素(在当前情况下,在矩形内的像素)变换为规格化的坐标系(在第二列中的描述31和32)。因此,描述符d1、d2与最大梯度的对齐产生非常类似的规格化相邻区域(如在描述31和32中所示),并且因此产生类似的描述符d1和d2。这个属性在局部特征描述符中是常见的,并且被称为对于旋转的不变性。通常,通过构造包含不同比例的图像的图像金字塔和在每一个比例级上执行上面的行为来处理对于比例的不变性。其他手段存储每一个特征描述符的比例。
[0012] 存在多种局部特征描述符,其中,在Krystian Mikolajczyk and Cordelia Schmid,″A performance evaluation of local descriptors″,IEEE Transactions onPattern Analysis&Machine Intelligence,10,27(2005),页1615-1630中给出了良好的概述和比较。它们的大多数基于规格化的局部相邻区域像素的强度值或它们的函数(例如梯度)的直方图的建立。将最后的描述符表达为n维向量(如在图2中的右面所示),并且可以使用诸如欧几里得距离的相似性度量将该最后的描述符与其他描述符作比较。
[0013] 在图3中,示出用于建立特征描述符的标准手段。在步骤S1中,由诸如相机的捕获设备捕获或从存储介质加载图像。在步骤S2中,从图像提取特征点,并且将其存储在二维描述(参数u、v)中。在步骤S3中,如上相对于图2所述执行方位分配,以向参数u、v增加方位角α。其后,执行相邻区域的规格化步骤S4,如上相对于图2所述,以获得规格化的相邻区域像素强度i[]。在最后的步骤S5中,基于规格化的相邻区域像素强度i[],对于相应的提取的特征创建以描述符向量d[]形式的特征描述符。存在下述手段:该手段可以在步骤S3向特征分配多个方位角,并且因此对于每一个方位执行步骤S4和S5,产生每一个分配的方位一个描述符。
[0014] 如上所述的标准手段的一个主要限制是:虽然对于旋转的不变性在许多应用中清楚地是局部特征描述符的重要特性,然而,它可能在图像包含例如作为对称窗口的四个角或单独的圆靶(dartboard)部分的多个全等或近乎全等的特征时导致不匹配。
[0015] 在示例中,如图1中所示,在后侧(未示出)具有相机的移动设备1捕获真实物体3,该真实物体3在本示例中是具有窗口4的建筑物。例如,移动设备1可以是在后侧具有用于捕获窗口4的图像的相机和光学镜头的移动电话。在移动设备1的显示器6上,如所示描述了窗口4。图像处理方法从所显示的图像提取特征,例如,可以被认为是窗口的显著特征的表示窗口的四角的特征F1至F4,并且对于特征F1至F4的每一个创建特征描述符。因为对于旋转的不变性,如在图1中的左列中示意地所示,理想的局部特征描述符以使得这些特征F1至F4不可区分的精确地相同的方式来描述这些特征F1至F4,如在左列中的规格化坐标系中描述的提取的特征F1至F4所示。
[0016] 在具有相机噪声和图形失真的真实世界设置中,描述符将不会相同,但是非常类似并且因此实际上不可区分。因此,对于这样的场景,不匹配的概率很高,这可能导致依赖于这样的局部特征描述符的任何系统的完全失效。
[0017] 存在下述多种手段:假定在直立方位上捕获所有的相机图像,并且因此不必处理方位。在此,可以容易地彼此区分在不同方位上的全等或近乎全等特征,但是可能的应用领域很有限,因为相机方位严重地被约束。
[0018] 因此,提供针对图像的至少一个特征的描述符的方法是有益的,其中,以下述方式来提供描述符:可以降低由于在特征匹配处理中在静态物体或场景上的不同方位上全等或近乎全等的特征导致的不匹配的概率,而不限制捕获设备的方位或移动或不需要关于捕获设备的方位或移动的先验知识。
[0019] 方法概述
[0020] 在第一方面,提供了根据权利要求1的特征的一种用于提供针对图像的至少一个特征的描述符的方法。此外,在另一个方面,提供了根据权利要求12的用于匹配两个或更多图像的特征的方法。本发明也涉及根据权利要求16的包括用于实现这样的方法的软件代码部分的计算机程序产品。
[0021] 具体地说,在第一方面,提供了一种用于提供针对图像的至少一个特征的描述符的方法,包括步骤:提供由捕获设备捕获的图像以及从图像提取至少一个特征;并且,向所述至少一个特征分配描述符,所述描述符取决于指示方位的至少一个参数,其中,根据由跟踪系统测量的所述捕获设备的绝对或相对方位确定所述至少一个参数。具体地说,在本发明的上下文中的所述跟踪系统确定物体特别是所述捕获设备的至少一个方位,优选地是关于普通坐标系的至少一个方位,如在下面的实施例中进一步描述的。在通过跟踪系统测量方位的情况下,不需要将所述捕获设备的所述方位和/或移动限制为特定位置或具有关于所述捕获设备的所述方位和/或移动的任何先验知识。
[0022] 在本发明的一个方面,提出将特征描述符(特别是局部特征描述符)的所述方位与特定的给定普通坐标系对齐。取代根据在图像中的相邻区域像素的强度获得可再现的方位,关于单独像素的方位和/或捕获设备的方位的额外信息建立了对于特征的方位分配的基础。将局部特征描述符与全局方位对齐克服了由于不同方位的全等或几乎全等的特征因为在城市场景中和在人造物体上是常见的而引起的模糊,如在图1中的右面所示和在下面更详细地所述。在本发明的一个实施例中,跟踪系统包括附接到捕获设备的传感器,例如惯性传感器、加速度计、陀螺仪或指南针。
[0023] 在另一个实施例中,所述跟踪系统包括:基于在所述捕获设备和固定参考点之间的物理连接的机械跟踪系统;产生和测量磁场的电磁跟踪系统;使用声波来工作的声音跟踪系统;以及/或者,使用从所述捕获设备发射和/或反射的光的光学跟踪系统;所述光学跟踪系统可以被集成到所述捕获设备内或者被实现为与所述捕获设备分离的外部系统。
[0024] 在本发明的一个实施例中,所述普通坐标系是使用提供绝对值的跟踪系统(例如,附接到设备的指南针和/或惯性传感器)测量的世界坐标系。
[0025] 在另一个实施例中,所述普通坐标系包括跟踪系统关于其提供变换的任何坐标系。例如使用陀螺仪测量的在方位上的相对改变可以被累积以计算在每一个时刻在普通坐标上的绝对方位,而不需要测量绝对方位的任何传感器。
[0026] 在另一个实施例中,所述捕获设备包括范围数据捕获设备,特别是激光扫描器、飞行时间相机或立体相机,所述范围数据捕获设备提供具有相关联的深度和/或3D位置的图像像素。
[0027] 在本发明的另一个方面,所述方法进一步包括步骤:关于普通坐标系中的方位规格化所述至少一个特征的相邻区域。具体地说,在规格化所述至少一个特征的所述相邻区域的步骤中,所述方位提供用于旋转所述图像的角度。可选地,在规格化所述至少一个特征的所述相邻区域的步骤中,所述方位用于将相邻区域像素或整个图像弯曲到一个或多个参考方位,以校正在特定特征相邻区域中的透视变形(perspective distortion)。
[0028] 在本发明的另一个方面,一种用于匹配两个或更多图像的特征的方法包括步骤:提取第一图像的至少一个第一特征和第二图像的至少一个第二特征;提供针对所述第一特征的第一描述符和针对所述第二特征的第二描述符,其中,根据如上所述的方法的方面来提供所述第一和第二描述符中的至少一个;并且,在针对所述第一和第二特征的匹配处理中比较所述第一和第二描述符。在所述匹配处理中,然后可以基于相似性度量确定所述第一和第二特征是否彼此对应。
[0029] 根据本发明的一个实施例,基于相邻区域像素的像素强度来计算所述至少一个特征的一个或多个方向并且关于所述普通坐标系来对其进行存储。在所述匹配阶段中,仅匹配关于所述普通坐标系具有类似方向的特征,以减少所需的比较的数量并且降低误匹配的比率。
[0030] 根据本发明的实施例,可以在立体匹配(特别是在宽基线立体匹配)、相机跟踪、图像检索、物体识别、视觉搜索、姿态估计、视觉监督、场景重建、动作估计、全景缝合或图像恢复的处理中实现所述方法。
[0031] 在本发明的另一个方面,提供了一种计算机程序产品,其适于加载到与用于捕获图像的至少一个捕获设备耦合的数字计算机系统的内部存储器内,并且包括软件代码部分,通过所述软件代码部分,当所述产品在所述计算机系统上运行时,根据在本文中描述的方法和实施例中的任何一种的步骤被执行。
[0032] 通过从属权利要求,本发明的其他实施例和方面将变得显而易见。方法的详细描述
[0033] 现在将参考下面的附图来更详细地描述本发明,在附图中,描述了根据各个示例性实施例的本发明的方面。
[0034] 图1示出示例性场景,其中,通过在其后侧具有相机的移动设备来捕获图像,并且其中,从所述图像提取特征,并且根据标准手段(左)和根据本发明的一个实施例(右)来在规格化描述中示意地示出特征;
[0035] 图2示出在两种不同的方位下的特征点的示例性描述中对于对旋转的不变性的标准手段、特征点的局部相邻区域像素的规格化和相应的描述符的构造;
[0036] 图3以流程图示出用于构造特征描述符的标准手段;
[0037] 图4以流程图示出用于构造特征描述符的根据本发明的方法的一个实施例;
[0038] 图5以示意方式示出要匹配的描述具有相应提取特征的不同视点下的相同静态物体的示例性第一图像和第二图像。

具体实施方式

[0039] 图1示出示例性场景,其中,通过在其后侧具有相机的移动设备来捕获图像,并且其中,从所述图像提取特征,并且根据标准手段(在左侧示出并且如上所述的)和根据本发明的一个实施例(在右侧示出)来在规格化描述中示意地示出特征。
[0040] 根据本发明的所示实施例,在本示例中为具有窗口4的建筑物的真实物体3再次由后侧(未示出)具有相机的移动设备2捕获。例如,移动设备2可以是移动电话或数字相机,其具有用于图像处理的微处理器和相机,该相机具有用于捕获窗口4的图像的在后侧的光学镜头。然而,可以使用任何其他类型的设备。同样,可以以集成或分布的形式来使用具有包含用于图像处理的微处理器的处理设备和相机的任何其他类型的系统配置。
[0041] 移动设备包括传感器5,诸如惯性传感器、加速度计、陀螺仪和/或指南针。同样地,该传感器与移动设备的相机相关联,因为相机也是移动设备的一部分。该传感器适合于测量移动设备2关于普通坐标系10的方位。可以以绝对方式或者通过随着时间累积相对方位数据来测量该方位。通常可获得的移动电话和数字相机经常配备了内置的数字加速度计和指南针,该内置的数字加速度计和指南针提供了用于指示设备的当前方位的测量值。这个信息与关于相机的固有参数的信息一起使得能够在相机图像的坐标系中进行世界坐标中的任何方位的变换,例如,重或北方的变换。
[0042] 在移动设备2的显示器7上,如所示出的描述了由移动设备2的相机捕获的窗口4。在移动设备2(或与移动设备2进行通信的外部设备)的微处理器中执行的图像处理方法从所捕获的图像提取特征,例如用于将窗口的四角表示为窗口的相当显著的特征的特征F11至F14,并且建立针对特征F11至F14的每一个的特征描述符,如下面更详细地描述的。所建立的局部特征描述符使用与使得特征F11至F14能够清楚地区分的左列(如上所述的标准手段)相比不同的方式来描述这些特征F11至F14,如在右列中的规格化坐标系中描述的所提取的特征F11至F14所示。具体地说,将特征方位与由传感器5的坐标系10定义的全局方位对齐导致四个良好地可区分的描述符,而不限制设备方位。可以匹配在不同的相机方位下获取的特征。
[0043] 在图4中,示出用于构造特征描述符的根据本发明的方法的实施例的流程图。在步骤S11中,由诸如移动设备2的相机的捕获设备捕获图像,或者从存储介质加载图像。在步骤S12中,从图像提取特征点,以获得具有二维描述(参数u、v)的特征点。在步骤S13中,使用关于由跟踪系统提供的捕获设备的方位(参数x、y、z)的空间信息来对于提取的特征点计算特征方位。
[0044] 例如,跟踪系统将捕获设备关于世界坐标系的方位提供为欧拉角,并且特征描述符应该与重力对齐。用于获得所有特征的方位的非常简单的方法是首先使用欧拉角将重力变换为附加到捕获设备的坐标系,然后将其投影到图像平面上。由此,计算在图像中的重力的方向并且将其用于图像中的所有特征。这种技术假定正交投影,通常不是这种情况。包含相机的固有参数放松这种假设,但是基于2D图像的所有技术仍然假定在图像中可视的全部内容位于平面上,并且因此是近似。
[0045] 在步骤S14中,执行方位对齐以基于在步骤S13中确定的特征方位角α向参数u、v加上方位角α。其后,执行相邻区域规格化步骤S15以获得规格化的相邻区域像素强度i[]。在最后步骤S16中,根据指示所提取的特征的方位(特别是源自在步骤S14中的方位分配)的参数来对于相应的所提取的特征建立具有描述符向量d[]形式的特征描述符。
[0046] 根据本发明的另一个实施例,范围接收捕获设备可以用作捕获设备,其中,使用诸如激光扫描器、飞行时间相机或立体相机的任何种类的范围数据捕获设备所获取的图像的像素可以具有相关联的3D坐标。在该情况下,可以从特征点的相邻区域像素的3D位置计算特定特征点在普通坐标系中的任何方位。
[0047] 假设在像素P的特征,对于所有的相邻区域像素Ni(其中,i是相邻区域像素的索引),计算源自P并且指向Ni的3D向量。确定相对于期望的方位向量的两个最近的相邻区域,并且将其用于在图像空间中插入期望的方位。
[0048] 而且,至少两个像素的3D位置的知识允许在相邻区域规格化步骤中计算对于平面内旋转的旋转角。如果已知三个或更多像素的3D世界坐标,则可以计算三维变换,以在规格化步骤中将局部相邻区域或整个图像弯曲到一个或多个参考方位。
[0049] 可以使用所提出的技术来匹配从具有来自不同的跟踪系统的不同种类的相关联的空间信息的图像提取的描述符。
[0050] 图1以上面描述和示出的窗户的四个角为示例,示意地将标准手段的结果与根据本发明确定的全局对齐的局部特征描述符作比较。虽然标准手段(在左面的特征F1-F4)产生四个相同的描述符,但是根据本发明的全局对齐产生清楚地不同的特征描述符(在右面的特征F11-F14)。
[0051] 因此,根据本发明的方面,当从具有关于捕获设备相对于普通坐标系的方位的相关联的信息的图像提取局部特征描述符时,提出基于这个信息来分配特征的方位。具体地说,通过普通坐标系来对齐针对特征的方位并将其投影到图像坐标系。这使得能在具有不同方位的全等或近乎全等特征的描述符之间的更高的区别性,同时允许相机的自由移动和旋转。通过考虑测量的方位,根据本发明的方法可以被容易地插入依赖于规格化的局部相邻区域的任何现有的局部特征描述符,如图4中所示。
[0052] 任选地,所测量的设备方位不仅在它在相邻区域规格化步骤中提供用于将相机图像旋转的单个角度方面影响特征方位分配,而且另外用于将整个或部分图像弯曲到一个或多个参考方位以校正在特定特征相邻区域中的透视变形。
[0053] 例如,可以在立体匹配(特别是宽基线立体匹配)、相机跟踪、图像检索、图像分类、物体分类或物体识别的处理中实现如上所述的方法。
[0054] 立体匹配的目标是在被提供有从不同视点获取的场景或物体的两个图像的情况下,重建它的3D几何形状。这是通过在描述相同的3D点的两个图像中找到对应的像素并且通过三角测量的方式计算它们的深度来进行的。
[0055] 相机跟踪描述了在给定一个或多个相机图像的情况下计算相机的姿态(位置和方位)的过程。或者相对于具有已知3D位置的参考特征匹配相机图像中的特征来计算绝对姿态或相对于来自前一个的特征匹配相机图像中的特征来计算在位置和方位上的相对改变。
[0056] 图像或物体的分类向n个可能类别中的一个分配给定图像或物体的三维描述。一个示例是分辨给定的图像是描述了苹果还是梨的方法,即使在查询图像中的特定果还没有用于培训或被用作参考图像。而在针对给定查询的图像检索或物体识别中,搜索精确地匹配的参考图像或物体。
[0057] 所有这些技术依赖于两个或更多图像的特征的匹配。
[0058] 图5A和5B以示意方式示出要匹配的描述具有相应提取特征的相同物体的示例性第一图像和第二图像。例如,已经在诸如不同的视角、光条件等的不同的条件或环境下捕获了图像。
[0059] 在第一图像IM1中,如图5A中所示的真实静态物体RO1被相机(未示出)捕获。在图像IM1中,提取真实物体RO1的特征,诸如在图5A中由特征F51所示。在下面的步骤中,可以根据本发明的方法对于每一个提取的特征F51计算描述符。然后将这些特征F51与在第二图像IM2中提取的特征F52进行匹配。第二图像IM2描述与在不同的视点下的真实物体RO1对应的真实物体RO2,其中,对于特征F52,也确定相应的描述符。具体地说,如果特征F51和F52的描述符在特定的相似性度量上相对接近,则它们是相匹配的。例如,如果每一个描述符被写为数字的向量,则当比较两个描述符时,可以使用在两个对应的向量之间的欧几里得距离来作为相似性度量。
[0060] 在图5中示出三个匹配,通过使用虚线连接它们来进行说明。匹配M51是正确的匹配,因为在此匹配的两个特征对应于同一物理实体,而匹配M52和M53是错误的,因为它们匹配与不同的物理实体对应的特征。在匹配M52中,两个特征在不同的方位中具有类似(近乎全等)的相邻区域。虽然在使用标准手段时这种不匹配是常见,但是本发明旨在避免它们。在M53中匹配的两个特征在类似的方位上具有类似的相邻区域,并且因此可以导致在标准手段和本发明的实施例两者中的不匹配。
[0061] 基于相邻区域像素的像素强度来计算特征的方位的常见方法具有高度的可重复性,因此是特征的可靠特性。当如本发明所建议的将特征与普通坐标系对齐时,这个特征可以用于向描述符增加额外的区别性,并且提高匹配性能。当提取特征时,任选地计算基于图像强度的一个或多个方向,并且将其关于对于每一个特征的普通坐标系进行存储。在匹配阶段,通过仅比较关于普通坐标系具有类似方向的特征,可以减少所需的比较的数量。
[0062] 本详细说明已经阐述了本发明的一些实施例。应当明白,可能的实现方式的以上描述意图是说明性的而不是限制性的。此外,在本公开中,术语“第一”、“第二”等仅用作标签,并且不意图对它们的对象施加数值要求。在权利要求的范围内的其他实施例和修改对于结合附图研究了上面的说明书的本领域内的技术人员是显而易见的。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈