用以改进对象辨识中的特征产生的系统和方法
阅读：778发布：2021-06-09
专利汇可以提供用以改进对象辨识中的特征产生的系统和方法专利检索，专利查询，专利分析的服务。并且本 发明 的 实施例 预期用以改进对象辨识的特征产生的系统、设备和方法。明确地说，本发明的实施例预期排除和/或 修改 图像的对应于色散 像素 分布的部分。通过在特征产生 进程 内排除和/或修改这些区，产生较少的不利特征，且可较高效地使用计算资源。，下面是用以改进对象辨识中的特征产生的系统和方法专利的具体信息内容。
1.一种在至少一个处理器上执行的用于产生特征的方法，其包括：
使色散值与图像的至少一部分相关联，其中所述色散值是基于所述图像的所述部分中的像素值的至少类间变化和类内变化；以及
如果所述色散值指示所述图像的所述至少一部分中的色散超过阈值，那么将所述图像的所述至少一部分的至少一部分从特征产生进程的至少一部分排除。
2.根据权利要求1所述的方法，其中排除所述部分包括在所述图像的所述至少一部分由所述特征产生进程的所述至少一部分处理之前，用不同值取代所述图像的所述至少一部分。
3.根据权利要求1所述的方法，其中所述色散值包括所述图像的所述部分内的像素值的熵的量度，其中所述熵是所述图像的所述部分中的像素值的所述类间变化和所述类内变化的函数。
4.根据权利要求1所述的方法，其中所述色散值包括所述图像的所述部分的频率特性。
5.根据权利要求1所述的方法，其中关联色散值包括：
针对所述图像的所述至少一部分确定像素值的范围，并且向像素值的每个范围指派量化等级；
基于所述像素值和所述像素值的范围的比较而使所述图像的所述至少一部分内的像素与量化值相关联；
确定具有所述同一量化值的像素集合的第一力矩；以及
测量至少两个集合的所述第一力矩之间的距离。
6.根据权利要求5所述的方法，其中至少两个集合的所述第一力矩之间的所述距离与所述色散值的值成反比。
7.根据权利要求1所述的方法，其中所述特征产生进程包括标度不变特征变换SIFT的至少一部分。
8.根据权利要求1所述的方法，其中所述特征产生进程包括经配置以计算图像的标度空间差异的模块。
9.一种电子装置，其包括：
用于使色散值与图像的至少一部分相关联的装置，其中所述色散值是基于所述图像的所述部分中的像素值的至少类间变化和类内变化；以及
用于在所述色散值指示所述图像的所述至少一部分中的色散超过阈值的情况下将所述图像的所述至少一部分的至少一部分从特征产生进程的至少一部分排除的装置。
10.根据权利要求9所述的电子装置，其中所述关联装置包括色散鉴别器软件模块，其经配置以确定类间方差和类内方差，且其中所述排除装置包括开关。
11.根据权利要求9所述的电子装置，其中排除所述部分包括在所述图像的所述至少一部分由所述特征产生进程的所述至少一部分处理之前，用不同值取代所述图像的所述至少一部分。
12.根据权利要求9所述的电子装置，其中所述色散值包括所述图像的所述部分内的像素值的熵的量度，其中所述熵是所述图像的所述部分中的像素值的所述类间变化和所述类内变化的函数。
13.根据权利要求9所述的电子装置，其中所述色散值包括所述图像的所述部分的频率特性。
14.根据权利要求9所述的电子装置，其中所述用于关联色散值的装置包括：
用于使所述图像的所述至少一部分内的像素与量化值相关联的装置；
用于确定具有所述同一量化值的像素集合的第一力矩的装置；以及
用于测量至少两个集合的所述第一力矩之间的距离的装置。
15.根据权利要求14所述的电子装置，其中至少两个集合的所述第一力矩之间的所述距离与所述色散值的值成反比。
16.根据权利要求9所述的电子装置，其中所述特征产生进程包括标度不变特征变换SIFT的至少一部分。
17.根据权利要求9所述的电子装置，其中所述特征产生进程包括经配置以计算图像的标度空间差异的模块。
18.根据权利要求9所述的电子装置，其中所述电子装置包括无线电话。
用以改进对象辨识中的特征产生的系统和方法
技术领域
背景技术
[0002] 各种各样的电子装置(包含移动无线通信装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、数字相机、数字记录装置等)使用机器视觉技术来提供通用成像能力。这些能力可包含对象辨识过程/技术，其允许这些系统辅助用户辨识其当前位置中的地标、识别朋友和陌生人，以及多种其它任务。
[0003] 这些对象辨识过程/技术可通过将对象的图像减少为关键“特征”集合来识别图像内的一个或一个以上对象。不是尝试从原始图像像素数据辨识对象，而是这些过程/技术通过将来自含有对象的“训练”图像的这些特征与可或可不含有所述对象的新图像进行比较来辨识所述对象。如果新图像具有对应于“训练”图像的特征的特征，那么所述过程可确定同一对象存在于这两个图像中。所述过程/技术可按照可在多种不同定向下且在变化的照明条件下辨识对象的方式来选择特征。
[0004] 随着移动装置变得越来越紧凑，需要用于执行特征产生和辨识的较高效方法。此些经改进的方法将改进取决于这些辨识过程/技术的各种成像应用的功能性。
发明内容
[0005] 本发明实施例中的一些实施例可包括一种在至少一个处理器上执行的用于产生特征的方法。所述方法可包括：使色散值与图像的至少一部分相关联；以及如果所述色散值指示所述图像的所述至少一部分中的色散超过阈值，那么将所述图像的所述至少一部分的至少一部分从特征产生进程的至少一部分排除。在一些实施例中，排除所述部分可包括在所述图像的所述至少一部分由所述特征产生进程的所述至少一部分处理之前，用不同值取代所述图像的所述至少一部分。在一些实施例中，所述色散值可包括所述图像的所述部分内的像素值的熵的量度。在某些实施例中，色散值可包括所述图像的所述部分的频率特性。在某些实施例中，色散值可基于所述图像的所述部分中的像素值的至少类间变化和类内变化。在某些实施例中，关联色散值可包括：使所述图像的所述至少一部分内的像素与量化值相关联；确定具有所述同一量化值的像素集合的第一力矩；以及测量至少两个集合的所述第一力矩之间的距离。在某些实施例中，至少两个集合的所述第一力矩之间的距离可与所述色散值的值成反比。在一些实施例中，特征产生进程可包括标度不变特征变换(SIFT)的至少一部分。在一些实施例中，特征产生进程可包括经配置以计算图像的标度空间差异的模块。
[0006] 一些实施例可包括一种非暂时计算机可读媒体，其包括经配置以致使电子装置执行以下步骤的指令：使色散值与图像的至少一部分相关联；以及如果所述色散值指示所述图像的所述至少一部分中的色散超过阈值，那么将所述图像的所述至少一部分的至少一部分从特征产生进程的至少一部分排除。在一些实施例中，排除所述部分可包括在所述图像的所述至少一部分由所述特征产生进程的所述至少一部分处理之前，用不同值取代所述图像的所述至少一部分。在一些实施例中，色散值可包括所述图像的所述部分内的像素值的熵的量度。在某些实施例中，色散值可包括所述图像的所述部分的频率特性。在某些实施例中，色散值可基于所述图像的所述部分中的像素值的至少类间变化和类内变化。在一些实施例中，关联色散值可包括：使所述图像的所述至少一部分内的像素与量化值相关联；确定具有所述同一量化值的像素集合的第一力矩；以及测量至少两个集合的所述第一力矩之间的距离。在一些实施例中，至少两个集合的所述第一力矩之间的距离可与所述色散值的值成反比。在某些实施例中，特征产生进程可包括标度不变特征变换(SIFT)的至少一部分。在一些实施例中，特征产生进程可包括经配置以计算图像的标度空间差异的模块。在一些实施例中，电子装置可包括无线电话。
[0007] 一些实施例可包括一种电子装置，其包括经配置以执行以下步骤的指令：使色散值与图像的至少一部分相关联；以及如果所述色散值指示所述图像的所述至少一部分中的色散超过阈值，那么将所述图像的所述至少一部分的至少一部分从特征产生进程的至少一部分排除。在某些实施例中，排除所述部分可包括在所述图像的所述至少一部分由所述特征产生进程的所述至少一部分处理之前，用不同值取代所述图像的所述至少一部分。在一些实施例中，色散值可包括所述图像的所述部分内的像素值的熵的量度。在一些实施例中，色散值可包括所述图像的所述部分的频率特性。在一些实施例中，色散值可基于所述图像的所述部分中的像素值的至少类间变化和类内变化。在某些实施例中，关联色散值可包括：使所述图像的所述至少一部分内的像素与量化值相关联；确定具有所述同一量化值的像素集合的第一力矩；以及测量至少两个集合的所述第一力矩之间的距离。在一些实施例中，至少两个集合的所述第一力矩之间的距离可与所述色散值的值成反比。在一些实施例中，特征产生进程可包括标度不变特征变换(SIFT)的至少一部分。在一些实施例中，特征产生进程可包括经配置以计算图像的标度空间差异的模块。在某些实施例中，电子装置可包括无线电话。
[0008] 一些实施例可包括一种电子装置，其包括：用于使色散值与图像的至少一部分相关联的装置；以及用于在所述色散值指示所述图像的所述至少一部分中的色散超过阈值的情况下将所述图像的所述至少一部分的至少一部分从特征产生进程的至少一部分排除的装置。在某些实施例中，所述关联装置可包括色散鉴别器软件模块，其经配置以确定类间方差和类内方差，且其中所述排除装置可包括开关。在某些实施例中，排除所述部分可包括在所述图像的所述至少一部分由所述特征产生进程的所述至少一部分处理之前，用不同值取代所述图像的所述至少一部分。在一些实施例中，色散值可包括所述图像的所述部分内的像素值的熵的量度。在一些实施例中，色散值可包括所述图像的所述部分的频率特性。在一些实施例中，色散值可基于所述图像的所述部分中的像素值的至少类间变化和类内变化。在一些实施例中，用于关联色散值的装置可包括：用于使所述图像的所述至少一部分内的像素与量化值相关联的装置；用于确定具有所述同一量化值的像素集合的第一力矩的装置；以及用于测量至少两个集合的所述第一力矩之间的距离的装置。在一些实施例中，至少两个集合的所述第一力矩之间的距离可与所述色散值的值成反比。在一些实施例中，特征产生进程可包括标度不变特征变换(SIFT)的至少一部分。在一些实施例中，特征产生进程可包括经配置以计算图像的标度空间差异的模块。在一些实施例中，电子装置可包括无线电话。
附图说明
附图说明
[0009] 下文将结合附图描述所揭示的方面，提供附图是为了说明而非限制所揭示的方面，其中相同名称表示相同元件。
[0011] 图2是与本发明实施例中的一些相关联的某些成像应用可使用的移动装置的各种组件的框图。
[0012] 图3是描绘在SIFT系列特征产生进程的各个进程中可见的可在某些实施例的特征产生模块中实施的若干步骤的流程图。
[0013] 图4是相对于移动装置的特征辨识系统的其它组件说明图3的流程图的放置的一般化框图。
[0014] 图5相对于图4的组件描绘如某些实施例中使用的色散鉴别器的放置和操作。
[0015] 图6相对于图4的组件描绘如某些实施例中使用的色散鉴别器的放置和操作。
[0016] 图7是说明某些实施例中的色散鉴别器的各种操作的流程图。
[0017] 图8A说明6×6像素块的基于色相的量化等级的一个可能集合。
[0018] 图8B说明6×6像素块的基于色相的量化等级的一个可能集合。
[0019] 图8C说明6×6像素块的基于强度的量化等级的另一可能集合。
[0020] 图9A说明如色散鉴别器的某些实施例中使用的类间参数的可能放置，其中类间方差相对于图9B的参数之间的方差较大。
[0021] 图9B说明如色散鉴别器的某些实施例中使用的类间参数的可能放置，其中类间方差相对于图9A的参数之间的方差较小。
[0022] 图10A说明具有相对较高的类内方差和相对较低的类间方差的样本分布。
[0023] 图10B说明具有相对较低的类内方差和相对较高的类间方差的样本分布。
具体实施方式
[0024] 本文所揭示的实施方案提供用于对象辨识系统中的改进特征产生的系统、方法和设备。明确地说，本发明实施例预期修改多种特征产生过程，以便排除图像的产生不利对象辨识特征的部分。所属领域的技术人员将认识到，这些实施例可在硬件、软件、固件或其任何组合中实施。
[0025] 一些实施例涉及一种在至少一个计算机处理器上执行的用于产生图像的特征的方法或系统。在此方法中，可产生与图像的至少一部分相关联的色散值。色散通常指代图像区中类似像素的彼此分离。在类似像素驻存在彼此附近的情况下，色散较低。在许多介入非类似像素分离类似像素的情况下，色散较高。当像素很类似以致可被说成不存在可区分群组时，也可将色散定义为“高”。注意，类似像素可作为整体而“色散”，即使个别类似像素在图像中分离较远的“丛”或群组中驻存在彼此旁边也是如此。“色散值”可指示色散程度。
[0026] 如果色散值指示图像部分中的像素色散超过阈值，那么所述方法将图像的所述部分从特征产生过程的至少一部分中排除。所属领域的技术人员将容易认识到，此处所提到的阈值是关于色散程度，且实际实施方案可以多种方式(例如，倒数或范围)来表示阈值。因此，“超过阈值”指示存在充足量的色散，不管使用什么特定实施方案来描述所述条件。此特征产生方法可例如在执行对所捕获图像的图像辨识的蜂窝式电话中有用。通过排除图像的具有高于阈值的有色散像素分布的部分，所述系统可将那些部分从特征产生过程去除。还可去除其它区，例如大体上类似的像素的区，因为不存在可区分的像素群组。此方法可节省计算资源，因为在随后捕获的图像中，不产生也不辨识所述特征。
[0027] 在以下描述中，给出具体细节以提供对实例的全面理解。然而，所属领域的技术人员将理解，可在没有这些具体细节的情况下实践所述实例。举例来说，为了不以不必要细节模糊所述实例，可以框图展示电组件/装置。在其它例子中，可详细展示此些组件、其它结构和技术，以进一步阐释实例。
[0028] 还注意，可将实例描述为描绘为流程表、流程图、有限状态图、结构图或框图的过程。尽管流程表可将操作描述为顺序过程，但可并行或同时执行许多操作，且过程可重复。另外，可重新布置操作的次序。过程在其操作完成时终止。过程可对应于方法、函数、程序、子例程、子程序等。当过程对应于软件函数时，其终止对应于函数返回到调用函数或主函数。
[0029] 所属领域的技术人员将理解，可使用多种不同技术及技法中的任一者来表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。
[0030] 对象辨识系统允许计算机装置识别图像内的一个或一个以上对象。这些系统通常包括：第一组进程，用于学习第一组图像中的对象的视觉特征；以及第二组进程，用于随后在第二组新图像中辨识那些特征。所述第一组图像在本文中可称为“训练”图像，且第二组可称为“测试”、“现场”或“场内”图像。第一组进程从训练图像提取特征，所述特征代表待辨识的对象。在第二步骤中，所述系统可通过在测试或现场图像中辨识这些特征来识别对象。
[0031] 特征产生进程识别训练图像中的特征，其对识别包含于其中的对象有用。应排除使辨识对象变得复杂或与辨识对象具有较少相关性的特征。本发明实施例预期用以改进特征产生的新颖系统和方法。明确地说，本发明实施例将图像的可能产生不合需要特征的部分从特征产生进程排除。明确地说，实施例校正特征产生系统规律地识别图像区中描绘“有色散”像素分布的纹理、随机像素或其它区域的不利特征的事实。一些实施例可通过将不可能产生特征的图像部分(例如仅包括相同或大体上类似的像素的区)从进程去除来进一步改进计算。通过在特征产生进程内排除且/或修改这些区，可产生较少的不利特征，且/或将节约计算时间和资源。本发明实施例可在“训练”图像的原始像素中辨识这些区，但可在替代表示中辨识这些区，例如频率、标度空间、n维表示(如支持向量机器中所使用)或对不同特征产生进程来说常见且所属领域的技术人员熟悉的其它表示。以此方式，系统通过不将资源引向产生这些特征且通过在后续辨识期间不使用这些特征来获益。虽然这些改进在使用特征产生进程的任何系统中会得益，但这些改进对于计算时间和效率非常珍贵的移动装置特别有用。
[0032] 图1相对于服务器102、数据库103和网络104(例如蜂窝式网络)描绘包括移动装置101的通信系统100的高级框图。移动装置101可包括手机、膝上型计算机、个人数字助理等。
移动装置101可与服务器102通信，服务器102本身与数据库103通信。服务器102可位于蜂窝式基站处，或可位于本地网络服务器或路由器上。数据库103可类似地位于服务器102内，或位于单独位置处。移动装置101可包括相机，或包含用于接收图像的其它装置，例如USB、WI-FI或蓝牙连接。用户可在移动装置101上使用多个应用程序。这些应用程序可包含消息接发服务、图像捕获应用程序，以及所属领域的技术人员已知的其它常见应用程序。移动装置
101上的应用程序中的一些可对从远程位置接收到的图像进行操作，或对由移动装置101的相机在本地产生的图像进行操作。在一些实施例中，数据库103可包括图像存储装置，且移动装置101可经由服务器102将图像发射到数据库103且/或从数据库103接收图像。这些图像可由在移动装置101上操作的应用程序产生或使用。
移动装置101可与服务器102通信，服务器102本身与数据库103通信。服务器102可位于蜂窝式基站处，或可位于本地网络服务器或路由器上。数据库103可类似地位于服务器102内，或位于单独位置处。移动装置101可包括相机，或包含用于接收图像的其它装置，例如USB、WI-FI或蓝牙连接。用户可在移动装置101上使用多个应用程序。这些应用程序可包含消息接发服务、图像捕获应用程序，以及所属领域的技术人员已知的其它常见应用程序。移动装置
101上的应用程序中的一些可对从远程位置接收到的图像进行操作，或对由移动装置101的相机在本地产生的图像进行操作。在一些实施例中，数据库103可包括图像存储装置，且移动装置101可经由服务器102将图像发射到数据库103且/或从数据库103接收图像。这些图像可由在移动装置101上操作的应用程序产生或使用。
[0033] 如上文所提到，特征产生进程产生可随后用以辨识图像中的对象的“特征”。在一些实施例中，数据库103可包括用以识别图像内的对象的特征集合。这些特征可从接收“训练”图像的特征产生进程产生，如下文更详细地描述。当移动装置101上的应用程序希望识别图像中的对象时，作为特征辨识进程的一部分，移动装置101可从数据库103检索特征以应用所述特征。或者，特征可本地存储在移动装置101上。可在接收到训练图像之后，通过移动装置101将特征上载到数据库103。服务器102还可与网络104通信，且从网络远程接收图像或特征。因此，移动装置101或数据库103可含有为辨识而存储的图像或特征。
[0034] 尽管图1描绘移动系统，但所属领域的技术人员将容易认识到，本发明实施例还可应用于任何成像系统。举例来说，包括本地图像存储装置的桌上型系统还可实施本发明实施例中的许多实施例，作为本地运行特征产生进程的一部分。
[0035] 图2描绘可在一些实施例的成像应用中使用的移动装置101的各种组件的框图。移动装置101可包括图像捕获系统201，其经由镜头200捕获图像。这些图像可存储在图像缓冲器205中，图像缓冲器205可包括RAM、SRAM、动态或静态存储器，如此项技术中已知。或者，可经由连接件206接收图像或特征，连接件206可包括火线、USB、IR收发器、蓝牙接口等。举例来说，可在另一用户从另一装置发射这些图像或特征时，或在移动装置101的用户连接到本地网络或存储装置(例如桌上型计算机)时，接收这些图像或特征。
[0036] 移动装置101还可包括调制解调器204，其用于经由天线208或连接件207发射或接收包含图像和特征数据的信息。天线208可为用于连接到WI-FI、蜂窝式网络等的无线天线。一旦已识别到特征，用户就可经由调制解调器204将其上载到数据库103，使得其可在后续辨识尝试期间被重新调用。或者，可本地存储所述特征。
[0037] 图像捕获系统201可包括独立硬件、软件或固件模块。然而，在一些实施例中，如图2中所描绘，图像捕获系统可集成到移动装置101的处理器202中，作为处理器中的组件，或在处理器202上运行的软件。图像捕获系统操作镜头200以便产生图像。处理器202可为通用处理单元，或经特殊设计以用于成像应用的处理器。
[0038] 处理器202可包括特征产生模块203，特征产生模块203可本身包括在处理器202上运行的软件、处理器中的专用组件，或单独的独立硬件、软件或固件模块等。特征产生模块203可包括标度不变特征变换(SIFT)核模块。SIFT包括受益于本发明实施例的一个可能特征产生进程。特征产生模块203可包括经设计来执行一个或一个以上额外特征辨识进程的软件、固件或硬件。举例来说，SIFT进程的变体(本文称为“SIFT进程系列”)可包括“传统”SIFT、PCA-SIFT、SURF、FIT、仿射不变SIFT、RIFT(旋转不变SIFT)、G-RIF(一般化稳健不变特征)以及GLOH(梯度位置和定向直方图)等。特征产生模块203可能够在给定一组特定条件的情况下在各种特征产生进程之中进行选择。举例来说，传统SIFT可用于拥有第一组资源的应用，而SURF可在第二组条件下使用。为了便于理解，以下描述主要论述SIFT特征产生进程，然而，所属领域的技术人员将容易认识到本发明实施例对其它特征产生进程的应用。
[0039] 作为移动装置101的操作的实例，移动装置用户可能想要拍摄另一人的脸部图像，使得万一移动用户忘记了那个人的脸，他们仍可在日后辨识出那个人。移动装置用户还可能想要拍摄物体(例如DVD盖)的图片，并提取DVD盖的全部或部分图像或文本(或图像和文本)的特征。类似地，用户可能希望辨识产品标签，例如在酒瓶或音乐CD上。在这些实例中，用户可能在先前已自己获取“训练”图像，或“训练”图像可预先存储在数据库(例如数据库103)中。移动装置101可使用镜头200和图像捕获系统201捕获图像。图像可存储在缓冲器
205中，且接着由特征产生模块203处理，以提取经由调制解调器204和天线208发射到服务器102的特征。服务器102可接着将所述特征存储在数据库103中。日后，当用户再次遇到同一个人时，他们可用移动装置101再次拍摄那个人的照片。移动装置101可经由天线208和调制解调器204从数据库103检索特征，且使用所述特征来执行新捕获图像上的特征辨识。或者，可将图像上载到数据库103。以此方式，用户可在第二次遇到时确定那个人的身份。所属领域的技术人员将容易认识到，上文所述的各种操作可替代地在移动装置或服务器上执行。举例来说，特征产生模块203可改为位于服务器102上，且移动装置101可发射原始图像以用于进行特征辨识，而不是在本地执行特征辨识操作。
205中，且接着由特征产生模块203处理，以提取经由调制解调器204和天线208发射到服务器102的特征。服务器102可接着将所述特征存储在数据库103中。日后，当用户再次遇到同一个人时，他们可用移动装置101再次拍摄那个人的照片。移动装置101可经由天线208和调制解调器204从数据库103检索特征，且使用所述特征来执行新捕获图像上的特征辨识。或者，可将图像上载到数据库103。以此方式，用户可在第二次遇到时确定那个人的身份。所属领域的技术人员将容易认识到，上文所述的各种操作可替代地在移动装置或服务器上执行。举例来说，特征产生模块203可改为位于服务器102上，且移动装置101可发射原始图像以用于进行特征辨识，而不是在本地执行特征辨识操作。
[0040] 如所提到，相对于特征产生进程的SIFT系列来进行某些实施例的以下描述。然而，所属领域的技术人员将容易认识到，可对例如零空间PCA、支持向量机器、神经网络等特征产生进程进行图5和6中所述的实施例。
[0041] 图3是描绘特征产生进程的SIFT系列中的许多步骤的流程图。所描绘步骤中的某些步骤是许多进程共用的，而其它步骤仅专用于某些系列成员。举例来说，“传统”SIFT将使用高斯核来产生标度空间表示301，而SURF可改为使用框函数302。一般来说，SIFT进程系列包括以下步骤：“标度空间极值检测”、“关键点定位”、“定向指派”以及“关键点描述符的产生”。SIFT的一个版本在大卫·G·罗尔(David G. Lowe)的发表文章“来自标度不变关键点的不同图像特征(Distinctive image features from scale-invariant keypoints)”，计算机视觉国际期刊，60，第2期(2004)，第91到110页(下文称为罗尔)中详细描述。所属领域的技术人员可认识到，罗尔的术语并不与本申请案的术语完全对应。
[0042] SIFT进程系列通常通过从相机或从存储装置接收原始图像像素数据300作为输入311而开始。将这些原始像素转换为“标度空间表示”301、302。标度空间是所属领域的技术人员容易获知的信号处理技术，其中使原始图像300“模糊”以在各种标度下产生“模糊”表示。各种标度下的表示可称为“金字塔”表示，因为图像的多个版本是以不同标度以及模糊程度产生的。以此方式，将图像转换为变换相对于图像标度不变的形式，即“一般化”原始像素信息。
[0043] 构造标度空间表示可涉及在各种标度下将“核”应用于图像，例如通过卷积。如所提到，一些进程(例如传统SIFT)可使用高斯核来构造标度空间图像表示(301)。其它进程(例如SURF)可用框函数来构造标度空间表示(302)。在转换为标度空间之后，系统可取得标度空间图像与原始图像的差异。此“图像差异”303可指示高对比度区。这些高对比度区或“极值”可被识别为图像的跨标度差异的局部最小值/最大值。举例来说，可将差异图像中的每一像素与其同一标度中的相邻者且与其它变化标度中的相邻者进行比较。如果像素值是所有所比较像素之中的最大值或最小值，那么将其识别为称为“关键点”的兴趣区。这通常可称为“关键点定位”，且在罗尔中较详细地描述。可使用关键点来产生特征。
[0044] 举例来说，可在关键点周围执行子像素内插(305)，以将关键点位置确定到小于像素大小的准确度。所述系统可接着在边缘和低对比度的区处对关键点进行滤波(306)，以最小化错误确定的关键点。接下来，为了实现特征的定向不变性，基于最大或最小像素值梯度的方向来为每一梯度指派“定向”(307)。以此方式，可按旋转不变方式(即，关于梯度而不是某一任意坐标轴)描述关键点。在一些实施例中，可针对标度空间金字塔的每一层级计算梯度。这通常可称为“定向指派”，且在罗尔中较详细地描述。
[0045] 此时，每一关键点可与一图像位置、标度和定向相关联。可接着指派(308)关键点描述符，以确保关键点的标度和旋转不变表示。这可通过计算关键点周围的区中的每一图像样本点处的梯度量值和定向来进行。这些样本可累计在概述子区的内容的定向直方图中。这通常可称为“关键点描述符的产生”，且在罗尔中较详细地描述。
[0046] 这些关键点结合其描述符包括可输出(310)且存储以供后续辨识的“特征”。所属领域的技术人员将容易认识到，可“压缩”或“减少”特征以促进较高效的存储。在SIFT-PCA中，例如，可通过执行对特征组的主分量分析(PCA)309来减少系统所输出的特征的数目。PCA是数学程序，明确地说，是基于本征向量的多变量分析，其将若干个可能相关的变量变换为较小数目的称为主分量的不相关变量。一旦经变换，数据的任何投影的最大方差位于第一主坐标上、第二大方差沿第二主坐标，等等。因为初始主分量包括最多信息，因此通常可去除后面的分量，同时仍保持对数据的良好描述。以此方式，可使用PCA来减少描述准许特征在(例如)数据库103中的改进存储的数据所需的维度数目。
[0047] 图4相对于移动装置的其它组件(明确地说图像捕获装置201和图像缓冲器205)说明以上特征产生进程，其可在特征产生模块203中找到。在捕获图像并将其存储在缓冲器205中后，系统可即刻将原始图像像素300传递到特征产生模块203，特征产生模块203可执行上文概述的特征产生进程。
[0048] 许多特征产生进程(包含上文所述的SIFT进程系列的成员)通过识别高频细节的区来确定图像中的兴趣区。举例来说，在SIFT进程中，标度空间表示的差异指示随后可成为关键点的“极值”区。所述表示之间的差异等效于高频区(即，相邻像素之间具有较大变化的区)。在图像的这些类型的区较少且稀疏分开的情况下，这些高频确定执行良好。遗憾的是，随机噪声具有高空间频率，且因此可产生与对象辨识具有较少相关性的特征。类似地，图像的包括纹理的区域(例如，树上的叶子群集、草叶的较大群集，或布料上的图案)也可产生较少的有利特征。这些“分散”纹理包括含有相邻像素之间的显著方差(即，高频信息)的图像区。这些区不仅产生对对象辨识程序提供很少益处的特征，而且它们还消耗特征产生和辨识进程中的宝贵时间和资源。因此，本发明实施例预期用于将图像的产生这些特征的部分从识别高频区的特征产生进程去除的系统和方法。并且，虽然上文已详细描述了SIFT系列，但所属领域的技术人员将容易认识到，所揭示的技术将适用于在高频区中产生不利特征的其它进程。
[0049] 本发明实施例预期在特征产生进程内或特征产生进程外并入“色散鉴别器”。色散鉴别器可包括软件(例如，软件模块)、硬件或固件。色散鉴别器可将图像的部分(例如有色散纹理的区)从特征产生进程的进一步分析中排除。举例来说，鉴别器可简单地不将这些部分提供给用于处理的进程，或其可用不会产生不利特征的值来代替这些部分。以此方式，所述系统可更准确且更高效地辨识相关特征。图5和6描绘了说明色散鉴别器相对于移动装置的特征辨识系统的其它组件的放置的框图。图5和6中的鉴别器的放置是相对于SIFT进行说明而已。然而，所属领域的技术人员将容易认识到，鉴别器可类似地放置在并入有零空间PCA、支持向量机器、神经网络和其它特征产生进程的系统中。如所属领域的技术人员将容易认识到，只需修改色散鉴别器的放置和操作，以便对图像的对应于有色散原始像素数据的部分进行滤波，如下文所述。
[0050] 在图5中所说明的一个实施例中，色散鉴别器502在捕获装置201获取图像之后在图像缓冲器205中找到原始图像像素300时，分析原始图像像素300。鉴别器确定像素中可能包括不利纹理的色散区。鉴别器还可确定具有很少或无变化的区，例如相同像素的块。鉴别器502可包括开关501或其它排除装置或结合其而操作，以将这些区从后续特征分析中排除。在图5中，将开关501说明为以标度空间图像的差异执行把关函数(gate keeping function)。所属领域的技术人员将容易认识到，可通过将开关501放置在原始像素数据300转变到标度空间之前来修改或排除原始像素。相反，可将开关501放置在进程中较远，例如在定位极值304之后。以此方式，可在鉴别器已确定关键点包括有色散纹理之后，修改或排除关键点。所属领域的技术人员将容易理解，虽然将开关称为“排除装置”，但修改而不是去除图像内容以避免产生不利特征的其它装置同样地包括“排除装置”，因为其类似地排除造成不利特征的部分。
[0051] 作为图6的实施例中展示的另一实例，鉴别器改为对经缩放空间图像(即，经模糊图像)进行操作。此处，开关501也对经缩放空间图像操作，以将其内容从进程的剩余部分排除或修改其内容。修改鉴别器的阈值和参数以接收标度空间数据而不是原始像素，以再次将高色散区从进程的剩余部分排除。下文更详细地描述这些修改。因此，所属领域的技术人员将认识到，可将开关501放置在进程中在被输出(310)之前的任何地方。
[0052] 一些系统可在特征产生模块203内实施一个以上特征辨识进程，或其可操作多个特征产生模块203。举例来说，在一些情况下，可使用一个辨识进程实现比另一辨识进程更佳的结果。当存储资源易于获得时，可使用SIFT，而当存储空间有限时，可使用PCA-SIFT。在本发明实施例的某些实施例中，色散鉴别器502可与在辨识方法之间进行选择的装置通信。取决于拍摄图像的情况，移动装置101可执行一个特征辨识方法而不执行另一特征辨识方法(准确度对速度、图像中的标的物等)。尽管以上实施例已说明了鉴别器的有效放置，但所属领域的技术人员将容易认识到，鉴别器可操作以在进程中在输出之前的任何点处排除像素。举例来说，可在滤波306期间或在准备描述符308之后去除关键点。然而，进程中的不同位置处的操作可要求修改色散鉴别器以对出现在特定位置处的数据进行操作。
[0053] 图7是说明用以确定图像的一部分是否对应于有色散像素数据的区的色散鉴别器502的各种操作的流程图。为了便于理解，图7描绘鉴别器502对原始图像像素的操作700，但可使用替代方法(标度空间评定、频域评定等)，如上文所述。简要参看图10A和10B，将描述图7的色散鉴别器502的操作700背后的原理。接着将参考图7的细节论述这些原理的实施。
图10A描绘两类数据1001a和1001b的跨样本值(x轴)的测量1000a。这两类数据1001a和
1002a由分别具有“类内”方差1004a、1003a以及“类间”方差1005a的两个高斯分布表示。图
10B类似地表示具有相关联的“类内”方差1004a、1003b以及“类间”方差1005b的两类数据
1001b和1002b。可观察到，图10A中的类分布在两个类含有较大重叠的意义上具有较多“色散”。随机选择的值具有落入任一类中的高可能性，因为两个类均涵盖较宽范围，且两个类相对于图10B中所描绘的类重叠较多。与此相反，图10B描绘具有较少色散的分布，因为所述类被定义得较窄，且可能不重叠，如所说明。某些实施例预期表示由线性鉴别分析的费舍尔鉴别函数(Fischer Discrimination function)松散激发的此相对色散的值。此值可表示“类内”与“类间”方差的比率，如指示分布的“色散”。在图10A中，例如，“类间”方差1005a小于图10B中的“类间”方差，且“类内”方差1004a和1003a大于图10B中的“类内”方差。相反，在图10B中，“类间”方差1005b大于图10A中的“类间”方差，且“类内”方差1004b和1003b小于图
10A中的“类内”方差。某些实施例预期以与图10A到10B的论述类似的方式，使用“类间”和“类内”方差来确定像素色散。
图10A描绘两类数据1001a和1001b的跨样本值(x轴)的测量1000a。这两类数据1001a和
1002a由分别具有“类内”方差1004a、1003a以及“类间”方差1005a的两个高斯分布表示。图
10B类似地表示具有相关联的“类内”方差1004a、1003b以及“类间”方差1005b的两类数据
1001b和1002b。可观察到，图10A中的类分布在两个类含有较大重叠的意义上具有较多“色散”。随机选择的值具有落入任一类中的高可能性，因为两个类均涵盖较宽范围，且两个类相对于图10B中所描绘的类重叠较多。与此相反，图10B描绘具有较少色散的分布，因为所述类被定义得较窄，且可能不重叠，如所说明。某些实施例预期表示由线性鉴别分析的费舍尔鉴别函数(Fischer Discrimination function)松散激发的此相对色散的值。此值可表示“类内”与“类间”方差的比率，如指示分布的“色散”。在图10A中，例如，“类间”方差1005a小于图10B中的“类间”方差，且“类内”方差1004a和1003a大于图10B中的“类内”方差。相反，在图10B中，“类间”方差1005b大于图10A中的“类间”方差，且“类内”方差1004b和1003b小于图
10A中的“类内”方差。某些实施例预期以与图10A到10B的论述类似的方式，使用“类间”和“类内”方差来确定像素色散。
[0054] 现在返回到图7，这些实施例中的鉴别器502力图确定图像块701中的像素的“类内”和“类间”分布，使得可进行色散的测量。在鉴别器接收到图像部分701、702之前，系统量化可在图像中找到的像素值的范围。这可包括像素色相、亮度或类似像素特性的量化，且可在系统使用色散鉴别器之前发生。虽然此步骤可在接收到图像块之后发生，但将容易认识到，可在对图像操作之前，事先量化范围。举例来说，可预先计算经量化范围，并将其存储在移动装置101或服务器102上的其它地方的表中。当鉴别器随后接收到“训练图像”的图像块中的像素701、702时，所述像素与其相应的经量化范围703相关联。落在共同范围内的像素被指派共同的类ID703。就是说，值落在同一量化范围内的像素包括同一“类”。
[0055] 简要参考图8A到8C，将较详细地描述这些类。作为一个可能实例，图8A说明含有36个像素的6×6图像块801。如所提到，落在可能色相的给定量化范围内的像素将被指派相关联的量化等级或类ID。所属领域的技术人员将容易认识到用于使像素与量化值关联的大量手段，例如经配置以将像素值与范围进行比较的软件代码。因此，图8A中的像素可分组为三个类，如由“X”、“O”和“+”指示。这三个区在给定量化等级的像素趋向于置于彼此附近的意义上相对“均质”，即，“X”在左上，“O”在左下，且“+”在右侧。与此相反，图8B说明具有相同维度但构成“有色散”像素集合的像素块。此处，给定量化类的像素在所述块内不一定位于彼此附近。如所提到，尽管图7以及图8A到8B涉及色彩量化，但所属领域的技术人员将容易认识到可被量化的大量替代像素参数。举例来说，图8C说明如由亮度值描绘的像素的有色散分布。依据实施方案，可或可不量化这些像素值。这些值可包括灰度级亮度值等。
[0056] 再次返回到图7，如所提到，接着可将包括同一量化等级的像素分组为类703。接着可按与上文相对于图10A到10B所描述的方式类似的方式，使用每一类来确定图像块中的“色散”的量度。如相对于那些图所描述，可使用类之间的“类内”和“类间”方差来确定色散的量度。在对应于图7的实施例中，可基于类间参考mref以及类的力矩mi704来确定“类间”变化SB的度量以及“类内”变化SW705的度量，如下文进一步详细描述。
[0057] 现在将描述如某些实施例中预期的mref和mi的确定以及SW和SB的后续计算。再次参看图7的图像部分702，考虑待由鉴别器502分析的像素区。假定x和y分别指代像素在所述区内的列和行位置，如图8A到8C以及9A到9B中所示。因此，所述区中的每一像素z与一位置相关联，即z＝(x，y)。此外，像素区可包括N个像素，且所述N个像素中的每一者可分类为C个量化类中的一者。举例来说，如果图像中的所有像素均与三个量化等级中的一者相关联，那么C＝3(这是图8A中的情况)。平均值mi也被称为第一力矩，或可如下定义特定类Zi的Ni个数据点的类的质心：
[0058] (等式1)
[0059] 所属领域的技术人员将容易认识到用于确定这些力矩的大量手段，例如对像素位置值进行求和且接着将其除以像素数目的软件代码。项mi指代在像素区中的位置，其表示类中的每一像素的平均中心位置。举例来说，图9A描绘图8A的“X”、“O”以及“+”类中的每一者的平均值m1、m2和m3。一旦已为类中的每一者确定平均值mi，就可通过对类中的每一像素相对于类平均值的欧几里得距离(Euclidean distance)进行求和来确定类的类内方差。接着可跨所有C个类累加类内方差以形成值SW，如下：
[0060] (等式2)
[0061] 可如下确定“类间”值SB。可选择共同参考点mref以用于类平均值mi中的每一者之间的比较。在一个实施例中，mref可为像素区的中心901(例如，17×17区的位置9，9)，且因此对所考虑的每一像素块保持固定。在一些实施例中，参考将包括子像素位置，且所属领域的技术人员将认识到，参考无需对应于物理位置。如果图像部分的维度在反复之间变化，那么可同样地修改参考位置。接着可通过取每一类平均值相对于参考的欧几里得距离来计算“类间”量度SB：
[0062] (等式3)
[0063] 因此，SB指代每一类中点mi与全局参考mref之间的方差，且因此充当类间变化的指示。SW指代类内的方差，即类中的每一者到其平均值mi的距离。如相对于图10A到10B所述，本发明实施例中的某些实施例预期比较这两个量度706(可能按比率形式)，作为像素区中的色散D的指示。
[0064] (等式4)
[0065] 因此，随着类中心彼此相距更远来分布(即，SB增加)，色散减少(见图8A和9A)。这将是图像块包括类中心或力矩在像素区中离得较开的类似色相群组时的情况。相反，类中心的紧凑封装集合表明类紧靠在一起，且经量化等级的类非常接近或混合(即，SB减小，见图8B和9B)。以类似方式，随着类成员被限制到更紧(SW减小)，色散减少。随着类成员离得更开(SW增加)，色散增加。如上文所论述，所述系统还可排除相同或“大体上类似”像素的区。在一些实施例中，这可通过在像素区仅包括单个类时将SB界定为零来实现。值D因此将指示非常高或无限色散。可将值D进一步操纵为多种形式以促进后处理。举例来说，某些实施例进一步考虑取量度的倒数的对数作为色散的指示。一些实施例可将此称为分布的熵“E”。
[0066] (等式5)
[0068] 鉴别器502可将色散量度D与阈值707进行比较，且因此确定图像块是否对应于有色散像素分布。当量度超过阈值时，可采取第一行动过程708，当量度不超过阈值时，可采取替代过程709。举例来说，可基于如上文所述的确定来操作开关501。这些阈值可为预设的、通过试错来事先确定、所告知预测或基于先前的训练会话动态地产生。所属领域的技术人员将容易想象用于确定行动过程的替代手段(例如模糊逻辑、机器学习方法等)。在作出确定之后，过程结束710，且接收图像的新部分以供处理。如果无其它部分需要处理，那么系统停止。
[0069] 尽管相对于图10A到10B所描述的“类间”和“类内”鉴别量度包括色散鉴别器的一类实施例，但所属领域的技术人员将容易认识到用于产生色散值的替代手段。举例来说，可例如通过傅立叶变换取得像素区的频率表示。可将包括大量频率的区分类为具有比具有较少频率的区大的色散。
[0070] 所属领域的技术人员将进一步了解，可将结合本文中所揭示的实施方案而描述的各种说明性逻辑块、模块、电路和过程步骤实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的这种可互换性，上文已大致就功能性描述了各种说明性组件、块、模块、电路及步骤。将所述功能性实施为硬件还是软件取决于特定应用以及强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但所述实施决策不应被解释为会导致脱离本发明的范围。所属领域的技术人员将认识到，一部分可包括少于或等于全部的某物。举例来说，像素集合的一部分可指代那些像素的子集合。
[0071] 可使用经设计以执行本文中所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其任何组合来实施或执行在结合本文所揭示的实施方案而描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一个或一个以上微处理器与DSP核心的联合，或任何其它此类配置。
[0072] 结合本文中所揭示的实施方案而描述的方法或过程的步骤可直接以硬件、由处理器执行的软件模块或所述两者的组合来体现。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸磁盘、CD-ROM，或此项技术中已知的任何其它形式的非暂时存储媒体中。示范性计算机可读存储媒体耦合到处理器，使得处理器可从计算机可读存储媒体读取信息并将信息写入到计算机可读存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器及存储媒体可驻存在ASIC中。ASIC可驻存在用户终端、相机或其它装置中。在替代方案中，处理器和存储媒体可作为离散组件驻存在用户终端、相机或其它装置中。
[0074] 提供对所揭示实施方案的先前描述以使任何所属领域的技术人员能够进行或使用本发明。所属领域的技术人员将容易明白对这些实施方案的各种修改，且在不脱离本发明的精神或范围的情况下，本文中界定的一般原理可应用于其它实施方案。因此，本发明无意限于本文中所展示的实施方案，而是将赋予本发明与本文所揭示的原理和新颖特征一致的最广范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于大数据撰写实施例的方法及装置 | 2020-05-11 | 80 |
| 的用途，包括但不限于癌症、狼疮、过敏性疾病、生产具有BTK抑制活性的嘧啶和吡啶化合物 Sjogren氏病和类风湿关节炎。在优选实施例中，的组合物和方法 本发明描述了不可逆激酶抑制剂，包括但不限于 | 2020-05-12 | 667 |
| 高速接收器电路和方法 | 2020-05-13 | 61 |
| 外汇交易的系统（实施例） | 2020-05-11 | 293 |
| 无菌液体纸板包装中具有切割箔纸并折向内部的装置的螺纹盖子实施例 | 2020-05-12 | 92 |
| 一种以至少一个喂纱或落纱在双针筒圆型织机上当形成管状产品例如袜子制品或类似物完成时准备该制品以便自动拾取的方法和实施该方法的双针筒圆型织机 | 2020-05-12 | 608 |
| 调节尿酸含量的化合物、组合物及其使用方法 在一些实施例 | 2020-05-11 | 1004 |
| 用于挤出塑化粉末状材料的方法(多种变形例)及实施该方法的装置(多种变形例) | 2020-05-11 | 415 |
| 发光二极管灯串的优选实施例 | 2020-05-11 | 453 |
| 改变激发次序 | 2020-05-13 | 864 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈