技术领域
[0001] 本
发明涉及计算机技术领域，具体涉及一种图像分类方法及系统。
背景技术
[0002] 随着社会科技的进步和发展，人们越来越容易获得海量的数据，如监控视频数据、商业交易数据以及医学影像数据等。现实生活中往往可以从多种不同
角度来对同一事物进行描述。从不同角度描述同一事物得到的数据称之为多视图数据。
[0003] 使用多视图数据能够充分挖掘不同视图特征中的互补信息和相关信息，从而增强对事物的刻画，进而提高分类、聚类以及分割等
算法的性能。然而，由于从原始数据中提取的特征往往具有较高的维数，而现实场景中仅有少量的样本含有完整的多视图数据，这是典型的小样本问题，在应用中往往产生维数灾难。而
深度学习等方法需要通过大量样本对目标模型进行训练，样本数据较少将导致严重的过拟合问题。通过特征学习方法，保留少部分具有高判别性的视图特征能够有效的缓解维数灾难给
机器学习算法带来的泛化能
力差等问题。如何从有限的多视图数据中利用视图之间的互补信息，诱导出更具有判别力的视图特征，也是目前多视图学习所面临的问题。
[0004]
现有技术中，在基于流形正则化的多视图特征选择方法中，维数灾难问题会使得在原始高维空间中度量样本固有的样本相似度变得更加困难。这使得构建的相似度矩阵不准确，无法保持多视图特征之间的互补信息和相关信息，从而降低了选择高判别性的多视图特征子集的准确性。
发明内容
[0005] 有鉴于此，本发明
实施例提供了一种图像分类方法及系统，基于自适应近邻学习的多视图特征选择学习来选择多视图特征子集，以完成图像分类。
[0006] 根据本发明的一方面，提供一种图像分类方法，包括：从训练样本提取多视图特征集；基于自适应近邻学习的多视图特征选择学习，从所述多视图特征集中选择多视图特征子集；利用所述多视图特征子集，构建多核学习
支持向量机分类器；采用所述多核学习支持向量机分类器对图像进行分类。
[0007] 优选地，所述基于自适应近邻学习的多视图特征选择学习，从所述多视图特征集中选择多视图特征子集的步骤包括：对所述多视图特征集进行自适应近邻学习的多视图特征选择学习；以及根据自适应近邻学习的多视图特征选择学习获得的解析解，得到所述多视图特征子集。
[0008] 优选地，所述对所述多视图特征集进行自适应近邻学习的多视图特征选择学习的步骤包括：构建自适应近邻学习的多视图特征选择学习目标模型，所述目标模型包括所述多视图特征集的回归系数和近邻概率；优化所述回归系数并且更新所述近邻概率；以及基于回归系数矩阵的l2,1范数对回归系数矩阵产生的行稀疏作用，得到所述自适应近邻学习的多视图特征选择学习的目标模型的解析解。
[0009] 优选地，仅在相同类别标号的样本间计算样本近邻概率，不同类别标号的样本近邻概率固定设置为0。
[0010] 优选地，一个样本的所有视图特征间共享所述样本的样本近邻概率。
[0011] 优选地，所述对所述多视图特征集进行自适应近邻学习的多视图特征选择学习之前还包括：对所述训练样本进行自适应近邻学习；以及将自适应近邻学习嵌入到多视图特征选择学习中。
[0012] 优选地，所述对所述训练样本进行自适应近邻学习的步骤包括：构建自适应近邻学习的目标模型，所述目标模型包括当训练样本距离信息已知时的样本近邻概率和当训练样本距离信息未知时的样本近邻概率的先验；以及根据自适应近邻学习获得的解析解，得到训练样本间的所述近邻概率。
[0013] 优选地，所述自适应近邻学习的学习策略包括以下至少之一的学习策略：k近邻策略和扩散策略。
[0014] 优选地，所述利用所述多视图特征子集，构建多核学习支持向量机分类器的步骤包括：获得支持向量机的核化目标模型；计算所述多视图特征子集的多个核矩阵；对多个核矩阵进行线性组合，得到融合后的核矩阵；将融合后的核矩阵嵌入所述支持向量机的核化目标模型，得到多核学习支持向量机分类器的决策函数。
[0015] 优选地，使用网格搜索方法通过对训练样本进行十折交叉验证找到融合核矩阵的权重的最优值。
[0016] 优选地，所述采用所述多核学习支持向量机分类器对图像进行分类的具体步骤包括：获取未知样本；计算所述未知样本的相应视图特征上的核矩阵，然后通过所述决策函数对其进行图像分类。
[0017] 优选地，所述图像分类方法的步骤还包括：采集原始图像数据集，对原始图像数据集进行预处理得到训练样本。
[0018] 根据本发明的另一方面，提供一种图像分类系统，包括：视图特征提取模
块：用于从训练样本提取多视图特征集；视图特征选择模块：用于基于自适应近邻学习的多视图特征选择学习，从所述多视图特征集中选择多视图特征子集；分类器构建模块：用于利用所述多视图特征子集，构建多核学习支持向量机分类器；预测模块：用于采用所述多核学习支持向量机分类器对图像进行分类。
[0019] 优选地，所述图像分类系统，还包括：
数据采集模块：用于采集原始图像数据集，对原始图像数据集进行预处理得到训练样本；自适应近邻学习模块：用于对所述训练样本进行自适应近邻学习；以及将自适应近邻学习嵌入到多视图特征选择学习中。
[0020] 根据本发明的又一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现如上所述的图像分类方法。
[0021] 根据本发明的再一方面，提供一种图像分类的控制装置，包括：
存储器，用于存储计算机指令；处理器，耦合到所述存储器，所述处理器被配置为基于所述存储器存储的计算机指令执行实现如上所述的图像分类方法。
[0022] 本发明的一个实施例具有以下优点或有益效果：基于自适应近邻学习的多视图特征选择学习，从所述多视图特征集中选择多视图特征子集。自适应近邻学习与相应的多视图特征选择学习同时建模，避免在原始高维空间中度量固有的样本相似度，保持了多视图特征之间的互补信息和相关信息，从而提高了选择高判别性的多视图特征子集的准确性。
附图说明
[0023] 通过参照以下附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
[0024] 图1示出本发明的一个实施例的图像分类方法的流程示意图。
[0025] 图2示出本发明的一个实施例的图像分类方法的流程示意图。
[0026] 图3示出本发明的一个实施例的图像分类系统的结构示意图。
[0027] 图4示出本发明的一个实施例的图像分类的控制装置的结构图。
具体实施方式
[0028] 以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
[0029] 在多视图特征选择技术中，为了使选择的视图特征能够最大化的保持不同视图数据之间以及视图特征自身的类别信息，使用有
监督学习中的标号作为参考，构建一个相似度矩阵。根据所述相似度矩阵，样本在低维特征空间中保持其在高维空间中的类别结构信息。
[0030] 基于流形假设的流形正则化项为：
[0031]
[0032] 其中，X＝{x1,x2,…,xN}是训练样本，N为样本总数， 是定义在第m个视图上的训练样本 和 的相似度，M是视图数据的总数。Laplacian矩阵Lm＝Dm-Sm，对角矩阵Dm的对角元素定义为 相似度矩阵Sm的定义如下：
[0033]
[0034] 其中，yi和yj分别表示第i个和第j个训练样本的类别标号。
[0035] 最小化公式(2)可以使得如果样本 和 的类别标号相同，那么 和之间的距离尽可能的接近。其目的在于保持投影后同类样本的类别结构信息。基于此思想，提出基于流形正则化的多视图特征选择方法：
[0036]
[0037] 其中，X＝{x1,x2,…,xN}是训练样本，N为样本总数，y＝[y1,y2,…,yN]T∈RN为N个训练样本的类别标号向量，yi取值为+1或者-1。wm∈Rd表示第m个视图特征上的权重系数，M为1 2 M d×M
视图数据的总数，W＝[w ,w ,…,w]∈R 是由不同视图特征的权重向量组成的权重矩阵，λ和μ为正则化参数。
[0038] 公式(3)由三项构成，第一项为经验
风险函数，这里使用的是平方损失项，用于度量输出值Xmwm与目标y之间的差异程度；第二项为l2,1组稀疏正则化项，其中wi,j表示矩阵Wm中的第i行，第j列元素，wi,:为矩阵W的第i行行向量。由定义得知||W||2,1为矩阵W的每一行行向量的l2范数之和，在最小化l2,1问题中，只有每一行行向量的l2范数都最小，问题整体才取得最小值。因此，当每一行行向量内尽可能多的元素为0时，每一行行向量的l2范数取得最小值，最终产生行稀疏的现象。在多视图特征选择中，那些非0行所对应的视图特征具有较高的判别性能，因此将被保留。第三项的作用是通过嵌入每个训练样本的类别标号信息，保留每一个视图数据的判别能力，最终诱导出高判别性的多视图特征子集。
[0039] 综上，
发明人发现，上述的基于流形正则化的多视图特征选择方法存在以下不足：
[0040] 在基于流形正则化的多视图特征选择方法中，维数灾难问题会使得在原始高维空间中度量样本固有的样本相似度变得更加困难。这使得构建的相似度矩阵不准确，无法保持多视图特征之间的互补信息和相关信息，从而降低了选择高判别性的多视图特征子集的准确性。
[0041] 在基于流形正则化的多视图特征选择方法中，同一类别的样本间的样本相似度固定。然而，由于数据采集的过程中往往伴随着噪声的干扰，固定的样本相似度无法准确刻画内在的样本相似度，从而降低了选择高判别性的多视图特征子集的准确性。
[0042] 图1是本发明的一个实施例的图像分类方法的流程示意图，具体包括以下步骤。
[0043] 在步骤S101中，从训练样本提取多视图特征集。
[0044] 在步骤S102中，基于自适应近邻学习的多视图特征选择学习，从所述多视图特征集中选择多视图特征子集。
[0045] 在步骤S103中，利用所述多视图特征子集，构建多核学习支持向量机分类器。
[0046] 在步骤S104中，采用所述多核学习支持向量机分类器对图像进行分类。
[0047] 在本发明的一个实施例中，首先，从训练样本提取多视图特征集。然后，基于自适应近邻学习的多视图特征选择学习，从所述多视图特征集中选择多视图特征子集。其次，利用所述多视图特征子集，构建多核学习支持向量机分类器。最后，采用所述多核学习支持向量机分类器对图像进行分类。
[0048] 根据本发明实施例，基于自适应近邻学习的多视图特征选择学习，从所述多视图特征集中选择多视图特征子集。自适应近邻学习与相应的多视图特征选择学习同时建模，避免在原始高维空间中度量固有的样本相似度，保持了多视图特征之间的互补信息和相关信息，从而提高了选择高判别性的多视图特征子集的准确性。
[0049] 图2是本发明一个实施例的图像分类方法的流程示意图，具体包括以下步骤：
[0050] 在步骤S201中，采集原始图像数据集，对原始图像数据集进行预处理得到训练样本。
[0051] 在步骤S202中，从训练样本提取多视图特征集。
[0052] 在步骤S203中，对所述训练样本进行自适应近邻学习，以及将自适应近邻学习嵌入到多视图特征选择学习中。
[0053] 在步骤S204中，对所述多视图特征集进行自适应近邻学习的多视图特征选择学习，以及根据自适应近邻学习的多视图特征选择学习获得的解析解，得到所述多视图特征子集。
[0054] 在步骤S205中，利用所述多视图特征子集，构建多核学习支持向量机分类器。
[0055] 在步骤S206中，获取未知样本，以及计算所述未知样本的相应视图特征上的核矩阵，然后通过所述决策函数对其进行图像分类。
[0056] 在本发明的一个实施例中，采集原始图像数据集，对原始图像数据集进行预处理得到训练样本。从训练样本提取多视图特征集。对所述训练样本进行自适应近邻学习，以及将自适应近邻学习嵌入到多视图特征选择学习中。对所述多视图特征集进行自适应近邻学习的多视图特征选择学习，以及根据自适应近邻学习的多视图特征选择学习获得的解析解，得到所述多视图特征子集。所述对所述多视图特征集进行自适应近邻学习的多视图特征选择学习的步骤包括：构建自适应近邻学习的多视图特征选择学习目标模型，所述目标模型包括所述多视图特征集的回归系数和近邻概率；优化所述回归系数并且更新所述近邻概率；以及基于回归系数矩阵的l2,1范数对回归系数矩阵产生的行稀疏作用，得到所述自适应近邻学习的多视图特征选择学习的目标模型的解析解。利用所述多视图特征子集，构建多核学习支持向量机分类器。获取未知样本，以及计算所述未知样本的相应视图特征上的核矩阵，然后通过所述决策函数对其进行图像分类，其中，所述相应视图特征是从所述多视图特征集中选择的多视图特征子集的相应视图特征。
[0057] 根据本发明实施例，样本近邻概率成为变量，优化所述回归系数并且更新所述近邻概率，最终得到准确反映样本间相似度的样本近邻概率，从而提高了选择高判别性的多视图特征子集的准确性。
[0058] 在一个实施例中，所述对所述训练样本进行自适应近邻学习的步骤包括：构建自适应近邻学习的目标模型，所述目标模型包括当训练样本距离信息已知时的样本近邻概率和当训练样本距离信息未知时的样本近邻概率的先验；以及根据自适应近邻学习获得的解析解，得到训练样本间的所述近邻概率。
[0059] 假设对于训练样本xi，所有的训练样本点{x1,x2,…,xN}均以一定的概率sij作为xi的近邻。直观上来说，如果样本xi和样本xj具有较小的距离 那么xj应该有较大的概率sij成为xi的近邻。可以通过如下目标公式求解sij：
[0060] 通过求解公式(4)，得到训练样本距离信息已知时的样本近邻概率，发现只有距离xi最近的样本以概率sij＝1成为xi的近邻，其他样本的近邻概率均为0。显然这是公式(4)的一个平凡解。假设不知道任何关于训练样本之间距离的信息，直接求解样本的近邻概率：
[0061]
[0062] 得到的结果为所有样本均以概率 成为xi的近邻。公式(5)实际上可以看作当训练样本距离信息未知时的样本近邻概率的先验。联合公式(4)和公式(5)，得到求解训练样本xi的近邻概率的目标公式为：
[0063]
[0064] 对于任意一个样本，可以利用公式(6)求得xi和xj的近邻概率，
修改后的目标公式如下：
[0065]
[0066] 其中，X＝{x1,x2,…,xN}是训练样本，N为样本总数，sij是样本xi与xj成为近邻的概率，γ是正则化参数，用于平衡上述公式中两项。
[0067] 公式(7)即为自适应近邻学习的目标模型的目标公式。下面将自适应近邻学习嵌入到多视图特征选择中，以期望学习到最优的样本近邻概率，从而选择到具有高判别性的多视图特征子集，提高图像分类的性能。
[0068] 在一个实施例中，针对多视图数据，提出一种基于自适应近邻学习的多视图特征选择学习。具体的来说，将自适应近邻学习与多视图特征选择同时建模，提出如下的基于自适应近邻学习的多视图特征选择学习目标模型的目标公式：
[0069]
[0070] 其中， 为第m个视图数据的
特征向量，N为样d×M
本总数，dm为相应视图数据的特征向量的特征维度，W＝[w1,w2,…,wM]∈R 为回归系数，M为视图数据的个数，wm∈Rd为第m个视图特征的回归系数，sik是样本xi与xk成为近邻的概率，y＝[y1,y2,…,yn]T∈RN为样本的类别标号向量，λ、μ和γ为正则化参数。
[0071] 为矩阵W的l2,1范数，基于回归系数矩阵的l2,1范数对回归系数矩阵产生的行稀疏作用，得到所述自适应近邻学习的多视图特征选择学习的目标模型的解析解。 是多视图自适应近邻项，
每次仅更新样本K个局部近邻的样本近邻概率。为了提高刻画的样本相似度的准确性，仅在相同类别标号的样本间计算样本近邻概率，不同类别标号的样本近邻概率固定设置为0。一个样本的所有视图特征间共享所述样本的样本近邻概率。
[0072] 根据本发明实施例，每次仅更新样本K个局部近邻的样本近邻概率，一个样本的所有视图特征间共享所述样本的样本近邻概率。这进一步保留了多视图特征之间的互补信息和相关信息，从而提高了选择高判别性的多视图特征子集的准确性。
[0073] 在另一个实施例中，使用扩散(diffusion)策略进行自适应近邻学习。
[0074] 在一个实施例中，支持向量机的原问题的目标公式如下：
[0075]
[0076] 通过求解上述问题的拉格朗日对偶，得到简化的问题：
[0077]
[0078] 公式(10)称为原问题的对偶问题，与原问题相比，对偶问题可以通过二次规划算法高效的求解。将对偶问题中的训练样本内积 用核函数代替，则得到支持向量机的核化目标模型，其目标公式为:
[0079]
[0080] 计算所述多视图特征子集的多个核矩阵，将多个视图特征生成的核矩阵进行线性组合，得到融合后的核矩阵： 将融合后的核矩阵嵌入所述支持向量机的核化目标模型，得到多核学习支持向量机分类器的决策函数：
[0081]
[0082] βm≥0,
[0083]
[0084] 其中，X＝{x1,x2,…,xN}是训练样本，N为样本总数， 是融合后的核矩阵，yi是样本的类别标号向量，αi为对偶向量，βm为融合核矩阵权重，b为偏置。
[0085] 本算法约束βm≥0, 并使用网格搜索方法通过对训练样本进行十折交叉验证找到所述βm的最优值。
[0086] 根据本发明实施例，将融合后的核矩阵嵌入所述支持向量机的核化目标模型，得到多核学习支持向量机分类器的决策函数。使用多个核函数处理多视图特征集，这样使得多核学习支持向量机分类器的决策函数具有更好的泛化能力和更高的分类性能，从而提高了图像分类方法的准确性。
[0087] 在一个实施例中，所述采集原始图像数据集，对原始图像数据集进行预处理得到训练样本，所述预处理是对所述原始图像数据集进行清洗和归一化处理以得到所述训练样本。
[0088] 图3是本发明的一个实施例的图像分类系统的结构示意图。如图3所示，该系统30包括：视图特征提取模块301、视图特征选择模块302、分类器构建模块303、预测模块304、数据采集模块305和自适应近邻学习模块306。
[0089] 视图特征提取模块301：用于从训练样本提取多视图特征集。
[0090] 视图特征选择模块302：用于基于自适应近邻学习的多视图特征选择学习，从所述多视图特征集中选择多视图特征子集。
[0091] 分类器构建模块303：用于利用所述多视图特征子集，构建多核支持向量机分类器。
[0092] 预测模块304：用于采用所述多核学习支持向量机分类器对图像进行分类。
[0093] 数据采集模块305：用于采集原始图像数据集，对原始图像数据集进行预处理得到训练样本。
[0094] 自适应近邻学习模块306：用于对所述训练样本进行自适应近邻学习；以及将自适应近邻学习嵌入到多视图特征选择学习中。
[0095] 在一个实施例中，所述预测模块304对于未知样本x，在获得βm的值之后，先计算所述未知样本的相应视图特征上的核矩阵 将其进行线性组合得到融合后的核矩阵，然后通过所述决策函数对其进行图像分类。
[0096] 图4是根据本发明实施例的
图像识别的控制装置的结构图。图4示出的设备仅仅是一个示例，不应对本发明实施例的功能和使用范围构成任何限制。
[0097] 参考图4，该装置包括通过总线连接的处理器401、存储器402和输入输出设备403。存储器402包括
只读存储器(ROM)和随机
访问存储器(RAM)，存储器402内存储有执行系统功能所需的各种计算机指令和数据，处理器401从存储器402中读取各种计算机指令以执行各种适当的动作和处理。输入输出设备包括
键盘、
鼠标等的输入部分；包括诸如
阴极射线管(CRT)、
液晶显示器(LCD)等以及扬声器等的输出部分；包括
硬盘等的存储部分；以及包括诸如LAN卡、
调制解调器等的网络
接口卡的通信部分。存储器402还存储有以下的计算机指令以完成本发明实施例的图像分类方法规定的操作：从训练样本提取多视图特征集；基于自适应近邻学习的多视图特征选择学习，从所述多视图特征集中选择多视图特征子集；利用所述多视图特征子集，构建多核学习支持向量机分类器；采用所述多核学习支持向量机分类器对图像进行分类。
[0098] 相应地，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现上述图像分类方法所规定的操作。
[0099] 附图中的
流程图、
框图图示了本发明实施例的系统、方法、装置的可能的体系
框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。
[0100] 以上所述仅为本发明的一些实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
