照片分类方法及装置
阅读：1037发布：2020-06-04
专利汇可以提供照片分类方法及装置专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种照片分类方法及装置。该照片分类方法包括：采用 人脸检测 算法 判断待分类照片是否存在人脸区域；若存在人脸区域，采用轻量级深度模型网络对存在人脸区域的所有待分类照片进行特征提取，获取待分类照片的 人脸识别 特征和至少一个人脸 属性信息 ；基于至少一个人脸属性信息对待分类照片进行聚类，以获取若干聚类类簇；基于人脸识别特征对每一聚类类簇上的待分类照片进行聚类，以获取若干分类相册，每一分类相册存放具有相同人物的待分类照片。该照片分类方法可对待分类照片进行离线自主分类，分类结果精确且分类速度快。，下面是照片分类方法及装置专利的具体信息内容。
1.一种照片分类方法，其特征在于，包括：
采用人脸检测算法判断待分类照片是否存在人脸区域；
若存在人脸区域，采用轻量级深度模型网络对存在人脸区域的所有待分类照片进行特征提取，获取所述待分类照片的人脸识别特征和至少一个人脸属性信息；
基于至少一个所述人脸属性信息对所述待分类照片进行聚类，以获取若干聚类类簇；
基于所述人脸识别特征对每一所述聚类类簇上的所述待分类照片进行聚类，以获取若干分类相册，每一分类相册存放具有相同人物的待分类照片；
所述轻量级深度模型网络的目标函数如下所示：
其中，N为训练样本，C为同时学习的任务， 为第i张待分类照片第c个任务的标签，φ(Ii,w)为轻量级深度模型网络的特征向量，Ii为第i张待分类照片，w为轻量级深度模型网络的网络参数，wc为第c个任的回归参数；Ψ(wc)为L2正则项； 为估计误差回归函数，其中，
采用梯度下降法对采用轻量级深度模型网络对存在人脸区域的所有待分类照片进行特征提取后的参数进行更新；所述梯度下降法包括：
或者
2.根据权利要求1所述的照片分类方法，其特征在于，所述人脸属性信息包括性别信息、年龄信息、种族信息、表情信息、饰品信息和头发信息中的至少一个。
3.根据权利要求1所述的照片分类方法，其特征在于，所述基于至少一个所述人脸属性信息对所述待分类照片进行聚类，包括：基于至少一个所述人脸属性信息对待分类照片采用聚类算法进行聚类；所述聚类算法包括K-Means算法、K-Medoids算法、Clarans算法、Birch算法、Cure算法、Chameleon算法、Dbscan算法、Optics算法或者Denclue算法。
4.根据权利要求1所述的照片分类方法，其特征在于，所述基于所述人脸识别特征对每一所述聚类类簇上的所述待分类照片进行聚类，包括：采用基于距离度量的相似度检测算法，基于人脸识别特征对每一聚类类簇上的待分类照片进行聚类；所述基于距离度量的相似度检测算法包括欧氏距离检测算法、明可夫斯基距离检测算法、曼哈顿距离检测算法或切比雪夫距离检测算法。
5.一种照片分类装置，其特征在于，包括：
人脸检测单元，用于采用人脸检测算法判断待分类照片是否存在人脸区域；
特征提取单元，用于在所述待分类照片存在人脸区域时，采用轻量级深度模型网络对存在人脸区域的所有待分类照片进行特征提取，获取所述待分类照片的人脸识别特征和至少一个人脸属性信息；
第一聚类单元，用于基于至少一个所述人脸属性信息对所述待分类照片进行聚类，以获取若干聚类类簇；
第二聚类单元，用于基于所述人脸识别特征对每一所述聚类类簇上的所述待分类照片进行聚类，以获取若干分类相册，每一分类相册存放具有相同人物的待分类照片；
所述轻量级深度模型网络的目标函数如下所示：
其中，N为训练样本，C为同时学习的任务， 为第i张待分类照片第c个任务的标签，φ(Ii,w)为轻量级深度模型网络的特征向量，Ii为第i张待分类照片，w为轻量级深度模型网络的网络参数，wc为第c个任的回归参数；Ψ(wc)为L2正则项； 为估计误差回归函数，其中，
采用梯度下降法对采用轻量级深度模型网络对存在人脸区域的所有待分类照片进行特征提取后的参数进行更新；所述梯度下降法包括：
或者
6.根据权利要求5所述的照片分类装置，其特征在于，所述人脸属性信息包括性别信息、年龄信息、种族信息、表情信息、饰品信息和头发信息中的至少一个。
7.根据权利要求5所述的照片分类装置，其特征在于，所述第一聚类单元，用于采用聚类算法，基于至少一个所述人脸属性信息对待分类照片进行聚类；所述聚类算法包括K-Means算法、K-Medoids算法、Clarans算法、Birch算法、Cure算法、Chameleon算法、Dbscan算法、Optics算法或者Denclue算法。
8.根据权利要求5所述的照片分类装置，其特征在于，所述第二聚类单元，用于采用基于距离度量的相似度检测算法，基于人脸识别特征对每一聚类类簇上的待分类照片进行聚类；所述基于距离度量的相似度检测算法包括欧氏距离检测算法、明可夫斯基距离检测算法、曼哈顿距离检测算法或切比雪夫距离检测算法。
照片分类方法及装置
技术领域
[0001] 本发明涉及照片分类领域，尤其涉及一种照片分类方法及装置。
背景技术
[0002] 随着智能手机、平板电脑等智能终端上内置的拍摄功能越来越强大，而智能手机、平板电脑等智能终端便于携带，使得采用智能手机、平板电脑等智能终端拍摄照片已成为人们日常拍摄的重要工具。在采用智能终端拍摄照片时会将照片存储在智能终端上，在照片数量众多时，手动查找特定人物照片需耗费大量时间且查找结果容易出现遗漏。为克服手动查找特征人物照片所存在的问题，现有技术提供照片自动分类系统，包括智能终端和云服务器；其中，智能终端将待分类照片上传至服务器；服务器对待分类照片进行分类处理，并将分类结果发送给智能终端；智能终端接收并显示分类结果。在现有照片自动分类系统中，对照片进行分类所需时间不仅包括云服务器对待分类照片进行分类处理的时间，还包括智能终端将待分类照片上传到云服务器的时间和智能终端从云服务器接收分类结果的时间，使其分类时间较长。而且，现有照片自动分类系统中的云服务器需有较大的硬盘存储智能终端上传的待分类照片，且需较强大的处理器对待分类照片进行分类处理，从而导致照片自动分类系统的成本较高。而且，云服务器可与多个智能终端通信相连，在智能终端将待分类照片上传到云服务器过程中，可能导致待分类照片被其他智能终端获取，导致信息泄露，影响信息安全。
[0003] 卷积神经网络(Convolutional Neural Network,简称CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层和顶端的全连通层组成，同时也包括关联权重和池化层(PoolingLayer)，这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更优的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络，卷积神经网络需要估计的参数更少，使之成为一种颇具吸引力的深度学习结构。CNN的基本结构包括两层，分别是卷积层和池化层(PoolingLayer)。卷积层的作用是提取图像的各种特征，通过局部原始图像和卷积核卷积得到；池化层的作用是对原始特征信号进行抽象，从而大幅度减少训练参数，另外还可以减轻模型过拟合的程度。但卷积神经网络模型应用在智能终端中进行照片分类处理时存在如下问题：其一是，测试时间较长，如在6层卷积层和2层全连接层的CNN模型中，输入采用32×32的图像，测试一张图像的时间约为200ms；若增大输入64×64的图像或增加卷积层到8层，则测试一张图像的时间超过1s，使得CNN模型难以在智能终端实际应用。其二地，CNN模型较大且模型读取时间较长，如以VGG-16为例，CNN模型的参数大小就为138MB，需智能终端上有较大的存储空间，而且会影响CNN模型读取待分类照片的读取时间。
发明内容
[0004] 本发明要解决的技术问题在于，针对现有照片自动分类系统进行照片分类所需时间较长且成本较高的问题，提供一种照片分类方法及装置。
[0005] 本发明解决其技术问题所采用的技术方案是：一种照片分类方法，包括：
[0006] 采用人脸检测算法判断待分类照片是否存在人脸区域；
[0008] 基于至少一个所述人脸属性信息对所述待分类照片进行聚类，以获取若干聚类类簇；
[0009] 基于所述人脸识别特征对每一所述聚类类簇上的所述待分类照片进行聚类，以获取若干分类相册，每一分类相册存放具有相同人物的待分类照片。
[0010] 优选地，所述轻量级深度模型网络的目标函数如下所示：
[0011]
[0012] 其中，N为训练样本，C为同时学习的任务， 为第i张待分类照片第c个任务的标签，φ(Ii,w)为轻量级深度模型网络的特征向量，Ii为第i张待分类照片，w为轻量级深度模型网络的网络参数，wc为第c个任的回归参数；Ψ(wc)为L2正则项； 为估计误差回归函数，其中，
[0013]
[0014] 采用梯度下降法对采用轻量级深度模型网络对存在人脸区域的所有待分类照片进行特征提取后的参数进行更新；所述梯度下降法包括：
[0015] 或者
[0016]
[0017] 优选地，所述人脸属性信息包括性别信息、年龄信息、种族信息、表情信息、饰品信息和头发信息中的至少一个。
[0018] 优选地，所述基于至少一个所述人脸属性信息对所述待分类照片进行聚类，包括：基于至少一个所述人脸属性信息对待分类照片采用聚类算法进行聚类；所述聚类算法包括K-Means算法、K-Medoids算法、Clarans算法、Birch算法、Cure算法、Chameleon算法、Dbscan算法、Optics算法或者Denclue算法。
[0019] 优选地，所述基于所述人脸识别特征对每一所述聚类类簇上的所述待分类照片进行聚类，包括：采用基于距离度量的相似度检测算法，基于人脸识别特征对每一聚类类簇上的待分类照片进行聚类；所述基于距离度量的相似度检测算法包括欧氏距离检测算法、明可夫斯基距离检测算法、曼哈顿距离检测算法或切比雪夫距离检测算法。
[0020] 本发明还提供一种照片分类装置，包括：
[0021] 人脸检测单元，用于采用人脸检测算法判断待分类照片是否存在人脸区域；
[0022] 特征提取单元，用于在所述待分类照片存在人脸区域时，采用轻量级深度模型网络对存在人脸区域的所有待分类照片进行特征提取，获取所述待分类照片的人脸识别特征和至少一个人脸属性信息；
[0023] 第一聚类单元，用于基于至少一个所述人脸属性信息对所述待分类照片进行聚类，以获取若干聚类类簇；
[0024] 第二聚类单元，用于基于所述人脸识别特征对每一所述聚类类簇上的所述待分类照片进行聚类，以获取若干分类相册，每一分类相册存放具有相同人物的待分类照片。
[0025] 优选地，所述轻量级深度模型网络的目标函数如下所示：
[0026]
[0027] 其中，N为训练样本，C为同时学习的任务， 为第i张待分类照片第c个任务的标签，φ(Ii,w)为轻量级深度模型网络的特征向量，Ii为第i张待分类照片，w为轻量级深度模型网络的网络参数，wc为第c个任的回归参数；Ψ(wc)为L2正则项； 为估计误差回归函数，其中，
[0028]
[0029] 采用梯度下降法对采用轻量级深度模型网络对存在人脸区域的所有待分类照片进行特征提取后的参数进行更新；所述梯度下降法包括：
[0030] 或者
[0031]
[0032] 优选地，所述人脸属性信息包括性别信息、年龄信息、种族信息、表情信息、饰品信息和头发信息中的至少一个。
[0033] 优选地，所述第一聚类单元，用于采用聚类算法，基于至少一个所述人脸属性信息对待分类照片进行聚类；所述聚类算法包括K-Means算法、K-Medoids算法、Clarans算法、Birch算法、Cure算法、Chameleon算法、Dbscan算法、Optics算法或者Denclue算法。
[0034] 优选地，所述第二聚类单元，用于采用基于距离度量的相似度检测算法，基于人脸识别特征对每一聚类类簇上的待分类照片进行聚类；所述基于距离度量的相似度检测算法包括欧氏距离检测算法、明可夫斯基距离检测算法、曼哈顿距离检测算法或切比雪夫距离检测算法。
[0035] 本发明与现有技术相比具有如下优点：本发明所提供的照片分类方法及装置，采用轻量级深度模型网络对待分类照片进行特征提取，获取人脸识别特征和人脸属性信息，轻量级深度模型网络是卷积神经网络中的一种，具有测试时间短且所需存储空间小的优点。再基于人脸属性信息进行聚类，形成若干聚类类簇，以实现第一次聚类处理；然后再对每一聚类类簇上的待分类照片，基于人脸识别特征进行提取，以实现第二次聚类处理。本发明所提供的照片分类方法及装置中，先基于人脸属性信息聚类，再基于人脸识别特征聚类，使得分类结果精确且分类速度快；并且，无须通过云服务器即可实现离线自主分类，可避免受网络信号影响无法实现快速分类现象发生；此外，无须与云服务器通网络通信，有利于节省成本，并可节省照片传输时间，进而降低分类时间。附图说明
[0036] 下面将结合附图及实施例对本发明作进一步说明，附图中：
[0037] 图1是本发明实施例1中的照片分类方法的一流程图。
[0038] 图2是本发明实施例1中的基于轻量级深度模型网络进行特征提取的示意图。
具体实施方式
[0039] 为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
[0040] 实施例1
[0041] 图1示出本实施例中的照片分类方法的流程图。该照片分类方法可应用于智能手机、平板电脑等智能终端上，可实现离线快速分类智能终端上的待分类照片。本实施例中的智能终端为智能手机。具体地，该照片分类方法包括：
[0042] S1：采用人脸检测算法判断待分类照片是否存在人脸区域。其中，人脸检测算法包括但不限于Fisherface人脸检测算法、弹性匹配技术、Eigenface人脸检测算法、基于人脸特征点的识别算法(Feature-based recognition algorithms)、基于整幅人脸图像的识别算法(Appearance-based recognition algorithms)、基于模板的识别算法(Template-based recognition algorithms)和利用神经网络进行识别的算法(Recognition algorithms using neural network)和基于哈尔特征(Haar-Link Features)的人脸检测算法等。本实施例中，采用基于哈尔特征(Haar-Link Features)的人脸检测算法，可快速识别到人脸区域。
[0043] S2：若存在人脸区域，采用轻量级深度模型网络对存在人脸区域的所有待分类照片进行特征提取，获取所述待分类照片的人脸识别特征和至少一个人脸属性信息。其中，轻量级深度模型网络是卷积神经网络中的一种，具有测试时间短且所需存储空间小的优点。人脸识别特征是人物区域经过深度学习得到的特征表示，本实施例所提供的照片分类方法基于该人脸识别特征表示进行聚类等处理。人脸属性信息是指人脸区域内人物的性别信息、年龄信息、种族信息、表情信息、饰品信息和头发信息中的至少一个，是通过轻量级深度模型网络直接得到的识别结果，可作为人脸分类的辅助信息。可以理解地，若待分类照片不存在人脸区域，则给不存在人脸区域的待分类照片添加无人脸标签，在采用轻量级深度模型网络对待分类照片进行特征提取时，排除带无人脸标签的待分类照片，以节省对不存在人脸区域的待分类照片进行特征提取的时间。
[0044] 本实施例中所采用的轻量级深度模型网络是一个多任务同时学习的模型，该轻量级深度模型网络的目标函数如下所示：
[0045]
[0046] 其中，N为训练样本，C为同时学习的任务， 为第i张待分类照片第c个任务的标签，φ(Ii,w)为轻量级深度模型网络的特征向量，Ii为第i张待分类照片，w为轻量级深度模型网络的网络参数，wc为第c个任的回归参数；Ψ(wc)为L2正则项，用于避免过拟合情况发生； 为估计误差回归函数，其中，
[0047] 采用梯度下降法对采用轻量级深度模型网络对存在人脸区域的所有待分类照片进行特征提取后的参数进行更新。其中，梯度下降法包括：
[0048] 或者
[0049]
[0050] 可以理解地，本实施例所提供的轻量级深度模型网络可实现多任务同时学习。如可基于人脸属性信息中的性别信息和年龄信息分别作为一任务进行学习，并基于人脸识别特征作为一任务进行学习，可实现同时做到三个任务。该轻量级深度模型网络同时做多个任务具有如下好处：其一是准确率提升，由于性别信息、年龄信息和人脸识别特征均为存在人脸区域的待分类照片的共有属性，且性别信息、年龄信息和人脸识别特征具有较强的相关性，若同时优化会起到相互促进的作用，提供准确率。其二是运行速度快，若输入的待分类照片的图像大小是32*32，采用轻量级深度模型网络进行三个任务学习，相比于单任务分开学习，即使使用完全相同的网络结果，其处理过程会节省2/3的处理时间。可以理解地，同时做的任务数量越多，其节省的时间越小。其三是模型小且参数小，采用一个轻量级深度模型网络可同时执行三个任务，相比于只能执行单位任务的模型，会节省模型所占用空间且参数较小。
[0051] S3:基于至少一个人脸属性信息对待分类照片进行聚类，以获取若干聚类类簇。其中，聚类算法包括K-Means算法、K-Medoids算法、Clarans算法、Birch算法、Cure算法、Chameleon算法、Dbscan算法、Optics算法或者Denclue算法。可以理解地，基于至少一个人脸属性信息对待分类照片采用聚类算法进行聚类，以获取若干聚类类簇。每一聚类类簇包含的待分类照片的数量相比于存在人脸区域的所有待分类照片的数量大幅减少，且每一聚类类簇所包含的待分类照片对应中不同人物的数量也大幅减少。
[0052] 本实施例中，以收敛速度快且聚类效果稳定的K-Means聚类算法为例，人脸属性信息以性别信息和年龄信息为例，其中，性别信息包括男、女两种分类，年龄信息包括婴儿、儿童、青年、中年和老年等五种分类，在采用K-Means聚类算法并基于性别信息和年龄信息进行聚类时，会形成男性婴儿、男性儿童、男性青年、男性中年、男性老年、女性婴儿、女性儿童、女性青年、女性中年和女性老年等十个聚类类簇，并将相应的待分类照片分别放入相应的聚类类簇中。
[0053] 由于采用轻量级深度模型网络同时进行多任务学习过程中，可得到每一待分类照片中的人物的性别信息和年龄信息，在采用K-Means聚类算法进行聚类时，可使K＝10，形成10个聚类类簇，如智能手机上存储的存在人脸区域的待分类照片有1000张，将这1000张待分类照片分在10个聚类类簇时，可能使得每一聚类类簇下可能有100张待分类照片。而且，如果这1000张待分类照片中可能是20个人的照片，那么在每一聚类类簇下可能只包括2个人的照片，使得再基于每一聚类类簇进行人脸识别更精确。
[0054] S4：基于人脸识别特征对每一聚类类簇上的待分类照片进行聚类，以获取若干分类相册，每一分类相册存放具有相同人物的待分类照片，以实现“一人一相册”的照片管理功能。可以理解地，在对每一聚类类簇上的待分类照片基于人脸识别特征进行聚类时，由于待分类照片数量减少且对应人物的数量减少，可加快聚类处理时间。
[0055] 步骤S4中，采用基于距离度量的相似度检测算法，基于人脸识别特征对每一聚类类簇上的待分类照片进行聚类，以获取若干分类相册。其中，距离度量是用于衡量个体空间上存在的距离，距离越远说明个体间的差异越大。步骤S4具体包括：基于距离度量的相似度检测算法检测任一聚类类簇上的任意两个待分类照片的检测距离；判断两个待分类照片的检测距离是否超过距离阈值；若超过，则将两个待分类照片归属于同一分类相册；若不超过，则将两个待分类照片归属于不同分类相册。
[0056] 基于距离度量的相似度检测算法包括欧氏距离(Euclidean Distance)检测算法、明可夫斯基距离(Minkowski Distance)检测算法、曼哈顿距离(Manhattan Distance)检测算法或切比雪夫距离(Chebyshev Distance)检测算法。本实施例中，采用欧氏距离检测算法进行聚类，具有运算速度快、物理意义清晰的优点。
[0057] 在一具体实施方式中，该照片分类方法，还可以包括如下步骤：接收用户输入的相册命名指令，相册命名指令包括相册名称；并根据相册命名指令给相应的分类相册命名并显示。在采用照片分类方法对智能手机上所有的待分类照片进行分类后，会按系统默认命名规则对每一分类相册进行命名，如相册1、相册2、相册3……，采用系统默认命名规则进行命名时，不利于用户根据分类相册的命名查询到相应某一人脸对应的分类相册。在该具体实施方式中，智能手机可接收用户输入的相册命名指令对某一分类相册进行命名，以方便用户对分类相册的管理。
[0058] 进一步地，该照片分类方法还包括如下步骤：接收用户输入的相册搜索指令，相册搜索指令包括相册名称；根据相册搜索指令，显示相册名称对应的分类相册。可以理解地，在智能手机的分类相册数量较多的情况下，用户可向智能手机输入相册搜索指令，以使智能手机快速显示相册搜索指令对应的分类相册，以使用户可查看该分类相册下的所有待分类照片。可以理解地，该照片分类方法可极大方便用户进行相册管理，防止在照片过多的情况下，用户无法快速找到自己想要的照片。
[0059] 本实施例所提供的照片分类方法具有如下优点：
[0060] 其一是分类结果更精确。该照片分类方法中，先基于至少一个人脸属性信息进行聚类，以形成聚类类簇；再基于人脸识别特征对每一聚类类簇下的待分类照片进行聚类，由于每一聚类类簇上的待分类照片的数量少且相应的人物的数量也少，在采用人脸识别特征对每一聚类类簇上的待分类照片进行聚类时，聚类更精确。
[0061] 其二是运行速度快。采用轻量级深度模型网络对待分类照片可实现多任务同时学习，相比于单任务分开学习，其处理速度高；而且，先基于至少一个人脸属性信息进行聚类，以形成聚类类簇；再基于人脸识别特征对每一聚类类簇下的待分类照片进行聚类，由于每一聚类类簇上的待分类照片的数量少且相应的人物的数量也少，使得基于人脸识别特征进行聚类的速度快。
[0062] 在对智能手机上的待分类照片进行分类时，可采用如下两种方式进行分类：一是批量分类，即用户第一次启动呈且进行初始化操作，会对智能手机中所有待分类照片进行处理，根据实验数据显示，每一张照片只需要不到0.1秒的时间，即可完成全部流程，实现精确分类的目的；即对于1000张的照片，一共只需要1分多钟的时间。二是单/多张分类，即除了第一次启动时需要初始化，用户可选择自己的相册一张或多张待分类照片进行分类。如果用户选择的是已经经过处理并保存到数据库的待分类照片，则不需要重复处理，如果用户选择的是新的待分类照片，经过试验数据显示，每张照片可以在0.3秒时间处理完。
[0063] 其三是可离线运行，无需通过云服务器进行分类。可以理解地，该照片分类方法是在智能手机上进行分类，而无需通过智能手机将待分类照片上传到云服务器，再通过云服务器进行分类，并将分类结果返回给智能手机。在智能手机上可进行离线处理，使得用户的隐私得到保障。并且，在智能手机上离线运行可保证实时性，避免处于没有网络信号或者网络信号不稳定的环境下，用户体验就会不好，并且需要耗费用户的流量。并且，在智能手机上离线运行，无需在云服务器上采用大量硬盘保存待分类照片，也无需在云服务器上使用较强大的处理器对待分类照片进行分类，节省成本。
[0064] 其四是可自主分类，无需与用户进行交互。本实施例所提供的照片分类方法，可实现自主分类，无需用户手动输入每一待分类照片标签，并进行分类，有利于提供分类效率。
[0065] 实施例2
[0066] 图2示出本实施例中的照片分类装置的原理框图。该照片分类装置可应用于智能手机、平板电脑等智能终端上，可实现离线快速分类智能终端上的待分类照片。本实施例中的智能终端为智能手机。具体地，该照片分类装置包括人脸检测单元10、特征提取单元20、第一聚类单元30和第二聚类单元40。
[0067] 人脸检测单元10，用于采用人脸检测算法判断待分类照片是否存在人脸区域。其中，人脸检测算法包括但不限于Fisherface人脸检测算法、弹性匹配技术、Eigenface人脸检测算法、基于人脸特征点的识别算法(Feature-based recognition algorithms)、基于整幅人脸图像的识别算法(Appearance-based recognition algorithms)、基于模板的识别算法(Template-based recognition algorithms)和利用神经网络进行识别的算法(Recognition algorithms using neural network)和基于哈尔特征(Haar-Link Features)的人脸检测算法等。本实施例中，采用基于哈尔特征(Haar-Link Features)的人脸检测算法，可快速识别到人脸区域。
[0068] 特征提取单元20，用于在待分类照片存在人脸区域时，采用轻量级深度模型网络对存在人脸区域的所有待分类照片进行特征提取，获取所述待分类照片的人脸识别特征和至少一个人脸属性信息。其中，轻量级深度模型网络是卷积神经网络中的一种，具有测试时间短且所需存储空间小的优点。具体地，人脸识别特征是人物区域经过深度学习得到的特征表示，本实施例所提供的照片分类装置基于该人脸识别特征表示进行聚类等处理。人脸属性信息是指人脸区域内人物的性别信息、年龄信息、种族信息、表情信息、饰品信息和头发信息中的至少一个，是通过轻量级深度模型网络直接得到的识别结果，可作为人脸分类的辅助信息。可以理解地，若待分类照片不存在人脸区域，则给不存在人脸区域的待分类照片添加无人脸标签，在采用轻量级深度模型网络对待分类照片进行特征提取时，排除带无人脸标签的待分类照片，以节省对不存在人脸区域的待分类照片进行特征提取的时间。
[0069] 本实施例中所采用的轻量级深度模型网络是一个多任务同时学习的模型，该轻量级深度模型网络的目标函数如下所示：
[0070]
[0071] 其中，N为训练样本，C为同时学习的任务， 为第i张待分类照片第c个任务的标签，φ(Ii,w)为轻量级深度模型网络的特征向量，Ii为第i张待分类照片，w为轻量级深度模型网络的网络参数，wc为第c个任的回归参数；Ψ(wc)为L2正则项，用于避免过拟合情况发生； 为估计误差回归函数，其中，
[0072] 采用梯度下降法对采用轻量级深度模型网络对存在人脸区域的所有待分类照片进行特征提取后的参数进行更新。其中，梯度下降法包括：
[0073] 或者
[0074]
[0075] 可以理解地，本实施例所提供的轻量级深度模型网络可实现多任务同时学习。如可基于人脸属性信息中的性别信息和年龄信息分别作为一任务进行学习，并基于人脸识别特征作为一任务进行学习，可实现同时做到三个任务。该轻量级深度模型网络同时做多个任务具有如下好处：其一是准确率提升，由于性别信息、年龄信息和人脸识别特征均为存在人脸区域的待分类照片的共有属性，且性别信息、年龄信息和人脸识别特征具有较强的相关性，若同时优化会起到相互促进的作用，提供准确率。其二是运行速度快，若输入的待分类照片的图像大小是32*32，采用轻量级深度模型网络进行三个任务学习，相比于单任务分开学习，即使使用完全相同的网络结果，其处理过程会节省2/3的处理时间。可以理解地，同时做的任务数量越多，其节省的时间越小。其三是模型小且参数小，采用一个轻量级深度模型网络可同时执行三个任务，相比于只能执行单位任务的模型，会节省模型所占用空间且参数较小。
[0076] 第一聚类单元30，用于基于至少一个人脸属性信息对待分类照片进行聚类，以获取若干聚类类簇。具体地，第一聚类单元30，用于基于至少一个所述人脸属性信息对待分类照片采用聚类算法进行聚类，以获取若干聚类类簇；其中，所述聚类算法包括K-Means算法、K-Medoids算法、Clarans算法、Birch算法、Cure算法、Chameleon算法、Dbscan算法、Optics算法或者Denclue算法。可以理解地，基于至少一个人脸属性信息对待分类照片采用聚类算法进行聚类，以获取若干聚类类簇。每一聚类类簇包含的待分类照片的数量相比于存在人脸区域的所有待分类照片的数量大幅减少，且每一聚类类簇所包含的待分类照片对应中不同人物的数量也大幅减少。
[0077] 本实施例中，以收敛速度快且聚类效果稳定的K-Means聚类算法为例，人脸属性信息以性别和年龄为例，其中，性别信息包括男、女两个分类，年龄信息包括婴儿、儿童、青年、中年和老年等五个分类，在采用K-Means聚类算法并基于性别信息和年龄信息进行聚类时，会形成男性婴儿、男性儿童、男性青年、男性中年、男性老年、女性婴儿、女性儿童、女性青年、女性中年和女性老年等十个聚类类簇，并将相应的待分类照片分别放入相应的聚类类簇中。
[0078] 由于采用轻量级深度模型网络同时进行多任务学习过程中，可得到每一待分类照片中的人物的性别信息信息和年龄信息，在采用K-Means聚类算法进行聚类时，可使K＝10，形成10个聚类类簇，如智能手机上存储的存在人脸区域的待分类照片有1000张，将这1000张待分类照片分在10个聚类类簇时，可能使得每一聚类类簇下可能有100张待分类照片。而且，如果这1000张待分类照片中可能是20个人的照片，那么在每一聚类类簇下可能只包括2个人的照片，使得再基于每一聚类类簇进行人脸识别更精确。
[0079] 第二聚类单元40，用于基于人脸识别特征对每一聚类类簇上的待分类照片进行聚类，以获取若干分类相册，每一分类相册存放具有相同人物的待分类照片，以实现“一人一相册”的照片管理功能。可以理解地，在对每一聚类类簇上的待分类照片基于人脸识别特征进行聚类时，由于待分类照片数量减少且对应人物的数量减少，可加快聚类处理时间。
[0080] 具体地，第二聚类单元40，用于采用基于距离度量的相似度检测算法，基于人脸识别特征对每一聚类类簇上的待分类照片进行聚类，以获取若干分类相册。其中，距离度量是用于衡量个体空间上存在的距离，距离越远说明个体间的差异越大。第二聚类单元40，用于基于距离度量的相似度检测算法检测任一聚类类簇上的任意两个待分类照片的检测距离；判断两个待分类照片的检测距离是否超过距离阈值；若超过，则将两个待分类照片归属于同一分类相册；若不超过，则将两个待分类照片归属于不同分类相册。
[0081] 基于距离度量的相似度检测算法包括欧氏距离(Euclidean Distance)检测算法、明可夫斯基距离(Minkowski Distance)检测算法、曼哈顿距离(Manhattan Distance)检测算法或切比雪夫距离(Chebyshev Distance)检测算法。本实施例中，采用欧氏距离检测算法进行聚类，具有运算速度快、物理意义清晰的优点。
[0082] 在一具体实施方式中，该照片分类装置，还可以包括如下步骤：接收用户输入的相册命名指令，相册命名指令包括相册名称；并根据相册命名指令给相应的分类相册命名并显示。在采用照片分类装置对智能手机上所有的待分类照片进行分类后，会按系统默认命名规则对每一分类相册进行命名，如相册1、相册2、相册3……，采用系统默认命名规则进行命名时，不利于用户根据分类相册的命名查询到相应某一人脸对应的分类相册。在该具体实施方式中，智能手机可接收用户输入的相册命名指令对某一分类相册进行命名，以方便用户对分类相册的管理。
[0083] 进一步地，该照片分类装置还包括如下步骤：接收用户输入的相册搜索指令，相册搜索指令包括相册名称；根据相册搜索指令，显示相册名称对应的分类相册。可以理解地，在智能手机的分类相册数量较多的情况下，用户可向智能手机输入相册搜索指令，以使智能手机快速显示相册搜索指令对应的分类相册，以使用户可查看该分类相册下的所有待分类照片。可以理解地，该照片分类装置可极大方便用户进行相册管理，防止在照片过多的情况下，用户无法快速找到自己想要的照片。
[0084] 本实施例所提供的照片分类装置具有如下优点：
[0085] 其一是分类结果更精确。该照片分类装置中，先基于至少一个人脸属性信息进行聚类，以形成聚类类簇；再基于人脸识别特征对每一聚类类簇下的待分类照片进行聚类，由于每一聚类类簇上的待分类照片的数量少且相应的人物的数量也少，在采用人脸识别特征对每一聚类类簇上的待分类照片进行聚类时，聚类更精确。
[0086] 其二是运行速度快。采用轻量级深度模型网络对待分类照片可实现多任务同时学习，相比于单任务分开学习，其处理速度高。而且，先基于至少一个人脸属性信息进行聚类，以形成聚类类簇；再基于人脸识别特征对每一聚类类簇下的待分类照片进行聚类，由于每一聚类类簇上的待分类照片的数量少且相应的人物的数量也少，使得基于人脸识别特征进行聚类的速度快。
[0087] 在对智能手机上的待分类照片进行分类时，可采用如下两种方式进行分类：一是批量分类，即用户第一次启动呈且进行初始化操作，会对智能手机中所有待分类照片进行处理，根据实验数据显示，每一张照片只需要不到0.1秒的时间，即可完成全部流程，实现精确分类的目的；即对于1000张的照片，一共只需要1分多钟的时间。二是单/多张分类，即除了第一次启动时需要初始化，用户可选择自己的相册一张或多张待分类照片进行分类。如果用户选择的是已经经过处理并保存到数据库的待分类照片，则不需要重复处理，如果用户选择的是新的待分类照片，经过试验数据显示，每张照片可以在0.3秒时间处理完。
[0088] 其三是可离线运行，无需通过云服务器进行分类。可以理解地，该照片分类装置是在智能手机上进行分类，而无需通过智能手机将待分类照片上传到云服务器，再通过云服务器进行分类，并将分类结果返回给智能手机。在智能手机上可进行离线处理，使得用户的隐私得到保障。并且，在智能手机上离线运行可保证实时性，避免处于没有网络信号或者网络信号不稳定的环境下，用户体验就会不好，并且需要耗费用户的流量。并且，在智能手机上离线运行，无需在云服务器上采用大量硬盘保存待分类照片，也无需在云服务器上使用较强大的处理器对待分类照片进行分类，节省成本。
[0089] 其四是可自主分类，无需与用户进行交互。本实施例所提供的照片分类装置，可实现自主分类，无需用户手动输入每一待分类照片标签，并进行分类，有利于提供分类效率。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于数字信息传输的可升降式面部识别装置 | 2020-05-08 | 101 |
| 一种客车油箱防盗方法及系统 | 2020-05-08 | 310 |
| 一种人脸识别方法及人脸识别设备 | 2020-05-08 | 723 |
| 一种美容仪 | 2020-05-08 | 991 |
| 一种人脸识别方法及装置 | 2020-05-08 | 314 |
| 一种可检测人体距离的智能门锁 | 2020-05-11 | 683 |
| 一种儿童人脸识别考勤设备 | 2020-05-11 | 510 |
| 一种用于自动人脸识别的智能远程招聘广告机 | 2020-05-08 | 9 |
| 一种学生宿舍用门禁装置 | 2020-05-11 | 906 |
| 一种社区公厕的识别警示装置 | 2020-05-08 | 306 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈