图像分类装置、图像分类方法、程序、记录介质、集成电路、模型制作装置
阅读：836发布：2020-05-14
专利汇可以提供图像分类装置、图像分类方法、程序、记录介质、集成电路、模型制作装置专利检索，专利查询，专利分析的服务。并且图像分类装置提取受理的图像各自的第1特征量（S22）、以及与该图像关联的关联图像各自的第2特征量（S25）。并且，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量（S26），基于算出的第3特征量制作模型数据（S27）。，下面是图像分类装置、图像分类方法、程序、记录介质、集成电路、模型制作装置专利的具体信息内容。
1.一种图像分类装置，使用模型数据将图像分类，具备：
受理机构，从用户受理图像的选择，该选择是从储存的多个图像中对图像的选择；
第1提取机构，提取受理的图像各自的第1特征量；
确定机构，按每个上述受理的图像，从上述多个图像中确定关联的关联图像；
第2提取机构，提取被确定的关联图像各自的第2特征量；
算出机构，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量；以及
模型制作机构，基于算出的第3特征量制作模型数据。
2.如权利要求1所述的图像分类装置，其特征在于，
上述算出机构按每个受理的图像，将该图像的上述第1特征量与该图像的关联图像的第2特征量进行对照，由此算出上述第3特征量。
3.如权利要求2所述的图像分类装置，其特征在于，
上述第1提取机构所提取的上述第1特征量及上述第2提取机构所提取的上述第2特征量，是关于作为提取对象的图像内的多个区域中的各个区域的特征量。
4.如权利要求3所述的图像分类装置，其特征在于，
上述算出机构在上述对照时，如果与图像内的中央区域对应的第1特征量与第2特征量一致，则提高受理的图像的一致点处的第1特征量的加权，如果与图像内的不是上述中央区域的区域对应的第1特征量与第2特征量一致，则降低受理的图像的不一致点处的第
1特征量的加权，来算出上述第3特征量。
5.如权利要求3所述的图像分类装置，其特征在于，
上述局部特征量是表示示出关键点描述符、边缘特征量及指定物体识别的信息中的至少一个信息的量。
6.如权利要求3所述的图像分类装置，其特征在于，
上述算出机构基于对上述受理的图像及上述关联图像分别附加的元数据，决定受理的图像的主区；
在上述对照时，如果与决定的主区对应的第1特征量与第2特征量一致，则提高受理的图像的一致点处的第1特征量的加权，如果与图像内的不是上述主区的区域对应的第1特征量与第2特征量一致，则降低受理的图像的不一致点处的第1特征量的加权，来算出上述第3特征量。
7.如权利要求3所述的图像分类装置，其特征在于，
上述局部特征量是颜色统计图；
上述算出机构在上述对照之前，按每个上述受理的图像，将图像的颜色分布与该图像的关联图像的颜色分布比较，从上述对照的对象中，排除与比较的结果为颜色分布不一致的关联图像的区域对应的第2特征量。
8.如权利要求2所述的图像分类装置，其特征在于，
上述第1提取机构及上述第2提取机构在提取之前，分别将上述受理的图像及上述关联图像划分为多个区域，从划分的各个区域中提取上述第1特征量或第2特征量；
由上述算出机构进行的上述对照以划分的区域为单位进行。
9.如权利要求1所述的图像分类装置，其特征在于，
上述确定机构按每个上述受理的图像，将属于相同事件的图像群确定为上述关联图像。
10.如权利要求1所述的图像分类装置，其特征在于，
上述确定机构按每个上述受理的图像，将属于相同的摄影模式的图像群确定为上述关联图像。
11.如权利要求1所述的图像分类装置，其特征在于，具备：
计算机构，基于构成上述多个图像的图像各自的特征量，计算标准的特征量；以及判断机构，使用计算出的标准的特征量，判断由第1提取机构提取的第1特征量各自的标准性的高低；
上述算出机构通过对标准性低的第1特征量提高加权，并且对标准性高的第1特征量降低加权，来算出上述第3特征量。
12.如权利要求11所述的图像分类装置，其特征在于，
上述计算机构使用分类器，将上述全部图像各自的特征量分类为具有一定的类似性的特征群，将该特征群内的特征量数量以一定数量或一定频度以上存在的特征量，看作上述标准的特征量。
13.如权利要求11所述的图像分类装置，其特征在于，
上述计算机构以各图像的事件为单位，将上述全部图像各自的特征量分类为特征群，使用该特征群内的特征量数量以一定数量或一定频度以上存在的特征量，计算上述标准的特征量。
14.如权利要求13所述的图像分类装置，其特征在于，
上述事件是基于非摄影时的时间间隔、一定时间内的摄影频度、一定时间内的登场人物数、一定时间内的物体数、一定时间内的登场人物、一定时间内的物体的频度中的至少一个而规定的事件，或者是基于摄影时的照相机参数、摄影场所的地理信息、迁移信息、图像的构图信息、关于图像内的特征量的出现位置的信息中的至少一个而规定的事件。
15.如权利要求1所述的图像分类装置，其特征在于，具备：
分类机构，通过判断相对于制作的模型数据的适合性，将上述多个图像分类；
显示机构，显示模型数据的识别符、以及适合于该模型数据的图像群；以及修正受理机构，针对显示的图像群，受理关于模型数据的修正的内容；
上述模型制作机构基于上述受理机构所受理的内容，将制作的上述模型数据更新。
16.一种图像分类方法，使用模型数据将图像分类，包括：
受理步骤，从用户受理图像的选择，该选择是从储存的多个图像中对图像的选择；
第1提取步骤，提取受理的图像各自的第1特征量；
确定步骤，按每个上述受理的图像，从上述多个图像中确定关联的关联图像；
第2提取步骤，提取被确定的关联图像各自的第2特征量；
算出步骤，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量；以及
模型制作步骤，基于算出的第3特征量制作模型数据。
17.一种程序，使图像分类装置执行图像分类处理，
上述图像分类处理包括以下各步骤：
受理步骤，从用户受理图像的选择，该选择是从储存的多个图像中对图像的选择；
第1提取步骤，提取受理的图像各自的第1特征量；
确定步骤，按每个上述受理的图像，从上述多个图像中确定关联的关联图像；
第2提取步骤，提取被确定的关联图像各自的第2特征量；
算出步骤，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量；以及
模型制作步骤，基于算出的第3特征量制作模型数据。
18.一种记录介质，记录了使图像分类装置执行图像分类处理的程序，
上述图像分类处理包括以下各步骤：
受理步骤，从用户受理图像的选择，该选择是从储存的多个图像中对图像的选择；
第1提取步骤，提取受理的图像各自的第1特征量；
确定步骤，按每个上述受理的图像，从上述多个图像中确定关联的关联图像；
第2提取步骤，提取被确定的关联图像各自的第2特征量；
算出步骤，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量；以及
模型制作步骤，基于算出的第3特征量制作模型数据。
19.一种集成电路，使用模型数据将图像分类，具备：
受理机构，从用户受理图像的选择，该选择是从储存的多个图像中对图像的选择；
第1提取机构，提取受理的图像各自的第1特征量；
确定机构，按每个上述受理的图像，从上述多个图像中确定关联的关联图像；
第2提取机构，提取被确定的关联图像各自的第2特征量；
算出机构，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量；以及
模型制作机构，基于算出的第3特征量制作模型数据。
20.一种模型制作装置，具备：
受理机构，从用户受理图像的选择，该选择是从储存的多个图像中对图像的选择；
第1提取机构，提取受理的图像各自的第1特征量；
确定机构，按每个上述受理的图像，从上述多个图像中确定关联的关联图像；
第2提取机构，提取被确定的关联图像各自的第2特征量；
算出机构，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像所特有的特征的第3特征量；以及
模型制作机构，基于算出的第3特征量制作模型数据。
21.一种图像分类方法，在基于云的服务器中，进行使用模型数据的图像的分类，包括：
取得步骤，在服务器中，从用户装置取得图像；
储存步骤，在服务器中，储存所取得的图像；
确定步骤，在服务器中，从储存的图像中确定一个图像以及与上述一个图像关联的关联图像；
提取步骤，在服务器中，提取上述一个图像的第1特征量，并提取上述关联图像各自的第2特征量；
算出步骤，在服务器中，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量；
建模步骤，在服务器中，基于算出的第3特征量制作模型数据；以及
分类步骤，在服务器中，使用制作的模型数据将储存的图像分类。
图像分类装置、图像分类方法、程序、记录介质、集成电路、
模型制作装置
技术领域
[0001] 本发明涉及制作用来将图像分类的模型数据的技术。
背景技术
[0002] 近年来，例如将被摄体像摄像的DSC（Digital Still Camera）及单反照相机、还有便携电话照相机及数字摄影机广泛地普及，能够进行轻松的照片摄影。此外，图像数据保存用的记录介质的大容量化不断发展。
[0003] 因此，即使是个人用户也能够拥有庞大的量的图像内容，支援对图像赋予标签等的分类、以便能够高效率地找到希望的图像的技术受到关注。
[0005] 此外，有通过从用户接受关于分类的结果的适当与否及分类对象的支持来进行图像分类的技术。
[0006] 例如，在专利文献2中，在图像检索时，从用户接受关于适合/不适合的反馈，通过基于该反馈将学习模型更新，实现了符合用户的意图的检索。
[0007] 此外，在专利文献3中，将预先设定的含糊的关键字与用户设定的具体的关键字组合来对图像赋予标签。
[0008] 在先技术文献
[0009] 专利文献
[0010] 专利文献1：特开2009－31991号公报
[0011] 专利文献2：特开2008－276775号公报
[0012] 专利文献3：特开2010－67014号公报
[0013] 非专利文献
[0014] 非专利文献1：Google，“在Picasa网页相册中追加姓名标签”，［online］，［2010/10/30阅览］，因特网
[0015] 非专利文献2：Itti L，Koch C,Niebur E著“，A model of saliency-based visual attention for rapid scene analysis”，IEEE，1998年（Vol.20,No.11,pp.1254－1259）发明概要
[0016] 发明想要解决的课题
[0017] 在上述以往的技术中，关于面部等典型的对象物的分类在某种程度上是有用的，但不适合于面部以外的各种各样的对象物的分类。
[0018] 此外，由于有在图像中摄入有各种各样的对象物的情况，所以当从用户受到支持而进行图像的分类时，难以推测用户真正将哪个对象物考虑作图像分类的主体。
[0019] 发明内容
[0020] 本发明是基于这样的背景做出的，目的是提供一种图像分类装置，在用于图像的分类的模型数据的制作中，通过推测用户想要分类的兴趣对象，能够有利于制作更适当的模型数据。
[0021] 用于解决课题的手段
[0022] 有关本发明的图像分类装置，使用模型数据将图像分类，其特征在于，具备：受理机构，从用户受理图像的选择，该选择是从储存的多个图像中对图像的选择；第1提取机构，提取受理的图像各自的第1特征量；确定机构，按每个上述受理的图像，从上述多个图像中确定关联的关联图像；第2提取机构，提取所确定的关联图像各自的第2特征量；算出机构，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量；模型制作机构，基于算出的第3特征量制作模型数据。
[0023] 发明效果
[0025] 图1是实施方式1的图像分类装置1的功能框图。
[0026] 图2是表示图像分类装置1进行的处理的流程的流程图。
[0027] 图3是UI画面的例子。
[0028] 图4是表示图像元数据的表。
[0029] 图5是表示图像的特征量信息的表。
[0030] 图6是表示通过时间序列的事件判断确定关联图像的状况的图。
[0031] 图7是表示算出选择图像所特有的特征量的处理的详细情况的流程图。
[0032] 图8是图像的中央和周边的示意图。
[0033] 图9是表示处于选择图像的中央的登录对象与关联图像群的匹配的例子的图。
[0034] 图10是表示处于选择图像的周边的背景物与关联图像群的匹配的例子的图。
[0035] 图11是模型数据的一例。
[0036] 图12是实施方式2的图像分类装置2的功能框图。
[0037] 图13是表示标准特征的计算处理的流程图。
[0038] 图14是表示标准性判断处理的流程图。
[0039] 图15是表示标准性信息的表。
[0040] 图16是实施方式3的图像分类装置3的功能框图。
[0041] 图17是UI画面的例子。
[0042] 图18是表示已登录模型数据的修正处理的流程图。
[0043] 图19是图像内的颜色统计图的示意图。
[0044] 图20是图像分类装置4的功能框图。
[0045] 图21是模型制作装置5的功能框图。
[0046] 图22是利用区域分割算出选择图像所特有的特征的示意图。
[0047] 图23是表示主区的例子的图。
[0048] 图24是表示算出选择图像所特有的特征量的处理的详细情况的流程图。
具体实施方式
[0050] 以下，参照附图对实施方式进行说明。
[0051] （实施方式1）
[0052] 实施方式1在将图像及运动图像数据群整理的图像分类装置中，基于由用户选择的图像制作模型数据。并且，在该制作时，算出由用户选择的图像所特有的特征量，将算出的特有的特征量用于模型数据的制作。由此，制作符合用户的意向的模型数据，在使用该模型数据的分类时能够得到用户的满意度较高的分类结果。
[0053] 如图1所示，图像分类装置1具备本地数据储存部10、选择受理部12、特征量信息提取部14、特有特征量算出部16、关联图像确定部22、特征量信息提取部24、模型学习部30、模型储存部32、分类部34、图像显示部36。
[0054] 本地数据储存部10存储在家庭内等由用户处理的本地的数据。作为本地的数据的例子，可以有用户将家人、宠物、各种物体或风景等摄影的照片图像及用户摄影的运动图像数据等。以下，取照片图像为例进行说明。
[0055] 另外，作为本地数据储存部10的硬件，例如由HDD（Hard Disk Drive）、DVD（Digital Versatile Disc）等大容量盘介质、或半导体存储器等存储设备等的各种记录介质构成。
[0056] 选择受理部12从用户受理从本地数据储存部10储存的图像中对图像的选择。
[0057] 例如与“请选择拍摄有想要作为模型登录的物体的图像”等的消息一起，将包括各种物体的图像的一览显示在显示器上。并且，从用户受理从所显示的图像中对包含用户想要作为模型登录的物体的图像的选择。
[0059] 特征量信息提取部14以选择受理部12受理了选择的图像为对象提取特征量信息。
[0061] 作为（1）的元数据类的例子，是包含在作为图像的元数据的Exif（Exchangeable image fle format）中的各种信息。具体而言，是摄影日期时间、表示经度/纬度的GPS（Global Positioning System）信息、各种摄影时的照相机参数、摄影方式信息等。
[0062] 此外，上述照相机参数例如是进行摄影时的明亮度的调整的ISO（International Organization for Standardization）感光度、曝光时间、快门速度、用来调整摄影时的颜色平衡的白平衡（WB）等。
[0063] 另外，上述摄影方式（mode）信息有将在一般的数码相机中使用的照相机参数的各种设定组合而成的方式（例如，夜景、烹饪、运动的方式）。
[0064] 作为（2）的关键点描述符类的例子，可以举出SIFT（Scale-Invariant Feature Transform）、SURF（Speeded Up Robust Features）、HOG（Histogram oforiented Gradient）等的使用关键点描述符的类型的局部特征量。
[0065] 所谓SIFT，是根据边缘、颜色及纹理等的低次特征量以特征性的点为中心表现区域特征量的特征量描述符。HOG是表示物体的形状特征的特征量描述符。
[0066] 关于它们的具体的方法，例如关于记载在专利文献（特开2008－250444号公报）中那样的实用化的面部检测装置、人体检测及一般物体检测，详细地记载在藤吉弘亘著的“基于梯度（Gradient）的特征提取－SIFT和HOG－”（信息处理学会研究报告CVIM 160，pp.211－224，2007）中。
[0067] 作为（3）的指定物体识别类的例子，可以举出用来识别图像内的指定物体（面部、人、其他各种物体）的信息（表示指定物体识别的信息）。
[0068] 关联图像确定部22按选择受理部12受理了选择的每个图像（以下，有时称作“选择图像”），从本地数据储存部10内的图像中确定关联的图像（以下，有时称作“关联图像”）。
[0069] 作为确定方法，使用（1）时间性的关联、（2）地理性（场所性）的关联、（3）摄影模式的关联这些要素的某个或组合来进行。
[0070] 首先，对于（1），确定摄影日期时间与选择图像接近的图像作为关联图像。
[0071] 接着，对于（2），确定在地理上关联的图像。例如确定经度/纬度与选择图像接近的图像作为关联图像。
[0072] 最后，对于（3），确定摄影模式（pattern）关联的图像。作为摄影模式的例子，有ISO感度、曝光时间、快门速度、白平衡（WB）的有无等的关于摄影条件的信息、还有关于摄影的构图的信息等。
[0073] 另外，对于上述（1）、（2），可以基于事件的相同性进行判断。例如，可以基于摄影时间及摄影场所的类似性将多个图像作为相同的事件处理、将与选择图像相同的事件的图像确定为关联图像。
[0074] 决定该事件的方法，可以使用一般性的方法，例如可以使用在John C.Platt等著的“photo TOC:Auto Clustering for Browsing Personal Photographs”（Fourth IEEE Pacific Rim Conference on Multimedia 2003）中记载的方法。
[0075] 特征量信息提取部24以关联图像确定部22确定的关联图像为对象提取特征量信息。提取的信息的内容与特征量信息提取部14是同样的，所以省略说明。
[0076] 特有特征量算出部16按照选择受理部12受理了选择的图像，使用各图像的特征量信息和该关联图像的特征量信息进行特征量彼此的对照，例如根据特征量的一致及不一致的几何学的出现模式（局部性），算出选择图像所特有的特征量。详细在后面叙述，但该特有的特征量表示在拍摄在选择图像中的对象物中类推为用户想要登录的对象物的特征量。
[0077] 例如，假设用户想要登录的对象是用户饲养的猫“球球”。并且，在由该用户选择了多个拍摄有“球球”的图像的情况下，特有特征量算出部16算出该猫“球球”所特有地呈现的特征量。
[0078] 模型学习部30使用由特有特征量算出部16算出的特有的特征量制作模型数据，将制作的模型数据保存到模型储存部32中。
[0079] 模型数据的制作方法例如可以考虑以下的两个方法。
[0080] 作为第1方法，将图像的特征量与进行了各特征量的重要性等的加权的结果原样作为模型数据。该第1方法在选择图像的张数较少的情况下是优选的。
[0081] 作为第2方法，使用作为机械学习方法的分类器制作。例如，使用作为分类器周知的GMM（Gaussian mixture model）及SVM（Support Vector Machine）等制作。该第2方法是统计学的途径，所以在选择图像的张数以某种程度较多的情况下是优选的。
[0082] 因此，也可以是，在选择图像的张数比规定值小的情况下使用第1方法，如果为规定值以上则切换为第2方法。
[0083] 分类部34作为预先按例如面部等的应分类的每个模型准备的分类基准数据，将模型储存部32储存的模型数据设置到分类器中，输入从本地数据储存部10的图像群提
取的特征量而进行适合判断处理，进行作为输入数据的图像适合于哪个模型数据的判断处理。
取的特征量而进行适合判断处理，进行作为输入数据的图像适合于哪个模型数据的判断处理。
[0084] 在该判断处理中，也可以判别分类项目并输出作为判别可靠度的似然性。这里，似然性一般值越大则意味着可靠度越高。
[0085] 图像显示部36将与登录模型的识别符（例如，名称、图标或图像）一致的图像群显示在显示器上。
[0086] 作为显示的一例，可以考虑将与“球球”一致的图像群与“与‘球球’的登录模型一致的图像如下。”的消息一起显示。
[0087] 另外，在将似然性与各图像建立了关联的情况下，也可以限定于具有一定阈值以上的似然性的图像而显示。
[0088] 接着，对从用户受理图像的选择、算出受理的图像所特有的特征量、基于算出的特征量制作模型数据这样的图像分类装置进行的处理的流程进行说明。
[0089] 如图2的流程图所示，选择受理部12显示本地数据储存部10储存的图像的一览，从用户受理从显示的图像中对包含用户想要作为模型登录的物体的图像的选择（S21）。
[0091] 图3（a）、图3（b）是表示用户选择包含宠物（猫“球球”）的图像的UI画面的图。
[0093] 在图3（b）中，在显示器的显示画面38上，将存储在本地数据储存部10中的图像的一览显示在框38a内。将复选框38b与显示的各图像建立了对应。用户通过将鼠标光标38c重叠在复选框38b的坐标上并点击，能够选择开启/关闭。
[0094] 图3（a）、图3（b）都为，如果受理“登录”37c、38d按钮的选择，则将在该时刻处于选择状态的图像确定为选择图像。
[0095] 如果这样的图像的选择的受理结束，则特征量信息提取部14对受理的图像分别提取特征量信息（S22）。
[0096] 这里提取的特征量信息如以上所述，有（1）元数据类、（2）关键点描述符类、（3）指定物体识别类的3种。
[0097] 关于元数据类，使用图4进行说明。图4的表40表示与“图像数据号码”41对应的“图像元数据”42的内容。在本地数据储存部10中，这样按每个图像赋予Exif形式的元数据而管理。
[0098] 特征量信息提取部14通过将这样的元数据解析，从表40中提取选择图像（例如“ID3”）的“摄影日期时间”42a、“纬度－经度”42b、“ISO”42c、“曝光时间”42d、“WB”42e。
[0099] 使用图5对关键点描述符类和指定物体识别类进行说明。
[0100] 图5的表50表示与“图像数据号码”51对应的“特征量信息”52的内容。
[0101] “颜色1～颜色3”52a是表示代表性的3色（例如，YUV或RGB）的颜色统计图的。RGB及YUV的格式、以及RGB与YUV之间的变换可以使用一般的方法。
[0102] “局部1～局部3”52b作为以纹理等的低维特征量或特征性的点为中心表示局部区域的特征或表示物体的形状的高维特征量而示出其值。
[0103] 具体而言，将关键点描述符类的SIFT、SURF及HOG等的特征量用矢量形式表示。在图5中，局部的数量简化为局部1～局部3的3维，但在现实上可以表示为更多维（例如，SIFT的128维等）。
[0104] “面部－面部数”52c是指定物体识别类的特征量。表示拍摄在对应的图像内的“面部”的有无和有面部时的“面部数”。
[0105] 另外，在图5中仅单纯地表示“面部”的有无，但也可以使用一般的面部识别技术识别到“面部”是谁。此外，也可以考虑利用根据人的服装的颜色及形状、人检测信息确定人的信息。
[0106] 此外，并不限于人，也可以利用以车检测及狗或猫等宠物检测为代表那样的物体识别技术的结果。进而，并不限于生物，也可以识别建造物或家具等的物体，也可以利用将拍摄在图像内的字符串进行光学文字识别（OCR：Optical Character Recognition）的结果作为特征量信息。
[0107] 如果结束特征量的提取，则进入到根据受理的图像确定关联图像并提取特征量的循环处理（S23～S25）。
[0108] 另外，步骤S23的“i：1，1，n”表示变量名i、初始值1、增量1、终值n（选择图像的张数）。
[0109] 关联图像确定部22确定图像i的关联图像（S24）。
[0110] 这里，对基于事件的相同性确定的例子进行说明。假设该事件是将摄影间隔为5分钟以内的连续的图像群作为相同的事件处理的规则。
[0111] 如果这样，则如图6所示，在2010/5/5摄影的“ID1”～“ID7”的7张图像群中，在选择图像“ID3”的摄影日期时间14：15前后，摄影间隔为5分钟以内的连续的图像群“ID2”～“ID6”的5张为相同的事件。
[0112] 在该例的情况下，关联图像确定部22确定“ID2”、“ID4”、“ID5”、“ID6”的4张图像作为“ID3”的关联图像。
[0113] 如果结束步骤S24，则特征量信息提取部24对关联图像分别提取特征量（S25）。
[0114] 关于该提取的方法及内容，与步骤S22是同样的，所以省略说明。
[0115] 另外，在图6所例示的关联图像的情况下，特征量信息提取部24对“ID2”、“ID4”、“ID5”、“ID6”的4张图像分别提取特征量。
[0116] 图像分类装置1将这样的步骤S24、S25的处理按每个选择图像重复。
[0117] 接着，特有特征量算出部16基于在步骤S22中提取的各选择图像的特征量、在步骤S25中提取的各关联图像的特征量，提取选择图像所特有的特征量（S26）。
[0118] 关于该步骤S26的详细情况，使用图7～图10进行说明。
[0119] 首先，特有特征量算出部16按每个选择图像，以该选择图像和其关联图像为对象进行匹配处理（S71）。
[0120] 在接着的步骤S72、S73中，基于特征量的局部性区分处理。即，将处于图像的中央的一致点的特征量作为正标本学习（提高受理的图像中的一致点的特征量的加权），将处于图像的周边的一致点的特征量作为负标本学习（降低受理的图像中的一致点的特征量的加权）。将该图像的中央和周边的例子表示在图8中。
[0121] 在图9中表示步骤S72的具体例。
[0122] 图9（a）表示选择图像“ID3”，图9（b）表示选择图像“ID3”的关联图像“ID2”、“ID4”、“ID5”、“ID6”。关联图像“ID2”、“ID4”、“ID5”、“ID6”包括以各种各样的比例尺、各种各样的角度摄影的登录对象。
[0123] 在图9中，在图像内以一定的像素间隔（例如，20pixel）以栅格状配置有圆点。该圆点表示以SIFT等局部特征量为提取的对象的场所。特别是，关联图像中的黑色的圆点表示与选择图像的登录对象的特征量一致的一致点。相对于此，关联图像中的白色的圆点表示特征量不一致的不一致点。在图9中，特别在选择图像“ID3”与作为关联图像之一的“ID2”之间将一致点彼此用线段连结表示。
[0124] 如该图9的例子所示，如果算出一致的特征量在图像内的平均的存在位置，则容易在中央附近呈现一致点。具体而言，有以下的3个趋势。
[0125] 第一，在相同用户具有的摄影数据内的相同事件内拍摄相同对象的可能性较高，所以一致程度高的关联图像群包含与选择图像相同的被摄体的可能性高。
[0126] 第二，在作为用户的选择图像包含的特征与关联图像群的特征量的一致作为几何学的形状而具有一定的类似性的情况下，能够将在该类似形状中一致的特征量判断为登录对象所特有的特征。能够将判别出的几何学的类似形状也作为特有的特征使用。
[0127] 第三，在关联图像群中包含登录对象的情况下，由于该对象是用户的喜好的对象，所以在图像内的中央附近摄影的可能性高。
[0128] 因此，通过求出一致特征点的平均的出现位置和方差，在能够判断为该位置是中央附近的情况下，将该特征作为登录对象所特有的特征进行加权是妥当的。
[0129] <权重（weight）的算出例>
[0130] 这里，对于具体的加权的算出方法说明一例。
[0131] 作为特有的特征量的权重（weight）的算出方法，例如在选择图像是N张的情况下，在某个特征量A在M张的图像内为一定阈值以上的一致程度的情况下，将特征量A的权重用M/N算出。一致程度可以用特征量成分的差的平方和等得出。通过设定为使得越是在选择图像内较多存在的特有的特征量则使权重越高，能够提高分类精度。此外，设特征量A在图像x与y之间的一致程度为Sx，y，设全部图像间的一致程度的总和为SS，也可以考虑将权重如下算出：
[0132] ［数式1］
[0133] …(式1)
[0134] 并在0～1中进行正规化而使用等。
[0135] 进而，可以考虑不是图像整体，而使用显著图（Saliency Map）等，仅限定于图像内的有显著性的区域来算出一致程度，或者预先根据边缘信息等将图像划分为分隔成一定的区域的子区域单位，仅在该子区域整体类似的区域间算出一致程度并对特征量加权等。另外，显著图的详细情况记载在非专利文献2中。
[0136] 在图10中表示步骤S73的具体例。
[0137] 图10（a）表示选择图像“ID3”，图10（b）表示选择图像“ID3”的关联图像“ID2”、“ID4”、“ID5”、“ID6”。关联图像“ID2”、“ID4”、“ID5”、“ID6”中的黑色的圆点表示与选择图像的背景物的特征量一致的一致点。相对于此，关联图像“ID2”、“ID4”、“ID5”、“ID6”中的白色的圆点表示与选择图像的背景物的特征量不一致的不一致点。
[0138] 这里，即使是与登录对象没有关系的背景物的情况，如果是相同事件内，与图像的背景一致的可能性高，但不是用户要摄影的对象，所以拍摄在图像内的中央附近以外的可能性高。
[0139] 所以，如图10的例子所示，如果算出一致的特征量在图像内的平均的存在位置，则在周围框附近容易呈现一致点。
[0140] 通过求出一致特征点的平均的出现位置和方差，则在能够判断为该位置是周围框附近的情况下，能够将该特征判断为不是登录对象特有的特征。
[0141] 另外，在存在多个用户选择的选择图像的情况下，也可以算出并确定在选择图像间一致的特征量后，通过算出与关联图像群的一致特征量，将该最终的一致特征量作为登录对象所特有的特征，或者算出并确定在选择图像与关联图像群中一致的特征量后，在选择图像间再算出一致的特征量，作为登录对象所特有的特征。
[0142] 这样，如果算出选择图像所特有的特征量，则模型学习部30使用算出的特有的特征量生成用来判别登录对象的模型数据（S27）。
[0143] 作为该生成的方式，也可以简单地将算出的特有的特征量原样作为模型数据的生成材料。
[0144] 此外，也可以根据特有的特征量各自的一致程度等加权、或者按照事前划分的每个登录对象保持特征量。
[0145] 在图11中表示模型学习部30制作的模型数据的一例。
[0146] 作为登录模型1（Model1）的制作方式，例如在将特有的特征全部算出后、从包含登录对象的图像群中根据图像元数据算出类似度。并且，根据该类似度是否是一定值以上而划分为3个图像群。进而，通过对划分的3个图像群分别求出对应的3个模型（Model1－1，1－2，1－3）能够制作。
[0147] 登录模型2（Model2）由于图像群全部是一定值以上的较高的类似度，所以不划分而作为一个模型算出。
[0148] 将分别根据特征量的特有性加权的结果作为权重（weight）算出，在与输入图像的匹配处理时，通过例如对特征量（feature）×权重（weight）的总和乘以几何相关
（geometry relation）的一致度来算出类似度，如果是事前定义的阈值Thr2以上，则能够判断为一致。
（geometry relation）的一致度来算出类似度，如果是事前定义的阈值Thr2以上，则能够判断为一致。
[0149] 此外，也可以使用由特有特征量算出部16算出的全部特征量、通过GMM或SVM等的已有的机械学习法生成统计学的模型。此时，也可以是：将图9所示那样的一致特征量存在于图像的中央附近的图像群作为适合于登录的物体的正标本，将图10所示那样的一致
特征量存在于图像的周边框附近的图像群作为不适合于登录的物体的负标本，使学习数据增加来进行学习。
特征量存在于图像的周边框附近的图像群作为不适合于登录的物体的负标本，使学习数据增加来进行学习。
[0150] 另外，也可以利用由图11表示的权重及形状相关的特征量生成统计学的模型。
[0151] 进而，可以不是将使用的可算出的特征量全部集中在一个分类特征量空间中使用，而是预先作为分类轴而分为经常用人工物体类表示的特征轴、经常用生物体类表示的特征轴及经常用字符等的文本信息类表示的特征轴，通过在各自的特征量空间中进行模型生成，能够做成与登录对象符合的模型。另外，可以将各特征轴中的特征量的出现频度自身也作为特征量模型化。
[0152] 并且，在从模型学习部30向模型储存部32输出模型数据并储存后，分类部34使用储存的模型数据进行图像的分类。
[0153] 分类部34以本地数据储存部10的图像群为对象，利用模型储存部32的模型数据，判断在各图像中是否存在与该模型数据一致的特征。
[0154] 这样的判断例如可以通过将从图像提取的特征量与图11所示的模型数据的各特征量进行比较并观察其一致度来进行。该一致度也可以根据对应于特征量的权重来修正。
[0155] 在求出的一致度是一定值以上的情况下，分类部34对图像赋予一致的模型的属性信息（标签）。
[0156] 如果结束判断，则通过图像显示部36将包含用户登录的对象的图像群按每个该登录模型划分显示。
[0157] 如以上这样，不是仅从由用户选择的图像群原样使用登录对象进行模型化，而通过从本地数据储存部10内提取与选择图像群关联的关联图像群、利用它们在本地数据内模型化以使分类精度提高，能够将用户想要分类的对象简单地登录，能够将包含该对象的图像群高精度地在本地数据内分类。
[0158] 因而，用户能够自由地登录喜好的对象，并简单地找到包含该对象的图像群。
[0159] （实施方式2）
[0160] 本实施方式2关于以下机制：在图像分类装置中，当选择包含用户想要分类的对象的图像群并登录时，通过利用在本地数据群中标准（通常、普遍）地存在的特征，将包含登录的对象的图像群高精度地分类。
[0161] 另外，在本实施方式中，对于具有与实施方式1相同的功能的结构赋予相同的标号，由于能够适用其说明，所以将说明省略。
[0162] 在本实施方式2中，当基于由用户选择的图像制作模型数据时，规定在本地数据内的图像群中标准地存在的特征作为标准特征。并且，判断各选择图像的特征量的标准性，使得标准性越高则模型贡献度越低。通过这样，分类性能更高，实现对于用户而言妥当的模型数据的制作。
[0163] 图12是有关实施方式2的图像分类装置2的功能框图。
[0164] 标准特征计算部60从存储在本地数据储存部10中的图像中将全部或指定的图像群作为对象而计算标准特征，将计算结果保存到标准特征储存部62中。
[0165] 这里，所谓标准特征，是表示在作为计算标准特征的材料的图像群（以下，有时称作“目的图像群”）中标准（整体）地呈现的特征量的量。
[0166] 使用图13说明标准特征的计算的流程。
[0167] 首先，标准特征计算部60从存储在本地数据储存部10中的图像中提取作为计算标准特征的对象的目的图像群（步骤S131）。
[0168] 该目的图像群既可以是存储在本地数据储存部10中的全部图像，也可以限定于指定的图像群。
[0169] 作为限定的条件，可以举出（1）摄影时间间隔的事件单位（关于图像的摄影时刻的时间序列模式）、（2）摄影位置的事件单位、（3）室内或室外等的摄影场景单位等。
[0170] （1）作为摄影时间间隔的事件单位，使用年/月/周/日/时/分等的时间单位下的摄影间隔自身、摄影的人物的种类及数量、其他被摄体的种类及数量、以及摄影照相机参数的单位。
[0171] （2）作为摄影位置的事件单位，可以以关于摄影图像被摄影的场所的地理信息、摄影方向、及图像内的特征量的出现位置为单位计算。
[0172] 例如，可以考虑将在日本的东京摄影的图像群集中作为目的图像。
[0173] 接着，标准特征计算部60根据该目的图像群计算全部局部特征量（步骤S132）。
[0174] 作为局部特征量，可以使用以SIFT及SURF等为代表的各种各样的表示图像内的局部部分的特征量。另外，只要是根据图像计算的特征量就可以，其种类没有限制。
[0175] 这里，设目的图像群的张数为X，在根据该图像X张计算le特征量平均数Y个的情况下，全部特征量数量为X×Y=M个。标准特征计算部60对于该M个特征量按照彼此类似性高的特征量进行分组（步骤S133）。
[0176] 作为分组方法，通过进行M：M匹配或者在随机采样而成为N个后进行N：N匹配、使用kmeans等的聚类方法而归纳为P个组。
[0177] 最后，标准特征计算部60在各组的要素数以一定数量以上存在的情况下，将属于该组的特征量作为在目的图像内标准地存在的标准特征而提取（步骤S134）。
[0178] 设P个组G1～Gp的各自的要素数为NG1～NGp，在各要素数为预先定义的Thr3以上的情况下可以判断为标准特征。此外，也可以定义为组的要素数越大则标准性越高，从而计算标准性，作为标准性，不仅是要素数，也可以作为在一定时间周期内呈现的频度计算。
[0179] 另外，在事前没有计算整体标准特征量的情况下，也可以为随时计算整体标准特征、或者仅判别并计算关联的整体标准特征量的结构。
[0180] 标准性判断部64通过按由图像选择受理部12选择的每个选择图像、将选择图像的特征量与保存在标准特征储存部62中的特征量比较，来判断标准性。并且，将表示判断出的标准性的标准性信息保存到标准性信息保存部66中。
[0181] 该标准性可以根据一致程度的高低来规定，以使得标准性处于0～1的范围，在与标准特征完全不一致的情况下将标准性设为0，在完全一致的情况下使标准性为1。标准性越接近于1，越是本地数据内常见的图像，可以想到本地数据内的分类性能较低。
[0182] 使用图14说明标准性的计算的流程。
[0183] 首先，特征提取部14以选择图像为对象，提取特征量信息（S141）。
[0184] 接着，标准性判断部64将标准特征储存部62的标准特征读入（S142）。
[0185] 最后，标准性判断部64基于在步骤S141中提取的特征量信息与在步骤S142中读入的标准特征的一致度，判断标准性（0～1）。
[0186] 将这样判断的标准性的一例表示在图15中。
[0187] 图15的表67表示在选择图像为“ID1”、“ID2”、“ID3”、“ID4”的情况下、标准性判断部64按每个该选择图像判断的标准性。
[0188] 在各图像中，如“特征量1”、“特征量2”、“特征量3”…那样，将特征量分为多维表示，按照各“特征量”与“标准性”建立了对应。
[0189] 该“特征量”通过例如SIFT或SURF等的局部特征量计算，在图15中简化为3维，但在现实中可以表示为更多维（例如，在SIFT中是128维）。此外，作为特征量的种类，只要是图像的颜色信息、纹理信息、边缘信息、或HOG等的能够作为图像解析信息提取的特征量就可以，其种类没有限制。
[0190] 在图15的例子中，将把局部特征设为矢量特征的对象作为“特征量1”、“特征量2”、“特征量3”管理，将对其分别计算的标准性作为“标准性1”、“标准性2”、“标准性3”管理。
[0191] 另外，例如标准性也可以在不一致的情况下设为0，在一致的情况下设为1，通过将一致程度最大的标准特征的标准性与一致程度相乘来计算。
[0192] 特有特征量算出部16按选择受理部12的每个选择图像，根据由标准性判断部64判断的各个图像的标准性，计算选择图像所特有的特征量。
[0193] 具体而言，通过对标准性低的第1特征量提高加权、并且对标准性高的第1特征量降低加权，计算特有的特征量。
[0194] 加权的计算方法可以如以下的（1）～（5）那样采用各种各样的方法。
[0195] （1）也可以在进行生成模型数据前的特征量的匹配处理之前，将标准性为一定阈值以上的特征量排除。
[0196] （2）可以组合实施方式1，在对图11所示那样的特征量进行加权的情况下，通过对该权重乘以{1－（图15所示的标准性）}来使标准性高的特征量的权重减小。
[0197] 例如，如果某个特征量的标准性高为0.9，则通过对特征量的权重乘以1－0.9=0.1，能够使其比原本的权重大幅减小。
[0198] （3）也可以是，在能够根据图像属于的事件判断为标准地存在的特征量的比例或量收敛在一定范围内的值内的情况下，将标准地存在的特征量的比例或量自身作为模型数据使用。
[0199] （4）也可以是，在通过已有的机械学习法生成统计学的模型的情况下，通过将标准性自身也作为特征量的参数输入而模型化，或者从具有由特有特征量算出部16计算的特有的特征量的图像中判断具有一定数量以上的标准性高的特征量的图像群，由于考虑该图像群在本地数据群内分类性能较低，所以排除或将模型贡献度（加权）设定得低而作为学习标本使用。
[0200] 如以上说明，不是仅根据由用户选择的图像群原样使用登录对象进行模型化，而是着眼于在本地数据内标准地存在的特征成为降低分类性能的原因这一点，通过将这样的特征作为标准特征预先计算，将标准性高的特征排除，或者将该标准性的出现倾向自身进行特征量化，使用该标准特征来进行模型化，由此，能够将包含用户想要分类的对象的图像群更高精度地在本地数据内分类。
[0201] （实施方式3）
[0202] 本实施方式3关于以下机制：在图像分类装置中选择用户想要分类的图像，根据选择图像等制作模型数据时，通过从用户受理修正操作而将模型数据更新，将包含登录对象的图像群高精度地分类。
[0203] 即，显示将包含用户登录的对象的图像群自动分类的结果，当用户将显示结果的错误修正时，由受理用户的修正操作的UI（User Interface）部受理修正操作的输入。
[0204] 并且，根据受理的内容，将模型数据修正更新，实现了提高分类性能。
[0205] 另外，在本实施方式3中，对于具有与实施方式1相同的功能的结构赋予相同的标号，能够采用其说明，所以省略说明。
[0206] 图16是有关实施方式3的图像分类装置3的功能框图。
[0207] 修正受理部13关于图像显示部36显示的分类结果的显示输出，经由输入设备受理修正。作为输入设备的例子，有触摸屏及鼠标等。
[0208] 例如，基于用户饲养的猫“球球”的模型数据，图像显示部36显示分类为“球球”的图像，将“请选择与‘球球’的登录模型不一致的图像。”等的消息添加到该显示中，向用户提示修正。
[0209] 修正受理部13被输入用户对于图像显示部36的分类结果的显示输出将误分类的结果修正时的修正操作。例如，通过触摸面板显示器或鼠标做出进行修正图像群的选择、登录模型的更新、登录模型的细分化的输入。
[0210] 以下，详细地说明当用包含用户登录的对象的图像群进行整理或检索时，在由图像显示部36显示的包含登录对象的图像群中存在应修正的图像群或登录模型的细分化等的模型变更时的模型数据的修正更新方法。
[0211] 对选择用户想要修正的图像群的方法进行说明。
[0212] 图17是表示图像显示部36的分类结果和有关修正受理部13的修正受理的UI画面的一例的图。
[0213] 在图17（a）中，表示在触摸屏显示器的显示画面171中、将被分类为组“e001”的图像的误分类的结果修正的例子。
[0214] 在框171a内，显示有作为组“e001”分类的图像的一览。
[0215] 例如，假设在被分类为组“e001”的图像是宠物这样的包括各种各样的宠物（登录对象是宠物）的大体的分类的情况下，用户想要仅将宠物B（例如，猫“球球”）作为登录对象制作模型。
[0216] 此时，一边在框171a内将组“e001”的图像一览横向滚动，一边将包含宠物B的图像拖拽到上部的框171b内而集中后，通过按下登录按钮171c而开始修正更新处理。
[0217] 另外，作为模型变更，除了这样的模型的细分化以外，也可以通过将多个模型合并而汇集。例如，假如制作了用户饲养的两只猫的模型“球球”的模型和“三花”的模型，则可以考虑将两者汇集。
[0218] 此外，在框171a等中显示图像的一览时，不仅单纯用摄影的时间以时间序列排列显示，而且基于与登录的模型数据的一致度及类似性重新排列，能够使用户的修正处理简单化，所以是有效的。
[0219] 在图17（b）中，表示将分类为组“e001”的图像的误分类的结果修正的例子。
[0220] 用户本打算以宠物为登录对象指示制作模型数据，但在框175a内也被分类了拍摄有宠物以外的对象物的图像。
[0221] 在此情况下，用户一边将框175a内的分类结果的图像一览纵向滚动一边使用鼠标随时选择作为修正对象的宠物以外的图像，然后通过按下删除按钮175c而开始修正更
新处理。
新处理。
[0222] 在图17（b）的例子中，各图像的复选框175b带有选择标记的图像对应于由用户选择的图像。
[0223] 如果在修正图像群的选择或登录图像群的再选择后开始修正更新处理，则根据该选择图像通过与实施方式1或2所记载的方法同样的方法再生成模型数据。
[0224] 具体而言，将图11所示那样的模型数据信息的各信息修正。在修正图像群的选择时，从修正图像群及没有被选择的分类结果正确的图像群中提取应强化的特征和应排除的特征等的特征信息，将模型数据修正更新。
[0225] 图18是表示根据所选择的修正图像群将登录对象的模型数据修正的处理的次序的流程图。
[0226] 以下，假设作为修正图像群而选择了被误分类的图像，说明处理内容。另外，也可以想到相反选择了被正确地分类的图像的情况，此时通过与说明内容相反的处理进行模型数据的处理。
[0227] 在选择修正图像群而开始了修正处理的情况下，在登录结果的显示画面中没有被选择的图像群被正确地分类的可能性较高。
[0228] 因此，如图18所示，特征量信息提取部14除了修正图像群的信息以外，还从非选择图像群也提取特征量信息（S181）。假设在全部图像群中，有由用户直接赋予的直接分类标签和由图像分类装置自动分类而赋予的自动分类标签的信息。
[0229] 在非选择图像群中，在没有直接分类标签的信息的情况下，该图像群作为自动分类标签是正确的可能性较高，对于模型数据的修正是有用的，所以作为正确的分类图像使用。
[0230] 接着，根据所提取的图像信息的图像解析信息判断修正图像群与模型数据的特征量的一致程度高的部分（S182）。
[0231] 假设特征量的类似性的判断与上文的内容相同。进而，也可以对修正图像群与实施方式1的步骤S26（图7）的处理同样，通过判断修正图像与关联图像群的一致特征量，判断并利用修正图像所特有的特征量。
[0232] 并且，使用在步骤S181中提取的正确的分类图像，与实施方式1的步骤S26（图7）的处理同样，判断各正确的分类图像与关联图像群的一致特征量（步骤S183）。
[0233] 最后，在模型学习部30中，使用在步骤S 182和步骤S183中判断出的结果，进行登录对象的模型数据的修正更新的处理（S184）。
[0234] 由于步骤S182的结果是想要将修正图像群删除的情况，所以是与该图像群的一致度或特有的特征量的特有性越高越应从模型数据删除的特征量。
[0235] 在特征量匹配处理的情况下，可以考虑将与模型数据一致的特征量删除或使权重以一定比率减小，当用机械学习法生成统计模型时，除了单纯作为负标本添加以外，还可以通过减小特征量的加权来进行模型的再生成。此外，由于步骤S183的结果是对登录对象有效的特征量的可能性较高，所以使用一致特征量进行强化学习。
[0236] 在特征量匹配处理的情况下，通过使与模型数据一致的特征量的权重以一定比率增加、或新添加不存在于模型数据中的特有的特征量，使本地数据内的模型的分类性能提高。
[0237] 当用机械学习法生成统计模型时，能够在使学习标本增加的状态下进行与实施方式1的S27（图2）的处理同样的处理。此外，也可以在使用各图像具有的加权后的特征量或与分类模型的类似度等以标本自身的可靠性进行加权后进行学习等。
[0238] 如以上那样，当用户对将包含用户的登录的对象的图像群自动分类的结果进行修正更新处理时，通过使用能够从修正图像群及非选择图像群提取的图像信息将模型数据修正或再登录而生成模型，能够将用户想要分类的对象简单地随时修正登录，用户能够通过自由度更高的对象登录简单地找到包含登录对象的图像群。
[0239] <补充1>
[0240] 以上，对本实施方式进行了说明，但本发明并不限定于上述内容，在用来达到本发明的目的和与其关联或附属的目的的各种形态中也能够实施，例如，也可以是以下这样。
[0241] （1）在实施方式1中没有详细叙述，但也可以是，在特有特征量算出部16中，将选择图像与关联图像各自的颜色分布比较，对于比较的结果为颜色分布不一致的区域，从算出特有的特征量的对象中排除。
[0242] 例如，如图19所示，假设有拍摄了黄色的螺栓的选择图像“ID3”和关联图像“ID4”。在两者的图像内，记载有表示颜色统计图的简单的颜色。在关联图像“ID4”中，仅区域183、184为黑色的区域。这样，如果在关联图像“ID4”中有在选择图像“ID3”中完全不存在的颜色范围的区域，则也可以将关联图像“ID4”的黑色的区域的局部特征量从算出特有的特征量的对象中除外。
[0243] （2）在各实施方式中，设特有特征量算出部16和模型学习部30为不同的模块而进行了说明，但也可以是将两者集中、使模型学习部30包含特有特征量算出部16的功能的形式（参照图20的图像分类装置4）。
[0244] （3）在各实施方式中，在一个图像分类装置中，从模型数据的制作进行到图像的分类，但也可以将制作和分类在不同的装置中进行。例如，也可以如图21所示那样，在模型制作装置5中制作模型数据，图像的分类在别的装置中进行。
[0245] （4）在实施方式1中，关于模型数据的制作，基本上以图像为单位将其中的登录对象整体模型化而进行了说明，但也可以仅将图像内的登录对象的一部分模型化而登录。
[0246] 例如，在拍摄了移动的狗的整体的情况下，可以考虑不是以其整体体特征模型化，在仅耳和眼或仅腿和尾巴的组合经常表现为选择图像内的情况下，可以考虑以仅耳和眼或仅腿和尾巴的特征量集单位做成子集而模型化。
[0247] 如果举图11为例，则不是feature1－feature10的集，用其一部分的feature1、3、5的子集模型化，对于分类会变得有效。
[0248] （5）也可以将用来使各种信息处理装置的处理器及连接在该处理器上的各种电路执行在上述实施方式中表示的动作等的由程序代码构成的控制程序记录到记录介质中、或者经由各种通信路流通而发布。
[0250] 被流通、发布的控制程序通过保存在能够由处理器读出的存储器等中而供使用，通过该处理器执行该控制程序，实现实施方式中表示那样的各种功能。
[0251] （6）上述各实施方式的图像分类装置典型地也可以作为集成电路即LSI（Large Scale Integration）实现。既可以将各电路单独地做成1芯片，也可以包含全部电路或一部分电路而1芯片化。例如，调谐器3既有集成在与其他电路部相同的集成电路中的情况，也有作为别的集成电路的情况。
[0252] 这里，记载为LSI，但根据集成度的差异，也有称作IC（Integrated Circuit）、系统LSI、超级LSI、超大规模LSI的情况。
[0253] 此外，集成电路化的方法并不限于LSI，也可以由专用电路或通用处理器实现。也可以使用在LSI制造后能够编程的FPGA（Field Programmable Gate Array）、能够再构成LSI内部的电路单元的连接及设定的可重构处理器。
[0254] 进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。有可能是生物技术的应用等。
[0255] （7）在图9的例子中，例示使用SIFT等的基于点的特征量进行了说明，但例如也可以通过使用构成图像的区域单位的特征量（基于面的特征量）实现健壮（robust）的检测。
[0256] 即，特征量信息提取部14（参照图1）将1张选择图像划分为多个区域，按每个区域算出特征量（例如颜色统计图）。
[0257] 并且，特征量信息提取部24也同样，对关联图像分别将图像划分为多个区域，按每个区域算出特征量。
[0258] 关于这些区域划分（分段化）的方法，例如，在
[0259] ·"Superpixel:Empirical Studies and Applications",(http://www.cs.washington.edu/homes/xren/research/superpixel,http://www.stat.ucla.edu/ ～yuille/courses/canton/day5/day5examples/Superpixels.pdf)
[0260] ·Pedro F.Felzenszwalb and Daniel P.Huttenlocher:"EfficientGraph-Based Image Segmentation",International Journal of Computer Vision，
Volume 59,Number 2,September 2004（http://people.cs.uchicago.edu/ ～ pff/
segment/,htp://people.cs.uchicago.edu/～pff/papers/seg－ijcv.pdf）
Volume 59,Number 2,September 2004（http://people.cs.uchicago.edu/ ～ pff/
segment/,htp://people.cs.uchicago.edu/～pff/papers/seg－ijcv.pdf）
[0261] 等中详细表示。
[0262] 特有特征量算出部16通过将1张选择图像的各区域的特征量与1张关联图像的各区域的特征量反复对照，算出选择图像所特有的特征量。
[0263] 将这样的使用基于面的特征量的处理的形象表示在图22中。在图22中，特征量信息提取部14将选择图像（ID3）划分为5个区域，特征量信息提取部24将两张关联图像
（ID2，ID4）分别划分为6个区域。
（ID2，ID4）分别划分为6个区域。
[0264] 特有特征量算出部16将选择图像（ID3）的5个区域分别与1张关联图像（ID2）2
的6个区域的各自的特征量比较，算出表示比较结果的值（a1，1，a1，2，a1，3，a1，4，a1，5，a1，6，a1，
2 2 2 2 2
1，a1，2，a1，3，a1，4，a1，5，a1，6，…）。此外，同样将选择图像（ID3）的5个区域分别与1张关联图像（ID4）的6个区域的各自的特征量比较，算出表示比较结果的值（b1，1，b1，2，b1，3，b1，4，
2 2 2 2 2 2
b1，5，b1，6，b1，1，b1，2，b1，3，b1，4，b1，5，b1，6，…）。并且，特有特征量算出部16通过将这些值用于由实施方式说明那样的方法，算出选择图像所特有的特征量。
的6个区域的各自的特征量比较，算出表示比较结果的值（a1，1，a1，2，a1，3，a1，4，a1，5，a1，6，a1，
2 2 2 2 2
1，a1，2，a1，3，a1，4，a1，5，a1，6，…）。此外，同样将选择图像（ID3）的5个区域分别与1张关联图像（ID4）的6个区域的各自的特征量比较，算出表示比较结果的值（b1，1，b1，2，b1，3，b1，4，
2 2 2 2 2 2
b1，5，b1，6，b1，1，b1，2，b1，3，b1，4，b1，5，b1，6，…）。并且，特有特征量算出部16通过将这些值用于由实施方式说明那样的方法，算出选择图像所特有的特征量。
[0265] 另外，在图22的例子中，将一个图像（选择图像或关联图像）用一种处理方式进行区域划分，但也可以通过将在区域划分中使用的参数（例如范围）设定为多个级别，多级地进行特征量的比较。此外，也可以考虑将基于点的特征量与基于面的特征量的两者组合的方法。
[0266] （8）实施方式的特有特征量算出部16说明了学习处于图像的中央的一致点的特征量作为正标本、学习处于图像的周边的一致点的特征量作为负标本的例子（参照图7的S72、S73、图8），但并不限定于此。也可以利用图像的元数据决定作为正标本/负标本的区域。
[0267] 在图23（a）的例子中，利用包含在图像A的元数据中的焦点区的信息，将图像A的焦点区231设为作为正标本的区域，将其以外设为作为负标本的区域。
[0268] 在图23（b）的例子中，利用关于包含在图像B的元数据中的景深的信息，将在图像B中合焦的区域232设为作为正标本的区域，将其以外设为作为负标本的区域。另外，作为关于景深的信息的例子，可以举出光圈值、焦点距离及摄影距离（被摄体与照相机之间的距离）等。此外，在摄影设备是3D照相机的情况下，也可以考虑根据左图像与右图像的视差以像素单位求出景深。
[0269] 在图23（c）的例子中，在相对于图像X放大的图像C中，将以放大的中心点为中心的区域233设为作为正标本的区域，将其以外设为作为负标本的区域。这是因为推测摄影者关注着放大的中心点。
[0270] 另外，作为放大的有无及中心点的判断方法，例如既可以如果作为图像C的元数据而有表示放大的有无或缩放的中心点的信息则利用该信息，此外也可以将包含在图像C的元数据中的数字缩放比率与包含在图像X（摄影时刻是图像C紧前的图像）的元数据中的数字缩放比率这两者比较来判断放大。
[0271] 在图23（d）的例子中，在相对于图像Y缩小的图像D中，将以缩小的中心点为中心的区域234设为作为负标本的区域，将其以外的区域235设为作为正标本的区域。这是因为推测摄影者关注着到此为止拍摄的区域的周围。另外，缩小的有无及中心点的判断方法可以使用与放大同样的方法。
[0272] 使用图24对使用这些作为正标本的区域（主区）的情况下的、特有特征量算出部16的处理的流程进行说明。
[0273] 在与图7同样的匹配处理（S71）后，特有特征量算出部16根据选择图像的元数据、在需要的情况下还有关联图像的元数据，决定选择图像的主区（S241）。
[0274] 并且，特有特征量算出部16将处于图像的主区中的一致点的特征量作为正标本学习（S242），相对于此，将处于图像的主区以外的区域中的一致点的特征量作为负标本学习（S243）。
[0275] 如以上这样，通过以图像的元数据为线索决定作为正标本/负标本的区域，能够得到符合摄影者的意图的结果。
[0276] （9）使用实施方式中说明的模型数据的图像分类的方法也可以作为多个装置协同而成的基于云的服务提供。
[0277] 在图25的例子中，基于云的服务器250能够经由网络与AV设备260、个人计算机261、便携设备262、数码相机263等用户装置进行数据的收发，具有从这些用户装置取得数据而进行模型数据的制作及图像的分类的功能。
[0278] 基于云的服务器250具备与图像分类装置1（参照图1）基本上同样的功能模块。如果说明不同的部分，则具备从用户装置取得图像等的数据的取得部251、储存图像等的数据的数据储存部252、包括选择受理部12及关联图像确定部22并确定选择图像及关联图像的确定部253、包括特征量信息提取部14及特征量信息提取部16并根据选择图像及关联图像提取特征量的提取部254。
[0279] 在服务器250中，假设将在实施方式中说明的主要的处理全部进行，但关于处理的分担，从以下这样的观点看，可以考虑一些变形。作为用户装置，举出数码相机263进行说明。
[0280] 从运算处理负荷的观点看…数码相机263与服务器250相比不适合于高速运算处理，但如果是比较轻的处理则也可以担负。例如，也可以使数码相机263担负关于特征量信息的提取的负荷较轻的处理、使服务器250担负负荷较重的处理。
[0281] 从存储容量、使用场合的观点看…可以考虑数码相机263的存储容量比服务器250少的情况（也可能有其相反的情况）。因此，可以考虑使尺寸比较可能变大的数据（例如，图像的原始的数据）储存到服务器250上、使尺寸较小的数据（例如，图像的缩略图或模型数据）储存到数码相机263中。此外，也可以考虑可能在数码相机263中频繁利用的数据储存到本地中的形态。
[0282] 从线路容量的观点看…也有将数码相机263与服务器250之间连结的线路速度不够的情况。因此，在将图像数据从数码相机263向服务器250传送时，预先在数码相机263中降低分辨率、或将使用可能性较低的元数据删除，来将图像的尺寸削减后传送。
[0283] <补充2>
[0284] 本实施方式包括以下的形态。
[0285] （1）一种图像分类装置，使用模型数据将图像分类，其特征在于，具备：受理机构，从用户受理图像的选择，该选择是从储存的多个图像中对图像的选择；第1提取机构，提取受理的图像各自的第1特征量；确定机构，按每个上述受理的图像，从上述多个图像中确定关联的关联图像；第2提取机构，提取所确定的关联图像各自的第2特征量；算出机构，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量；模型制作机构，基于算出的第3特征量制作模型数据。
[0286] （2）也可以是，上述算出机构通过按每个所受理的图像将该图像的上述第1特征量与该图像的关联图像的第2特征量对照，来算出上述第3特征量。
[0287] （3）也可以是，上述第1提取机构提取的上述第1特征量及上述第2提取机构提取的上述第2特征量是关于作为提取对象的图像内的多个区域各自的特征量。
[0288] （4）也可以是，上述算出机构在上述对照时，如果与图像内的中央区域对应的第1特征量与第2特征量一致，则提高受理的图像的一致点处的第1特征量的加权，如果与图像内的不是上述中央区域的区域对应的第1特征量与第2特征量一致，则降低受理的图像的不一致点处的第1特征量的加权，来算出上述第3特征量。
[0289] （5）也可以是，上述局部特征量是表示以下信息中的至少一个的量，上述信息表示关键点描述符、边缘特征量及指定物体识别。
[0290] （6）也可以是，上述算出机构基于对上述受理的图像及上述关联图像分别附加的元数据，决定受理的图像的主区；在上述对照时，如果与决定的主区对应的第1特征量与第2特征量一致，则提高受理的图像的一致点处的第1特征量的加权，如果与图像内的不是上述主区的区域对应的第1特征量与第2特征量一致，则降低受理的图像的不一致点处的第
1特征量的加权，来算出上述第3特征量。
1特征量的加权，来算出上述第3特征量。
[0291] （7）也可以是，上述局部特征量是颜色统计图；上述算出机构在上述对照之前，按每个上述受理的图像，将图像的颜色分布与该图像的关联图像的颜色分布比较，从上述对照的对象中，排除与比较的结果是颜色分布不一致的关联图像的区域对应的第2特征量。
[0292] （8）也可以是，上述第1提取机构及上述第2提取机构在提取之前，分别将上述受理的图像及上述关联图像划分为多个区域，从划分的各个区域中提取上述第1特征量或第2特征量；由上述算出机构进行的上述对照以划分的区域为单位进行。
[0293] （9）也可以是，上述确定机构按每个上述受理的图像，将属于相同事件的图像群确定为上述关联图像。
[0294] （10）也可以是，上述确定机构按每个上述受理的图像，确定属于相同的摄影模式的图像群作为上述关联图像。
[0295] （11）也可以是，具备：计算机构，基于构成上述多个图像的各图像的特征量，计算标准的特征量；判断机构，使用计算出的标准的特征量，判断由第1提取机构提取的第1特征量各自的标准性的高低；上述算出机构通过对标准性低的第1特征量提高加权、并且对标准性高的第1特征量降低加权，来算出上述第3特征量。
[0296] （12）也可以是，上述计算机构使用分类器将上述全部图像各自的特征量分类为具有一定的类似性的特征群，将该特征群内的特征量数量以一定数量或一定频度以上存在的特征量，看作上述标准的特征量。
[0297] （13）也可以是，上述计算机构以各图像的事件为单位，将上述全部图像各自的特征量分类为特征群，使用该特征群内的特征量数量以一定数量或一定频度以上存在的特征量，计算上述标准的特征量。
[0298] （14）也可以是，上述事件，是基于非摄影时的时间间隔、一定时间内的摄影频度、一定时间内的登场人物数、一定时间内的物体数、一定时间内的登场人物、一定时间内的物体的频度中的至少一个规定的，或者是基于摄影时的照相机参数、摄影场所的地理信息、迁移信息、图像的构图信息、关于图像内的特征量的出现位置的信息中的至少一个规定的。
[0299] （15）也可以是，具备：分类机构，通过判断向制作的模型数据的适合性，将上述多个图像分类；显示机构，显示模型数据的识别符、以及适合于该模型数据的图像群；修正受理机构，针对显示的图像群，受理关于模型数据的修正的内容；上述模型制作机构基于上述受理机构受理的内容，将上述制作的模型数据更新。
[0300] （16）一种图像分类方法，使用模型数据将图像分类，其特征在于，包括：受理步骤，从用户受理图像的选择，该选择是从储存的多个图像中对图像的选择；第1提取步骤，提取受理的图像各自的第1特征量；确定步骤，按每个上述受理的图像，从上述多个图像中确定关联的关联图像；第2提取步骤，提取所确定的关联图像各自的第2特征量；算出步骤，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量；模型制作步骤，基于算出的第3特征量制作模型数据。
[0301] （17）一种程序，使图像分类装置执行图像分类处理，其特征在于，上述图像分类处理包括：受理步骤，从用户受理图像的选择，该选择是从储存的多个图像中对图像的选择；第1提取步骤，提取受理的图像各自的第1特征量；确定步骤，按每个上述受理的图像，从上述多个图像中确定关联的关联图像；第2提取步骤，提取所确定的关联图像各自的第2特征量；算出步骤，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量；模型制作步骤，基于算出的第3特征量制作模型数据。
[0302] （18）一种记录介质，记录有使图像分类装置执行图像分类处理的程序，其特征在于，上述图像分类处理包括：受理步骤，从用户受理图像的选择，该选择是从储存的多个图像中对图像的选择；第1提取步骤，提取受理的图像各自的第1特征量；确定步骤，按每个上述受理的图像，从上述多个图像中确定关联的关联图像；第2提取步骤，提取所确定的关联图像各自的第2特征量；算出步骤，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量；模型制作步骤，基于算出的第3特征量制作模型数据。
[0303] （19）一种集成电路，使用模型数据将图像分类，其特征在于，具备：受理机构，从用户受理图像的选择，该选择是从储存的多个图像中对图像的选择；第1提取机构，提取受理的图像各自的第1特征量；确定机构，按每个上述受理的图像，从上述多个图像中确定关联的关联图像；第2提取机构，提取所确定的关联图像各自的第2特征量；算出机构，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量；模型制作机构，基于算出的第3特征量制作模型数据。
[0304] （20）一种模型制作装置，其特征在于，具备：受理机构，从用户受理图像的选择，该选择是从储存的多个图像中对图像的选择；第1提取机构，提取受理的图像各自的第1特征量；确定机构，按每个上述受理的图像，从上述多个图像中确定关联的关联图像；第2提取机构，提取所确定的关联图像各自的第2特征量；算出机构，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像所特有的特征的第3特征量；模型制作机构，基于算出的第3特征量制作模型数据。
[0305] （21）一种图像分类方法，在基于云的服务器中，进行使用模型数据的图像的分类，其特征在于，包括：取得步骤，在服务器中，从用户装置取得图像；储存步骤，在服务器中，将所取得的图像储存；确定步骤，在服务器中，从储存的图像中确定一个图像以及与上述一个图像关联的关联图像；提取步骤，在服务器中，提取上述一个图像的第1特征量，提取上述关联图像各自的第2特征量；算出步骤，在服务器中，基于提取的第1特征量及第2特征量的局部性，算出表示受理的图像的对象物所特有的特征的第3特征量；建模步骤，在服务器中，基于算出的第3特征量制作模型数据；分类步骤，在服务器中，使用制作的模型数据将储存的图像分类。
[0306] 工业实用性
[0307] 有关本实施方式的图像分类装置，即使是包含用户选择的登录对象的图像群较少的情况，通过从用户的本地数据提取与该图像群关联的信息，判别在本地数据内标准地存在的特征，也能够在本地数据内做成对登录对象分类性能较高的模型数据，所以能够简单地登录用户的喜好的对象而高效率地提取包含登录对象的图像群。即，用用户的较少的操作也能够在本地数据内生成分类性能特别高的模型数据，能够高精度地提取包含各用户喜好的对象的图像群，所以各用户能够高效率地处理喜好的图像。
[0308] 例如，在进行图像的整理及检索时，用户能够简单地登录喜好的对象，能够自动地以妥当的精度提取包含该登录对象的图像群，由此能够高效率地提取包含喜好的对象的图像群，所以对于各种各样的图像处理终端机具有实用性。此外，在DVD记录机、TV或数据服务器等的用途中也能够应用。进而，还能够作为图像分类用途的软件提供。
[0309] 附图标记说明
[0310] 1、2、3、4图像分类装置
[0311] 5模型制作装置
[0312] 10本地数据储存部
[0313] 12选择受理部
[0314] 13修正受理部
[0315] 14特征量信息提取部（第1提取部）
[0316] 16特有特征量算出部
[0317] 22关联图像确定部
[0318] 24特征量信息提取部（第2提取部）
[0319] 30模型学习部
[0320] 32模型储存部
[0321] 34分类部
[0322] 36图像显示部
[0323] 250服务器
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 信息处理装置、打印机、程序以及信息处理方法 | 2020-05-13 | 342 |
| 银行卡、业务受理的系统运营及其认证技术系统的运行 | 2020-05-13 | 976 |
| 触摸面板输入装置以及图像形成装置 | 2020-05-23 | 625 |
| 游戏用服务器设备、游戏管理方法以及游戏管理用程序 | 2020-05-11 | 465 |
| 信息处理装置以及信息处理方法 | 2020-05-12 | 334 |
| 摄影装置以及图像处理方法 | 2020-05-18 | 800 |
| 税务文书受理自助服务终端及运行方法 | 2020-05-22 | 651 |
| 一种基于税控系统的发票分票网络处理方法 | 2020-05-15 | 920 |
| 固网2.5G中双汇接局话务台功能实现方法 | 2020-05-16 | 429 |
| 一种归属位置寄存器受理指令的业务管理方法及其系统 | 2020-05-11 | 687 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈