以往，作为指定所输入的图像中包含的标记的方法，公知有所谓的 模板匹配。在该方法中，制作使存储在数据库中的标记图像降低为预定 的较低分辨率的模板，将这些模板登记在数据库中，对降低为相同的分 辨率的输入标记图像和这些模板进行匹配。
但是，在这种模板匹配中，有可能对相似的标记图像进行错误匹配。 因此，为了降低错误匹配，使用相似度表来管理模板间的相似度，进行 防止登记相似的标记图像等的应对。但是，登记模板数量越多，错误匹 配的可能性就越大。
另外，还公知有根据特征点的配置来确定用于确定相似度的特征量 的方法。而且，在这种方法中，例如如日本特开2004-362186号公报所公 开的那样，考虑如下的方法：当保持多个匹配用数据库来进行参照的情 况下，使匹配服务器并列，分割多个参照数据进行匹配，从而缩短时间。
但是，关于上述日本特开2004-362186号公报所公开的匹配的并列处 理，虽然概率上具有高速化的效果，但是发明者们通过实验确认并没有 提高识别(成功)率的效果。
另外，即使进行了并列处理，也是登记模板数越多，匹配处理就越 需要时间。

本发明就是鉴于上述问题而完成的，其目的在于提供一种标记指定 装置及标记指定方法，该标记指定装置及标记指定方法可以高速且精度 良好地进行图像中所包含的标记的指定。
本发明的标记指定装置的一个方式是指定图像中所包含的标记的装 置，其特征在于，该标记指定装置具有：输入图像的图像输入单元；使 用与标记的分类信息对应的分类模板，对上述图像输入单元所输入的图 像进行模板匹配的分类模板匹配单元；以及使用作为与在上述分类模板 匹配中进行了匹配的分类模板对应的模板的、与标记的详细信息对应的 个别模板，对上述图像输入单元所输入的图像进行模板匹配的个别模板 匹配单元。
另外，本发明的标记指定方法的一个方式是指定图像中所包含的标 记的方法，其特征在于，在该标记指定方法中：输入图像；使用与标记 的分类信息对应的分类模板，对上述所输入的图像进行模板匹配；以及 使用作为与在上述分类模板匹配中进行了匹配的分类模板对应的模板 的、与标记的详细信息对应的个别模板，对上述所输入的图像进行模板 匹配。
附图说明
图1是表示本发明的一个实施例所涉及的标记指定装置的结构的图。
图2是表示对象图像和配置了该对象图像的纸面的例子的图。
图3是表示对象图像的例子的图。
图4是表示分类模板的例子的图。
图5是表示个别模板的例子的图。
图6是表示多个对象图像和分别与它们对应的分类模板和个别模板 的例子的图。
图7是表示TP制作部中分类模板制作处理的流程的图。
图8是用于说明以往的模板匹配的问题点的图。
图9是用于说明使用分类模板的效果的图。
图10是表示TP制作部中个别模板制作处理的流程的图。
图11是表示带照相机的便携终端的便携应用程序中的终端侧动作处 理的流程的图。
图12是表示服务器的匹配处理部中的匹配处理的流程的图。
图13是表示第1具体例中的模板区域分割布局的图。
图14是表示用于说明第1具体例的动作的流程的图。
图15是表示第2具体例中的模板区域分割布局的图。
图16是表示用于说明第2具体例的动作的流程的图。
图17是表示用于说明第3具体例的动作的流程的图。
图18是表示1次标记和2次标记的例子的图。
图19是表示1次标记和2次标记的其他例子的图。
图20是表示第4具体例中的标记指定装置的结构的图。
图21是表示用于说明第4具体例的动作的流程的图。
图22是表示第5具体例中的显示例的图。
图23是表示第5具体例中其他的显示例的图。
图24是用于说明第6具体例的动作的图。
图25是用于说明第6具体例的效果的图。

下面参照附图说明用于实施本发明的最佳方式。
本发明的一个实施例涉及的标记指定装置如图1所示，由带照相机 的便携终端10和模板匹配单元构成。带照相机的便携终端10包含输入 图像的作为图像输入单元的图像输入部(照相机)11和输出指定结果的 作为输出单元的显示器12。模板匹配单元使用数据库中所登记的模板， 对由上述图像输入部11所输入的图像进行模板匹配。该模板匹配单元通 过带照相机的便携终端10的便携应用程序13和匹配处理部21来实现， 该匹配处理部21构成在可与上述带照相机的便携终端10进行通信的服 务器20中。
此处，上述服务器20还具有分类模板(TP)数据管理数据库(DB) 22和个别数据管理DB23。分类模板是根据标记的分类信息所制作的模 板。另外，个别模板对应于各分类模板，是根据标记的详细信息所制作 的模板。匹配处理部21首先使用登记在上述分类TP数据管理DB22中 的分类模板，对从便携应用程序13发送来的、由上述图像输入部11所 输入的图像进行模板匹配。然后，使用与在该分类模板匹配中进行了匹 配的分类模板对应的上述个别数据管理DB23中所登记的个别模板，对 上述所输入的图像进行模板匹配。
登记在上述分类TP数据管理DB22中的分类模板和登记在上述个别 数据管理DB23中的个别模板是由TP制作部50根据用桌面印刷(DTP) 30配置在纸面40上的对象图像41来制作的。即，在该一个实施例的检 索系统中，预先用DTP30按照图2所示那样，在纸面40上印刷作为标 记的对象图像41。与此同时，使用TP制作部50制作该对象图像41的 分类模板和个别模板。然后，将该制作好的模板登记在服务器20的分类 TP数据管理DB22和个别TP数据管理DB23中。而且，如果登记的对 象图像41(标记)为多个，则重复这种模板的制作和登记。
即，在本实施例中，对于图3所示那样的1个对象图像41，制作图 4所示那样的分类模板51和图5所示那样的个别模板52，并进行登记。
此处，在具有多个对象图像41时，如果为相同分类，则分类模板51 是共同的。即，分类模板51和个别模板52可以以1∶n来对应。另外， 如图6所示，即使根据另外的对象图像41制作的个别模板52相同，只 要分类模板51不同，分类模板51和个别模板52就成为n∶n的对应。
然后，当用户使用带照相机的便携终端10等的图像输入部11从纸 面40取入作为标记的对象图像41时，便携应用程序13从该输入图像中 进行图像的特征提取，将提取出的特征数据发送给服务器20的匹配处理 部21。接受到该特征数据的匹配处理部21进行该特征数据与登记在分类 TP数据管理DB22中的分类模板51的图案匹配。然后，还进行使用登 记在上述个别数据管理DB23中的个别模板52中与上述进行了匹配的分 类模板51对应的个别模板52的模板匹配，指定作为被拍摄的标记的对 象图像41。
而且，在登记于上述个别TP数据管理DB23中的各个个别模板52 上，例如与指定的图像或指定的URL这些在匹配时应该输出的结果信息 相对应地进行登记。因此，如果按照上述指定了对象图像41，则匹配处 理部21将与该个别模板52对应的结果信息发送给带照相机的便携终端 10的便携应用程序13。并且，便携应用程序13在显示器12上显示该结 果信息。
下面参照图7来更详细地说明各部的动作。
即，在TP制作部50中，首先定义分类模板布局(步骤S11)。该分 类模板布局表示从应该制作分类模板51和个别模板52的原图像(对象 图像41)中切取作为分类模板51使用的图像的切取位置。或者，也可以 是该切取位置和该分类模板51的分辨率的组合。
例如在模板匹配中，有可能对图8所示的相似的图像进行错误匹配。 这种情况下，如图9所示，如果使用仅四边形的框部区域的分辨率较高 的模板、即分类模板，则能够减少错误匹配的可能性。另外，通过使用 这种分类模板51，即使个别模板52相同，也可以与不同的结果信息对应 起来。
而且，所谓对分类模板布局“进行定义”，包含新“制作”的情况和 “选择”已有的情况的任一情况。
而且，如果定义了上述那样的分类模板布局，则根据该所定义的分 类模板布局，输入原图像(步骤S12)。此时，所输入的原图像为对象图 像41中的上述分类模板布局所表示的图像切取位置的图像数据。而且， 按照上述所定义的分类模板布局，根据该输入的原图像制作特征数据、 即制作分类n的分类模板51(步骤S13)，将其登记在上述服务器20的 分类TP数据管理DB22中(步骤S14)。而且，上述特征数据例如是特 征点的分布和浓度等的数据。
之后，在上述服务器20的个别TP数据管理DB23内，新制作与该 新登记的分类m的分类模板51对应的个别TP数据管理DB组23m(步 骤S15)。而且，在图7中，示出与分类1、2、3、...、m对应的个别TP 数据管理DB组231、232、233、...、23m。
接着，参照图10说明上述TP制作部50中的个别模板制作处理的详 细情况。
即，在TP制作部50中，首先选择个别TP数据管理DB23所具有 的多个个别TP数据管理DB组23n内与分类模板对应的个别TP数据管 理DB组23m(步骤S21)。另外，还从即将制作个别模板的对象图像41 中以按照该分类模板的位置和分辨率来输入原图像(步骤S22)。
然后，根据该所输入的原图像制作特征数据(步骤S23)。接着，输 入例如通过模板匹配而成为OK时应该输出的结果信息、例如指定的Web 站点的URL等(步骤S24)。然后将这些制作成的特征数据和所输入的结 果信息登记在上述所选择的个别TP数据管理DB组23m中(步骤S25)。
接着，参照图11和图12，详细说明上述带照相机的便携终端10的 便携应用程序13中的终端侧动作处理和上述服务器20的匹配处理部21 中的匹配处理的情况。而且，在图1中，虽然只示出了一个便携应用程 序13，但实际上在带照相机的便携终端10中具有多个便携应用程序13。 即，对于一个模板布局存在一个便携应用程序13，根据原来的对象图像 41的种类而启动的便携应用程序13不同。
当与某对象图像41对应的便携应用程序13启动时，该便携应用程 序13输入通过图像输入部11拍摄纸面40上的对象图像41而得到的图 像(步骤S31)。接着，根据该便携应用程序13的模板布局，对该图像提 取分类特征数据和个别特征数据(步骤S32)。然后，将该提取出的分类 特征数据和个别特征数据发送给服务器20的匹配处理部21(步骤S34)。 之后，等待接收来自该匹配处理部21的结果信息(步骤S35)。
在服务器20的匹配处理部21中，首先获得从便携应用程序13发送 来的分类特征数据(步骤S41)。而且此处，所谓获得分类特征数据，不 仅意味着接收发送来的分类特征数据，也可以将发送来的分类特征数据 和个别特征数据暂时存储在存储器等中，读取该所存储的分类特征数据。 匹配处理部21接着进行该所获得的分类特征数据与登记在分类TP数据 管理DB22中的分类模板51的图案匹配(步骤S42)。然后，通过该图 案匹配，如果没有对象数据候选(步骤S43)，则结束处理。
与此相对，在有对象数据候选时(步骤S43)，作为结果信息，选择 与个别TP数据管理DB23的该分类模板51对应的个别TP数据管理DB 组23m(步骤S44)。然后，从便携应用程序13中获得个别特征数据(步 骤S45)。此处，所谓获得个别特征数据，不仅意味着接收发送来的个别 特征数据，也可以将发送来的分类特征数据和个别特征数据暂时存储在 存储器等中，读取该所存储的个别特征数据。匹配处理部21接着进行该 所获得的个别特征数据与登记在上述所选择的个别TP数据管理组DB 23m中的个别模板52的图案匹配(步骤S46)。然后，通过该图案匹配， 如果没有对象数据候选(步骤S47)，则结束处理。
与此相对，在具有对象数据候选时，根据该对象数据候选的特征数 据将登记在上述个别TP数据管理DB组23m中的结果信息返回给上述带 照相机的便携终端10(步骤S48)，结束处理。
而且，便携应用程序13在经过了规定时间也没有从上述服务器20 的匹配处理部21返回结果信息时(步骤S35)，通过将错误消息等显示在 显示器12上等，询问用户是否继续。然后，在具有结束的指示的情况下 (步骤S36)，结束处理。
与此相对，在具有再次实施的指示的情况下(步骤S36)，返回上述 步骤S31，再次从对象图像41的拍摄开始重复。
另一方面，当从上述服务器20的匹配处理部21返回结果信息时(步 骤S35)，将其显示在显示器12上(步骤S37)，结束处理。
根据上述的本实施例的标记指定装置及标记指定方法，由于使用针 对框区域的模板(分类模板51)的匹配，来对被筛选的框内部模板(个 别模板52)进行匹配，所以可以得到下面的效果。
即，可以登记的模板数量增大到分类模板的几倍(几百倍)。
另外，匹配速度提高。
错误匹配还降低。
下面，参照附图说明本实施例的标记指定装置及标记指定方法的具 体例。
[第1具体例]
本具体例是将分类模板51和检索DB关联起来的例子。
此时，如图13所示，分类模板51成为适合在作为标记的对象图像 41上显示有分类信息的分类区域41A的模板，个别模板52成为适合在 上述对象图像41上显示有详细信息的个别区域的个别区域41B的模板。 而且，如图14所示，根据所读取的分类模板51，切换检索目的地DB。
本具体例是利用带照相机的移动电话作为带照相机的便携终端10， 在邮购杂志/商品目录杂志上进行顺利邮购的情况的例子。
使用邮购杂志/商品目录杂志购买商品时，在对象图像41的分类区域 41A上事先记载有指定检索DB的种类的信息，在对象图像41的个别区 域41B上事先记载有商品图像。而且，通过这样的记载，根据标记的各 区域(显示有分类信息的分类区域41A、显示有详细信息的个别区域41B) 的位置/形状/大小等，规定模板的位置/形状/大小等。因此，在匹配中， 容易进行标记和模板的对准，处理效率良好。
当使用带照相机的移动电话的图像输入部11输入对象图像41时， 使用便携应用程序13来提取该分类区域41A的特征数据和个别区域41B 的特征数据(步骤S51)。在服务器20的匹配处理部21中，使用登记在 分类TP数据管理DB22中的分类模板对该所提取出的分类区域41A的 特征数据进行匹配处理(步骤S52)。然后，根据该结果，选择个别TP 数据管理DB23的个别TP数据管理DB组23n。此时，个别TP数据管 理DB组23n作为检索目的地DB，存储各个个别模板52和与它们对应 的商品信息。在图14所示的例子中，存在照相机目录DB23a和箱包目 录DB23b两种检索DB。在匹配处理部21中，使用根据使用了上述分类 模板51的匹配结果而选择的个别TP数据管理DB组23n的个别模板52， 进行用便携应用程序13所提取的个别区域41B的特征数据的模板匹配处 理，指定记载于对象图像41的个别区域41B中的商品图像(步骤S53a、 S53b)。然后，将与其对应地登记的商品信息作为结果信息返回给便携应 用程序13，从而便携应用程序13可以把该商品信息显示在显示器12上。
这样，可以使用分类模板51来分开DB，即使个别模板52的数量增 大也能够抑制检索时间的增加。
[第2具体例]
本具体例是将分类模板51和应用程序关联起来的例子。
此时，如图15所示，分类模板51成为适合在作为标记的对象图像 41上显示有分类信息的分类区域41A的模板，个别模板52成为适合在 上述对象图像41上显示有详细信息的个别区域41B的模板。其中，在本 具体例中，显示于分类区域41A上的分类信息表示应用程序的分类。
而且，在本具体例中，如图16所示，当通过带照相机的移动电话机 的图像输入部11输入了对象图像41时，使用便携应用程序13提取该分 类区域41A的特征数据和个别区域41B的特征数据(步骤S61)。在服务 器20的匹配处理部21中，使用登记在分类TP数据管理DB22中的分类 模板对该所提取出的分类区域41A的特征数据进行匹配处理(步骤S62)。 然后，匹配处理部21将表示应用程序分类的应用程序名作为其结果所得 到的结果信息返回给便携应用程序13。
在便携应用程序13中，将用分类模板匹配所得到的结果信息(应用 程序名)和自身进行比较(步骤S63)。然后，如果为自身(步骤S64)， 则在上述匹配处理部21中，使用根据使用了上述分类模板51的匹配结 果而选择的个别TP数据管理DB组23n(在本例中为个别TP数据管理 DB组23A)的个别模板52，进行用便携应用程序13所提取的个别区域 41B的特征数据的模板匹配处理，指定记载于对象图像41的个别区域41B 中的例如商品图像(步骤S65)。然后，将与其对应地登记的商品信息作 为结果信息返回给便携应用程序13，从而便携应用程序13可以把该商品 信息显示在显示器12上。
另一方面，作为在上述步骤S63中比较的结果，当判断为在分类模 板匹配中得到的结果信息(应用程序名)不是自身时(步骤S64)，便携 应用程序13从服务器20下载相当于该结果信息(应用程序名)的应用 程序(步骤S66)。然后，结束自身，启动该下载的应用程序(步骤S67)。
之后，该启动的应用程序确认自身是否确实为相当于该结果信息(应 用程序名)的应用程序(步骤S68)，如果不是则结束处理。与此相对， 当确认到是的情况下，上述匹配处理部21使用根据使用了上述分类模板 51的匹配结果而选择的个别TP数据管理DB组23n(在本例中为个别 TP数据管理DB组23B)的个别模板52，进行用便携应用程序13所提 取的个别区域41B的特征数据的模板匹配处理，指定记载于对象图像41 的个别区域41B中的商品图像(步骤S69)。然后，将与其对应地登记的 商品信息作为结果信息返回给便携应用程序13，从而便携应用程序13可 以把该商品信息显示在显示器12上。
这样，将分类模板51与应用程序关联起来，根据所读取的分类模板 来切换应用程序，另外，当终端上没有与分类模板对应的应用程序时， 通过在下载后执行，可以使与分类模板51关联起来的应用程序在各自的 专用的DB中进行检索。
[第3具体例]
下面说明第3具体例。
本具体例是使用带照相机的移动电话和带通信功能的PDA等的带照 相机的便携终端10的例子，适用于通过预先拍摄所登记的图像，来识别 该图像，根据识别结果使其执行规定的动作(例如声音输出和规定的程 序的启动、或者规定的URL的显示、在规定位置上重叠显示3D对象等) 的情况。
在识别图像时，将图像数据登记成进行参照的数据库(所谓字典数 据)，但并非原样比较图像，而是比较图像的特征量，这是很高效且实际 的做法，所以使用从图像中提取出的特征量数据库。另外，该数据库既 可以是内置的也可以是存在于经由便携通信的服务器上的。
在本具体例中，同时使用下面两种方法：将图像的特征点(浓淡差 较大的点)的配置关系作为矢量的组合进行计算，将该多个组作为特征 量的方法；和通过比较作为模板匹配而对应的分割面的浓淡来作为特征 量的方法。在被称为分类模板51的模板中，用特征点方式来识别框形状。 此时框的形状不限于四边形和圆形，也可以为星形或者心形等任意形状。 另外，如果根据情况使用特征点方式来识别指定的外观而并非框，则具 有高速和通信速度较快等的优点。
在本具体例中，当存在非常多的标记图像(查询图像)时，是对匹 配服务器进行分散处理时的现实的处理方法。将对象图像的一部分或者 另外存在的图像登记为与指定参照数据的匹配服务器相关联的内容，将 其称为1次(匹配)服务器。在该1次服务器中通常将指定2次服务器 的位置(地址)作为主要功能，但在本具体例中，除此之外还具有指定2 次标记图像的位置等的功能。
即，如图17所示，在带照相机的便携终端10侧拍摄对象标记(1次 标记)(步骤S71)，提取1次特征量(步骤S72)。该提取出的1次特征 量被发送给服务器20(1次服务器)侧，实施与登记在相当于分类TP数 据管理DB22的1次信息DB24中的1次特征量的匹配处理(步骤S73)。 然后，该1次匹配结果的信息从服务器20侧被发送到带照相机的便携终 端10侧。
在带照相机的便携终端10侧，显示该1次匹配结果的信息，用户根 据该显示，使用带照相机的便携终端10拍摄对象标记(2次标记)(步骤 S74)。由此，进行2次特征量的提取(步骤S75)，并发送给服务器20(2 次服务器)侧。在服务器20中，实施与登记在相当于个别TP数据管理 DB23的2次信息DB25中的2次特征量的匹配处理(步骤S76)，该2 次匹配结果的结果动作指定被发送到带照相机的便携终端10侧(步骤 S77)。
然后，在带照相机的便携终端10侧，执行例如3D对象的获得和显 示等的按照该结果动作指定的动作(步骤S78)。
即，通过1次服务器进行2次服务器的地址指定，同时进行2次标 记43(图18中为1次标记42(图标)的上方)的大致该区域的指定。 在2次标记43的拍摄时，即使进行同样包括1次标记42的拍摄，在2 次特征量的提取时也对该所指定的区域之外的拍摄图像部分进行遮挡， 通过不读取来减少错误识别。
另外，由于1次服务器所指定的2次服务器已经限定于某个类别中， 所以从各自的2次数据库所匹配的图像特征量本身在概率性上具有较高 的正确性。例如，在图19的情况下，通过将拉面的图标作为1次标记42， 可以将提供2次标记43的2次服务器限定为与拉面店相关的信息，所以 不会检索其他信息。即，即使在拍摄图像中存在作为2次标记43的多个 店铺图像，由于事先通过1次标记42限定了类别，所以只对作为其中的 拉面店的店铺图像的指定的2次标记43A进行与2次信息DB25的匹配 处理。
在准备这种匹配处理系统之后，利用带照相机的便携终端10拍摄已 经登记的外观，通过内置于上述带照相机的便携终端10中的便携应用程 序13根据特征点的配置关系来计算特征量。即使此时的图像输入部11 的分辨率较低，也像本具体例那样经过2个阶段进行匹配处理的结果可 以实现错误识别率的降低和高速性。实际上如果要用1次匹配来提高识 别性，则需要20kB到70kB的特征量容量，然而像本具体例那样采用简 单的图标作为1次标记42时，将成为5kB到10kB的特征量。进而，如 果以模板方式来识别2次标记43，则其可以处理5kB以下处理特征量。 即，1次标记42的目的在于只对实际上导出有用的信息的2次匹配服务 器进行指定，例如在1000左右的2次服务器的指定中上述特征量容量是 足够的。2次匹配也是同样，将2次匹配服务器的数据数限定为1000左 右，进而用模板方式计算特征量，从而可以用5kB以下1kB左右的非常 小的数据容量来进行通信，其结果可实现处理的高速化。
特别是，本方法是在预先登记在数据库中的图像为非常多(1000以 上)的情况下具有效果的方式，另外，在其中包含有相似性较高的图像 的情况下也有效。
[第4具体例]
下面说明第4具体例。
在上述第1具体例中，以邮购杂志/商品目录杂志为例示出了由分类 区域41A和个别区域41B构成对象图像41，用分类区域41A切换检索目 的地DB的效果。
但是，上述效果并不限定于邮购杂志/商品目录杂志，即使例如在用 户自由登记图像的系统中也是有效的。
作为分类区域41A指定道路标示和建筑物、招牌，对包含这些的风 景进行拍摄时，使用与上述第1具体例同样的处理，切换检索目的地DB， 通过根据拍摄图像来识别个别区域41B从而向使用者提示相关内容。而 且，作为分类区域41A，在没有指定特定的对象物的情况下，意味着其 不具有指定的分类信息，当然也会向对应于该意义的检索目的地DB进 行切换。
此时，可以识别分类区域41A，但有时无法识别个别区域41B。也 就是说，有时在拍摄图像内不包含已经登记的个别区域41B。例如，像 某个企业提供的邮购系统那样，当明确划分出系统所提供的内容的提供 者侧和使用者侧的情况下，由于对未被登记的图像进行要求所以不会成 为问题。另一方面，例如如果根据图像指定关联的关键词/标签，设想检 索该关键词/标签的系统、根据图像提供关联的公告板信息、口碑信息的 系统等，则针对本系统的内容(与图像对应的关键词/标签)提供者不明 确，所以图像在被某人登记之前无法用作检索对象，这对使用者来说是 不方便的环境。
在这种情况下，如图20所示，向与分类区域41A对应的数据库新登 记的系统是有效的。本系统的使用者自身可以增大登记对象，由于仅登 记自身所拍摄的图像和对其期待的关键词/标签，所以使用者操作也十分 简单。
该登记如图21那样进行。即，首先使用带照相机的移动电话等的带 照相机的便携终端10的图像输入部11进行拍摄，向匹配处理部21发送 数据(步骤S81)。在匹配处理部21中，对对象图像41进行分类区域41A 的匹配，指定检索目的地DB(分类TP数据管理DB22)。作为分类区域， 在不存在指定的部分的情况下，当然只要指定与不存在的状态对应的检 索目的地DB即可。接着，匹配处理部21根据对象图像41进行个别区 域41B的匹配，指定向使用者提示的信息(步骤S83)。
此处，匹配处理部21判断是否已经指定了向使用者提示的信息(步 骤S84)。在可以指定信息时，提示该可以指定的信息(步骤S85)。此时， 当指定了多个信息时，也可以以列表状提示这些简单信息。另外，当所 指定的信息为一个时，既可以显示列表，也可以直接显示所指定的信息 的详细情况。
与此相对，在无法指定向使用者提示的信息时(步骤S84)，从使用 者获得指示信息以判断是否登记信息(步骤S85)。在不进行信息登记的 情况下结束处理。
另一方面，在具有进行信息登记的指示时，使用者可以对所拍摄的 对象图像41登记任意的信息。例如，可以登记指定的移动电话用站点的 URL、摄影对象图像41相关的关键词和注解等。
[第5具体例]
下面说明第5具体例。
不仅像上述第1具体例那样将对象图像41分为分类区域41A和个别 区域41B这2个区域，而且分为更多的区域，这是对提高用户的方便性 有效的。例如，既可以在一个分类区域存在多个个别区域，又可以使每 个区域发挥分类区域、个别区域二者的作用。
例如，考虑在邮购杂志/商品目录杂志中作为商品以餐具为对象的情 况。作为对象图像41的餐具的商品图片是拍摄了排列在桌子上的大盘子、 小盘子、杯子、刀、叉。此时，例如如果将各餐具的图案的部分作为分 类区域41A，将每个餐具的整体作为个别区域41B进行登记，则可以精 度良好地识别指定的图案下的具体商品。
进而，个别的要素无需一定反映在相同的图片上，也可以是各自独 立的图片。
在模板登记时，在分别登记个别的要素的同时，也可以将它们登记 为组。此时，也可以伴随着每个要素间相对的位置和/或姿态信息。
在作为组而登记的要素中，当至少一个被识别时，作为识别结果， 提示组中包含的全部信息。
通过这种构成，可以方便地集中图案相同的系列来进行提示。
另外，如图22所示，当在一个大图片上拍摄了一套餐具时，可以提 供识别结果的信息，以反映拍摄了该图片的状态的位置。例如，在从左 到右排列了“叉、大盘子、小盘子、杯子”的情况下，通过也按相同顺 序排列识别结果，可以容易理解与所拍摄的图像之间的对应。而且，即 使在所拍摄的图像中没有反映刀，也可以作为识别结果根据组信息而在 最右面提示刀的信息。
或者如图23所示，在拍摄图像上进行重叠显示，在易于把握对象物 和识别结果的关系的方面也是有效的。
而且，识别结果的显示顺序不限于上述方法，例如也可以将接近所 拍摄的图像的中心的部分显示在列表的最上方。或者，也可以将所拍摄 的图像的上下方向与所登记的图像的上下方向之间的偏差最小的部分作 为可靠性最高的结果显示在列表的最上方。
另外，将所拍摄的对象图像41中包含的要素显示为列表状，但对于 所拍摄的对象图像41中未包含的要素，在该列表上追加“其他”，尽管 为同一层级的组，但在显示上显示为下一层级，这不会使用户观察到不 需要的信息，所以可实现高效的操作。
而且，组结构不限于单一层级，也可以是组包括组那样的层级结构。 此时，关于作为识别结果来提示的内容到哪个级别的层级为止，需要考 虑显示器12的显示画面的大小。如果为大画面，则提示层级结构整体的 信息，并且将所识别的最小单位的要素所属的组显示到详细信息级别， 这样非常有效。另一方面，如果为小画面，则只显示所识别的最小单位 的要素所属的组是有效的。
另外，在商品图片附近配置优惠券图标来作为分类区域41A，用下 面的规则来进行运用，这对于负担和不负担印刷介质的分布的成本分配 是有效的。
即，如图24所示，客户A进行邮购杂志/商品目录杂志的发行，客 户A和客户B被登记为该纸面40上刊登的商品的邮购商。这些邮购商 当然可以按照各个商品而不同。
(1)通过带照相机的移动电话等的带照相机的便携终端10的图像 输入部11对纸面40上刊登的商品进行拍摄。
(2)从带照相机的便携终端10向服务器20(的匹配处理部21)发 送数据。
(3)当在服务器20中从用户的拍摄图像内识别分类区域41A时， 从服务器20向带照相机的便携终端10返回伴随有优惠信息的商品信息。 此时，可以从分类区域41A指定拍摄了哪个纸面的情况与上述第1具体 例所述一样。
(4)用户从上述商品信息连接指定的客户(例如客户B)。
(5)连接目的地的客户(客户B)向本系统运用者支付介绍费。
(6)本系统运用者将从客户处收到的介绍费的一部分支付给上述 (3)中指定的纸面的提供者(此时为客户A)。
其结果，客户A可以回收邮购杂志/商品目录杂志的发行所需费用的 一部分。另一方面，没有发行邮购杂志/商品目录杂志的客户B根据负担 邮购杂志/商品目录杂志的发行成本的一部分这样的合理的关系而可以使 用客户A的邮购杂志/商品目录杂志。
另外，在邮购等希望集中多个对象物来进行处理的情况下，可以为 使用便携应用程序连续多次进行拍摄对象物的操作，将这些多个拍摄图 像发送给服务器20的匹配处理部21的形式。此时，无需每次拍摄时都 重复邮购站点上的操作(向购物篮中进行追加等)和应用程序的拍摄， 提高了集中购买多个物品时的用户的方便性。
另外，在连续拍摄多个对象时，可以在拍摄后自动向服务器20的匹 配处理部21发送数据，将其结果存储在服务器20上。此时，在最终访 问邮购站点时，易于成为将作为迄今为止进行的匹配的结果的多个项目 指定为购买对象的状态，提高了用户的方便性。
进而，在拍摄后自动使用匹配处理部21进行处理时，使用用户迄今 为止的匹配结果，可以提高下次匹配处理中的识别处理的可靠性。即， 在识别处理中，当存在多个最终候选时，该用户根据迄今为止的匹配结 果来推定作为拍摄对象中的类别和属性等，使用该信息可以进一步筛选。
[第6具体例]
下面说明第6具体例。
在上述第5具体例中，叙述了分为多个部位进行登记，但在以动画 作为识别对象的情况下第6具体例是更有效的方法。
在以动画作为识别对象的情况下，只要登记动画中的一部分的帧即 可。例如在第1帧中，当拍摄有演员A和车B时，将演员A和车B作为 组来登记第1帧。第2帧只拍摄有车B，而且本系统中也没有登记第2 帧。在这种状态下用户拍摄第2帧时，可以识别作为第1帧登记的车B， 进而可以一起登记被登记为组的演员A的信息。通过出现这种效果，信 息登记者对没有拍摄演员A的第2帧，无需进行任何作业，所以可以提 高登记作业的效率。而且，并不限于第1帧和第2帧连续的帧，即使第2 帧为在动画中从第1帧经过了规定时间之后的帧也一样。
这样，以演员A和车B分别作为登记对象，而且登记为组，所以也 容易使例如作为演员A和车B的信息提供的内容沿着分别独立的时间轴 发生变化。如图25所示，应该识别的信息的组合有多个，但不必将它们 循环地全部登记，而按照每个个别的对象使信息变化，所以可以以最小 的劳力自动获得所有的组合。