技术领域
[0001] 本
发明涉及用于对从图像中指定一部分区域的用户操作进行支援的技术。
背景技术
[0002] 已知有通过计算机的数字
图像处理将图像分离为应提取的部分(称为前景)及其以外的部分(称为背景)的被称为区域分割(segmentation)的方法。在区域分割中，有时采用如下方法：为了提高分离
精度和根据用户的意图进行分割，使用户指定要作为前景或背景的区域和
像素的一部分作为初始值。作为用于在图像上指定区域、像素的用户
接口，一般使用通过
鼠标的拖拽等来指定矩形区域的方法、通过鼠标的点击等来选择像素的方法、以及利用描绘
软件描绘自由曲线的要领通过鼠标手势(mouse stroke)来指定像素组、区域轮廓的方法等。通过这样的方法，能够指定图像上的任意的像素组作为前景或背景。
[0003] 然而，以往的用户接口虽然适合粗略地指定任意形状的区域或像素组，但是，容易产生选择了非意图的像素这样的误指定。因此，为了准确地指定狭小区域或复杂形状的区域，要求高度的熟练并且需要谨慎的操作，因此存在指定需要耗费时间的缺点。此外，根据系统的用途、设置环境的不同，用于进行区域指定的输入装置的功能、灵敏度贫弱，或者用户的动作存在制约，由此还存在区域指定困难的情况。例如，在制造现场运转的图像检测系统中进行上述的区域指定的情况下，还假定仅有小
键盘(keypad)、
控制器作为输入装置，或必须用不干净的
手指或戴手套的手进行输入操作，在这样的状况下，进行按照意图的区域指定并不简单。
[0006] 非专 利 文 献1:Interactive image segmentation by maximal similarity based region merging,Jifeng Ning,Lei Zhang,David Zhan,Chengke Wu.Pattern Recognition43(2010)445-456
发明内容
[0007] 发明要解决的问题
[0008] 本发明是鉴于上述实际情况而完成的，其目的在于提供用于能够简单且按照意图从图像中指定区域的操作的技术。
[0009] 用于解决问题的手段
[0010] 为了实现上述目的，在本发明中采用如下的用户接口：在对象图像上重叠成为候选的小区域而进行提示，使用户从其中选择期望的小区域。
[0011] 具体而言，本发明是如下区域指定方法，在进行将对象图像分离为前景和背景的区域分割处理时，使用户指定所述对象图像的一部分区域作为要作为前景或背景的区域，该区域指定方法的特征在于包含以下步骤：小区域设定步骤，计算机在所述对象图像中设定一个或多个比像素大的小区域；显示步骤，计算机将在所述对象图像上描绘了所述小区域的边界而得到的指定用图像显示在显示装置中；以及指定步骤，计算机使用户利用输入装置从所述指定用图像上一个多个小区域中选择所述要作为前景或背景的区域。
[0012] 根据该结构，通过计算机来推荐成为候选的小区域，用户仅从该候选中选择满足作为目的的条件的区域即可，因此，能够实现直观且简单的区域指定。此外，通过明示小区域的边界并以该单位进行区域指定，与以往那样通过鼠标等自由地输入任意的区域、像素组的方法相比，对用户的指定进行制约。通过该制约，能够防止选择了非意图的像素这样的误指定的发生，因此，易于进行按照意图的区域指定。
[0013] 所述小区域设定步骤也可以包含分割步骤，在该分割步骤中，通过将所述对象
图像分割为规定的图案，来形成多个小区域(将该分割方法称为“图案分割”。)。由于使用预先决定的图案，因此处理变得简便，能够高速地进行小区域的设定。分割中使用的图案可以是任意图案，但是，当例如使用格子(网格)状的图案时，小区域有规律地排列，因此容易进行小区域的选择。此时，优选的是，所述小区域设定步骤还包含从所述分割步骤中形成的多个小区域中提取一部小区域的提取步骤，在所述显示步骤中，仅将所述提取步骤中提取出的小区域描绘在所述指定用图像上。通过减少指定用图像上描绘的候选的数量(即选择项)，能够使选择哪个候选的意思决定以及选择操作简单化。在所述提取步骤中，优选例如优先提取
颜色或
亮度均匀的小区域、或者不包含边缘的小区域。由此，这是因为能够排除位于跨越前景和背景的
位置处的小区域的可能性高。此外，在所述提取步骤中，还优选以使所提取的小区域间的颜色或亮度的特征的偏差、或者所提取的小区域间的在所述对象图像中的位置的偏差变成最大的方式，选择所提取的小区域。通过这样设定小区域的候选组，能够在用户意图的前景部分和背景部分中分别没有遗漏地设定小区域。
[0014] 所述小区域设定步骤还优选包含分割步骤，在该分割步骤中，根据颜色、亮度和边缘中的至少任意一个特征将各像素彼此集中，从而形成多个小区域。由此，形成与对象图像中的物体的形状、花纹、阴影等对应的形状的小区域。此外，例如由颜色或亮度的特征类似的像素组或被边缘划分的像素组形成各小区域，因此，小区域包含有前景和背景双方的像素的可能性低。因此，如果使用这样形成的小区域作为候选，则即使是狭小区域或复杂形状的区域，也能够简单且按照意图进行选择。在该方法的情况下，优选的是，所述小区域设定步骤还包含从所述分割步骤中形成的多个小区域中提取一部小区域的提取步骤，在所述显示步骤中，仅将所述提取步骤中提取的小区域描绘在所述指定用图像上。通过减少指定用图像上描绘的候选的数量(即选择项)，能够使选择哪个候选的意思决定以及选择操作简单化。例如，在所述提取步骤中也可以优先提取不包含边缘的小区域、或者大小或宽度较大的小区域、或者边界部分的
对比度较高的小区域。通过优先选择不包含边缘的小区域或边界部分的对比度较高的小区域，能够排除包含前景和背景双方的像素的小区域。此外，通过优先选择大小或宽度较大的小区域，能够排除较小而不易选择的小区域。此外，在所述提取步骤中优选以使所提取的小区域之间的颜色或亮度的特征的偏差或所提取的小区域之间的在所述对象图像中的位置的偏差尽可能变大的方式，选择所提取的小区域。通过这样设定小区域的候选组，能够分别针对对象图像中的各种位置、前景部分和背景部分，没有遗漏地设定小区域。
[0015] 此外，优选在所述指定步骤中强调显示作为要作为所述前景或背景的区域而由用户选择的小区域。由此，由于能够容易地区分作为要作为前景或背景的区域而选择的小区域和其以外的小区域，因此，能够防止小区域的误选择，并且能够实现可用性的提高。
[0016] 此外，优选能够由用户变更小区域相对于所述对象图像的大小。这是因为，通过与对象图像中的前景部分和背景部分的大小、形状等对应地适当选择小区域的大小，能够容易进行区域指定。
[0017] 此外，优选的是，还包含图像更新步骤，在该图像更新步骤中，计算机根据用户进行的图像的放大、缩小、平行移动或旋转的指示，对所述显示装置的画面中显示的指定用图像进行更新，在所述图像更新步骤中，还与所述对象图像一起使所述小区域放大、缩小、平行移动或旋转。例如，通过放大显示等，能够详细地确认小区域或其轮廓与图像中的哪个像素重叠，因此，即使是狭小区域或复杂形状的部分也能够容易地进行准确的选择。
[0018] 此外，优选的是，在通过图案分割设定了小区域的情况下，在所述图像更新步骤中，不改变所述小区域在画面上的位置和大小，而仅使所述对象图像放大、缩小、平行移动或旋转。例如，在初始的显示画面中，小区域跨前景和背景的情况下，通过对对象图像进行放大、平行移动、旋转等，能够以使小区域位于前景中或背景中的方式变更显示。因此，能够容易且准确地仅指定前景或进行指定背景。
[0019] 此外，优选的是，所述输入装置具有移动键和选择键，所述指定步骤包含以下步骤：将所述指定用图像上任意一个小区域设为选择状态；在每次从用户接收到所述移动键的输入时，依次改变要设为选择状态的小区域；在从用户接收到所述选择键的输入的情况下，将当前处于选择状态的小区域选择为所述要作为前景或背景的区域。根据这样的用户接口，通过移动键和选择键的简单操作能够无误地选择意图的小区域。该情况下，也可以强调显示当前处于选择状态的小区域。由此，能够容易地区分处于选择状态的小区域和其以外的小区域，因此，能够防止小区域的误选择，并且能够实现可用性的提高。
[0020] 此外，优选的是，所述输入装置是设置在所述显示装置的画面上的触摸面板，在所述指定步骤中，通过由用户触摸显示在所述显示装置的画面上的指定用图像上的小区域，来选择所述要作为前景或背景的区域。根据这样的用户接口，能够更直观地进行意图的小区域的选择。
[0021] 另外，能够获得包含上述处理中的至少任意一个处理的区域指定方法作为本发明，还能够获得根据通过该区域指定方法指定的区域来执行对象图像的区域分割的区域分割方法作为本发明。此外，还能够获得用于使计算机执行这些方法的各步骤的程序、或记录有该程序的存储介质来作为本发明。进而，还能够获得具有进行上述处理的手段中的至少任意一个手段的区域指定装置、区域分割装置作为本发明。
[0022] 发明的效果
[0023] 根据本发明，能够提供可简单且按照意图进行从图像中指定区域的操作的用户接口。
附图说明
[0024] 图1是示意地示出图像检测装置的结构的图。
[0026] 图3是用于说明检测处理中的
检测区域的提取过程的图。
[0027] 图4是示出使用设定工具103设定检测区域的处理的流程的流程图。
[0028] 图5是示出图4的步骤S43的处理的详细情况的流程图。
[0029] 图6的(a)是示出将取入的图像显示在检测区域设定画面中的例子的图，(b)是示出通过区域分割处理而提取出的检测区域的例子的图。
[0030] 图7是用于说明基于第1实施方式的图案分割的指定用图像的图。
[0031] 图8是用于说明基于第2实施方式的过分割的指定用图像的图。
[0032] 图9是用于说明第3实施方式中的小区域的提取方法的一例的图。
[0033] 图10是用于说明第3实施方式的指定用图像的图。
[0034] 图11是用于说明第4实施方式的指定用图像中的区域指定操作的图。
[0035] 图12是用于说明第5实施方式的指定用图像的区域指定操作的图。
[0036] 图13是用于说明第6实施方式的指定用图像的区域指定操作的图。
具体实施方式
[0037] 本发明涉及以下的区域指定方法，该区域指定方法在进行将对象图像分离为前景和背景的被称为区域分割(segmentation)的处理时，使用户将对象图像中要作为前景的区域或要作为背景的区域指定为初始值。本发明的区域指定方法和区域分割方法例如能够应用于在图像检测中从原始图像中提取检测对象物的区域的处理、在图像编辑中进行背景合成时从原始图像中仅裁剪前景部分的处理、从医用图像中仅提取诊断对象的脏器或部位的处理等各种领域。在以下叙述的实施方式中，作为一个应
用例，对在图像检测装置中的检测区域设定功能(设定工具)中安装了本发明的区域指定方法的例子进行说明。
[0038] ＜第1实施方式＞
[0039] (图像检测装置)
[0040] 图1示意地示出图像检查装置的结构。该图像检查装置1是对在输送路上输送的检查对象物2进行外观检查的系统。
[0041] 如图1所示，图像检查装置1由装置主体10、图像
传感器11、显示装置12、存储装置13、输入装置14等
硬件构成。图像传感器11是用于将彩色或单色的静态图像或者
动态图像取入装置主体10的设备，例如能够适合用于数字相机。其中，在用于检测可见光像以外的特殊图像(X线图像、热图像等)的情况下，使用与这种图像对应的传感器即可。显示装置12是用于显示由图像传感器11取入的图像、检查结果、以及与检查处理或设定处理相关的GUI画面的设备，例如能够使用
液晶显示器等。存储装置13是用于存储图像检查装置1在检查处理中参照的各种设定信息(检查区域定义信息、检查逻辑等)、和检查结果等的设备，例如能够利用HDD、SSD、闪存、网络存储等。输入装置14是用户为了对装置主体10输入指示而进行操作的设备，例如能够利用鼠标、键盘、触摸面板、专用控制台等。
[0042] 装置主体10在硬件上能够由具有CPU(中央运算处理装置)、主存储装置(RAM)、辅助存储装置(ROM、HDD、SSD等)的计算机构成，在功能上具有检查处理部101、检查区域提取部102、设定工具103。检查处理部101和检查区域提取部102是与检查处理相关的功能，设定工具103是支援检查处理所需要的设定信息的用户进行的设定作业的功能。这些功能是通过将辅助存储装置或存储装置13中存储的计算机·程序下载到主存储装置中并由CPU执行而实现的。另外，图1仅是示出装置结构的一例，也可以将图像传感器11、显示装置12、存储装置13、输入装置14的全部或一部分与装置主体10一体化。另外，装置主体10可以由个人计算机或平板式终端那样的计算机构成，或者，也能够由专用芯片或机载计算机等构成。
[0043] (检查处理)
[0044] 参照图2和图3来说明与图像检查装置1的检查处理相关的动作。图2是示出检查处理的流程的流程图，图3是用于说明检查处理中的检查区域的提取过程的图。这里，为了便于说明，以便携电话的壳体部件的面
板面的检查(瑕疵、颜色不均匀的检测)为例来说明检查处理的流程。
[0045] 在步骤S20中，通过图像传感器11对检查对象物2进行拍摄，将图像数据取入到装置主体10。此处，根据需要将所取入的图像(原始图像)显示在显示装置12中。图3的上段示出原始图像的一例。在原始图像的中央处映出作为检查对象的壳体部件2，在其左右映出在输送路上的相邻处的壳体部件的一部分。
[0046] 在步骤S21中，检查区域提取部102从存储装置13中读入必要的设定信息。在设定信息中至少包含检查区域定义信息和检查逻辑。检查区域定义信息是对要从原始图像中提取的检查区域的位置、形状进行定义的信息。检查区域定义信息的形式是任意的，例如能够使用在检查区域的内侧和外侧改变了标签的位掩码(bitmask)、或者用贝塞尔曲线或样条曲线表现检查区域的轮廓的矢量数据等。检查逻辑是对检查处理的内容进行定义的信息，例如是检查中使用的特征量的种类，判定方法、特征量提取或判定处理中使用的参数和
阈值等。
[0047] 在步骤S22中，检查区域提取部102根据检查区域定义信息从原始图像中提取作为检查区域的部分。图3的中段示出将由检查区域定义信息所定义的检查区域(由交叉阴影示出)30重叠于原始图像上的状况。可知，检查区域30正好重叠在壳体部件2的面板面上。图3的下段示出从原始图像中提取出检查区域30的部分的图像(检查区域图像31)的状况。在检查区域图像31中，删除了在壳体部件2的周围映出的输送路径和相邻的部件。此外，还删除了被排除在表面检查的对象部位以外的
铰链部分20和按钮部分21。将这样得到的检查区域图像31交给检查处理部101。
[0048] 在步骤S23中，检查处理部101按照检查逻辑从检查区域图像31中提取必要的特征量。在本例中，提取检查区域图像31的各像素的颜色及其平均值，作为用于进行表面的瑕疵、颜色不均匀的检查的特征量。
[0049] 在步骤S24中，检查处理部101按照检查逻辑来判定有无瑕疵、颜色不均匀。例如，在检测到相对于步骤S23中得到的平均值的色差超过阈值的像素组的情况下，能够将该像素组判定为瑕疵或颜色不均匀。
[0050] 在步骤S25中，检查处理部101将检查结果显示在显示装置12中，并记录在存储装置13中。以上，对1个检查对象物2的检查处理完成。在生产线中，与将检查对象物2输送到图像传感器11的视场
角内的
定时同步地，重复图2的步骤S20～S25的处理。
[0051] 在外观检查中，希望不会过量或不足而仅切出要作为检查的对象的像素作为检查区域图像31。这是因为，当在检查区域图像31中包含背景部分或多于余部分(图3的例中为铰链部分20和按钮部分21)时，该像素成为噪声，可能会使检查精度降低，相反，如果检查区域图像31小于要设为检查的对象的范围，则可能会产生检查的遗漏。因此，在本实施方式的图像检查装置1中，准备了设定工具103，用来简单的生成用于切出准确的检查区域图像的检查区域定义信息。
[0052] (检测区域的设定处理)
[0053] 按照图4和图5的流程图来说明设定工具103的功能和动作。图4是示出使用设定工具103来设定检测区域的处理的流程的流程图，图5是示出图4的步骤S43的处理的详细情况的流程图。此外，还适当参照图6和图7的检测区域设定画面例。
[0054] 在起动设定工具103后，在显示装置12中显示图6(a)的设定画面。在该设定画面中设置有图像窗口50、图像取入按钮51、分割显示按钮52、前景/背景切换按钮53、区域大小调整滑
块54、区域分割按钮55、确定按钮56。能够通过使用输入装置14的规定的操作(例如鼠标的点击、按下规定的键等)来进行按钮的选择、滑块的移动、小区域的选择等。另外，该设定画面毕竟仅是一例，只要能够进行以下说明的输入操作、图像的确认等即可，也可以使用任意的UI。
[0055] 在由用户按下图像取入按钮51后，设定工具103通过图像传感器11对检查对象物的样本进行拍摄(步骤S40)。使用良品的检查对象物作为样本，在与实际的检查处理的情况相同的状态(图像传感器11和样本的相对位置、照明等)下拍摄即可。将得到的样本图像数据取入装置主体10。另外，在事先拍摄的样本图像存在于装置主体10的辅助存储装置或存储装置13中的情况下，设定工具103也可以从辅助存储装置或存储装置13中读入样本图像的数据。
[0056] 如图6(a)所示，将步骤S40中取入的样本图像显示在设定画面的图像窗口50中(步骤S41)。在如图6(a)所示对象物具有复杂形状，或者前景(要作为检测区域而提取的部分)和背景(前景以外的部分)的颜色或亮度的差异不太大的情况下，难以通过计算机自动地解释并决定应该在哪里设定检测区域。因此，在本实施方式中，用户将样本图像中的要作为前景的区域和要作为背景的区域作为初始值指示给计算机。此时，为了能够简单且按照意图来进行区域指定，采用如下结构：向用户提示(推荐)能够指定区域的候选，使用户从其中选择期望的区域。
[0057] 在由用户按下分割显示按钮52后，设定工具103生成区域指定用的格子图案重叠图像(以下，简称为指定用图像)，将该指定用图像显示于图像窗口50中(步骤S42)。图7(a)示出指定用图像的显示例。在原始的样本图像上描绘等间隔的格子(grid)图案，通过该格子图案成为在样本图像上设定了多个矩形的小区域的状态。在分割显示按钮52成为选择状态并显示指定用图像后(将该状态称为分割显示模式)，前景/背景切换按钮53和区域大小调整滑块54成为可用状态。在分割显示模式中，用户能够使用输入装置14在指定用图像上指定要作为前景的区域和要作为背景的区域(步骤S43)。
[0058] 图5中示出分割显示模式下的输入事件处理。设定工具103在发生来自用户的输入事件之前处于待机状态(步骤S50)。在发生了某些输入事件后，转移到步骤S51。
[0059] 在输入事件是前景/背景切换按钮53的变更的情况下(步骤S51；“是”)，设定工具103与切换按钮53的状态对应地进行前景指定模式和背景指定模式切换(步骤S52)。
[0060] 在输入事件是小区域的选择的情况下(步骤S53；“是”)，转移到步骤S54。小区域的选择例如可以通过进行使鼠标
光标在指定用图像的任意一个小区域上移动并对鼠标的按钮进行点击的操作而进行。此外，在显示装置12是触摸面板显示器的情况下，可以通过触摸指定用图像的小区域这样直观的操作来选择小区域。在选择了小区域的情况下，设定工具103检测该小区域是否是已经被指定的小区域(步骤S54)。如果是已经被指定的小区域的情况下，解除该指定(步骤S55)。如果是未指定的小区域，在当前的模式是前景指定模式的情况下将该小区域指定为前景(步骤S56；“是”，S57)，在当前的模式是背景指定模式的場合将该小区域指定为背景(步骤S56；“否”，S58)。为了将被指定为前景或背景的小区域区别于其他未指定的小区域，可以变更(强调)小区域的边界和/或小区域内的颜色，或者在小区域内描绘规定的标记。此外，为了区分前景区域和背景区域，也可以使颜色、强调显示的方法或描绘的标记不同。图7(b)示出指定了2个前景区域(由交叉影线表示的小区域)和3个背景区域(由左下降的影线表示的小区域)的例子。
[0061] 在输入事件是区域大小调整滑块54的操作的情况下(步骤S59；“是”)，返回图4的步骤S42。区域大小调整滑块54是用于扩大或缩小指定用图像上重叠的格子的间隔、即小区域的大小的UI。在步骤S42中，根据通过滑块54变更的区域大小进行指定用图像的更新。图7(c)示出缩小了区域大小的情况的例子。在图7(a)中形成有9行12列的108个小区域，与此相对，在图7(c)中，形成有12行16列的192个小区域。例如，在小区域相对于样本图像中的对象物过大、且小区域跨越前景和背景的情况下，通过缩小区域大小，能够实现细小的区域指定。
[0062] 在输入事件是按下了区域分割按钮55的情况下，结束分割显示模式(步骤S60；“是”)。另外，在再次按下了分割显示按钮52的情况下或者按下了图像取入按钮51的情况下，也可以结束分割显示模式。在继续分割显示模式的情况下，返回步骤S50。
[0063] 返回图4，对步骤S44进行说明。在步骤S44中，设定工具103使用步骤S43中指定的前景、背景作为初始值，对样本图像应用区域分割(segmentation)处理。提取区域分割处理的结果所得到的前景部分作为检测区域。另外，针对区域分割处理提出了大量的
算法，设定工具103能够利用任意的算法，因此，此处省略详细说明。将步骤S44中提取的检测区域显示在设定画面的图像窗口50中。用户通过观察设定画面中显示的检测区域，能够确认是否选择了期望的区域作为检测区域。此时，如图6(b)所示，在样本图像上
覆盖显示检测区域(影线部分)后，容易进行检测对象物和检测区域的比较，因此是理想的。
[0064] 然后，在由用户按下确定按钮56后，设定工具103针对所提取的检测区域生成检测区域定义信息，并将其存储在存储装置13中(步骤S45)。另外，在步骤S44中提取出的检测区域不适当的情况下，从图像的取入(步骤S40)或前景、背景的指定(步骤S43)等起重新执行即可。
[0065] (本实施方式的优点)
[0066] 根据以上述结构，由计算机推荐成为候选的多个小区域，用户仅从这些候选中选择满足作为目的的条件的区域即可，因此，能够实现直观且简单的区域指定。此外，通过明确示出小区域的边界并以其为单位进行区域指定，与以往那样通过鼠标等使用户自由输入任意的区域、像素组的方法相比，能够制约用户的指定。通过该制约，能够防止选择了非意图的像素这样的误指定的发生，因此易于进行按照意图的区域指定。
[0067] 此外，如本实施方式那样，将对象图像分割为等间隔的格子状时，相同形状的小区域有规律地排列，容易进行小区域的选择。此外，能够使用户通过区域大小调整滑块54来变更小区域的大小，因此，能够与对象图像的前景部分(或背景部分)的大小、形状等对应地适当调整小区域的大小，区域指定变得容易。另外，在本实施方式中，使用格子状的图案进行对小区域的分割，但是不限于此，也可以使用三角形、六角形等的多角形，或由任意形状的要素构成的网眼图案(mesh pattern)。此外，小区域的形状、大小可以均匀也可以不均匀，其排列可以规律地排列也可以不规律地排列。
[0068] ＜第2实施方式＞
[0069] 参照图8对本发明的第2实施方式进行说明。在第1实施方式中，通过图案分割来生成指定用图像，与此相对，在第2实施方式中不同点在于，根据图像的特征将各像素之间进行集中来生成多个小区域，由此生成指定用图像。即，仅是置换图4的流程中的步骤S42的处理的内容，其以外的结构和处理与第1实施方式相同。
[0070] 与在后段进行的区域分割(前景和背景的分离)相比，本实施方式的分割方法将图像分割为细小的区域，因此下面称为“过分割”。作为过分割的算法，例如能够使用被称为超级像素的方法、聚类(Clustering)和标记(Labeling)等方法。另外，分割为小区域的目的在于，能够易于指定作为后段的区域分割处理的初始值而提供的前景、背景，因此，在进行过分割时，可以至少根据颜色、亮度或边缘的特征判断是否对像素进行统合。在以下说明的本实施方式中，将颜色或亮度的特征类似的附近像素彼此集中而形成小区域。
[0071] 图8(a)示出通过过分割而形成的指定用图像的例子。在过分割的情况下，与第1实施方式的图案分割不同，小区域的大小、形状不均匀，形成与对象图像中的物体的形状、花纹、阴影等对应的形状的小区域。另外，在通过过分割而形成的小区域过小而不便选择的情况下，可以如图8(b)所示，通过区域大小调整滑块54变更条件，重新计算过分割。如图8(b)所示，如果各小区域的大小不大，则能够容易地利用鼠标光标、触摸面板进行区域指定。图8(c)示出在图8(b)的指定用图像中示出了2个前景区域(由交叉影线示出的小区域)和2个背景区域(由左下降影线示出的小区域)的例子。
[0072] 以上说明的第2实施方式的结构，除了能够得到与第1实施方式同样的作用效果以外，还能够得到如下的作用效果。即，通过过分割而形成的小区域具有反映了物体的形状、花纹、阴影等的形状，因此，即使是狭小区域、复杂形状的区域也能够简单地进行选择。此外，通过过分割而形成的小区域由通过颜色或亮度的特征类似的像素组或边缘来划分的像素组构成，因此，其中包含前景和背景双方的像素的可能性低。因此，还具有不易发生选择了非意图的像素这样的误指定的优点。
[0073] ＜第3实施方式＞
[0074] 接着对本发明的第3实施方式进行说明。在第1和第2实施方式中，在指定用图像上显示了全部的小区域，与此相对，在第3实施方式中不同点在于，仅显示一部分小区域。即，仅是置换图4的流程中的步骤S42的处理的内容，其以外的结构和处理与第1实施方式相同。
[0075] 考虑在指定用图像中显示的小区域的各种提取规则。
[0076] 例如，在如第1实施方式那样通过图案分割而形成的小区域的情况下，可以优先提取内部的颜色或亮度均匀的小区域、内部不包含边缘(对比度较高的部分)的小区域等。在图案分割的情况下，与图像的特征无关地形成小区域，因此，有时在跨越前景和背景的位置处存在小区域。指定这样的小区域作为前景或背景是不妥当的，因此，预先从选择项中将其排除对用户是友好的，并且，能够排除误指定该小区域的可能性。
[0077] 此外，在第2实施方式的过分割中，有时形成非常狭小的区域。狭小区域不仅不便选择，而且使指定用图像的可视性降低，是非优选的。因此，在过分割的情况下，例如，优先提取大小(面积)、宽度较大的小区域的方法是合适的。此外，在前景和背景的颜色或亮度几乎没有差别的情况下，即使是过分割，有时也跨前景和背景形成小区域。因此，对小区域内的对比度、小区域的边界部分(轮廓)的对比度进行评价，优先提取不包含边缘的小区域、边界部分的对比度较高的小区域等的方法也是合适的。由能够排除包含前景和背景双方的像素的小区域。
[0078] 此外，作为在图案分割和过分割中均能够应用的方法，以使得所提取的小区域之间的颜色或亮度的特征的偏差(多样性)、或者所提取的小区域之间的位置的偏差(多样性)尽可能大的方式来选择要提取的小区域也是合适的。通过这样决定小区域的候选，能够分别针对图像中的各种位置和前景部分、背景部分，没有遗留地设定小区域。
[0079] 图9示出小区域的提取方法的一例。图9中，在横轴取小区域内的亮度的平均、纵轴取小区域内的亮度的方差的曲线图中，标绘了通过图案分割而形成的全部小区，即，横轴表示小区域间的亮度特征的多样性，纵轴表示小区域内的亮度的均匀性。从横轴的各个位置优先提取在纵轴的下方标绘的小区域即可。在本实施方式中，根据小区域的横轴方向的分布将横轴分割为4个亮度范围A～D，从各亮度范围A～D中提取方差的最小的小区域。另外，从各亮度范围中提取的个数根据属于各亮度范围的小区域的数量来决定或根据方差值来决定即可。
[0080] 图10(a)是仅将图9中提取的小区域(黑圈)描绘于指定用图像上的例子。在前景部分和背景部分上适度地配置有小区域，此外，由于小区域自身的数量较少，小区域之间分离，因此可知，相比于图7(a)的情况，能够简单地进行区域指定。图10(b)示出过分割的情况下的小区域的提取例。该情况下也同样地使区域指定变得简单。
[0081] ＜第4实施方式＞
[0082] 图11示出本发明的第4实施方式。在上述的各实施方式中，使用鼠标或触摸面板选择小区域，但在第4实施方式中，通过键盘或小键盘那样的输入装置选择小区域。其以外的结构与其他的实施方式的结构相同。
[0083] 在本实施方式的输入装置中设有移动键和选择键。在本实施方式的设定画面中，如图11(a)所示，指定用图像中的任意1个小区域成为选择状态(聚焦的状态)。在图11(a)的例中，处于从左数第3列、上数第3行的位置的小区域成为选择状态，描绘有聚焦框。当用户按下移动键时，聚焦框1个1个地移动。图11(b)示出聚焦框向右侧移动后的状态。可以是，能够使用上下左右的
箭头键在任意的方向上移动聚焦框，也可以是，使用空格键等
1个移动键在1个方向上按顺序使聚焦框移动。而且，当用户按下选择键时，将当前处于选择状态的小区域(有聚焦框的小区域)指定为前景或背景(参照图11(c))。该情况下，可以按照通过前景/背景切换按钮53设定的模式来确定是前景还是背景，但是，例如在分别设有前景选择键和背景选择键的情况下，也可以不按照模式，而按照被按下的选择键的种类来确定是前景还是背景。
[0084] 根据本实施方式那样的接口，能够通过移动键和选择键的简单操作无误地选择意图的小区域。此外，在本实施方式中，由于通过聚焦框来强调显示处于选择状态的小区域，因此，能够容易地区分处于选择状态的小区域和其以外的小区域，能够防止小区域的误选择，并且还能够实现可用性的提高。另外，强调显示的方法不限于聚焦框，可以使用改变小区域的框或区域内部的颜色等任意的方法。
[0085] ＜第5实施方式＞
[0086] 图12示出本发明的第5实施方式。在本实施方式中，用户能够使图像窗口50中显示的对象图像进行放大、缩小、平行移动(滚动)或旋转。这些操作指示例如可以是可通过鼠标的拖拽或滚轮操作进行，也可以是可通过触摸面板的拖拽、捏合操作进行。
[0087] 图12(b)示出将图12(a)的图像进行放大和平行移动后的状态。此时，图像窗口50内的指定用图像虽然被更新，但是，显示倍率和显示位置发生变化的仅是对象图像，在对象图像上重叠的小区域的位置和大小不变。该功能能够用于使小区域与对象图像的中的期望区域对准位置。例如，在图12(a)的例中，3个小区域中的上侧的2个均被配置在跨前景和背景的位置。这样的情况下，如图12(b)那样调整对象图像的倍率和位置，能够将小区域配置成不跨前景和背景。因此，通过利用该功能，优点是准确地仅指定前景或仅指定背景变得容易。
[0088] ＜第6实施方式＞
[0089] 图13示出本发明的第6实施方式。在上述的第5实施方式中，仅图像进行放大/缩小、平行移动、旋转，小区域的位置和大小保持不变，与此相对，在第6实施方式中，不同之处在于将图像和小区域一起进行放大等。放大等的操作指示与第5实施方式相同。
[0090] 图13(b)示出将图13(a)的图像进行放大和平行移动后的状态。该功能可用于详细地确认对象图像和小区域的整合等。例如，在图13(a)所示的标准倍率的图像中，存在不易看出在图像中的狭小区域、复杂形状的部分中怎样形成了小区域的情况。与此相对，在图13(b)的放大图像中，能够详细地确认小区域及其轮廓与图像中的哪个像素重叠。因此，通过利用该功能，准确的区域选择变得容易。
[0091] 上述的实施方式示出本发明的一个具体例，不意味着将本发明的范围限定于这些具体例。例如，在上述实施方式中说明了将本发明应用于图像检测装置的检测区域设定的例子，但是，本发明能够应用于使用区域分割(segmentation)的所有装置。
[0092] 标号说明
[0093] 1：图像检测装置
[0094] 2：检测对象物(壳体部件)
[0095] 10：装置本体，11：图像传感器，12：显示装置，13：存储装置，14：输入装置[0096] 30：检测区域，31：检测区域图像
[0097] 50：图像窗口，51：图像取入按钮，52：分割显示按钮，53：前景/背景切换按钮，54：区域大小调整滑块，55：区域分割按钮，56：确定按钮
[0098] 101：检测处理部，102：检测区域提取部，103：设定工具
