图像校正处理是指从作为处理对象的帧图像数据检测出校正参数，利 用校正参数对图像数据实施校正的技术，已知有图像的倾斜校正技术、图 像的摇动校正技术。
图像的倾斜校正技术是推定从作为基准的角度倾斜的倾斜角，并根据 该倾斜角校正图像的技术。摇动校正技术是通过将连续拍摄的多个帧图像 数据中的背景区域固定在同一位置来校正拍摄时的摇动的技术。
现有的倾斜校正技术广泛应用于扫描仪或复印机等光学读取设备的产 业领域，但是近年还不断研究向摄影设备的产业领域的应用。此外，作为 倾斜校正技术的成果的工业制品，有图像处理装置和组装有该图像处理装 置的摄像机、以及用于摄影处理的程序。
下面，说明在摄像机中的应用所具有的技术意义。在步行的同时用摄 像机进行拍摄的情况下，随着拍摄者自身的运动，拍摄中的摄像机也一起 摇动。因此，在步行时所拍摄的影像不只是始终保持水平状态来拍摄的影 像。此外，在不观看摄像机所带的取景器而进行拍摄的情况下，拍摄者不 能看到实际拍摄的影像，因此，与前面的说明一样，不能始终得到拍摄者 所期待的保持水平状态的影像。
在从水平状态倾斜的状态下拍摄的影像不利于视听。在把该倾斜的影 像校正为水平时，需要上述的倾斜校正技术。所述倾斜校正技术中，怎样 决定作为其基准的角度成为较大问题。下面的专利文献1公开了如下技术： 在从扫描仪读取的文章图像中，通过将文章图像的倾斜用作基准，来实现 倾斜校正。
专利文献1：日本特开2005-184685号公报
然而，在上述的图像处理中，是否能够实现高精度校正的关键是能否 高精度地检测出用于校正的校正参数。即，若能够高精度地检测出用于校 正的校正参数，则一定能够提高校正后的图像的质量。例如，在倾斜校正 时，为了从帧图像数据检测出旋转角度，必须执行叫做霍夫(hough)变换 的检测算法。但是，由于霍夫变换中必须要对每个像素进行运算，所以运 算负荷较大，在作为处理对象的图像为1920×1080的析像度的情况下，运 算量较大，不适合安装在便携设备中。
因此，为了提高精度，认为事先取得在帧图像中的哪个地方拍出了什 么这样的信息比较好。这是因为，一般而言，由扫描仪等取入的文章图像 中，布局为预定的，在光学设备的应用领域，将这样的布局信息作为线索 来推定角度。
但是，在用摄像机等来拍摄的影像的摄影条件和拍摄环境会根据拍摄 者和拍摄时机而不同，因此，不能够期待得到如上述布局信息那样的有效 的事前信息。

本发明的目的在于提供一种图像处理装置，该图像处理装置能够在不 需要有关所拍摄的内容的事前信息的情况下以高精度检测出校正参数。
用于解决上述问题的图像处理装置，使用校正参数对帧图像数据进行 校正，包括：生成单元，生成帧特征数据，该帧特征数据表示帧图像数据 中的图形的特征；计算单元，对构成作为处理对象的帧图像数据的各像素 块的每一个，计算时间上来自在前的帧图像数据的运动矢量；范围指定单 元，根据对各像素块计算的运动矢量，指定帧特征数据全体中的应实施屏 蔽的范围；以及检测单元，从帧特征数据中的被实施了屏蔽的范围以外的 部分中，检测出校正参数。
发明效果
如上所述，具备问题解决手段的图像处理装置中，被实施屏蔽的范围 是根据对各像素块计算出的运动矢量来指定的。在此，在图像数据上的区 域中的、包含在近景中的物体或人物像等中，来自在前的帧的运动矢量的 大小或运动矢量的方向发生变化的较多，存在有这样的物体或人物像的部 分被指定为应实施屏蔽的部位。
这样，对近景中包含的物体或人物像等近景区域实施屏蔽，因此对被 实施屏蔽的区域以外的区域即通过拍摄得到的图像数据上的区域中的现实 世界中的远景区域，执行用于检测校正参数的运算处理。
在此，在远景区域中包含有高层大厦等具有原本水平或垂直的边缘成 分值的物体的情况较多。具体举例而言，认为高层大厦等构造物大多包含 在远景区域中。
通过把用于检测校正参数的运算范围缩小到经上述屏蔽而剩下的区 域，即建筑物等静止体被拍摄的可能性较高的远景区域内的特征量，由此， 以高概率检测出构造物等现实世界中的具有水平、垂直成分的物体的边缘 等来作为校正参数。若使用该校正参数进行图像处理，则通过倾斜校正、 摇动校正等校正处理能够得到高质量的图像。
由于从帧特征数据中的被实施了屏蔽的部分以外的部分检测出校正参 数，因此hough变换等用于检测校正参数的检测算法的执行范围缩小。通 过缩小范围，能够使检测算法执行的处理负荷变小，大大减少功耗。由此 能够把图像处理装置适当地安装到便携设备上。由于被实施屏蔽的部位大 体是近景区域，因此能通过对连续的帧进行运动矢量计算来指定。通过所 述运动矢量的计算，能够确定实施屏蔽的范围，因此不需要事先信息，就 能够高精度地检测出校正参数。
附图说明
图1是表示组装了本发明的图像处理装置的摄像机100的使用行为方 式的图。
图2是表示组装了本发明的图像处理装置的摄像机100的硬件结构的 图。
图3是表示本发明的图像处理引擎50的软件结构的功能结构图。
图4(a)是示出由DMA控制器20写入帧存储器30及帧存储器40 的帧图像t-1、帧图像t的图。图4(b)是示出构成帧图像的多个块的图。 图4(c)是示出表现帧图像中的一个像素的像素值的Y、Cr、Cb的32比 特数据的图。
图5(a)是示出对图4所示的帧图像t得到的帧特征数据的图。图5 (b)是示出在推定角度时所生成的直方图的一例的图。
图6(a)是示出相对连续的帧图像的运动矢量的检测结果的图。图6 (b)是示出表示近景区域的信息的一例的图。图6(c)是示出近似于由 16像素×16像素构成的块的形状的近景区域形状的图。
图7(a)是示出表现倾斜的有效边缘信息的所在的图。图7(b)、图 7(c)是示出屏蔽图案的一例的图。
图8(a)是概念性地示出用于屏蔽处理的逻辑运算的图。图8(b)是 直方图，把实施屏蔽时得到的出现频率用实线表示，把没有实施屏蔽时得 到的出现频率用虚线表示。图8(c)是对近景区域和远景区域的边界上的 模拟轮廓生成的边缘信息的图。
图9(a)是示出对实施了近景区域屏蔽的帧图像进行角度推定时得到 的直方图的图。图9(b)是倾斜校正部7根据20度的推定角度进行了旋转 校正而得到的校正图像的图。
图10是表示对帧图像进行区域分割的处理步骤的流程图。
图11是表示从特征量提取到角度推定的处理步骤的流程图。
图12是表示第2实施方式的图像处理装置的硬件结构的图。
图13(a)是表示通过近景区域分离得到的直方图的图。图13(b)是 表示根据传感器值缩小的推定范围的图。
图14(a)是在第3实施方式中的倾斜角推定处理中成为题材的帧图 像数据，是在巴士车内拍摄的图像数据。
图14(b)是对图14(a)的帧图像数据进行特征量提取而得到的帧特 征数据的图。
图14(c)表示对近景区域实施了屏蔽的帧特征数据。
图14(d)表示对远景区域实施了屏蔽的帧特征数据。
图15是表示实施了屏蔽的图像数据和对这些帧图像数据制作的直方 图的图。
图16是表示第3实施方式的图像处理装置的内部结构的图。
图17是表示第3实施方式的带可靠度的倾斜校正处理的处理步骤的流 程图。
图18(a)是表示作为摇动校正的对象的连续帧的一例的图。
图18(b)是示出旋转矩阵R的一例的图，该旋转矩阵R用于将帧t -1的图像数据的(X4，Y4)(X5，Y5)变换为与帧t-1的图像数据的(X1， Y1)(X2，Y2)一致。
图18(c)是实施了摇动校正的帧图像t-1的一例。
图19(a)是对帧图像t-1和帧图像t生成的帧特征数据。
图19(b)是对图19(a)的帧图像t-1和帧图像t中的近景区域进行 屏蔽来得到的帧特征数据的图。
图19(c)是表示从帧图像t-1的帧特征数据和帧图像t的帧特征数 据检测出的特征点的图。
图20(a)、图20(b)是对没有实施摇动校正的两个帧图像数据和实 施了摇动校正的两个帧图像数据进行对比来示出的图。
图21是表示第4实施方式的图像处理装置的内部结构的图。
图22是摇动校正处理的流程图。
图23是示出投影到单位球面(半径＝1)上的坐标上的帧图像t-1的 特征量和帧图像t的特征量的图。
图24(a)是示出构成连续帧的帧t-1的图像数据、帧t的图像数据 的图。
图24(b)是从构成帧t的图像数据的各宏块检测出的运动矢量的图。
图24(c)是示出在存在构造物的区域内构造物以外的区域作为噪声 存在的事例的图。
图25(a)是把图24的帧特征数据分离为与摇动特征(t-1，t)的结 果相同的运动矢量所占的区域和与摇动特征(t-1，t)的结果不同的方向 的运动矢量所占的区域的图。
图25(b)是只表示对各宏块计算的运动矢量中具有与摇动量推定结 果相应的方向的运动矢量的图。
图25(c)是示出在作为校正参数的倾斜角的检测中使用的帧特征数 据的图。
图26是表示第5实施方式的图像处理装置的内部结构的图。
图27是摇动量推定处理的流程图。
图28是第5实施方式的图像处理装置整体的流程图。
图29是第6实施方式的图像处理装置的内部结构的图。
符号说明
10 摄像设备
20 DMA控制器
30 帧存储器
40 帧存储器
50 图像处理引擎
60 卡驱动器
70 角速度传感器
100 摄像机100
1 特征量提取部
2 线段检测部
3 角度推定部
4 运动矢量计算部
5 屏蔽范围指定部
6 屏蔽部
7 倾斜推定部
8 编码部
51 远近两用屏蔽部
52 带可靠度的角度推定部
53 倾斜角选择部
54 摇动特征提取部
55 摇动量推定部
56 摇动校正部
57 屏蔽图案放大部
58 摇动校正及倾斜校正部
59 测距传感器

下面，参照附图说明本发明的图像处理装置。
(实施方式1)
本实施方式是从作为处理对象的帧图像数据检测出倾斜来作为校正参 数，并用该校正参数对作为处理对象的帧图像数据实施图像处理的方式之 一。该图像处理包括旋转变换。
图1是示出本发明的图像处理装置所适用的摄像装置的使用方式的 图。如该图所示，用户可通过使用吊绳把组装了本发明的图像处理装置的 摄像机100带在身上，能够进行基于免提摄影技巧的摄影。在该摄像机100 的壳体上存在用于装卸作为记录介质的半导体存储卡的卡槽101、受理摄影 开始操作的录像按钮102以及受理摄影停止操作的停止按钮103。用户通过 按下录像按钮102，使摄像机100开始基于免提摄影技巧的摄影处理。此外， 对通过摄影得到的帧图像进行倾斜校正。进行倾斜校正后的图像数据作为 静止图像、或作为运动图像而将连续输出的数据编码后，写入到半导体存 储卡等记录介质中。
图2是组装了本发明的图像处理装置的摄像机100的硬件结构图。
摄像机100包括摄像设备10、DMA控制器20、帧存储器30、帧存储 器40、图像处理引擎50、以及卡驱动器60。
(摄像设备10)
摄像设备10例如包括CCD(电荷耦合设备)成像传感器、CMOS(互 补金属氧化物半导体)成像传感器等摄像元件。摄像元件所接受的光量(模 拟值)被AD变换，每规定定时作为一个画面量的数据写入到后述的帧存 储器30、帧存储器40。
(DMA控制器20)
DMA控制器20把由摄像设备10得到的图像数据不经由MPU而直接 写入到存储器40、帧存储器30。
例如，把连续的两枚帧图像t-1和帧图像t这两枚图像交替写入到预 先准备的多个存储器区域、帧存储器30和帧存储器40。
(帧存储器30、40)
帧存储器30、40是为了预先保存连续的帧图像而按照每规定定时准备 的存储区域。帧存储器不需要在物理上分离，也可以是在存储器(SD- RAM)内分割的近景区域。这些帧存储器30、帧存储器40的地址空间以 能够由后述的MPU访问的规定方式映射在地址空间上。
(图像处理引擎50)
图像处理引擎50对保存在帧存储器30中的帧图像实施用于倾斜校正 的图像处理。在此，例如图像处理引擎(图像处理装置)以von neumann 式(诺伊曼型)的一般计算机构造为基础，在总线上连接了MPU、RAM、 外部插槽存取部(存储卡60等)。图中，DSP是用于对存储在帧存储器中 的图像数据进行处理的处理器。
(卡驱动器60)
卡驱动器60是为了把由图像处理引擎50实施了编码后的帧图像写入 到用于记录的外部记录介质(半导体存储卡等)而准备的插槽。
以上是摄像机100的硬件结构。
用图3说明图像处理引擎50的功能模块。
图像处理引擎50包括特征量提取部1、线段检测部2、角度推定部3、 运动矢量计算部4、屏蔽范围指定部5、屏蔽部6、倾斜校正部7、编码部8。
(特征提取部1)
特征量提取部1对在时刻t的定时拍摄的图像数据即保持在帧存储器 30中的图像数据的亮度成分，提取出边缘成分。作为用于检测出边缘的方 法，例如，利用Sobel滤波器或Canny滤波器对各像素进行提取，并把取 得的值与规定阈值进行比较等，由此检测出边缘。将被提取了特征的图像 数据作为帧特征数据记录到DPRAM中。
记录到DPRAM内的帧特征数据，表示存在于帧图像内的被摄体的特 征性轮廓线。
图5(a)表示对图4所示的帧图像t得到的帧特征数据。帧特征数据 由亮度信息的边缘成分的数据构成。该亮度信息的边缘成分是通过噪声去 除等而去除了不适当的边缘成分之后得到的数据。在该帧特征数据中，将 不是边缘的像素用黑底，边缘部分用白色示出的画表示。图中的白色线段 是判断为边缘成分的像素的集合，包含有帧图像中存在的人物和构造物的 轮廓。
(运动矢量计算部4)
运动矢量计算部4通过对记录时刻t的图像数据的帧存储器30的图像 数据和记录时刻t-1的图像数据的帧存储器40中所保存的图像数据进行 比较，对时刻t的图像数据计算出块单位的运动矢量，并取得作为其标量 的运动量。
通过帧图像t-1的图像数据中包含的、与时刻t的图像数据的规定块 (例如，由纵16像素×横16像素构成的块的像素值)相同大小的范围的 像素中，检测出与该规定块相关值较高的范围，能够实现检测出时刻t的 规定块对应于帧图像t-1的哪个位置。
作为例子，详细说明块匹配法。帧被以块单位划分，假设其块的大小 被是预先设定的大小，例如统一成横16像素×纵16像素等。块匹配法是， 假定规定的1个块内所包含的像素(如16×16像素)在块单位下运动是相 同的，并将当前的图像内划分为多个块，通过检索当前帧的规定块与其他 (或当前)的图像内的哪个像素值(16×16)的相关高，由此建立规定块 在帧间怎样运动的运动对应关系。运动矢量检测部4对构成帧图像的块单 位，用帧图像t-1和帧图像t进行匹配，利用测量SAD(Sum of Absolute Difference：绝对误差和)等相似度的方法，对每个块探索相似度最高的块。 探索范围是从该块起的一定范围内，在该范围内，对当前的帧中所包含的 每个块检测出运动矢量。
此外，在DSP为MPEG等运动图像编码用的专用DSP的情况下，能 够把对帧存储器30、40中连续保持的图像数据进行运动图像编码的过程中 DSP所取得的运动矢量，用作运动量。
关于运动量检测，利用所拍摄的图像数据来具体说明。
图4(a)是表示在时刻t-1的定时写入帧存储器30中的图像数据和 在时刻t的定时写入帧存储器40中的图像数据的图。在此，在图4中，假 设从帧图像t-1到帧图像t，人物向左以较大幅度移动。跟踪该人物的运 动，拍摄者将摄像机100向左方向以比人物的移动量小的移动量稍稍移动。 (根据图4(a)，帧图像t-1、帧图像t中所拍摄的两个图像是在从水平倾 斜20度的状态下拍摄的。(此外，帧图像t-1是为了便于说明而假设为最 近前面(1帧之前的帧))。
图4(b)是表示在检测出运动量之后进行的块分割的图。假设帧图像 具有横720像素×纵480像素的析像度。例如，分割为各具有横16像素× 纵16像素的大小的多个块。在这些块中，赋予了以帧图像的左上坐标为原 点的坐标系，各块例如左上的块成为围绕(0，0)、(15，0)、(0，15)、(15， 15)这4点坐标的坐标，能够利用块中的端点的坐标中的任一个坐标(例 如(0，0)、(15，0)、(31，0)、(0，15)、(15，15)、(31，15))来唯一 地识别各块。
图6(a)是示意性地示出图4(a)所示的连续的帧图像被拍摄的例子 中的运动矢量的检测结果的图。图中的箭头示意性地示出所检测到的运动 矢量的方向和大小。从帧图像中人物像所占的范围(范围内包含的块)检 测出各个较大的运动矢量(设范围内的块的运动量平均为“1”的运动矢量)。
(屏蔽范围指定部5)
屏蔽范围指定部5在屏蔽部6进行屏蔽时，进行应对帧特征数据中的 哪个范围实施屏蔽的范围指定。在该范围指定中，屏蔽范围指定部5通过 对各块中的运动矢量的大小的平均值(或者是运动矢量的大小变形后的值) 和各块的运动量进行比较，分离图像中的近景区域，并提取出表示是否为 远景区域的信息。之后，把帧特征数据中的相当于被分离的近景区域的范 围指定为要进行屏蔽的范围。
首先，屏蔽范围指定部5为了仅在图像整体没有极大幅度地运动的情 况下判断是否为远景区域，而进行预处理。
在预处理中，判断帧图像整体中的运动量(例如，所有像素块的运动 量的平均值)是否比规定的上限值大。在判断为运动量的平均值比上限值 大的情况下，摄像机100摇动很厉害，所以考虑为帧图像成为模糊图像。 该情况下，屏蔽范围指定部5丢弃帧存储器30中所保存的帧图像t，中止 (中断)特征量提取部1进行的特征量提取。从而下一帧图像成为特征量 提取部1的处理对象。通过这样的预处理，由于图像整体大幅度运动而变 模糊的帧图像被从近景区域分离的对象中排除。以上为屏蔽范围指定部5 的预处理。
接着，按照以下的步骤进行近景区域分离。
将构成时刻t的帧图像的各块的运动量和规定的分割指标进行比较。 在块的运动量大于规定的分割指标时判断为近景区域，在块的运动量小于 规定的分割指标时，判断为远景区域(不是近景区域的区域)。
在此，分割指标的值可以是绝对量(事先指定的值)，也可以是相对量 (所有块的运动量的平均值等图像数据中相对求得的值)。
在为相对量的情况下，屏蔽范围指定部5通过对规定的定时的图像数 据计算运动量的平均值、中央值等，求出上述的分割指标，并把该指标和 各块的运动量再次进行比较，由此进行近景区域的判断。
在以上的判断之后，是否为块单位的远景区域的判断结果(二进制数 据)和块位置坐标一起被保持。
图6(b)示出关于通过上述判断而判断为近景区域的块的位置坐标保 持形式。
图6(c)是示意地示出把利用该块的位置坐标连接图4(b)所示的块端 点坐标而形成的近景区域的图。如图6(c)所示，用16像素×16像素的 块形状来近似地构成近景区域。
如上所示，在屏蔽范围指定部5中，进行帧图像t的各块是近景还是 远景的判断处理。
(屏蔽部6)
屏蔽部6输入由特征提取部1得到的帧特征数据和表示由屏蔽范围指 定部5得到的近景区域(块)的信息，并进行屏蔽处理。这里的屏蔽是通 过对构成屏蔽图案的各像素和构成帧特征数据的各像素进行逻辑运算来实 现。图7(a)是示出在帧特征数据中存在的边缘信息中存在表现倾斜的边 缘群和不表现倾斜的边缘群的图。具体而言，在边缘信息中，与运动量大 的区域内(近景区域)存在的人物图像对应的部分的边缘信息不表现出倾 斜(现实世界中的垂直)，运动量小的区域内(远景区域)存在的构造物所 对应的部分的边缘信息表现出倾斜(现实世界中的垂直)。这是因为，大厦 等构造物是相对于地面垂直地建成，其边缘的垂直成分表现为垂直。
图7(b)是示出屏蔽部6在屏蔽中使用的屏蔽图案的一例的图。该图 中的屏蔽图案对应于图6(c)，近景区域的部分成为单一黑色，远景区域成 为单一白色。若对各像素的每一个实施与该屏蔽图案之间的逻辑运算，则 其结果是，仅提取出与近景区域对应的特征量。
生成屏蔽图案的具体步骤如下。首先，将帧图像中的判断为近景区域 的区域设为0000，把判断为远景区域的区域设为FFFF值，来制作屏蔽图 案。图7(c)是示出从图5(a)的帧特征数据得到的屏蔽图案的图。
接着，进行屏蔽图案和帧特征数据之间的逻辑运算(AND运算等)。 图8(a)是示意地示出根据帧特征数据和屏蔽图案计算倾斜检测中使用的 帧特征数据的图。如图8(a)所示，生成从图5的帧特征数据所示的边缘 中删去了判断为近景区域的区域的边缘信息(包含与远景区域相对应的区 域的边缘)的帧特征数据。
通过这样的处理，仅留下判断为不是近景区域的(远景区域)的区域 中的特征量(此外，下面把屏蔽范围指定部5进行的分离和屏蔽部6进行 的屏蔽合并称为“近景区域分离”。)。
(线段检测部2)
线段检测部2利用通过屏蔽部6的输出而进行了“近景区域分离”的 帧特征数据，从图8(a)的帧特征数据中检测出表示旋转角度的角度成分。 作为从图像数据中检测出角度成分的方法，能够利用众所周知的hough变 换等。此外，在角度成分的检测中，需要检测出构成图案的轮廓的线段， 根据所检测到的线段来检测出图像的角度成分，所述角度成分的检测的算 法能够利用例如日本特开2007-141167等中公开的方法。
此外，本发明中，作为用于从图像检测出角度成分的优选方法，发明 者使用了利用浓度梯度的方法来代替了hough变换。浓度梯度法也与hough 变换同样，是利用图像上的线段信息来检测倾斜角的方法，在两种方法中 都使用的图像特征是图像中的边缘信息。与hough变换的不同点在于，积 极利用线段信息在图像上表现为浓度梯度的情况，代替直接求出线段而利 用浓度梯度的总体来处理线段。线段存在的情况表明，在图像上线自身的 像素值和其周边的像素值之间存在较大的差(浓度的梯度)，通过检测出该 差，能够利用作为浓度梯度总体的线段信息。
通过这样利用浓度梯度法，与hough变换相比，其计算成本降低，并 且能够作为浓度梯度的总体来利用线段信息，因此抗噪声能力强，能够检 测出稳定的倾斜角。此外，在利用hough变换的情况下，处理的并行化较 困难，但是在利用浓度梯度的情况下，还有容易并行化的优点。此外，在 利用hough变换时为了使噪声降低，需要去除较短的线段而只利用较长的 线段等对策，因此需要一定长度以上的线段。但是，考虑到使用相机的各 种状况，不限于总是能够得到一定程度以上长度的线段的情况。另一方面， 浓度梯度法由于作为浓度梯度的总体来处理线段信息，所以对于线段信息 不需要一定的长度。因此，浓度梯度法具有在各种环境下都能够得到比通 过hough变换得到的结果更稳定的结果的优点。
(角度推定部3)
角度推定部3根据由线段检测部2检测到的线段的长度和角度信息， 推定图像数据从水平轴起倾斜了多少度的倾斜角。
首先，以帧为单位输入从线段检测部输出的角度信息，生成每规定单 位的角度的直方图。这里，例如将以1度为单位输入的线段的角度信息总 结为以10度为单位的角度信息，在-90度～90度的范围内制作直方图。
图8(b)中虚线所示的直方图是利用现有方法，基于从屏蔽处理部对 帧特征数据没有实施屏蔽时的图像数据(包含运动量较大的近景区域的帧 特征数据)计算出的角度信息的直方图。图8(b)的直方图中用虚线示出 的图表中，还考虑了从人物像(近景)对应的部分检测出的边缘信息的发 生频率，所以表示人物像的倾斜的角度频率最高。
此外，用图8(b)的实线所示的直方图示出了本发明的角度信息。利 用屏蔽处理部对帧特征数据实施屏蔽后的结果是，从运动量较小的远景区 域的边缘图像的线段中提取的角度信息的直方图。
在图8(b)的实线所示的直方图中，人物像的边缘方向所对应的角度
(第1方向)的频率降低，取而代之的是，(处于远景)静止体像的角度(第 2方向)的频率变高，因此，该静止体像的角度(20度)被推定为正确的 垂直成分。
角度推定部提取与直方图的峰值相当的角度(该情况为20度)，并作 为倾斜角输出到倾斜校正部。
以上的线段检测部2、角度推定部3进行校正参数之一的倾斜角的检 测，因此线段检测部2和角度推定部3的组合对应于“校正参数检测部9”。
(倾斜校正部7)
倾斜校正部7用角度推定部3推定的角度进行帧图像t的倾斜校正。
作为校正的方法，采用Affine变换等。对于进行了近景区域屏蔽的帧 图像，在角度推定部3进行了角度推定的情况下，直方图如图9(a)所示， 被推定出20度的角度，因此若倾斜校正部7根据该角度进行旋转校正，则 能够得到如图9(b)所示的校正图像。
(编码部8)
编码部8利用由倾斜校正部7进行了倾斜校正后的帧图像，例如，i) 将进行了倾斜校正的帧图像作为静止图像进行编码，或ii)把在进行倾斜校 正之后连续输出的图像数据通过运动图像编码而作为运动图像进行编码， 并用于卡驱动器60进行的记录。
以上是本发明的摄像装置和图像处理装置的功能。
如上，在本发明中，为了提高将现实世界中的构造物的线段作为基准 角度进行角度校正的概率，而使用作为远景区域的边缘成分的帧特征数据 (从除去了远景区域的影响的帧特征数据)来提取出表示旋转角度的角度 成分。
由此，例如，i)提取出被认为原本包含很多水平、垂直成分值而包含 很多地面上垂直建立的构造物的远景区域，或ii)能够除去较近的近景中所 包含的物体(上述人物像)的上述边缘成分的影响，能够提高以真正的水 平、垂直线段为基准进行角度校正的概率。
(屏蔽部6在提取特征量之后进行屏蔽的理由)
在上述的处理过程中，屏蔽部6在特征提取部1提取出特征量之后进 行屏蔽是有理由的。若在提取特征量之前进行近景远景的屏蔽处理，则近 景区域和远景区域的边界处的模拟轮廓会被多余地检测出，该模拟轮廓的 边缘信息也作为用于推定角度的特征而被计算。图8(c)是表示对近景区 域和远景区域的边界的模拟轮廓生成的边缘信息的图。
该边缘信息成为噪声，因此会对检测结果造成不良影响。为了除去这 样的边缘信息，在特征提取部1提取出特征之后，在近景区域和远景区域 进行屏蔽处理。通过这样做，能够只利用纯粹处于远景区域的边缘信息， 从而能够提高以真正的水平、垂直成分为基准进行角度校正的概率。这样， 以提高倾斜检测的精度为目的，屏蔽部6在特征提取部1的特征量提取后 进行屏蔽。
此外，图像处理引擎50也可以使用运动图像编码用的DSP，来作为运 动检测部。通过把该DSP检测的运动矢量作为供给屏蔽范围指定部的运动 量，能够使用通用的处理器来实现本发明的图像处理装置。
此外，在本实施方式中，在远景区域的提取(近景区域的判断)中， 通过运动矢量计算部4的输出与每个块的运动量的值的绝对值(或者相对 值)进行了比较，但是不限于此。
例如，在叫做Shape from Focus(SFF，对焦法)的方法中，取得多枚高 速变换焦距的图像，通过检测出焦点位置，推定相机离图像数据中的物体 的距离，并进行近景远景区域的分割。
此外，也可以通过把存在有大厦等几何学外观的物体的区域通过模板 匹配等方法进行对照，来把近似度高的区域作为“构造物的区域(远景区 域)”进行近景远景区域的分割。
(实施方式1的变形例)
在实施方式1中说明的屏蔽范围指定部、屏蔽部、线段检测部、角度 推定部、倾斜校正部等的各功能也可以作为使MPU执行图10、图11的流 程图所示的处理步骤的程序来安装。
图10是表示对帧图像进行近景区域分离的处理步骤的流程图，图11 是表示从特征量提取到角度推定的处理步骤的流程图。图10的流程图中， 步骤S2是运动矢量计算部4的处理，步骤S3～步骤S12是屏蔽范围指定 部5的处理。在图11的流程图中，步骤S23～步骤S27对应于屏蔽部6的 处理，步骤S28对应于线段检测部2的处理，步骤S29～步骤S31对应于 角度推定部3的处理。
下面，对摄像机100应进行的软件处理进行说明。
用于实现图10、图11的流程图的程序在实时OS上，作为多个任务进 行处理，因此内核通过把该程序加载到RAM中，来生成关于该程序的任 务。之后，执行表示开始摄影的用户操作，如果按照该用户操作发生中断， 发生任务的先占，则开始图10的流程图所示的处理。
本流程图的步骤S1构成等待得到帧图像的事件成立等待循环。若得到 帧图像，则转移到由步骤S2～步骤S12构成的处理。该处理对构成帧图像 t的各块计算运动矢量(步骤S2)，取所有块的运动量平均来作为指标(步 骤S3)。在进行这些处理之后，经过步骤S4的判断，执行步骤S6～步骤 S11的循环处理。
步骤S4判断为了得到指标而计算出的运动量的平均值是否比规定的 上限值大。比该上限值大意味着因摄像机100大幅度摇动而帧图像成为模 糊图像。该情况下，丢弃保存在帧存储器30中的帧图像t(步骤S5)，并 等待下一个帧图像被拍摄。由于存在该步骤S4、步骤S5，图像整体大幅度 运动的帧图像会被从倾斜校正技术的对象中排除。然后，存在有近景区域 和远景区域的帧图像适当地成为倾斜校正技术的对象。
之后的循环处理，把构成帧图像的块中位于画面左端的块(最初块) 设定为块u(步骤S6)，重复进行步骤S7到步骤S11的处理。
从步骤S7到步骤S11的处理包括如下的一系列处理：进行块u的运 动量是否小于指标的判断(步骤S7)，若小于，则把块u分类为归属于远 景区域的块(步骤S8)，若大于，则把块u分类为归属于近景区域的块(步 骤S9)，进行上述处理之后，通过步骤S10，把下一个块设为块u(步骤S11)。
步骤S10规定该循环处理的结束条件，只要变量u没有超过块总数m， 就重复该循环处理，若超过，就跳出该循环处理，把归属于近景区域的块 的坐标作为区域信息来保存之后(S12)，转移到步骤S1。
接着，说明图11的处理。在图11的流程图中，在提取出帧图像t的 特征量之后(步骤S21)，制作屏蔽图案(步骤S22)，在该屏蔽图案中，把 属于近景区域的块用32比特的像素值0000表示，把属于远景区域的块用 32比特的像素值FFFF表示。之后，转移到步骤S23～步骤S27的循环处 理。该流程图把位于画面左端的块作为最初的块，设定为块v(步骤S23)， 重复步骤S24～步骤S27。该步骤S24～步骤S27的处理在变量v超过特征 量的总数n之前，重复执行以下处理(步骤S26)：执行帧特征数据中的块 v的像素值和屏蔽图案中的块v的像素值之间的用于屏蔽处理的逻辑运算 (步骤S24)，把逻辑运算的结果作为倾斜检测用的块v来保存(步骤S25)， 之后，把下一个块代入块v(步骤S27)。
对存在于画面左上端的块起至存在于画面右下端的块进行处理，该循 环处理结束之后，能够得到由逻辑运算得到的块构成的帧特征数据。之后， 从帧特征数据检测出线段(步骤S28)，计算各线段的倾斜(步骤S29)，在 得到所算出的倾斜的直方图(步骤S30)之后，把在直方图中频率最高的 角度作为表示摄像设备10的摄像面的倾斜的角度来得到推定结果(步骤 S31)，之后，转移到步骤S21。
根据上述的本实施方式，能够利用帧间的运动矢量的大小来进行近景 区域的分离，并只把从远景区域算出的图像的特征用于倾斜角检测法中， 由此即使是人物等较大地落入图像内的影像，也能够以高精度推定倾斜角， 能够根据推定的角度进行倾斜校正。
(第2实施方式)
图12是示出本发明的第2实施方式的图像处理装置的硬件结构的图。 在图11中，对与图1相同的构成要素使用相同的标记，并省略说明。
如图11所示，本发明的第2实施方式与第1实施方式的不同点在于， 追加了能够检测出辊轴方向的角度成分的惯性传感器70，以及线段检测部 2利用来自该传感器70的输出。作为能够检测出该辊轴方向的角度成分的 惯性传感器，能够例举加速度传感器、陀螺传感器等。
惯性传感器70取得摄像装置10拍摄帧图像t的时刻的辊轴方向的角 度。此时的值可以是从惯性传感器输出的原始值，也可以是利用某个装置 校正后的值。
以上是对惯性传感器70的说明。
接着，对第2实施方式的线段检测部2的改良点进行说明。
线段检测部2在根据由倾斜角检测法来检测出的线段的长度和角度信 息制作直方图时，根据作为惯性传感器70的输出的角度范围，限制所制作 的直方图的角度范围，从被限制的区间内的直方图推定角度。
在所拍摄的摄像机100等的壳体自身移动了的情况下，传感器值有时 受到惯性的影响而输出不同于实际角度的角度。因此，假定读取的值±x°的 范围为帧图像t被拍摄的时刻的实际角度范围，把根据通过倾斜角检测法 检测出的线段制作的直方图的角度范围缩小为根据上述传感器值决定的角 度范围，在该角度范围内进行倾斜角的推定。
图13(a)示出通过近景区域分离而得到的直方图。在该直方图中， 除了正确的角度20°以外，在-10°附近还存在频率峰值，因此不能推定 正确的角度。图13(b)是示出基于传感器值缩小的推定范围的图。若使用 传感器值缩小推定的角度范围，则正确的角度20°的频率最高，通过把该 角度用于倾斜校正，能够得到正确的图像。
(第3实施方式)
本实施方式是相机保持者所在的坐标系自身移动的情况的改良。如相 机保持者乘坐车等移动物上的情况那样，在相机保持者所在的坐标系自身 运动的情况下，有时构造物所存在的区域的移动量相对变大。该情况下， 若如第1实施方式那样，仅根据运动矢量的大小来判断用于倾斜校正的区 域，则有时会误判断为构造物所存在的区域为近景区域，此时不能根据构 造物存在的区域的特征量来求得倾斜角。此时，不能利用从远景区域推定 倾斜角的上述结构来应对。
因此，在本实施方式中，分别以远景、近景求出表示图像数据中存在 的角度范围的度数的直方图，对各区域计算出可靠度，把从其可靠度最高 的区域得到的倾斜角用作校正参数。
参照图14和图15，说明本实施方式的倾斜推定。
图14(a)是在第3实施方式的倾斜推定处理中作为题材的帧图像数 据，示出在巴士车内拍摄的图像数据。在该图像数据为成为处理对象的帧 图像数据的情况下，通过对该帧图像数据进行特征量提取，得到该图14(b) 的帧特征数据。图14(b)是示出通过对图14(a)的帧图像数据进行特征 量提取而得到的帧特征数据的图。在第1实施方式中，对这样得到的帧特 征数据进行近景区域分离，对这样分离后的近景区域进行了屏蔽，而在本 实施方式中，分别对通过近景区域分离得到的近景区域和通过分离剩下的 远景区域执行屏蔽。
图14(c)示出对近景区域实施了屏蔽后的帧特征数据。图14(d)示 出对远景区域实施了屏蔽后的帧特征数据。这样，关于对近景区域实施了 屏蔽的帧特征数据和对远景区域实施了屏蔽的帧特征数据，分别求出直方 图。利用此来限制直方图的范围。
图15是示出实施了屏蔽的帧图像数据和对这些帧图像数据制作的直 方图的图。在这些直方图中，可知出现了以80°为中心的角度范围α1、以 90°为中心的角度范围α2。假定该角度范围α1是越过窗口的车外风景中 的线段的角度范围，角度范围α2是存在于车内的座位和乘客的线段的角度 范围。在这样假定的情况下，对角度范围α1和α2分别计算可靠度。在角 度范围α1中，80°的角度的度数为极高，80°附近的度数变低。这样，80 °角度成为突出性的角度，角度的分散程度小，角度范围α1的可靠度较高。 另一方面，在角度范围α2中，90°附近的角度的度数都大致相同地出现， 角度的分散程度高，角度范围α2的可靠度低。在该情况下，在这些可靠度 中，成立远景区域＞近景区域的关系，因此，作为校正参数，选择角度范围 α1内的角度。
这样，包含从构造物得到的倾斜角的角度范围表现出很多表示从水平 倾斜的角度，所以突出性变高，可靠度变高。另一方面，包含根据构造物 以外的区域得到的倾斜角的角度范围在进行推定时，突出性较小，其可靠 度变低。
以上为带可靠度的角度推定的处理步骤的概要。
下面，对第3实施方式的图像处理装置的内部结构进行说明。
图16是示出第3实施方式的图像处理装置的内部结构的图。该图是以 图3为基础制作的，与作为其基础的结构相比，不同点在于，屏蔽部6被 置换为远近两用屏蔽部51，线段检测部2和角度推定部3被置换为带可靠 度的角度推定部52和倾斜角选择部53。在图16的结构要素中，对与图3 相同的结构使用相同的标记，并省略说明。
(远近两用屏蔽部51)
远近两用屏蔽部51执行仅提取远景区域的屏蔽和仅提取近景区域的 屏蔽。通过分别提取远景和近景区域，能够从远景区域和近景区域分别检 测出倾斜角。
(带可靠度的角度推定部52)
带可靠度的角度推定部52在远近两用屏蔽部51生成的远景和近景两 个区域，利用上述hough变换或高度梯度法推定倾斜角。此时，生成表示 所推定的倾斜角在何种程度上确切的可靠度。该可靠度表示，在生成倾斜 角直方图后，将在由传感器指定的角度范围内具有最大度数的角度判断为 倾斜角时，所推定的倾斜角在直方图中有多突出的指标。
(倾斜角选择部53)
倾斜角选择部53进行带可靠度的角度推定部52生成的远景和近景倾 斜角的可靠度的比较。从构造物所存在的区域得到的倾斜角的可靠度具有 较高的峰值，因此假定为可靠度高的倾斜角为从构造物所在的区域得到的 角度，把可靠度高的倾斜角作为正确的倾斜角来选择。此外，在生成倾斜 角的区域存在3个以上的情况下，把所生成的倾斜角中具有最高的可靠度 的倾斜角作为正确的倾斜角来选择。
作为用于进行使用了可靠度的校正参数选择的图像处理装置的处理， 如下所示。
在以上结构中，带可靠度的角度推定部52分别从存在于远景的区域和 存在于近景的区域中求出带可靠度的倾斜角，因此，从没有构造物信息的 区域得到的角度的可靠度比从存在构造物的区域得到的角度的可靠度低。 因此，通过比较可靠度，能够选择动态地使用的区域。这样，通过倾斜角 选择部53根据可靠度来指定倾斜角，即使在相机保持者或相机保持者所在 的坐标系移动的情况下，也能够使用构造物存在的区域，因此能够进行高 精度的倾斜角推定。
图17是表示第3实施方式的带可靠度的倾斜校正处理的处理步骤的流 程图。该图左侧的括号标记“{”表示该流程的各步骤被分配给哪个构成要 素。步骤S41被分配给特征量提取部1，步骤S42被分配给远近两用屏蔽 部51，步骤S42～步骤S46、步骤S51～步骤S55被分配给带可靠度的角度 推定部52，步骤S56～步骤S58被分配给倾斜角选择部53。
下面，说明各步骤。步骤S41是对帧特征数据的特征提取，利用该特 征提取的结果，并行执行计算出近景区域的可靠度S1的处理(步骤S42～ 步骤S46)和计算出远景区域的可靠度S2的处理(步骤S51～步骤S55)， 得到近景区域的可靠度S1和远景区域的可靠度S2，并判断可靠度S1是否 比可靠度S2大(步骤S56)，根据判断结果，设定倾斜(步骤S57、步骤 S58)。
近景区域的处理是在步骤S42对远景区域设定屏蔽，在S43制作表示 近景区域的倾斜的度数分布的直方图。并且，在步骤S44，利用由惯性传 感器70推定的角度范围来划分直方图，在步骤S45，把最大度数的角度设 为近景区域的倾斜角θ1。并且，在步骤S46，根据最大度数周边的度数的 平均/分散来求出可靠度S1。
对远景区域的处理是在步骤S51设定对近景区域的屏蔽，在步骤S52 制作远景区域的倾斜的直方图。在步骤S53，利用由惯性传感器70推定的 角度范围来划分直方图，在步骤S54，把最大度数的角度设为远景区域的 倾斜角θ2。并且，在步骤S55，根据最大度数周边的度数的平均或分散来 求出可靠度S2。
在这样得到的可靠度S1、可靠度S2满足可靠度S1＞可靠度S2的关系 的情况下(步骤S56：是)，把从近景区域得到的倾斜角θ1用作帧特征数 据的倾斜角(步骤S57)。在满足可靠度S2＞可靠度S1的关系的情况下(步 骤S56：否)，把从近景区域得到的倾斜角θ2用作帧特征数据的倾斜角(步 骤S58)。
根据以上的本实施方式，利用帧间的运动矢量的大小来进行区域的分 离，仅将分离后的各区域的图像的特征用于倾斜角检测法，计算出可靠度 和倾斜角，通过采用可靠度较高的倾斜角，i)在相机保持者自身移动的情 况下，以及ii)相机保持者所在的坐标系移动的情况这两种情况下，也能够 动态地选择和检测出从构造物所在的区域得到的倾斜角。
(第4实施方式)
在以上的实施方式中，根据运动量来执行倾斜校正，而在本实施方式 中，则进行图像摇动的摇动校正。图像摇动是指摄影系统的运动中比手的 抖动大的运动。
此外，摇动校正是通过结合连续帧中的远景区域的坐标来进行远景区 域的稳定化的技术。图18(a)是示出作为摇动校正的对象的连续帧的一例 的图。构成该连续帧的图像数据是如跟踪在赛马场中奔驰的马那样拍摄的 运动图像，但是由于这些是用跟踪马的摄影技巧来拍摄的，因此位于远景 区域的垂直柱的位置的位移较大。若再现远景区域的垂直柱的位置对每个 帧都不同的运动图像，则由于垂直柱按照每个帧进行变化，所以造成观看 者眩晕，即“影像眩晕(simulation sickness)”。
此外，在步行时用摄像机拍摄的情况下，不仅影像倾斜，随着拍摄者 自身的运动，拍摄中的摄像机也摇动。因此，所拍摄的影像中被实施了摇 动，不利于视听。在考虑到免提摄影技巧的实用化时，也需要考虑到上述 影像眩晕，因此实施摇动校正。
这里，根据图18(a)，在帧t-1的图像数据和帧t的图像数据中垂直 柱共用地出现，所以若使该垂直柱的坐标相同，则能够固定远景区域。在 此，在帧t的图像数据中，在垂直柱中存在(X1，Y1)、(X2，Y2)这两个 特征点，帧t-1的图像数据中，垂直柱有(X4，Y4)、(X5，Y5)这两个 特征点，在上述情况下，求出旋转矩阵R，如图18(b)所示，该旋转矩 阵R用于使帧t-1的图像数据的(X4，Y4)、(X5，Y5)变换为与帧t的 图像数据的(X1，Y1)、(X2，Y2)一致。这样，把求出旋转矩阵R称作 “摇动量的推定”。若通过该摇动量的推定而求出旋转矩阵R，则通过根据 旋转矩阵R来变换构成帧t-1的像素数据的各像素，能够使帧t-1的图像 数据和帧t的图像数据中的垂直柱的坐标一致。通过以上处理，能够得到 不导致观看者的影像眩晕的连续帧。
图18(c)是实施了摇动校正的帧图像t-1的一例。在该摇动校正的 结果中，帧t-1的图像数据中，图像数据中的垂直柱的坐标位于与帧t-1 的图像数据相同的位置，因此，尽管在右端部分有空白的部分，但在运动 图像再现中不会发生影像眩晕。能够得到以被固定的远景区域为背景被摄 体移动的图像数据。并且，在S/N中，S(信号)提高，N(噪声)降低， 因此具有S/N(信噪比)变高的效果。
关于摇动校正，在以下的参考文献中有记载，因此，关于详细内容， 请参照该参考文献。
“Robust and Real-time Rotation Estimation of Compound Omnidirectional Sensor(2007IEEE International Conference on Robotics and Automation Roma，Italy 10-14 April 2007)”
“III MOTION AND MOTION COMPUTATION OF DISTANT FEATURE POINTS”
下面，对摇动校正的原理，简单进行说明。
在推定帧间的摇动量时，检测出帧t和t-1间的相机的运动。为了根 据图像信息正确检测出该帧间的摇动量，必须得出在两个帧中共同存在的 坐标(图18中的(X1，Y1)、(X2，Y2)、(X4，Y4)、(X5，Y5))。如这 些(X1，Y1)、(X2，Y2)、(X4，Y4)、(X5，Y5)那样，在帧图像t-1 和帧图像t之间稳定地出现的特征称作“摇动特征(t-1，t)”。此外，把 构成摇动特征(t-1，t)的各帧特征数据的一点称作“特征点”。
若从检测出摇动特征(t-1，t)的观点把图像区域分为几个大部分， 则为从相机到被摄体之间的距离较近的区域、以及从相机到被摄体之间的 距离较远的区域。在从相机到被摄体的距离较远的区域上，帧间的运动变 小，所以能够稳定地检测出摇动特征(t-1，t)。相反，在近景区域中，帧 间的运动大，所以很难稳定地检测出摇动特征(t-1，t)。
并且，在本实施方式中，对帧图像t-1和帧图像t进行近景区域的分 离，并实施屏蔽。图19(a)～(c)是示出通过对近景区域进行屏蔽来得 到的摇动特征(t-1，t)的图。图19(a)是对帧图像t-1和帧图像t生 成的帧特征数据。图19(b)是表示通过在图19(a)的帧图像t-1、帧图 像t中通过屏蔽近景区域而得到的帧特征数据的图。由于对近景区域实施 了屏蔽，所以帧图像t-1、帧图像t成为只有垂直柱部分，帧图像t-1和 帧图像t之间的对应变得容易。图19(c)示出根据帧图像t-1的帧特征数 据、帧图像t的帧特征数据检测到的特征点。由于作为近景区域的赛马部 分被屏蔽，所以帧特征数据成为只有垂直柱的部分，能够容易检测到摇动 特征(t-1，t)。
成为该近景区域的赛马部分是能够由第1实施方式的屏蔽范围指定部 指定的，因此能够在摇动特征(t-1，t)的高效检测中直接应用第1实施 方式的运动矢量计算部4、屏蔽范围指定部5和屏蔽部6。
此外，在执行帧间的摇动校正时，通过使与检测到的帧间运动量相反 的量作用于帧t来进行校正。
图20(a)、(b)是把没有实施摇动校正的2枚帧图像数据和实施了摇 动校正的2枚帧图像数据进行对比来表示的图。在图20(a)中，在帧t-1 到帧t之间，大地和垂直柱大幅度摇动，所以很容易导致影像眩晕的发生。 相对于此，在图20(b)中，在帧t-1和帧t中，由于大地和垂直柱的位 置被固定，因此不会导致观看者的影像眩晕。若把同样的处理实施于在10 秒、20秒的时间间隔内拍摄的多个帧图像数据，则能够实现非常易于观看 的运动图像的再现。
图21是示出第4实施方式的图像处理装置的内部结构的图。该图是以 图3为基础制作的，与该基础的结构相比，不同点在于，特征量提取部1 被置换为摇动特征提取部54，角度推定部3、倾斜推定部7被置换为摇动 量推定部55、摇动校正部56。对图16的构成要素中的与图3相同的要素 使用相同的标记，并省略其说明。
(摇动特征提取部54)
在摇动特征提取部54中，从帧存储器30、40中的图像数据中提取出 特征量。在此，作为特征量的一个例子，提取出边缘成分。
(摇动量推定部55)
摇动量推定部55从被实施了屏蔽的帧特征数据中选择特征点，推定帧 间的摇动量(＝帧间的相机的运动)。
(摇动校正部56)
在摇动校正部56中，利用由摇动量推定部55推定的摇动量来进行摇 动的校正。
图22是摇动校正处理的流程图。在步骤S91中，通过对帧图像t-1、 t应用Harris算法，把能够稳定地提取的一定数量的点选择为候补点(在远 景区域内成为特征点的候补的点)，并在步骤S92中，把选择的各候补点投 影到单位球面(半径＝1)上的坐标，以使得能够抵消视角不同等的影响。
图23是示出被投影到单位球面(半径＝1)上的坐标上的帧图像t-1 中的特征量和帧图像t中的特征量的图。如该图所示，在帧图像t-1和帧 图像t上的特征量中，存在属于近景区域的特征量和属于远景区域的特征 量，在这些特征量中属于远景区域的特征量被投影到单位球面上。可知属 于近景区域的特征量没有投影到单位球面上。这是因为对帧特征数据中的 近景区域实施了屏蔽。
之后，基于RANSAC法执行旋转矩阵R的计算。
下面，对基于RANSAC法的旋转矩阵R的计算步骤进行说明。在步 骤S93中，在帧图像t-1、t中，在被投影到单位球面上的候补点中随机地 选择位于被屏蔽的近景区域以外的2点的候补点，来构成步骤S94～步骤 S99的循环。
在该循环中，求出表示帧图像t-1、t的各2点(共4点)的关系的旋 转矩阵R(步骤S94)，用所求出的旋转矩阵R，使随机选择的帧图像t-1 中的2点以外的点旋转(步骤S95)，求出旋转矩阵R，计测该一致度(步 骤S97)，判断是否在规定时间内(步骤S98)，若在规定时间以内(步骤 S98：是)，则在帧图像t-1、t中，从投影到单位球面上的候补点中，随机 选择被屏蔽的近景区域以外的未选择的2个候补点之后(步骤S99)，返回 步骤S94。该循环是如上所述对所有的点的组合重复进行随机选择近景区 域以外的未选择的2个候补点、并计算旋转矩阵的处理。
若在步骤S98为否，则所选择的2个点的旋转矩阵R不同，因此，从 步骤S98转移到步骤S99，在帧图像t-1、t中，从投影到单位球面上的候 补点中，随机地选择被实施了屏蔽的近景区域以外的未选择的2点之后， 返回步骤S94。
若超过规定时间，则步骤S98成为否，在步骤S100中，从按照2点 的候补点的各组合计算的旋转矩阵R中，把具有最大的一致度的旋转矩阵 R作为表现帧图像t-1和t间的摇动的关系的旋转矩阵R。并且，在步骤 S101中，使用所求得的旋转矩阵R，对帧图像t-1的摇动进行校正。
根据以上的本实施方式，利用帧间的运动矢量的大小来进行近景区域 的分离，通过仅把从远景区域计算出的图像的特征用于摇动量检测中，即 使是人物等较大地进入图像中的影像，也能够高精度地推定帧间的摇动量， 能够根据所推定的摇动量校正摇动。
(第5实施方式)
在以上的实施方式中，在校正参数的检测中使用了运动矢量的标量， 但是本实施方式是关于利用运动矢量的方向的改良。即，对构成作为处理 对象的帧图像数据的各宏块计算运动矢量，通过从这些宏块中分离出不具 有推定为正确的方向的宏块，来确定应实施屏蔽的范围。在此推定为正确 的方向是表示帧间的相机的运动的方向，是前面的实施方式中所述的成为 摇动推定的结果的方向。
在此，对与前面说明的实施方式(第3实施方式、第4实施方式)相 比的本实施方式的优点进行说明。在第3实施方式中，利用运动矢量的大 小，把区域分为帧间的运动较大的区域和较小的区域两个，利用构造物存 在的区域的特征来推定了倾斜角。但是，若存在有很多运动的物体，则出 现各种大小的运动矢量。因此，仅利用运动矢量的大小是不能很好地进行 区域的分割。图24(a)是示出构成连续帧的帧t-1的图像数据和帧t的图 像数据的图，图24(b)示出从构成帧t的图像数据的各宏块中检测出的运 动矢量。图24(c)示出通过仅对运动矢量的标量较大的近景区域进行屏蔽 而得到的帧特征数据。
在该帧特征数据中，除了构造物外，还有存在于人物的后方的树木作 为特征而出现，因此在该图24(c)的帧特征数据中，该树木部分的特征量 表现为噪声，倾斜角的推定精度变低。
在第3实施方式中，若除了帧间的运动矢量的大小以外，能够事先知 道表示相机在帧间怎样运动的帧间的运动的方向，则能够从构造物所存在 的区域中减少噪声。这是利用构造物不自律性地运动而是向与相机移动的 方向相反的方向移动并被相机拍摄到的情况，能够把具有与相机的运动和 构造物的运动不对应的运动方向的区域作为不是构造物区域来排除。
在第4实施方式中，推定帧间的摇动量，并进行校正，但是如前所述， 该帧间的摇动量相当于帧间的相机的运动量。因此，通过利用该摇动量， 对具有图24(b)的运动矢量中与帧间的相机的运动不对应的运动矢量的像 素块进行屏蔽，由此能够消除存在于构造物以外的区域的噪声。
图25(a)是把图24(b)中的帧特征数据分离为与摇动量推定结果相 同的运动矢量所占的区域以及不同于摇动量推定结果的方向的运动矢量所 占的区域的图。
图25(b)的框w1和w2仅示出对各宏块算出的运动矢量中的具有与 摇动推定结果对应的方向的运动矢量。若假定这样得到的方向是推定为正 确的方向，则通过对不具有这样的方向的宏块实施屏蔽来检测出校正参数， 能够除去人物像后方的树木部分的线段。由此能够得到高精度的校正参数。 图25(c)是示出用于检测作为校正参数的倾斜角的帧特征数据的图。
以上是与第3实施方式和第4实施方式比较的本实施方式的优点。
图26是表示第5实施方式的图像处理装置的内部结构的图。该图示出 把基于图16的内部结构和基于图21的内部结构组合的方式。特征量提取 部1、运动矢量检测部4、屏蔽范围指定部5、带可靠度的角度推定部52、 倾斜角选择部53、惯性传感器70是基于图16的内部结构。在该组合中， 屏蔽部6被置换为屏蔽图案放大部57。屏蔽图案放大部57是本实施方式所 特有的构成要素。
此外，摇动特征提取部54、屏蔽部6、摇动量推定部55是基于图21 的内部结构。摇动校正部56被置换为摇动校正及倾斜校正部58，该摇动校 正及倾斜校正部58是本实施方式特有的构成要素。下面，对本实施方式特 有的构成要素(屏蔽图案放大部57、摇动校正及倾斜校正部58)和为了本 实施方式的处理而实施了改良的构成要素(带可靠度的角度推定部52、倾 斜角选择部53)进行说明。
(屏蔽图案放大部57)
屏蔽图案放大部57根据摇动量推定部55的摇动校正结果，放大由屏 蔽范围指定部5指定的屏蔽图案。屏蔽范围指定部5根据运动矢量的大小 分离近景区域。屏蔽图案放大部57对照在屏蔽范围指定部5分离的各区域 的运动矢量的朝向和由摇动量推定部55得到的相机的运动矢量的朝向，放 大屏蔽图案的范围，以包括不与摇动量对应的区域。这样，生成仅将与相 机的运动矢量的朝向对应的区域作为对象的屏蔽图案。
(带可靠度的角度推定部52)
带可靠度的角度推定部52的改良点是对由屏蔽图案放大部57生成的 屏蔽图案所分离的近景区域和远景区域进行带可靠度的倾斜角推定。
(倾斜角选择部53)
倾斜角选择部53的改良点是把由带可靠度的角度推定部52生成的远 景和近景的倾斜角的可靠度进行比较，并把可靠度高的倾斜角选择为正确 的倾斜角。此外，在生成倾斜角的区域存在有3个以上的情况下，把所生 成的倾斜角中具有最高可靠度的倾斜角选择为正确的倾斜角。
(摇动校正及倾斜校正部58)
摇动校正及倾斜校正部58利用从倾斜角选择部53得到的倾斜角和从 摇动量推定部得到的帧间的摇动量，同时校正帧存储器30的帧图像t的倾 斜和摇动。作为该校正方法，有在第1实施方式中校正倾斜时所使用的 Affine变换。
图27是摇动量推定处理的流程图。在步骤S81中，把变量t初始化为 0，并转移到步骤S82、步骤S83的循环。该循环对由变量t指示的各帧特 征数据重复步骤S84～步骤S90的处理，变量t的递增是在步骤S90执行。 首先，在步骤S84中判断变量t是否为0，若为0，则在步骤S85，从帧特 征数据0提取出摇动特征(t-1，t)。若不是0，则在步骤S86，从帧特征 数据中提取出摇动特征(t-1，t)，在步骤S87，通过与前一帧合并图像， 得到摇动特征(t-1，t)。在步骤S88中，从摇动特征(t-1，t)中排除移 动量较大的摇动特征。
在步骤S89中，检查摇动特征(t-1，t)中的未被排除的区域中的特 征点间的对应关系，通过计算表示对应关系的旋转矩阵R，得到摇动推定 的结果。
图28是示出第5实施方式的屏蔽处理和校正处理的处理步骤的流程 图。本流程图中的变量t是指示帧特征数据的控制变量。在步骤S61中， 把该变量t初始化为0，并转移到步骤S62～步骤S63的循环。该循环是对 各帧特征数据执行步骤S64～步骤S71的处理的循环。步骤S64是指示帧 特征数据的变量t是否为0的判断，若t＝0，则在步骤S65，从帧特征数据 0提取出摇动特征(t-1，t)。
若变量t不是0，则在步骤S66进行近景区域分离，在步骤S67，生成 屏蔽图案，该屏蔽图案包括具有与对摇动特征(t-1，t)进行摇动量推定 的结果不同的方向成分的块和对应于近景区域的块。
在步骤S68中，利用包括具有与针对摇动特征(t-1，t)的摇动校正 结果不同的方向成分的块和对应于近景区域的块的屏蔽图案，对近景区域 进行再分离。
在步骤S69中，对由倾斜传感器确定的近景区域和该近景区域以外的 远景区域分别计算可靠度，根据该可靠度，决定从近景区域和远景区域的 哪个选择倾斜，并计算出倾斜角θ。
在步骤S69，把角度θ和作为摇动量推定结果的旋转矩阵用作校正参 数，来执行倾斜校正和摇动校正。在步骤S71中，把帧特征数据t进行编 码并显示。之后，在步骤S72，递增变量t。
如上所能够述，根据本实施方式，能够利用帧间的运动矢量的大小来 屏蔽近景区域，并通过利用帧间的摇动量的推定结果来进行屏蔽，能够除 去构造物所存在的区域内的噪声。由此，即使是i)人物等较大地进入图像 内的影像，ii)树木等的亮度值不均而在帧间存在各种运动的区域的影像，iii) 偶尔在存在帧间运动量较小的物体的影像，也能够高精度地推定帧间的倾 斜角，根据所推定的倾斜角进行倾斜校正。
(第6实施方式)
第6实施方式是在帧图像数据中出现的被摄体是否处于近景区域的判 断中使用测距传感器59的改良。图29是示出第6实施方式的图像处理装 置的内部结构的图。该图是以图3为基础制作的，与作为该基础的结构相 比，测距传感器59串联连接在屏蔽范围指定部5上，这一点是本实施方式 所特有的改良。在图29中，对与图3相同的构成要素使用相同的标记，并 省略说明。
图29中的测距传感器59有例如红外线传感器等，从传感器的位置到 被摄体的距离为3m～5m左右，在比较近的情况下，能够测量到与该被摄 体的距离。通过把该测距传感器安装在相机上，能够知道相机拍摄到图像 时的到被摄体的距离较近的区域的信息。如第1实施方式所示，仅通过计 测帧间的运动矢量的大小，在由于计测误差或错误对应等原因而不能完全 分割的情况下，通过使用测据传感器，也能够可靠地知道作为近景区域的 区域。
利用该技术，与由屏蔽范围指定部5分离为运动较大的区域和较小的 区域的结果相对照，可知由于计测误差或错误对应等而判断为远景区域的 区域是近景区域的情况。因此，能够提高近景和远景区域的分离精度，能 够高精度地检测出倾斜角。
(其他变形例)
1、帧特征数据的计算方法
在特征量提取部1中，也可以在进行边缘检测之后，以提高边缘的S/N 比为目的实施预处理。作为预处理的例子，可以例举下面的处理。作为在 边缘检测前进行的预处理，有通过中值滤波器、低通滤波器等的平滑处理 来减少噪声的方法。此外，作为边缘检测后进行的预处理有下述孤立点除 去方法，在该孤立点除去方法中，为了除去边缘信息中包含的噪声，作为 预处理而对边缘信息进行标记处理，并除去孤立的边缘。以同样的目的， 作为预处理，有对边缘信息使用形态滤波器进行开(opening)处理的方法 等。
2、角度范围的限制
在限制角度范围时，也可以用似然等来表现传感器的可靠度，将乘以 该传感器的似然之后的直方图捕捉为角度的存在概率，把其概率最大的角 度推定为从水平倾斜的倾斜角。
根据上述结构，通过以传感器的输出值为基准限定倾斜角存在的范围， 能够减小倾斜角的推定范围，提高倾斜角的推定精度。
3、应实施屏蔽的范围
在前面的实施方式中，根据按照每个像素块计算的运动矢量的标量或 方向，来指定了帧特征数据全体中应实施屏蔽的范围，但是指定的标准不 限于运动矢量的标量或方向。若是基于运动矢量的参数，则当然也能够采 用DCT系数或直流成分等其他参数。
4、校正参数的变形
前面的实施方式中，检测出倾斜角或旋转矩阵来作为校正参数，但是 若是能够实施某种校正，则也可以检测其他的参数来作为校正参数。例如， 也可以检测滤波器系数、亮度变换的参数，来作为校正参数。
5、带可靠度的角度推定的变形
带可靠度的角度推定部52在由远近两用屏蔽部51生成的远景区域和 近景区域进行了倾斜角推定，但是也可以仅对远景区域计算出可靠度。
工业实用性
本发明的图像处理装置具有所拍摄的影像的倾斜校正功能，可用作能 够稳定进行拍摄的摄像机100等。此外，还能够用于数码相机等。