近年来，集成或合成多个图像，以提供空间或诸如建筑物之类对象的三维表示的服务已普及。这些服务使用户可以从各个视点查看生成的三维模型，给予用户使他们感到好像实际身临其境的感觉。不过，使用多个图像的三维建模的计算成本较高，为了生成三维图像本身，或者是生成三维图像所必需的其它图像，需要大量的数据。
相对照，变形是一种显示对象如何逐渐地从一种形式变成另一种形式的图像处理技术。就变形来说，从两个不同视点拍摄的两个二维图像(原始图像)中的对应像素被线性插值，以产生从所述两个视点之间的希望的虚拟视点看到的中间图像(虚拟图像)。从而，变形提供好像视点在移动的视觉效果。按照变形，通过利用两个拍摄图像的计算，顺序产生当视点移动时会看到的多个中间图像。从而有利的是，能够显著减少图像生成前后的图像的数据量。
但是，在利用通过从两个不同视点拍摄对象(被摄物体)而获得的两个原始图像进行变形的情况下，如果所述两个视点和对象形成的角度过大，那么通过变形产生的中间图像会失真。鉴于这种情况，如日本专利No.3634677中公开的那样，可以使用视图变形(viewmorphing)(例如参见Steven M.Seitz，Charles R.Dyer，“ViewMorphing”，Proceedings of SIGGRAPH′96 pp.21-31，1996)来产生更自然、无失真的图像，视图变形是一种考虑照相机几何的变形技术。照相机几何意味在所述两个视点之一的照相机和在另一个视点的照相机之间的相对位置关系。

但是，不同于普通变形，为了考虑照相机几何，上面讨论的视图变形包括计算成本高的处理，比如矩阵运算和奇异值分解。从而，视图变形的计算成本高于普通变形的计算成本，希望一种计算成本降低的变形技术。特别地，当在配备处理能力低的处理器的电子设备(例如，数字照相机之类的便携式设备)上实现变形技术时，渴望尽可能多地减少执行计算成本高的处理，比如视图变形的次数。
鉴于上面所述，理想的是提供一种以减少的计算成本，利用从不同视点拍摄的两个原始图像生成无失真的中间图像的图像处理设备，图像处理方法和程序。
按照本发明的一个实施例，提供一种图像处理设备，包括：直边检测部分，用于检测通过从两个不同视点拍摄同一对象而获得的第一和第二原始图像至少之一中的对象的直边；第一变形处理部分，用于对第一和第二原始图像进行第一变形处理，以生成从所述两个视点之间的虚拟视点看到的第一中间图像，在所述第一变形处理中，不对第一和第二原始图像进行平行化处理；失真确定部分，用于确定第一中间图像中的对象的与由直边检测部分检测的直边对应的边是否失真；和第二变形处理部分，用于如果所述边失真，那么对第一和第二原始图像进行第二变形处理，以生成从所述虚拟视点看到的第二中间图像，在所述第二变形处理中，对第一和第二原始图像进行平行化处理。
直边检测部分可使原始图像至少之一二值化，并对二值化图像进行扩展和收缩处理，以利用Hough变换，从经过扩展和收缩处理的图像中检测直边。
如果由所述边和连接所述边的两端的线段围绕的图像区的面积等于或大于由预定的确定标准常数确定的阈值，那么失真确定部分可确定第一中间图像中的所述边失真。
第二变形处理可以是视图变形处理。
图像处理设备还可包括：特征点提取部分，用于从第一原始图像中提取多个特征点；和对应点搜索部分，用于搜索第二原始图像，以找出分别对应于特征点的多个对应点，第一和第二变形处理部分可利用特征点和对应点进行第一和第二变形处理。
按照本发明的再一个实施例，提供一种图像处理方法，包括下述步骤：检测通过从两个不同视点拍摄同一对象而获得的第一和第二原始图像至少之一中的对象的直边；对第一和第二原始图像进行第一变形处理，以生成从所述两个视点之间的虚拟视点看到的第一中间图像，在所述第一变形处理中，不对第一和第二原始图像进行平行化处理；确定第一中间图像中的对象的与在直边检测步骤中检测的直边对应的边是否失真；和如果所述边失真，那么对第一和第二原始图像进行第二变形处理，以生成从所述虚拟视点看到的第二中间图像，在所述第二变形处理中，对第一和第二原始图像进行平行化处理。
按照本发明的另一个实施例，提供一种使计算机执行下述步骤的程序：检测通过从两个不同视点拍摄同一对象而获得的第一和第二原始图像至少之一中的对象的直边；对第一和第二原始图像进行第一变形处理，以生成从所述两个视点之间的虚拟视点看到的第一中间图像，在所述第一变形处理中，不对第一和第二原始图像进行平行化处理；确定第一中间图像中的对象的与在直边检测步骤中检测的直边对应的边是否失真；和如果所述边失真，那么对第一和第二原始图像进行第二变形处理，以生成从所述虚拟视点看到的第二中间图像，在所述第二变形处理中，对第一和第二原始图像进行平行化处理。
按照上述结构，检测第一和第二原始图像至少之一中的对象的直边，对第一和第二原始图像进行第一变形处理，以生成从两个视点之间的虚拟视点看到的第一中间图像，在第一变形处理中，不对第一和第二原始图像进行平行化处理。另外，确定第一中间图像中的与所述直边对应的边是否失真，如果所述边失真，那么对第一和第二原始图像进行第二变形处理，以生成从所述虚拟视点看到的第二中间图像，在所述第二变形处理中，对第一和第二原始图像进行平行化处理。这使得能够恰当地检测第一变形处理生成的第一中间图像是否失真，只有当第一中间图像失真时，才进行第二变形处理，以生成无失真的第二中间图像。
按照上面说明的本发明，能够以减少的计算成本，利用从不同视点拍摄的两个原始图像生成无失真的中间图像。
附图说明
图1表示按照本发明的第一实施例的普通变形处理的原理；
图2表示按照该实施例的视图变形处理的原理；
图3表示按照该实施例的视图变形处理的原理；
图4表示按照该实施例的视图变形处理的原理；
图5是表示按照该实施例的图像处理设备的硬件结构的方框图；
图6是表示按照该实施例的图像处理设备的功能结构的方框图；
图7是表示按照该实施例的图像处理方法的流程图；
图8是表示图7的直边检测处理(S300)的流程图；
图9图解说明按照该实施例的Laplacian滤波器；
图10图解说明按照该实施例的扩展和收缩处理；
图11图解说明按照该实施例的利用Hough变换检测的图像中的直线；
图12是表示图7中的普通变形处理(S400)的流程图；
图13图解说明按照该实施例的其中放置Delaunay三角网的图像；
图14图解说明按照该实施例的用矢量表示的三角网格中的像素；
图15是表示图7的普通变形处理(S500)的流程图；
图16是表示图7的失真确定处理(S600)的流程图；
图17图解说明按照该实施例的检测对应边的失真的处理；
图18表示图7的视图变形处理(S700)的流程图；
图19表示按照该实施例的视图变形处理的原理；以及
图20是表示按照本发明的第二实施例的图像处理方法的流程图。

下面参考附图，详细说明本发明的优选实施例。在说明书和附图中，具有基本相同功能结构的组成元件用相同的附图标记表示，以省略重复的描述。
将按照下面的顺序进行说明。
1.第一实施例(在失真检测之前进行普通变形的例子)
[1.图像处理方法的概述]
[2.图像处理设备的结构]
[3.图像处理方法]
[3.1特征点提取处理和对应点搜索处理]
[3.2直边检测处理]
[3.3普通变形处理(彩色图像)]
[3.4普通变形处理(二值图像)]
[3.5失真检测处理]
[3.6视图变形处理]
[4.结论]
2.第二实施例(在失真检测之后有选择地进行普通变形和视图变形之一的例子)
<第一实施例>
[1.图像处理方法的概述]
首先，参考图1-4，说明由按照本发明的第一实施例的图像处理设备执行的变形处理的概述。图1表示按照本实施例的普通变形处理的原理。图2-4表示按照本实施例的视图变形处理的原理。
这里使用的术语“视点”包括“视点位置”和“视线方向”。“视点位置”指的是照相机10拍摄原始图像的位置，“视线方向”指的是从视点位置到对象1的方向。“原始图像”是照相机10拍摄的拍摄图像，“中间图像”是通过用变形处理合成两个原始图像而获得的虚拟图像。对象1是照相机10拍摄的期望实体(被摄物体)。尽管为了在下面的说明中便于描述，对象1例如是四棱柱，不过，对象1可以是任何实体，比如人、动物、植物、建筑物和日用品。
如图1中所示，按照本实施例的图像处理设备对照相机10通过从两个不同的视点(例如，视点PA和视点PB)拍摄同一对象1而获得的两个原始图像(例如，原始图像A和原始图像B)进行变形处理，照相机10包括姿态传感器和位置传感器。在变形处理中，原始图像A和原始图像B中的对应像素被线性插值，以产生如果从位于视点PA和视点PB之间的期望的虚拟视点PC观察对象1，那么会获得的中间图像C(等同于图1的中间图像C1和图4的中间图像C2)。在这种场合，可以产生多于一个的中间图像C，并且可在视点PA和视点PB之间设置多个期望的虚拟视点PC，以产生从虚拟视点PC看到的多个中间图像C。这种变形处理允许生成表示当在把视点从视点PA移动到视点PB的同时，观察对象1时，对象1的姿态形状会如何逐渐变化的多个中间图像C。
如上所述，依赖于是否考虑拍摄原始图像A和B的照相机几何(在视点PA的照相机10和在视点PB的照相机10之间的相对位置关系)，变形处理包括普通变形处理(等同于第一变形处理)和视图变形处理(等同于第二变形处理)。
普通变形处理不考虑照相机几何，不包括后面讨论的对原始图像A和B的平行化处理，或者逆投射处理。在普通变形处理中，首先，利用多个矩形区，使其中拍摄同一对象1的两个原始图像A和B中的图像区相互关联。在图1中，在原始图像A中拍摄的对象1的特征点XA(坐标(x1，y1))和在原始图像B中拍摄的对象1的特征点XB(坐标(xx，y2))是彼此对应的对应点。随后，两个原始图像A和B中的对应图像区的形状和颜色被线性插值，以生成从虚拟视点PC看到的对象1的中间图像C1。
由于普通变形处理不考虑照相机几何，因此在由两个视点PA和PB与对象1形成的角度θ过大的情况下，通过变形生成的中间图像C1中的对象1可能失真。当位于拍摄原始图像A和B的两个视点PA和PB的照相机10的光轴11和12垂直于基线13(连接位于视点PA的照相机10的中心和位于视点PB的照相机10的中心的直线)时，通过线性插值能够生成适当的中间图像C1。不过，在其它情况下，线性插值会产生失真的中间图像C1。
鉴于上面所述，提出了视图变形处理，以解决在上述情况下，普通变形处理会造成失真的中间图像C1的问题。如图2-4中所示，视图变形处理考虑照相机几何，包括如后所述的对原始图像A和B的平行化处理，和对中间图像C2′的逆投射处理。
具体地说，在视图变形处理中，如图2和3中所示，首先计算位于视点PA的照相机10和位于视点PB的照相机10之间的相对位置关系，以对图像A和B进行平行化处理。在平行化处理中，在视点PA拍摄的原始图像A和在视点PB拍摄的原始图像B被旋转，以致原始图像A和B变成相互平行，即，位于视点PA和PB的照相机10的光轴11和12变成相互平行，以获得图像A′和图像B′。随后，如图4中所示，对平行化的图像A′和B′进行普通变形处理，以通过线性插值获得中间图像C2′。之后，如图4中所示，把获得的中间图像C2′投射回平行化处理之前的空间中，从而产生从虚拟视点PC应看到的中间图像C2。
从而，在视图变形处理中，原始图像A和B经历考虑位于视点PA的照相机10和位于视点PB的照相机10之间的相对位置关系的平行化处理，随后被变形，从而获得中间图像C2。从而，有利的是即使在由两个视点PA和PB与对象1形成的角度θ过大的情况下，或者在照相机10的光轴11和12不垂直于基线13的情况下，也能够产生适当的无失真的中间图像C2。不过，在视图变形处理中，为了考虑上面说明的照相机几何，必须进行平行化处理和逆投射处理，从而必须进行计算成本高的复杂处理，比如矩阵计算处理和奇异值分解。于是，视图变形处理的计算成本至少为普通变形处理的计算成本的10倍或更高。
从而，按照本实施例的图像处理设备检测由普通变形处理产生的中间图像C1中的对象的失真，并根据是否存在所述失真，恰当地选择不考虑照相机几何的普通变形处理和考虑照相机几何的视图变形处理之一，以便生成无失真的中间图像C，并降低变形处理所必需的计算成本。
具体地说，按照本实施例的图像处理设备首先从在原始图像A和原始图像B之一(例如，原始图像A)中拍摄的对象的边中检测直边。所述直边是包括在原始图像中的对象1的边(轮廓)中具有直线形状的边。随后，图像处理设备利用原始图像A和B进行普通变形处理，以产生彩色中间图像C1，并利用二值化形式的原始图像A和B进行普通变形处理，从而产生二值化中间图像C3。随后，图像处理设备20检测包含在中间图像C3(二值图像)中的对象1的对应边的失真。中间图像C3中的对应边是中间图像C3中的对象1的与在原始图像A中检测到的直边对应的边。只有在通过失真检测，发现中间图像C3中的对应边失真的情况下，图像处理设备才利用原始图像A和B进行视图变形处理，从而生成和保存新的无失真的中间图像C2。另一方面，在发现通过普通变形处理生成的中间图像C3中的对应边未失真的情况下，图像处理设备不进行视图变形处理，把通过普通变形处理获得的中间图像C1保存为最终图像。
如上所述，通过检测普通变形处理实际生成的中间图像C3中的对应边的失真，能够根据是否存在所述失真，恰当地使用普通变形处理和视图变形处理之一。从而，能够利用从视点PA和PB拍摄的原始图像A和B，生成自然且无失真的中间图像C1或C2。另外，通过尽可能多地减少执行计算成本高的视图变形处理的次数，能够显著降低总的计算成本。当在视点PA和PB之间设置大量虚拟视点PC，以通过变形顺序生成从虚拟视点PC看到的大量中间图像C时，按照本实施例的计算成本降低效应尤其显著。
在下面的说明中，个人计算机被用作按照本发明的对照相机10拍摄的原始图像A和B进行变形处理的图像处理设备的一个例子。
这种情况下，照相机10从多个不同视点PA和PB拍摄同一对象1，以生成原始图像A和B(拍摄图像)，还产生拍摄原始图像A和B的位置的相应视点信息，并把原始图像A和B及视点信息保存在存储介质中。视点信息表示拍摄原始图像A和B的视点位置(例如，纬度和经度)和视线方向，是根据设置在照相机10中的姿态传感器和位置传感器的检测值生成的。例如，姿态传感器和位置传感器可以由GPS(全球定位系统)传感器，角速度传感器，加速度传感器或磁性传感器构成。
借助可拆卸存储介质(例如，存储卡或光盘)或网络，把原始图像A和B及视点信息从照相机10提供给图像处理设备(例如，个人计算机)。图像处理设备对原始图像A和B进行普通变形处理和/或视图变形处理，以生成中间图像C1或C2，并把生成的中间图像保存在存储介质中。当图像处理设备进行视图变形处理时，与原始图像A和B相关的视点信息被用于对原始图像A和B进行平行化处理等等。
按照本发明的图像处理设备并不局限于上面说明的个人计算机，可以是具有图像处理功能的任何电子设备，比如包括数字照相机和摄像机在内的拍摄设备。图像处理设备也可以是便携式设备，比如蜂窝电话机，PDA(个人数字助手)，便携式视频/音乐播放器，便携式终端，和游戏机。图像处理设备还可以是诸如电视接收机之类的显示设备，诸如光盘播放器/记录器之类的记录/重放设备，各种家用电器，和工业图像编辑设备。
[2.图像处理设备的结构]
下面，参考图5说明按照实施例的图像处理设备20的硬件结构。图5是表示按照实施例的图像处理设备20的硬件结构的方框图。
如图5中所示，例如，图像处理设备20包括CPU 201，ROM 202，RAM 203，主总线204，桥接器205，外部总线206，接口207，输入装置208，输出装置209，存储装置(HDD)210，驱动器211，连接端口212，和通信装置213。从而，例如，可利用通用计算机构成图像处理设备20。
CPU 201起算术处理单元和控制装置的作用，按照各种程序控制图像处理设备20中的相应部分。CPU 201按照保存在ROM 202中的程序，或者从存储装置210装入RAM 203中的程序，执行各种处理。ROM 202保存将由CPU 201使用的程序，计算参数等等，还起减轻CPU 201访问存储装置210的缓冲器的作用。RAM 203临时保存要由CPU 201执行的程序，在执行期间可能变化的计算参数，等等。CPU201，ROM 202和RAM 203通过由CPU总线等构成的主总线204相互连接。主总线204通过桥接器205与诸如PCI(外设组件互连/接口)总线之类的外部总线206连接。
结合CPU 201设置的存储器部分(例如，ROM 202或闪速存储器(未示出))保存使CPU 210执行各种控制处理的程序，CPU 201根据所述程序执行为控制相应部分所必需的计算处理。
按照本实施例的程序是使CPU 210执行上面讨论的CPU 210的各种控制的程序。所述程序可预先保存在内置于图像处理设备20中的存储装置(例如存储装置210，ROM 202或闪速存储器)中。所述程序也可保存在将被提供给图像处理设备20的可拆卸存储介质3中，比如包括CD、DVD或蓝光光盘的光盘和存储卡，或者可通过诸如LAN和因特网之类的网络5下载到图像处理设备20。
输入装置208由诸如鼠标、键盘、触摸面板、按钮、开关和控制杆之类的操作单元，产生输入信号，以把产生的信号输出给CPU 201的输入控制电路等等构成。输出装置209由诸如CRT(阴极射线管)显示器和液晶显示器(LCD)之类的显示器和诸如扬声器之类的声音输出装置构成。不一定设置输入装置208和输出装置209。
存储装置210保存各种数据，由例如外部或内置磁盘驱动器，比如HDD(硬盘驱动器)构成。存储装置210驱动充当存储介质的硬盘，以保存要由CPU 201执行的程序，和各种数据。驱动器211是内置于图像处理设备20中或者在图像处理设备20外的存储介质读/写器。驱动器211相对于装入图像处理设备20中的可拆卸存储介质3，比如磁盘、光盘、磁光盘或半导体存储器写入/读取各种数据。
连接端口212提供与外设装置的连接，包括诸如USB端口和IEEE 1394端口之类的连接端子。连接端口212通过接口207、外部总线206、桥接器205、主总线204等与CPU 201等连接。通信装置213例如是由用于连接到网络5的通信装置构成的通信接口。通信装置213通过网络5与诸如照相机10之类的外部装置交换各种数据。
现在，参考图6，说明按照本实施例的图像处理设备20的功能结构。图6是表示按照本实施例的图像处理设备20的功能结构的方框图。
如图6中所示，图像处理设备20包括存储装置100，特征点提取部分102，对应点搜索部分104，直边检测部分106，普通变形处理部分108，失真确定部分110，视图变形处理部分112，和显示部分114。图6中所示的每个功能部分可由CPU通过执行程序来实现，或者可由执行相关功能的专用硬件形成。下面说明每个功能部分。
存储部分100保存上述照相机10从不同视点拍摄的两个原始图像A和B。存储部分100还保存由后面说明的普通变形处理部分108生成的中间图像C1(彩色图像)和中间图像C3(二值图像)，和由后面说明的视图变形处理部分112生成的中间图像C2。
特征点提取部分102提取如图1中所示的原始图像之一，例如原始图像A中的对象1的特征点XA。对应点搜索部分104搜索另一个原始图像B，以找出对应点XB，对应点XB是与原始图像A中的特征点XA对应的特征点。原始图像A中的特征点XA和原始图像B中的对应点XB表示同一对象1的同一点。特征点提取部分102和对应点搜索部分104从原始图像A和原始图像B中检测多组特征点XA和对应点XB。
直边检测部分106检测包括在原始图像A和原始图像B至少之一中的对象1的直边。尽管在下面的说明中检测的是原始图像A中的对象1的直边，不过当然也可检测原始图像B中的对象1的直边。直边是表示拍摄的原始图像A中的对象1的轮廓(即，边)的直线部分的边。拍摄的原始图像A中的对象1的轮廓包括直线部分和弯曲部分。直边检测部分106首先使从存储部分100读出的原始图像A二值化，随后对二值化图像进行扩展和收缩处理，以消除噪声，并利用Hough变换从二值图像中检测直边。这样检测的直边被用于检测由后面说明的普通变形处理生成的中间图像C3中的对应边的失真。后面将详细说明直边检测处理(参见图8)。
普通变形处理部分108是按照本发明的第一变形处理部分的例子。普通变形处理部分108对原始图像A和B进行普通变形处理，以生成从虚拟视点PC看到的中间图像C1。普通变形处理部分108利用原始图像A中的特征点XA和原始图像B中的对应点XB，对原始图像A和B中的对应图像区的形状和亮度值进行线性插值，从而生成中间图像C1(彩色图像)。另外，普通变形处理部分108使原始图像A和B二值化，并对二值化的原始图像A和B进行普通变形处理，以生成二值化的中间图像C3(黑白图像)。
从而，普通变形处理部分108能够对未二值化的原始图像A和B进行普通变形处理，以生成普通中间图像C1(彩色图像)，也能够生成二值化的中间图像C3(黑白图像)。普通变形处理部分108把生成的中间图像C1和C3保存在存储部分100中。普通变形处理将在后面详细说明(参见图12和15)。
失真确定部分110检测由普通变形处理部分108生成的二值化中间图像C3中的对象1的对应边的失真。所述对应边是中间图像C3中与由直边检测部分106检测的原始图像A中的直边对应的边。失真确定部分110根据原始图像A中的直边的像素位置，指定中间图像C3中与该直边对应的对应边的像素位置。随后，失真确定部分110由中间图像C3中的所述对应边和连接该边的两端的线条围绕的图像区的面积(例如，像素的数目)是否等于或大于由预定的确定标准常数确定的阈值。如果所述面积等于或大于所述阈值，那么失真确定部分110确定中间图像C3中的边失真，如果所述面积小于所述阈值，那么失真确定部分110确定中间图像C3中的边未失真。失真检测处理将在后面详细说明(参见图16)。
视图变形处理部分112是按照本发明的第二变形处理部分的例子。当失真确定部分110确定中间图像C3中的边失真时，视图变形处理部分112对原始图像A和B进行视图变形处理，以生成从虚拟视点PC看到的中间图像C2(彩色图像)。具体地说，视图变形处理部分112首先根据原始图像A和B的视点信息，对原始图像A和B进行平行化处理。视图变形处理部分112随后利用原始图像A中的特征点XA和原始图像B中的对应点XB，对平行化的原始图像A和B中的对应图像区的形状和亮度值进行线性插值，以生成从虚拟视点PC看到的中间图像C2′。之后，视图变形处理部分112根据原始图像A和B的视点信息，把中间图像C2′投射回平行化处理之前的空间中，从而生成中间图像C2。随后，视图变形处理部分112把生成的中间图像C2保存在存储部分100中。视图变形处理将在后面详细说明(参见图18)。
显示部分114显示作为拍摄图像的原始图像A和B，及作为虚拟图像的中间图像C1或C2。对显示部分114来说，通过按照视点的移动方向，顺序显示原始图像A，中间图像C1或C2，和原始图像B，能够在显示屏幕上显示对象1是如何自然地从原始图像A中的一种形态变成原始图像B中的另一种形态的。
[3.图像处理方法]
下面，参考图7说明由按照本实施例的图像处理设备20执行的图像处理方法的整个流程。图7是表示按照本实施例的图像处理方法的流程图。
如图7中所示，图像处理设备20首先进行特征点提取处理，以提取在两个不同视点PA和PB拍摄的两个原始图像A和B之中的原始图像A中的特征点XA(S100)，随后进行搜索原始图像B的对应点搜索处理，以找出与特征点XA对应的对应点XB(S200)。
图像处理设备20还进行直边检测处理，以检测原始图像A或B中的对象1的直边(S300)。直边检测处理(S300)例如可在后面说明的失真检测处理(S600)之前的任何时候进行，可在特征点提取处理(S100)之前或者在普通变形处理(S400或S500)之后进行。
之后，图像处理设备20对作为彩色图像的原始图像A和B进行第一普通变形处理，以生成从两个视点PA和PB之间的虚拟视点PC看到的中间图像C1(彩色图像)(S400)。图像处理设备20还对通过使原始图像A和B二值化而获得的黑白图像进行第二普通变形处理，以生成从虚拟视点PC看到的黑白中间图像C3(二值图像)(S500)。黑白的二值中间图像C3起失真检测图像的作用，用于在随后的步骤S600中，检测因普通变形处理产生的失真。
图像处理设备20随后检测在S500中生成的黑白中间图像C3中的对象1的边之中，与在S300中检测的直边对应的边(对应边)是否失真(S600)。即，检测中间图像C3中的对应边是直边还是失真的曲边。当中间图像C3中的对应边不是直边时，能够确定中间图像C1和C3中的对象1的图像失真。
当通过失真检测处理(S600)，发现中间图像C3中的对应边失真时，图像处理设备20对作为彩色图像的原始图像A和B进行视图变形处理，以生成从虚拟视点PC看到的彩色中间图像C2(S700)。从而，在普通变形处理(S400)生成的中间图像C1和C3失真的情况下，图像处理设备20还执行视图变形处理(S700)，以获得无失真的中间图像C2，并把获得的中间图像C2保存在存储部分100中。
另一方面，当在S600中，中间图像C3中的对应边未失真时，图像处理设备20终止处理，而不执行视图变形处理(S700)。从而，当普通变形处理(S500)生成的中间图像C3(二值图像)中的对应边未失真时，图像处理设备20把由普通失真处理(S400)生成的中间图像C1(彩色图像)保存在存储部分100中。
按照本实施例的图像处理方法，如上所述，在能够通过普通变形处理(S400)生成无失真的中间图像C1的情况下，不执行视图变形处理(S700)。另一方面，只有在由普通变形处理(S400)获得的中间图像C1失真的情况下，才执行视图变形处理(S700)。从而，不是在所有情况下都执行视图变形处理，而是只在必须执行视图变形处理，以获得无失真的中间图像C的情况下才执行视图变形处理。从而，借助普通变形处理和视图变形处理二者之一，可靠地生成无失真的中间图像C，并不不必要地执行视图变形处理(S700)，从而降低计算成本。
上面参考图7，说明了按照本实施例的图像处理方法的概况。下面详细说明图7的每个处理S100-S700。
[3.1特征点提取处理和对应点搜索处理]
首先，详细说明图7的特征点提取处理(S100)和对应点搜索处理(S200)。
图像处理设备20从存储部分100读取在两个不同视点PA和PB拍摄的两个原始图像A和B。随后，如图1中所示，图像处理设备20从原始图像之一，例如原始图像A提取对象1的多个特征点XA(S100)，并搜索另一个原始图像B，以找出分别与原始图像A中的多个特征点XA对应的多个对应点XB(S200)。
例如，图像处理设备20利用诸如Harris算子之类的角点检测算法，提取在视点PA拍摄的原始图像A中的对象1的特征点XA。图像处理设备20随后通过利用诸如KLT-Tracker之类的特征点跟踪算法，跟踪原始图像B中的特征点，获得原始图像B中对应于原始图像A中的特征点XA的对应点XB(参见图1)。这使得能够在原始图像A和B中设定相互对应的特征点XA和对应点XB，和获得原始图像A中的特征点XA的坐标(X1，Y1)，和原始图像B中的对应点XB的坐标(X2，Y2)。
为了获得上述特征点XA和对应点XB，两个原始图像A和B必须包括同一对象1的同一部分。另外，为了在视图变形处理(S700)中获得在视点PA的照相机10和在视点PB的照相机10之间的相对位置关系，必须获得至少8组特征点XA和对应点XB。
[3.2直边检测处理]
下面，参考图8-11详细说明图7的直边检测处理(S300)。图8是表示图7的直边检测处理(S300)的流程图。
在直边检测处理(S300)中，如图8中所示，利用Hough变换检测对象1的包括在原始图像A和原始图像B之一中的直边。尽管在下面的说明中使用原始图像A作为直边检测处理的目标，不过也可使用原始图像B。
图像处理设备20首先利用诸如Laplacian滤波器302(参见图9)之类的边增强滤波器，增强诸如原始图像A中的对象1的边界线之类的边(S302)。在边增强处理中，例如，从原始图像A的像素值中减去通过对原始图像A应用Laplacian滤波器302而获得的输出图像的像素值，以展开图像的变化点。通过边增强处理(S302)，原始图像A中的边被增强，从而提供清晰的图像。
图像处理设备20随后使其边已在S302中被增强的原始图像A二值化，以获得黑白二值图像(S304)。二值图像是其中用白色区域表示原始图像A中的对象1的黑白图像(参见图10)。
如图10中所示，图像处理设备20还对在S304中二值化的原始图像A进行扩展处理和收缩处理，以从二值化的原始图像A中除去噪声(S306)。
具体地说，图像处理设备20首先对二值化的原始图像A进行扩展处理，以生成其中白色像素被扩展的图像A1。在扩展处理中，使二值化的原始图像A中的其四个相邻像素中具有至少一个白色相邻像素的像素变成白色像素。这种扩展处理扩展二值图像A中的孤立白噪声，从而生成其中断续的直线被修复，且黑噪声被除去的图像A1。
图像处理设备20随后对经过扩展处理的原始图像A进行收缩处理，以生成其中白色像素被收缩的图像A2。在收缩处理中，使图像A1中的其四个相邻像素中具有至少一个黑色相邻像素的像素变成黑色像素。这种收缩处理除去图像A1中的孤立白噪声，从而生成其中使对象1的图形收缩1个像素的图像A2。
之后，如图11中所示，图像处理设备20利用Hough变换，从已在S306中除去噪声的图像A2中检测直线304，以从图像A2中的对象1的边中检测直边(S308)。对用于进行Hough变换的输入参数(例如，直线的数目，边阈值，边宽度，角度和距离)来说，使用通过实验获得的最佳值。
Hough变换常用于从图像中检测直线。在Hough变换中，原始图像的直角坐标系上的点(x，y)被变换到具有角度θ和距离ρ的二维极坐标空间中，在存储阵列上相加每个角度θ和每个距离ρ的点的数目。对于其点数最大的角度θ和距离ρ的组合，把这样的点变换回原始的直角坐标，从而获得最可能构成原始图像中的直线的点的集合。
在图11的例子中，在图像A2中包括四个对象1a-1d，从定义对象1a-1d的边界线(轮廓)的边中检测由直线304a-304f表示的直边。例如，圆柱形的对象1d具有由上下曲边和左右直边形成的边(轮廓)。从这些边中，检测由利用Hough变换检测的直线304e和304f表示的直边。
如上所述，在直边检测处理(S300)中，利用Hough变换检测包括在原始图像A和B之一中的对象1的直边。该直边用在后面说明的失真检测处理(S500)中。
[3.3普通变形处理(彩色图像)]
下面参考图12-14，详细说明图7的关于彩色图像的普通变形处理(S400)。图12是表示图7的普通变形处理(S400)的流程图。
在普通变形处理(400)中，如图12中所示，利用在特征点提取处理(S100)中获得的原始图像A中的特征点XA，和在对应点搜索处理(S200)中获得的原始图像B中的对应点XB，对原始图像A和B进行普通变形处理。从而，生成当从虚拟视点PC观察对象1时会获得的中间图像C1(彩色图像)。
图像处理设备20首先利用Delaunay三角测量法，在每个原始图像A和原始图像B中生成三角网格(Delaunay三角网)(S402)。如图13中所示，在原始图像A中，三角网格被布置成连接在特征点提取处理(S100)中获得的多个特征点XA1，XA2，XA3，...。同样，在原始图像B中，三角网格被布置成连接在对应点搜索处理(S200)中获得的多个对应点XB1，XB2，XB3，...。原始图像A中的三角网格和原始图像B中的三角网格相互对应，表示对象1的相同区域。
图像处理设备20随后在原始图像A和原始图像B之间使每个网格中的像素相互关联(S404)。具体地说，如图14中所示，对于原始图像A和B的每个网格，网格内的所有像素相对于网格的第一顶点XA1或XB1的相对位置用由下面的公式(1)和(2)给出的矢量表示。
$\overrightarrow{r}=s{\overrightarrow{e}}_x+t{\overrightarrow{e}}_y---\left(1\right)$
${\overrightarrow{r}}^{\prime }=s{{\overrightarrow{e}}_x}^{\prime }+t{{\overrightarrow{e}}_y}^{\prime }---\left(2\right)$
在这种场合，原始图像A和B中的网格已经历仿射变换，从而公式(1)和(2)中的矢量的参数s和t取为两个原始图像A和B所共有的值。通过使用参数s和t的矢量表示，在原始图像A和B之间使每个网格中的相应像素相互关联。仿射变换是一种保持几何性质，即，原始图像中直线上的点在变换之后也排列在直线上，原始图像中的平行线在变换之后也是平行线的变换模式。
之后，图像处理设备20在于S404中相互关联的原始图像A和原始图像B中的对应像素之间线性相加RGB亮度值，以生成从虚拟视点PC看到的中间图像C1(S406)。例如，在图13中所示的原始图像A中的三角网格(XA1，XA2，XA3)和原始图像B中的对应三角网格(XB1，XB2，XB3)之间分别线性相加对应像素的亮度值(RGB)，以确定与中间图像C1中的网格对应的区域中的像素的亮度值(RGB)。在这种场合，通过调整待线性相加的亮度值之间的调合比，能够生成具有希望亮度值的中间图像C1。
如上所述，在关于彩色图像的普通变形处理(S400)中，利用Delaunay三角测量法在两个原始图像A和B中生成网格，在对应网格之间线性插入亮度值，从而生成中间图像C1，中间图像C1是从希望的虚拟视点PC看到的彩色图像。
[3.4普通变形处理(二值图像)]
下面，参考图15，详细说明图7的关于二值图像的普通变形处理(S500)。图15是表示图7的普通变形处理(S500)的流程图。
在关于二值图像的普通变形处理(S500)中，如图15中所示，图像处理设备20首先使原始图像A和B二值化，从而获得二值化形式的原始图像A和二值化形式的原始图像B(S501)。之后，图像处理设备20按照和上面讨论的图12的彩色图像的普通变形处理(S400)相同的方式，对二值化原始图像A和B进行普通变形处理。即，图像处理设备20利用Delaunay三角测量法在二值化原始图像A和B中生成三角网格(S502)，在原始图像A和B中的网格之间使所有像素相互关联(S504)，和线性相加关联像素的亮度值(S506)。
从而，通过对二值化原始图像A和B进行普通变形处理，生成当从虚拟视点PC观察对象1时会获得的中间图像C3(二值图像)。作为二值图像的这种中间图像C3被用作随后的失真检测处理(S600)中的失真检测的目标。
[3.5失真检测处理]
现在参考图16，详细讨论图7的失真检测处理(S600)。图16是表示图7的失真确定处理(S600)的流程图。
在失真检测处理(S600)中，如图16中所示，检测在S500中产生的中间图像C3(二值图像)中的对象1的对应边(即，中间图像C1中的与在S300中检测的直边对应的边)是否失真。
如果正常执行了步骤S500中的普通变形处理，那么中间图像C1中的对应边应是直边。不过，在由拍摄原始图像A和B的视点PA和PB与对象1形成的角度θ(参见图1)太大的情况下，通过普通变形处理(S400)生成的中间图像C1可能失真。从而，在本实施例中，通过普通变形处理(S500)生成作为二值图像的中间图像C3，中间图像C3被用于失真检测，以检测中间图像C3中的对应边的失真是否是预定阈值或更大。
具体地说，图像处理设备20首先检测在S500中生成的中间图像C3(二值图像)中的对象的边之中，与在S300中检测的原始图像A中的直边对应的边(对应边)(S602)。例如，如图17中所示，图像处理设备20检测中间图像C3中与在S300中检测的原始图像A中的直边310对应的对应边312。通过利用当在普通变形处理(S500)中对原始图像A和B中的相应像素线性插值时获得的这样的像素的位置信息，能够获得中间图像C3中与原始图像A中的直边310对应的对应边312的位置。从而，图像处理设备20根据在普通变形处理(S500)中获得的像素的位置信息，指定二值化中间图像C3中的对应边312。
随后，如图17中所示，图像处理设备20计算由在S602中检测的对应边312和连接对应边312的两端的线段D-E围绕的白色图像区314的面积S(像素的数目)，以确定图像区314的面积S是否是预定阈值或更大(S604)。
例如，如图17中所示，在中间图像C3中的对应边312相对于原始图像A中的直边310失真的情况下，形成由直边310(线段D-E)和对应边312围绕的半椭圆白色图像区314。当白色图像区314的面积S更大时，中间图像C3中的对应边312的失真程度更大。
从而，图像处理设备20比较图像区314的面积S与用由公式(3)和(4)给出的预定的确定标准常数α确定的阈值(＝α·X·Y)，以按照比较结果确定对应边312的失真的存在或不存在。
白色图像区314的面积S≥α·X·Y：对应边312失真…(3)
白色图像区314的面积S＜α·X·Y：对应边312不失真…(4)
α：确定标准常数(0＜α＜1)
利用图像区314中的像素的数目，可确定白色图像区314的面积S，高度Y和宽度X的值。阈值(＝α·X·Y)是通过把图像区314的最大高度Y和最大宽度X的乘积乘以确定标准常数α而获得的值。确定标准常数α是大于0，小于1的固定值，比如α＝0.5。通过利用这样的阈值(＝α·X·Y)，能够通过把图像区314占据由最大高度Y和最大宽度X限定的矩形区的比例作为阈值，确定对应边312的失真的存在与否。这种场合下，通过调整确定标准常数α的值，可控制对应边312的失真检测精度。例如，朝着1增大α会降低失真检测精度，朝着0减小α会增大失真检测精度。
如果作为利用公式(3)和(4)在S604中进行的确定的结果，图像区314的面积S(包括在图像区314中的像素的数目)是预定阈值(＝α·X·Y)或者更大，那么图像处理设备20确定中间图像C3的对应边312失真(S606)。这种情况下，通过普通变形处理(S400)生成的中间图像C1明显失真，从而，图像处理设备20执行视图变形处理(S700)。例如，在将在视点PA和PB之间生成多个中间图像C，并且在通过普通变形处理生成的所有中间图像C3中的至少一个中间图像C3中，对应边312失真的情况下，图像处理设备20转变成执行视图变形处理(S700)的模式，以生成无失真的中间图像C2。
另一方面，如果面积S不等于或大于预定阈值(＝α·X·Y)，那么图像处理设备20确定中间图像C3的对应边312未失真(S608)。这种情况下，通过普通变形处理(S400)生成的中间图像C1根本未失真或者轻微失真，从而，图像处理设备20终止处理，而不执行视图变形处理(S700)。例如，当要在视点PA和PB之间生成多个中间图像C，并且在通过普通变形处理生成的任意中间图像C3中，对应边312都未失真时，不必执行视图变形处理(S700)，图像处理设备20输出通过普通变形处理(S400)生成的中间图像C1作为结果图像。
[3.6视图变形处理]
现在参考图18，详细说明图7的视图变形处理(S700)。图18是表示图7的视图变形处理(S700)的流程图。
在视图变形处理(S700)中，如图18中所示，图像处理设备20首先利用原始图像A中的特征点XA和原始图像B中的对应点XB，获得图2中所示的位于视点PA的照相机10和位于视点PB的照相机10之间的相对位置关系(照相机几何)(S702-S706)。随后，如图3中所示，根据照相机10的相对位置关系，图像处理设备20进行平行化处理，其中在视点PA拍摄的原始图像A和在视点PB拍摄的原始图像B被投射到同一虚拟平面上，以致两个原始图像A和B变成相互平行(S708-S710)。之后，如图4中所示，图像处理设备20对平行化的原始图像A′和B′进行普通变形处理，以生成中间图像C2′(S712)。图像处理设备20还利用中间图像C2′中的四个点，把中间图像C2′投射回平行化之前的空间中，从而生成从虚拟视点PC自然应看到的中间图像C2(S714-S716)。图18的视图变形处理(S700)在下面详细说明。
如图18中所示，图像处理设备20首先估计用于获得核线(epipolar line)320(参见图19)的基本矩阵F(S702)。基本矩阵F例如是包含表示在视点PA的照相机10的位置和姿态与在视点PB的照相机10的位置和姿态之间的相对关系的信息的矩阵，是从8组或者更多组的特征点XA和对应点XB获得的。如图19中所示，原始图像B中与原始图像A中的特征点XA对应的对应点XB位于原始图像B的核线320B上。原始图像A、B中的多条核线320A，320B经过一个核点322A，322B。
下面说明估计基本矩阵F的一种方法。基本矩阵F满足下述公式(5)。
xTEx′＝mTFm′
F＝A-TEA′-1＝A-Tt×RA′-1
E＝ATFA′
$\mathrm{eF}{m}^{\prime }=0,{\forall m}^{\prime }$
FTe＝0
Fe′＝0                              …(5)
上面的公式(5)中的参数如下：
x：特征点XA的在视点PA的照相机坐标系中的坐标
x′：对应点XB的在视点PB的照相机坐标系中的坐标
m：特征点XA的在视点PA的照相机的图像坐标系中的坐标
m′：对应点XB的在视点PB的照相机的图像坐标系中的坐标
A：在视点PA的照相机的内部参数
A′：在视点PB的照相机的内部参数
E：初等矩阵
F：基本矩阵
t：从视点PA到视点PB的矢量
在估计基本矩阵F时，例如，基本矩阵F具有为2的秩(3次平移和3次旋转)和任意比例，从而总共具有7个自由度。从而，当获得8组或者更多组的特征点XA和对应点XB时，可用线性解法计算基本矩阵F。
不过，这样计算的基本矩阵F通常不满足其秩为2条件。从而，与利用线性解法计算的基本矩阵F最接近的秩-2矩阵F′被用作最终的基本矩阵。基本矩阵F经历由公式(6)给出的奇异值分解。
F＝U∑VT…(6)
∑：奇异值的对角矩阵(σ1＞σ2＞σ3)
U，V：正交矩阵
为了把基本矩阵的秩设为2，在σ3＝0的条件下，利用下面的公式(7)计算矩阵F′。矩阵F′随后被用作最终的基本矩阵。
F′＝U∑′VT…(7)
∑′：奇异值的对角矩阵(σ1＞σ2＞σ3)
U，V：正交矩阵
鲁棒估计可被用于估计基本矩阵F。按照下面的程序(1)-(5)进行使用RANSAC(随机取样一致性算法)的鲁棒估计。在一些特征点是极端异常值的情况下，RANSAC是有效的。
(1)通过随机取样，获得8组或更多组的特征点XA和XB。
(2)根据取样的8组或更多组的特征点XA和XB，估计基本矩阵。
(3)利用获得的基本矩阵，关于所有特征点XA和XB计算误差，其误差等于或小于阈值的特征点XA和XB的数目被用作基本矩阵的评价值。
(4)把程序(1)-(3)重复足够次数，以获得具有最大评价值的基本矩阵。
(5)其相对于具有最大评价值的基本矩阵的误差等于或大于阈值的特征点XA和XB被确定为异常值，拒绝接纳其来确定基本矩阵F。
按照下面的程序(1)-(5)执行使用LMeds(最小中位数平方)的鲁棒估计。在特征点的误差范围不清楚的情况下，LMeds是有效的。
(1)通过随机取样，获得8组或更多组的特征点XA和XB。
(2)根据取样的8组或更多组的特征点XA和XB，估计基本矩阵。
(3)利用获得的基本矩阵，关于所有特征点XA和XB计算误差，误差的中位数被用作基本矩阵的评价值。
(4)把程序(1)-(3)重复足够次数，以获得具有最大评价值的基本矩阵。
(5)其相对于具有最大评价值的基本矩阵的误差等于或大于阈值的特征点XA和XB被确定为异常值，拒绝接纳其来确定基本矩阵F。
上面举例说明了S702中估计基本矩阵F的处理。
随后，返回图18，图像处理设备20根据在S702中估计的基本矩阵F的特征值和特征向量，获得原始图像A和B的核点322(S704)，还获得核线320(S706)。
图像处理设备20还根据在S704中获得的核点322，和在S706中获得的核线320，估计预畸变矩阵(S708)。下面的公式(8)表示预畸变矩阵。
$H_0=R_{\phi 0}{R}_{\theta 0}^{d0}$
$H_1={\mathrm{TR}}_{\phi 1}{R}_{\theta 1}^{d1}$
使两个原始图像A和B的平面平行的矩阵
Rφi：使两个原始图像A和B的核线相互平行的矩阵
T：使原始图像B的核线的高度和原始图像A的核线的高度匹配的矩阵
通过由下面的公式(9)-(13)给出的计算，获得公式(8)的预畸变矩阵。
$e_0={\left[\begin{array}{ccc}{e}_0^x& e_0^y& e_0^z\end{array}\right]}^T$
$e_1={\left[\begin{array}{ccc}{e}_1^x& e_1^y& e_1^z\end{array}\right]}^T···\left(9\right)$
e0，e1：原始图像A和B的核点的坐标
$d_0={\left[\begin{array}{ccc}-e_0^y& e_0^x& 0\end{array}\right]}^T$
$d_1={\left[\begin{array}{ccc}-y& x& 0\end{array}\right]}^T$
[x y z]T＝Fd0                       …(10)
${\theta }_i=-\frac{\pi }{2}-{\tan }^{-1}\left(\frac{d_i^y{e}_i^x-d_i^x{e}_i^y}{e_i^z}\right)···\left(11\right)$
θi：使原始图像A和B与同一虚拟平面平行的旋转角
${\left[\begin{array}{ccc}{\bar{e}}_i^x& {\bar{e}}_i^y& 0\end{array}\right]}^T=R_{{\theta }_i}^{d_i}{e}_i$
${\phi }_i=-{\tan }^{-1}({\tilde{e}}_i^y/{\tilde{e}}_i^x)···\left(12\right)$
使原始图像A和B中的核线相互平行的旋转角
$\tilde{F}=R_{{\phi }_1}{R}_{{\theta }_1}^{d_1}{\mathrm{FR}}_{-{\theta }_0}^{d_0}{R}_{-{\phi }_0}=\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& a\\ 0& b& c\end{array}\right]$
$T=\left[\begin{array}{ccc}1& 0& 0\\ 0& -a& -c\\ 0& 0& b\end{array}\right]···\left(13\right)$
T：使原始图像A的核线320A的高度与原始图像B的核线320B的高度匹配的矩阵
随后，如图2和3中所示，图像处理设备20利用在S708中获得的预畸变矩阵，使两个原始图像A和B平行(预畸变)(S710)。这使两个原始图像A和B的核线320A和320B相互平行。
之后，如图4中所示，图像处理设备20对平行化的原始图像A′和B′进行普通变形处理，从而获得中间图像C2′(S712)。图像处理设备20随后利用例如中间图像C2′中的4个点，估计投射变换矩阵H3(后畸变矩阵)(S714)。此外，如图4中所示，图像处理设备20利用投射变换矩阵H3，把中间图像C2′投射回从平行化前的空间中的虚拟视点PC观察的图像，以生成从虚拟视点PC看到的中间图像C2(S716)。
上面说明了按照本实施例的视图变形处理(S700)。在视图变形处理中，伴随考虑照相机几何对原始图像A和B进行的平行化处理，进行变形，从而执行上面说明的诸如矩阵运算，奇异值分解和鲁棒估计之类的计算处理。于是，有利的是，无论位于视点PA的照相机10和位于视点PB的照相机10之间的相对位置关系如何，通过交换高计算成本，都能够生成适当的无失真的中间图像C2。
[4.结论]
上面说明了由按照本实施例的图像处理设备20执行的图像处理方法。如上所述，考虑照相机几何的视图变形处理(S700)提供无失真的中间图像C2，但是涉及计算成本高的处理，比如鲁棒估计和奇异值分解。
从而，按照本实施例的图像处理设备20检测原始图像A中的直边310(S300)，并检测通过普通变形处理(S500)生成的中间图像C3(二值图像)中与直边310对应的对应边312的失真(S600)。只有当通过检测发现对应边312失真时，图像处理设备20才进一步执行视图变形处理(S700)，以生成无失真的中间图像C2。另一方面，在发现对应边312未失真的情况下，图像处理设备20输出通过普通变形处理(S400)生成的中间图像C1，而不执行视图变形处理(S700)。
在本实施例中，如上所述，根据二值化中间图像C3中对应边312的失真的存在与否，恰当地切换普通变形处理(S400)和视图变形处理(S700)。从而，并不对所有输入图像(原始图像A和B)都进行视图变形处理(S700)，对于其中在普通变形处理(S400)之后，中间图像C1不失真的图像，只进行普通变形处理(S400)。从而，无论在视点PA的照相机10和在视点PB的照相机10之间的相对位置关系如何，都能够根据在两个视点PA和PB拍摄的原始图像A和B，生成自然和无失真的中间图像C。另外，通过尽可能多地减少计算成本高的视图变形处理(S700)的执行次数，能够显著降低总的计算成本。当在配备处理能力低的处理器的电子设备(例如，诸如数字照相机之类便携式设备)上实现变形技术时，按照本实施例的方法特别有效。
<第二实施例>
现在参考图20，说明由按照本发明的第二实施例的图像处理设备20执行的图像处理方法。图20是表示按照第二实施例的图像处理方法的流程图。在执行普通变形处理(彩色图像)的时机方面，按照第二实施例的图像处理方法不同于按照第一实施例的图像处理方法(参见图7)。第二实施例的其它功能结构与第一实施例的基本相同，从而不再详细说明。
在按照第二实施例的图像处理方法中，如图20中所示，首先对原始图像A和B进行特征点提取处理(S100)和对应点搜索处理(S200)，之后，对原始图像A进行直边检测处理(S300)。然后，对二值化原始图像A和B进行普通变形处理，以产生中间图像C3(二值图像)(S500)。
之后，检测中间图像C3中的对应边312是否失真(S600)。如果通过检测发现对应边312失真，那么对原始图像A和B执行视图变形处理(S700)，以生成中间图像C2(彩色图像)。另一方面，如果发现对应边312未失真，那么对原始图像A和B执行普通变形处理(S800)，以生成中间图像C1(彩色图像)。图20的普通变形处理(S800)与按照第一实施例的普通变形处理(S400)相同。
在第二实施例中，如上所述，首先检测由普通变形处理(S500)生成的中间图像C3(二值图像)中的对应边312的失真，根据所述失真的存在与否，有选择地执行视图变形处理(S700)和普通变形处理(S800)之一。从而，与第一实施例相比，在第二实施例中能够进一步降低计算成本。
即，在图7中所示的第一实施例中，在进行失真检测处理(S600)之前进行彩色图像的普通变形处理(S400)和二值图像的普通变形处理(S500)。在该流程中，当在失真检测处理(S600)中在中间图像C3中检测到失真时，进行视图变形处理(S700)，从而已进行的普通变形处理(S500)变得无用。
相对照的是，在图20中所示的第二实施例中，在不进行彩色图像的普通变形处理的情况下，进行二值图像的普通变形处理(S500)和失真检测处理(S600)，当中间图像C3未失真时，才首次进行彩色图像的普通变形处理(S800)。另一方面，当中间图像C3失真时，只进行视图变形处理(S700)，而不进行彩色图像的普通变形处理(S800)。从而，在第二实施例中，当中间图像C3失真时，能够避免无用地执行彩色图像的普通变形处理(S800)，与第一实施例相比，这减少了普通变形处理(S800)必需的计算成本。
本申请包含与在2009年6月2日向日本专利局提交的日本优先权专利申请JP2009-133404中公开的主题相关的主题，该专利申请的整个内容在此引为参考。
尽管参考附图详细说明了本发明的优选实施例，不过本发明并不局限于此。对具有本发明所属领域的普通知识的技术人员来说，显然可做出各种变化和修改，而不脱离附加权利要求的技术精神。自然这样的变化和修改应被解释成在本发明的技术范围之内。