图像生成方法、装置
| 专利类型 | 发明授权 | 法律事件 | 公开; 实质审查; 授权; 未缴年费; |
| 专利有效性 | 失效专利 | 当前状态 | 权利终止 |
| 申请号 | CN200880111538.2 | 申请日 | 2008-10-09 |
| 公开(公告)号 | CN101821769B | 公开(公告)日 | 2012-07-04 |
| 申请人 | 日本电信电话株式会社; | 申请人类型 | 企业 |
| 发明人 | 木全英明; 志水信哉; 上仓一人; 八岛由幸; | 第一发明人 | 木全英明 |
| 权利人 | 日本电信电话株式会社 | 权利人类型 | 企业 |
| 当前权利人 | 日本电信电话株式会社 | 当前权利人类型 | 企业 |
| 省份 | 当前专利权人所在省份： | 城市 | 当前专利权人所在城市： |
| 具体地址 | 当前专利权人所在详细地址：日本东京都 | 邮编 | 当前专利权人邮编： |
| 主IPC国际分类 | G06T3/00 | 所有IPC国际分类 | G06T3/00 ; G06T3/40 ; H04N1/387 |
| 专利引用数量 | 5 | 专利被引用数量 | 0 |
| 专利权利要求数量 | 16 | 专利文献类型 | B |
| 专利代理机构 | 中国专利代理(香港)有限公司 | 专利代理人 | 闫小龙; 李家麟; |
| 摘要 | 一种图像生成方法，根据图像A、和比图像A 分辨率 高的图像B，生成图像C的图像信息，对图像A进行扩大，产生与图像B具有相同的分辨率的图像C，对图像C的各 像素 位置 与图像B中的对应点的有无、以及对应点位置进行推定，在推定为有对应点的、图像C中的像素位置中，设定图像B中的对应位置的图像信息。 | ||
| 权利要求 | 1.一种图像生成方法，根据第一图像A和比图像A分辨率高的第二图像B，生成第三图像C的图像信息，其特征在于，执行如下步骤： |
||
| 说明书全文 | 图像生成方法、装置技术领域背景技术[0003] 图11是表示直线排列的多视点摄像系统的摄影机配置例的图，图12是表示平面排列的多视点摄像系统的摄影机配置例的图，图13是表示弧形状排列的多视点摄像系统的摄影机配置例的图，图14是表示球面排列的多视点摄像系统的摄影机配置例的图。 [0004] 已经开发了从不同方向对一个场景(scene)进行摄影的多视点摄像系统。在多视点摄像系统中，摄影机配置是如图11所示那样在直线上一维排列、或如图12所示那样在平面上二维排列、或如图13所示那样排列为弧形状、或如图14所示那样排列为球面状的配置等各种各样的。如果利用这样的多视点摄像系统，就能够对多面的视频图像场景进行归档(汇总为一个)。 [0005] 进而，存在根据在多视点摄影的摄影机视频图像，生成没有摄影的假想摄影机位置的图像信息的技术。将其称为图像合成技术。在图像合成中，假设已知摄影机参数，该摄影机参数表示原来的摄影机视频图像是从空间中的哪个方向摄影的图像信息。在图像合成中有各种各样的方法。 [0006] 例如，存在推定深度信息(depth information)来进行合成的方法。首先，在原来的摄影机视频图像之间进行图像信息的对应点探索来求取视差信息，根据视差信息来推定场景的深度信息。然后，推定假想摄影机位置的深度信息，根据原来的摄影机的图像信息来产生对应的图像信息(参照非专利文献1)。 [0007] 此外，也存在不进行深度信息的推定，而利用原来的图像的视差信息直接产生假想摄影机位置的图像信息的方法(参照非专利文献2)。 [0008] 或者，也存在预先根据多个摄影机视频图像来推定在场景中存在的对象(object)的三维模型信息，生成从假想摄影机位置的该模型的投影图像的方法(参照非专利文献3)。 [0009] 在这样的摄像系统中，通常使用分辨率相同的摄影机，但也可以使用分辨率不同的摄影机。通过组合分辨率高的摄影机和分辨率低的摄影机进行使用，从而能够降低得到的图像信息的信息量。此外，也可以改变摄影机的聚焦位置或视野角。在该情况下，即使是被摄影的图像信号的分辨率相同，实际被摄影的区域部分的分辨率也不同。 [0010] 作为根据分辨率低的图像获得分辨率高的图像的方法，可以举出对低分辨率的图像中的图像信号应用上采样滤波器的扩大方法，和使用超分辨(super-resolution)的方法。 [0011] 在扩大方法中，对周围附近的图像信号应用适当的滤波器来获得图像信号。另一方面，在超分辨方法中，通常使用连续摄影的多个相同分辨率的图像信息(参照非专利文献4)。首先，作为目标图像，定义与摄影的图像相比大分辨率的图像。即，预先对生成的对象的像素位置进行定义。然后，在多个摄影的图像之间，推定对应关系，将摄影得到的图像信号埋入目标像素位置。由此，得到高分辨率的图像信息。 [0012] 非专利文献1：Keita Takahashi and Takeshi Naemura，“LayeredLight-Field Rendering with Focus Measurement”，EURASIP SignalProcessing：Image Communication，vol.21，no.6，pp.519-530(2006.7. [0013] 非专利文献2：M.Droese，T.Fujii and M.Tanimoto，“Ray-SpaceInterpolation Constraining Smooth Disparities Based On Loopy BeliefPropagation”，Proc.of IWSSIP2004，pp.247-250，Poznan，Poland，Sept.2004. [0014] 非专利文献3：松山隆司、高井勇志、ウ小軍、延原章平：「3次元ビデオ映像の撮影·編集·表示」、日本バ一チヤルリアリテイ学会論文誌、Vol.7，No.4，pp.521-532，2002.12. [0015] 非专利文献4：田中正行、奥富正敏、「再構成型超解像処理の高速化アルゴリズムとその精度評価」、信学論D-II vol.J88-D-II，no.11，pp.2200-2209，2005. 发明内容 [0016] 本发明要解决的课题 [0017] 本发明的目的在于，针对处理分辨率不同的多视点视频图像这一发明者着眼的新技术，提供一种对低分辨率的图像失去的高频成分的信息进行复原，对以与高分辨率的图像相比主观品质低的低分辨率摄影的图像高品质地进行高分辨率化的方式。 [0018] 用于解决课题的方案 [0019] 在现有技术中没有进行对分辨率不同的多视点视频图像的处理。即，本发明的课题是从处理分辨率不同的多视点视频图像这一新的技术构思而产生的课题。 [0020] 在多视点摄像系统中使用分辨率不同的摄影机的情况下，低分辨率的图像和高分辨率的图像混合存在。此外，即使在以相同分辨率的摄影机进行摄影的情况下，由于能够例如通过降低一部分的摄影机视频图像的分辨率来削减信息量，所以有适于多视点图像的压缩的情况。即使在该情况下，低分辨率的图像和高分辨率的图像也混合存在。 [0021] 在以上那样的情况下，在低分辨率的图像信息中欠缺高频成分。因此，以低分辨率摄影的摄影机位置的图像信息与以高分辨率摄影的摄影机位置中的图像信息相比，存在主观品质劣化的问题。 [0022] 因此，本发明为了解决上述问题，提供一种对低分辨率的图像失去的高频成分的信息进行复原，对以与高分辨率的图像相比主观品质低的低分辨率摄影的图像，高品质地进行高分辨率化的方式。 [0023] 对本发明的概要进行说明。例如，通过以分辨率不同的多个摄影机对同一场景进行摄影，从而能够减少处理的图像信息的总量。因此，在该情况下，能够大幅降低多视点视频图像的码量。可是，以低分辨率摄影的摄影机的视频图像，与高分辨率的图像相比，存在主观品质低的问题。 [0024] 本发明以对该在低分辨率摄影的视频图像高品质地进行高分辨率化的方式，解决该问题。在现有技术中原本没有进行分辨率不同的多视点视频图像的处理。本发明的课题是从处理分辨率不同的多视点视频图像这一新的技术构成产生的课题。 [0025] 如具体地作为实施例后述的那样，本发明不仅对分辨率不同的多 视点视频图像，而且对于在一个摄影机输入视频图像中的帧之间分辨率不同的视频图像等也能够应用。 [0026] 基本上，本发明通过提供对低分辨率的图像失去的高频成分的信息进行复原的手段，能够实现在处理分辨率不同的多视点视频图像的情况下的、处理的图像信号的总量的削减，即能够实现多视点视频图像的码量的大幅削减。 [0027] 作为增加低分辨率的图像的像素数、即提高分辨率的现有方法，如上述那样，可以举出使用上采样滤波器对图像信号进行扩大的方法，或使用超分辨技术的方法，其中，超分辨技术利用其它的图像的图像信号制作高分辨率的图像。其中，在扩大图像信号的方法中，不能够得到失去的高频成分的信息。另一方面，在超分辨的方法中，虽然能够得到高频成分的信息，但做法和处理的对象与本发明不同。 [0028] 在超分辨的方法中，首先前提是存在多个低分辨率的图像信息。而且，设定目标的高分辨率的图像的像素位置，在该像素位置中埋入低分辨率的图像信息。因此，可以说超分辨是对原本不存在的图像本身进行合成来产生的技术。 [0029] 相对于此，本发明与超分辨在本质上处理的课题不同，其主旨在于对低分辨率的图像信息原本具有的高频成分进行复原。但与超分辨的构思根本上不同之处在于使用如下技术手段，即，这时利用其它的高分辨率的图像的对应的图像信息进行产生，仅在对应点探索中利用原来的低分辨率的图像信息，对于将低分辨率的图像扩大后的图像，利用对应的高分辨率的图像的图像信息进行埋入。 [0030] 为了解决上述课题，本发明提供一种图像生成方法，根据图像A、和比图像A分辨率高的图像B来生成图像C的图像信息，该图像生成方法执行如下步骤：图像扩大步骤，对图像A进行扩大，产生与图像B具有相同的分辨率的图像C；对应点推定步骤，对图像C的各像素位置与图像B中的对应点的有无、以及对应点位置进行推定；以及对应图像设定步骤，在对应点推定步骤中推定为有对应点的、图像C中的像素位置中，设定图像B中的对应位置的图像信息。 [0031] 根据该图像生成方法，能够使用其它图像中包含的高频成分的信息，生成对于所希望的低分辨率的图像的高分辨率的图像。在这时在其它图像中不存在对应于生成的像素位置的图像信号的情况下，通过 使用将原来的低分辨率扩大后的图像信息，从而能够防止图像信息的欠缺。 [0032] 在对应点的推定中，可以举出另外输入对应点信息而进行赋予的情况，和使用图像信息来探索对应点的情况。在另外赋予对应点信息的情况下，也可以预先推定场景的深度信息或几何信息，然后推定图像间的对应点。 [0033] 在对应点的探索中，在对应的像素间(对图像C的各像素的，图像B的1～多个像素候补)求取差分的绝对值，在该值的最小值比预先设定的阈值小的情况下，将成为该最小值的点推定为对应点，在比阈值大的情况下，推定为没有对应点也可。 [0034] 优选将该情况下的阈值与低分辨率的图像信息一起进行文件化(filing)。在根据文件化后的低分辨率的图像信息生成高分辨率的图像信息时，通过使用文件中包含的阈值，能够保障在生成时总是得到相同的图像。 [0035] 在利用分辨率不同的摄影机的图像，从多个方向摄影某个场景的情况下，对于低分辨率的摄影机的图像，能够利用其它的高分辨率的摄影机的图像，生成高分辨率的图像。该方法不仅在多视点图像中、也能应用于单镜头(single camera)的活动图像。即，在活动图像中的各帧的分辨率不同的情况下，对于低分辨率的帧的图像，能够利用其它的高分辨率的帧的图像，生成高分辨率的图像。 [0036] 在上述方法中，可以进一步设置图像内插步骤，在该步骤中，根据在对应图像设定步骤中设定的图像信息，产生在对应点推定步骤中推定为没有对应点的、图像C中的像素位置的图像信息。 [0037] 在该情况下，在其它的图像中不存在对应于生成的像素位置的图像信号的情况下，通过根据在周围的、生成的高分辨率的图像信号进行内插而产生，能够防止图像信息的欠缺。 [0038] 此外，本发明的图像生成方法，根据图像A、和比图像A分辨率高的图像B来生成图像C的图像信息，该图像生成方法执行如下步骤：图像扩大步骤，对图像A进行扩大，产生与图像B具有相同分辨率的图像D；对应点推定步骤，对图像D的各像素位置与图像B中的对应点的有无、以及对应点位置进行推定；对应图像设定步骤，在图像E中的像素位置中，设定图像B中的对应位置的图像信息，其中，该图 像E中的像素位置与在对应点推定步骤中推定为有对应点的、图像D中的像素位置相同；图像内插步骤，根据在对应图像设定步骤中设定的图像信息，产生图像E中的像素位置的图像信息，其中，该图像E中的像素位置与在对应点推定步骤中推定为没有对应点的、图像D中的像素位置相同；图像缩小步骤，对图像E进行缩小，产生与图像A具有相同分辨率的图像F；差分产生步骤，在图像A的各像素位置中，求取图像A的图像信息和相同像素位置的图像F的图像信息的差分；以及图像信息设定步骤，在差分产生步骤中求取的各像素位置中的差分小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生步骤中求取的各像素位置中的差分大的情况下，在对应的图像C的各像素位置中设定基于图像D的图像信息的图像信息。 [0039] 作为典型例子，在上述图像信息设定步骤中，在上述差分产生步骤中求取的各像素位置中的差分比阈值大的情况下， [0040] (i)在对应的图像C的各像素位置中设定图像D的图像信息，或 [0041] (ii)在对应的图像C的各像素位置中，设定对图像D的图像信息和图像E的图像信息进行加权平均后的值。 [0042] 根据该图像生成方法，在所希望的低分辨率的图像与其它图像的对应点的推定中存在误差的情况下，代替使用与上述发明同样地生成的高分辨率的图像，而使用将原来的低分辨率以扩大为高分辨率后的图像信息，或使用生成的高分辨率的图像信息、和将原来的低分辨率扩大为高分辨率的图像信息的加权平均值，由此能够降低推定误差导致的画质的劣化。 [0043] 此外，本发明提供一种图像生成方法，其中，根据具有相同分辨率的图像A和图像B来生成图像C的图像信息，其中，该图像生成方法执行如下步骤：基准图像缩小步骤，对图像A进行缩小来产生分辨率小的图像G；图像扩大步骤，对图像G进行扩大，产生与图像A具有相同分辨率的图像D；对应点推定步骤，对图像D的各像素位置与图像B中的对应点的有无、以及对应点位置进行推定；对应图像设定步骤，在图像E中的像素位置中，设定图像B中的对应位置的图像信息，其中，该图像E中的像素位置与在对应点推定步骤中推定为有对应点的、图像D中的像素位置相同；图像内插步骤，根据在对应图像设定步骤中设定的图像信息，产生图像E中的像素位置的图像信息，其中，该图像E中的像素位置与在对应点推定步骤中推定为没有对应点的、图像D中的像素位置相同；图像缩小步骤，对图像E进行缩小，产生与图像G具有相同分辨率的图像F；以及差分产生步骤，在图像G的各像素位置中，求取图像G的图像信息和相同像素位置的图像F的图像信息的差分，进而，一边改变阈值一边执行如下步骤：阈值设定步骤，在预先设定的范围中设定阈值；图像信息设定步骤，在差分产生步骤中求取的各像素位置中的差分比阈值小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生步骤中求取的各像素位置中的差分比阈值大的情况下，在对应的图像C的各像素位置中设定基于图像D的图像信息的图像信息；以及生成差分合计步骤，计算在图像信息设定步骤中得到的图像C和图像A的各像素位置中的图像信息的差分的合计，执行阈值决定步骤，决定在生成差分合计步骤中得到的差分的合计变得最小的阈值。 [0044] 作为典型例子，在上述图像信息设定步骤中，在上述差分产生步骤中求取的各像素位置中的差分比阈值大的情况下， [0045] (i)在对应的图像C的各像素位置中设定图像D的图像信息，或 [0046] (ii)在对应的图像C的各像素位置中，设定对图像D的图像信息和图像E的图像信息进行加权平均后的值。 [0047] 根据该图像生成方法，在将图像低分辨率化后进行高分辨率化的情况下，在以上述方法生成高分辨率的图像时，检测出对应点的推定误差导致的劣化的大小，以劣化变得最小的方式，决定对生成的高分辨率的图像进行选择的阈值。由于也存在原来的高分辨率的图像信息，所以能够检测出劣化的大小。 [0048] 该阈值参数能够以如下方式利用。首先，预先推定该阈值，作为阈值参数对低分辨率的图像附加。例如，与低分辨率的图像和其它图像一起，该阈值参数也进行文件化。在该文件中不包含进行低分辨率化之前的图像信息。因此，由于对与原来的图像相比低分辨率的图像信息进行文件化，所以能够减小文件大小。在再生该文件时，根据低分辨率的图像和其它图像，利用上述阈值参数，能够生成高分辨率的图像。这时，能够生成将主观品质的劣化最小化了的高分辨率的图像。 [0049] 此外，在上述图像信息设定步骤中，在上述差分产生步骤中求取的各像素位置中的差分比阈值大的情况下，在使用上述(ii)的方法时， 不是在生成的图像的信号中使用将低分辨率的图像扩大后的图像，而是使用与高分辨率的图像加权平均后的值，因此能够降低对低分辨率的图像进行扩大而导致的图像的模糊。 [0050] 本发明此外也提供利用上述各方法生成图像的图像生成装置。 [0051] 发明的效果 [0053] 图1是表示本发明的第一实施例的图像生成装置的结构的图。 [0054] 图2是表示同实施例的图像生成装置的工作的流程图。 [0055] 图3是表示本发明的第二实施例的图像生成装置的结构的图。 [0056] 图4是表示同实施例的图像生成装置的工作的流程图。 [0057] 图5是表示本发明的第三实施例的图像生成装置的结构的图。 [0058] 图6是表示同实施例的图像生成装置的工作的流程图。 [0059] 图7是表示同实施例的变形例的图像生成装置的结构的图。 [0060] 图8是表示本发明的第四实施例的图像生成装置的结构的图。 [0061] 图9是表示同实施例的图像生成装置的工作的流程图。 [0062] 图10是表示同实施例的变形例的图像生成装置的结构的图。 [0063] 图11是表示直线排列的多视点摄像系统的例子的图。 [0064] 图12是表示平面排列的多视点摄像系统的例子的图。 [0065] 图13是表示弧形状排列的多视点摄像系统的例子的图。 [0066] 图14是表示球面排列的多视点摄像系统的例子的图。 [0067] 附图标记说明 [0068] 101、201、301、401图像扩大部 [0069] 102、202、302、402对应点推定部 [0070] 103、203、303、403对应图像设定部 [0071] 204、304、404图像内插部 [0072] 305、405图像缩小部 [0073] 306、406差分产生部 [0074] 307、407图像选择部 [0075] 308、408图像生成部 [0076] 409生成差分合计部 [0077] 410阈值设定部 [0078] 411阈值决定部 [0079] 412基准图像缩小部 具体实施方式[0080] 使用附图对本发明的图像生成装置的实施例进行说明。 [0081] [第一实施例] [0082] 作为第一实施例，表示如下情况的例子，即根据以其它的摄影机摄影的低分辨率的图像A和高分辨率的图像B，生成对应于图像A的高分辨率(对应于图像B的高分辨率)的图像C。在这里，假设以摄影机摄影的信号全部是利用YUV信号(亮度Y，色差U、V)设定了彩色信号的信号，在实施例中，假设仅处理Y信号。 [0083] 在图1中表示装置概要。本实施例中的图像生成装置具备：图像扩大部101，扩大图像A，产生与图像B具有相同的分辨率的图像C；对应点推定部102，对图像C的各像素位置与图像B中的对应点的有无、以及对应点位置进行推定；以及对应图像设定部103，在对应点推定部102中推定为有对应点的图像C中的像素位置中，设定图像B中的对应位置的图像信息。 [0084] 在这里，在图像扩大部101中，利用双线性内插求取分数位置(fractional position)的图像信息，产生扩大图像。 [0085] 此外，在对应点推定部102中，使用摄影机参数或已知的匹配(matching)技术，针对图像C的各像素假定(图像B中的)对应的像素的候补(1～多个)，在对应的像素之间求取差分的绝对值，在这些绝对值的最小值比预先设定的阈值小的情况下，将成为该最小值的点推定为对应点，在比阈值大的情况下，针对图像C的相应像素推定为没有对应点。 [0086] 以上述为前提，图1所示的图像生成装置以下述方式工作。图2表示其流程图。 [0087] 首先，图像扩大部101对图像A以上述方式进行扩大来产生图像C(步骤S10)。然后，对应点推定部102以上述方法来推定图像C与图像B的对应点的有无、以及位置(步骤S11)。对应图像设定部103对于在对应点推定部102中推定为有对应点的图像C的各像素，设定图像B的对应点的图像信息(步骤S12)。通过以上方式生成图像C。 [0088] 再有，在图像扩大部101中，也可以应用抽头数长(large number oftaps)的滤波器，也可以应用二维滤波器，也可以以横纵的顺序应用一维滤波器。此外，也可以应用保存边缘信息的滤波器。在任何情况下，不利用图像B，进行使用扩大的对象的图像A的图像信息扩大分辨率的处理。 [0089] 此外，在对应点推定部102中，在像素之间求取差分的绝对值，但也可以使用由将推定的对象的像素作为中心的多个像素构成的块(block)来进行推定。例如，针对图像C的各像素，假定图像B中的对应的像素的候补(1～多个)，求取与由将各候补作为中心的多个像素构成的块内的像素的差分的绝对值的合计，将该合计值变为最小的候补的位置作为对应点进行推定。 [0090] 在以上的例子中，根据以其它的摄影机摄影的低分辨率的图像A和高分辨率的图像B来生成高分辨率的图像C，但也可以根据以相同摄影机摄影的、某个时刻的低分辨率的图像A、和其它时刻的高分辨率的图像B，来生成高分辨率的图像C。 [0091] 此外，如上述那样，根据图像A和图像B，产生对应于图像A的图像C，但图像B是多个也可。下面表示图像B是2个(B1和B2)的情况下的例子。结构是相同的，图像生成装置以如下方式工作。 [0092] 首先，图像扩大部101对图像A以上述方式进行扩大来产生图像C。然后，对应点推定部102以与上述相同的方法来推定图像C和图像B1的对应点的有无、以及位置。对应图像设定部103将在对应点推定部102中推定为有对应点的各位置中的图像B1的图像信息向图像C设定。 [0093] 接着，对应点推定部102同样地推定图像C和图像B2的对应点的有无、以及位置。对应图像设定部103将在对应点推定部102中推定为有对应点的各位置中的图像B2的图像信息向图像C设定。 [0094] 通过以上方式生成图像C。 [0095] 在推定为在图像B1和图像B2的双方中有对应点的情况下，使预先决定的任一个的图像信息优先而设定到图像C也可，将与对应的图像C的像素的差分较小的图像B1或图像B2的图像信息设定到图像C也可，将图像B1与图像B2的图像信息的平均值设定到图像C也可。 [0096] 在图像B是3个以上的情况下也能够同样地生成高分辨率的图像C。 [0097] 关于以下说明的其它实施例，在存在多个图像B的情况下，也能够同样地实施。 [0098] [第二实施例] [0099] 接着，作为第二实施例，表示如下情况的例子，即与第一实施例同样地，根据以其它的摄影机摄影的低分辨率的图像A和高分辨率的图像B，生成对应于图像A的高分辨率图像C。其中，表示如下例子，即，在没有对应点的情况下，根据周围的高分辨率的图像信息进行内插而生成。 [0100] 在图3中表示装置概要。本实施例中的图像生成装置具备：图像扩大部201，扩大图像A的分辨率，产生图像C；对应点推定部202，对图像C的各像素位置与图像B中的对应点的有无、以及对应点位置进行推定；对应图像设定部203，在对应点推定部202中推定为有对应点的图像C中的像素位置中，设定图像B中的对应位置的图像信息；以及图像内插部204，根据在对应图像设定部203中设定的图像信息，产生在对应点推定部202中推定为没有对应点的图像C中的像素位置的图像信息。 [0101] 在图像内插部204中，根据假设有对应点而从图像B设定了图像信息的像素位置的相应图像信息，来产生在图像C中的像素中的、推定为没有对应点的像素的图像信息。这时，与从图像B设定了图像信息的像素位置起的距离对应地进行线性内插。 [0102] 以上述为前提，图像生成装置以下述方式工作。图4表示其流程图。 [0103] 首先，图像扩大部201对图像A的分辨率进行扩大来产生图像C(步骤S20)。然后，对应点推定部202推定图像C和图像B的对应点的有无、以及位置(步骤S21)。对应图像设定部203对于在对应点推 定部202中推定为有对应点的图像C的各像素，设定图像B的对应点的图像信息(步骤S22)。图像内插部204针对在对应点推定部202中推定为没有对应点的像素位置，根据在对应图像设定部203中已经设定的图像信息进行内插来产生图像信息(步骤S23)。通过以上生成图像C。 [0104] 在图像内插部204中，通过线性内插来生成图像信息，但使用非线性处理来生成图像信息也可。这些情况均利用在对应图像设定部203中设定的图像信息来生成。 [0105] [第三实施例] [0106] 接着，作为第三实施例，表示如下情况的例子，与第一实施例同样地，即根据以其它的摄影机摄影的低分辨率的图像A和高分辨率的图像B，生成对应于图像A的高分辨率(对应于图像B的分辨率)的图像C。其中，表示如下例子，即仅在将生成的图像信息的缩小图像和原来的图像A的差较小的像素位置，应用生成的图像信息。 [0107] 在以下的说明中，图像D是最初将图像A扩大后(提高了分辨率)的图像，图像E是与图像D相同尺寸(相同像素结构)的临时处理用图像。 [0108] 此外，图像F是将图像E缩小而产生的、分辨率小的图像(与图像A具有相同的分辨率的、临时处理用图像)。 [0109] 在图5中表示装置概要。本实施例中的图像生成装置具备：图像扩大部301，对图像A进行扩大(提高分辨率)，产生图像D；对应点推定部302，对图像D的各像素位置与图像B中的对应点的有无、以及对应点位置进行推定；对应图像设定部303，在图像E中的像素位置中，设定图像B中的对应位置的图像信息，其中，图像E中的像素位置与在对应点推定部302中推定为有对应点的、图像D中的像素位置相同；图像内插部304，根据在对应图像设定部303中设定的图像信息，产生图像E中的像素位置的图像信息，其中，图像E中的像素位置与在对应点推定部302中推定为没有对应点的、图像D中的像素位置相同；图像缩小部305，对图像E进行缩小(降低分辨率)，产生图像F；差分产生部306，在图像A的各像素位置中，求取图像A的图像信息、与相同像素位置的图像F的图像信息的差分；以及图像选择部307，在 差分产生部306中求取的各像素位置中的差分小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生部306中求取的各像素位置中的差分大的情况下，在对应的图像C的各像素位置中设定图像D的图像信息。 [0110] 在图像缩小部305中，对像素进行间隔剔除(thinning)来生成缩小图像(即，图像F)。 [0111] 在差分产生部306中，在各像素位置产生上述差分。 [0112] 在图像选择部307中，预先设定差分的阈值，进行与在差分产生部306中得到的差分的比较。 [0113] 以上述为前提，图像生成装置以下述方式工作。图6表示其流程图。 [0114] 首先，图像扩大部301以上述方式对图像A进行扩大来产生图像D(步骤S30)。然后，对应点推定部302推定图像D和图像B的对应点的有无、以及位置(步骤S31)。 [0115] 对应图像设定部303将在对应点推定部302中推定为有对应点的位置中的图像B的图像信息向图像E设定(步骤S32)。图像内插部304针对在对应点推定部302中推定为没有对应点的位置，根据在对应图像设定部303中已经设定的图像信息进行内插来产生图像E的图像信息(步骤S33)。 [0116] 图像缩小部305对图像E进行缩小，产生图像F(步骤S34)。差分产生部306产生图像A和图像F的差分(步骤S35)。 [0117] 在图像选择部307中，按照在差分产生部306中得到的差分，针对各像素位置，选择图像E或图像D来生成图像C(步骤S36)。 [0118] 再有，在图像缩小部305中，也可以使用其它方法来产生缩小图像。 [0119] 此外，在差分产生部306中，也可以产生将对象像素作为中心的块之间的差分(参照第一实施例)。 [0120] 在本实施例中，在图像选择部307中，在差分产生部306中求取的各像素位置中的差分小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生部306中求取的各像素位置中的差分大的情况下，在对应的图像C的各像素位置中设定图像D的图像信息。也可以代替该图像选择部307，设置图像生成部。 [0121] 在图7中表示装置概要。在图7所示的图像生成部308中，在差分产生部306中求取的各像素位置中的差分小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生部306中求取的各像素位置中的差分大的情况下，在对应的图像C的各像素位置中设定对图像D的图像信息和图像E的图像信息进行加权平均后的值。 [0122] 由此，在差分大的情况下不是使用扩大后(高分辨率的)的图像D，而能够使用扩大后的图像D和根据其它图像生成的图像E的加权平均。本方法在扩大后的图像D的高频成分少的情况下是优选的。 [0123] [第四实施例] [0124] 接着，作为第四实施例，表示以下情况下的例子，即，有以其它的摄影机摄影的相同分辨率的图像A和B，根据图像A的缩小图像和图像B来生成接近于图像A的图像C。在这里，表示如下例子，即仅在将生成的图像信息的缩小图像和原来的图像A的缩小图像的差较小的像素位置，应用生成的图像信息。在本实施例中，其特征在于对各像素位置中的2图像间的差分的阈值也进行推定。 [0125] 在图8中表示装置概要。本实施例的图像生成装置具备： [0126] ·基准图像缩小部412，对图像A进行缩小，产生分辨率小的图像G； [0127] ·图像扩大部401，对图像G进行扩大，产生与图像A、B相同分辨率的图像D； [0128] ·对应点推定部402，对图像D的各像素位置和图像B中的对应点的有无、以及对应点位置进行推定； [0129] ·对应图像设定部403，在图像E(与图像D同尺寸的临时处理图像)中的像素位置中，设定图像B中的对应位置的图像信息，其中，该图像E中的像素位置与在对应点推定部402中推定为有对应点的、图像D中的像素位置相同； [0130] ·图像内插部404，根据在对应图像设定部403中设定的图像信息，产生图像E中的像素位置的图像信息，其中，该图像E中的像素位置与在对应点推定部402中推定为没有对应点的、图像D中的像素位置相同； [0131] ·图像缩小部405，对图像E进行缩小，产生(与图像G相同分 辨率的)的图像F； [0132] ·差分产生部406，在图像G的各像素位置中，求取图像G的图像信息、与相同像素位置的图像F的图像信息的差分； [0133] ·阈值设定部410，在预先设定的范围中设定多个阈值； [0134] ·图像选择部407，对于在阈值设定部410中设定的各阈值，在差分产生部406中求取的各像素位置中的差分比阈值小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生部406中求取的各像素位置中的差分比阈值大的情况下，在对应的图像C的各像素位置中设定图像D的图像信息； [0135] ·生成差分合计部409，对在图像选择部407中得到的图像C和图像A的各像素位置中的图像信息的差分的合计进行计算；以及 [0136] ·阈值决定部411，决定在生成差分合计部409中得到的差分的合计变得最小的阈值。 [0137] 在阈值设定部410中，作为阈值从10到50以10为单位使阈值增加。 [0138] 以上述为前提，图像生成装置以下述方式工作。图9表示其流程图。 [0139] 首先，基准图像缩小部412缩小图像A来产生分辨率低的图像G(步骤S40)。 [0140] 图像扩大部401对图像G进行扩大，产生分辨率高(与图像A、B具有相同的分辨率)的图像D(步骤S41)。 [0141] 然后，对应点推定部402推定图像D和图像B的对应点的有无、以及位置(步骤S42)。 [0142] 对应图像设定部403将在对应点推定部402中推定为有对应点的位置中的图像B的图像信息向图像E设定(步骤S43)。 [0143] 图像内插部404针对在对应点推定部402中推定为没有对应点的位置，根据在对应图像设定部403中已经设定的图像信息进行内插来产生图像E的图像信息(步骤S44)。 [0144] 图像缩小部405对图像E进行缩小，产生分辨率低的图像F(步骤S45)。 [0145] 差分产生部406产生图像G和图像F的差分(步骤S46)。 [0146] 接着，在阈值设定部410中，将阈值设定为10(步骤S47)。 [0147] 在图像选择部407中，对在差分产生部406中得到的差分与阈值进行比较，按各像素位置的每一个选择图像E或图像D来生成图像C(步骤S48)。 [0148] 生成差分合计部409求取图像C和图像A的差分的合计(步骤S49)。 [0149] 在50之前一边使阈值以10为单位增加，一边反复执行以上的阈值设定部410和图像选择部407和生成差分合计部409的处理(步骤S50、S51)。 [0150] 接着，阈值决定部411决定在生成差分合计部409中得到的值变得最小的情况下的阈值(步骤S52)。 [0151] 在上述结构中，也可以代替图像选择部407而使用图像生成部。在图10中表示装置概要。 [0152] 在图10所示的图像生成部408中，在差分产生部406中求取的各像素位置中的差分小的情况下，在对应的图像C的各像素位置中设定图像E的图像信息，在差分产生部406中求取的各像素位置中的差分大的情况下，在对应的图像C的各像素位置中设定将图像D的图像信息和图像E的图像信息加权平均后的值。 [0153] 在以上的实施例中，说明了针对多个摄影机输入视频图像的处理。该方法不仅在多视点图像中、也能应用于单镜头的活动图像。 [0154] 即，在活动图像中的各帧的分辨率不同的情况下，对于低分辨率的帧的图像，能够利用其它的高分辨率的帧的图像，生成高分辨率的图像。 [0155] 例如，在将低分辨率的帧作为图像A，将其它的高分辨率的帧作为图像B，生成高分辨率的图像C的处理中能够应用。 [0156] 此外，在本实施例中，将处理的信号作为Y信号，但其是RGB等的其它的彩色信号也可。 [0157] 此外，在YUV信号的Y信号的分辨率相同，但UV信号的分辨率不同的情况下也能应用。在该情况下，在图像扩大部中仅扩大UV信号，直接复制Y信号。而且，不利用扩大U或V信号后的信号，而利用Y信号进行在对应点推定部中的对应点推定的处理也可。 [0158] 以上的图像生成的处理，能够通过计算机和软件程序来实现，也能够将该程序记录在计算机能够读取的记录介质中进行提供，或通过 网络进行提供。 [0159] 产业上的利用可能性 [0160] 根据本发明，对以低分辨率摄影的摄影机位置的图像信息，能够利用其它的以高分辨率摄影的摄影机位置的图像信息，生成高分辨率的图像信息。由此，能够降低主观品质的劣化。 |
||
