合成图像生成设备和存储其程序的计算机可读介质 |
|||||||
| 申请号 | CN200810212932.7 | 申请日 | 2008-09-10 | 公开(公告)号 | CN101388968B | 公开(公告)日 | 2012-04-25 |
| 申请人 | 丰田自动车株式会社; | 发明人 | 加藤孝三; 太田充彦; | ||||
| 摘要 | 合成图像生成设备和存储用于使得计算机用作合成图像生成设备的程序的计算机可读介质，该合成图像生成设备(1)包括：几何变换表(11)，所述几何变换表在从捕捉装置(30)接收的输入图像上 指定 与输出图像的 像素 位置 相应的坐标；以及输出图像生成装置(21)，输出图像生成装置通过在通过根据几何变换表对输入图像进行几何变换而获得的图像上 叠加 覆盖 图像而生成输出图像，所述覆盖图像基于几何变换表中与输出图像的像素位置相关联的覆盖数据。该合成图像生成设备能够减少用于实现在通过变换从捕捉装置接收的输入图像而获得的图像上叠加覆盖图像的过程所需要的成本。 | ||||||
| 权利要求 | 1.一种合成图像生成设备(1、2、3、4、5)，包括： |
||||||
| 说明书全文 | 合成图像生成设备和存储其程序的计算机可读介质技术领域[0001] 本发明涉及一种将从捕捉装置接收到的输入图像变换成输出图像，并且，根据需要通过在经变换的图像上叠加覆盖图像而生成输出图像的合成图像生成设备。另外，本发明涉及一种存储用于使得计算机用作合成图像生成设备的程序的计算机可读介质。 [0002] 背景技术 [0003] 通常，这样一种系统已经被研究并且投入实际应用，其中为从车辆捕捉视图图像而由照相机摄取的捕捉图像被显示在车辆舱室中从而例如驾驶员能够看见所捕捉的图像，并且另外，所捕捉的图像与在所捕捉图像上叠加的计算机生成图像一起显示。存在各种内容，其可被设想作为在照相机摄取的捕捉图像上叠加的特殊内容，例如其中应该予以关注的物体、例如道牙石和轮挡，以及行人被加亮的内容，其中通过延伸车辆侧边缘而绘制辅助线的内容，以及其中作为导航显示器在车辆前视图的图像上显示表示行驶方向的箭头的内容。 [0004] 作 为 这 种 系 统 的 一 个 实 例，在 日 本 专 利 申 请 公 开No.2006-238131(JP-A-2006-238131)中描述了一件发明，该发明涉及车辆附近监视系统，该系统显示由用于捕捉车辆视图图像的捕捉装置所摄取的捕捉图像作为背景图像并且以半透明的方式显示所述车辆。 [0005] 然而，在JP-A-2006-238131中，根据坐标变换表中的数据使用所捕捉图像及其历史等生成合成图像作为背景图像，并且然后绘图操作装置执行绘图操作(JP-A-2006-238131中[0018]段)。因此，整个系统的尺寸和成本增加。然而，对于降低车载设备的尺寸和成本存在强烈需 求，并且需要对其进行改进。 发明内容[0006] 本发明提供一种合成图像生成设备，由此能够减少用于实现在通过变换从捕捉装置接收的输入图像而获得的图像上叠加覆盖图像的过程所需要的成本，并且本发明还提供一种用于使得计算机用作所述合成图像生成设备的计算机可读介质存储程序。 [0007] 根据本发明的第一方面合成图像生成设备包括：几何变换表，所述几何变换表在从捕捉装置接收的输入图像上指定与输出图像的像素位置相应的坐标；以及输出图像生成装置，所述输出图像生成装置通过在根据几何变换表对输入图像进行几何变换而获得的图像上叠加覆盖图像而生成输出图像，所述覆盖图像基于与几何变换表中的输出图像的像素位置相关联的覆盖数据。 [0008] 通常，“覆盖”意指图像数据的叠加，并且“覆盖图像”在这里意指在通过对捕捉图像进行几何变换而获得的背景图像上叠加的另外地显示的图像或者像素，例如计算机生成图像。术语“覆盖数据”意指在背景图像上叠加“覆盖图像”所需要的数据。 [0009] 利用以上第一方面，用于显示覆盖图像的覆盖数据与几何变换表中的输出图像的像素位置相关联，并且基于这种关联，执行在几何变换图像上叠加覆盖图像的过程，从而能够利用单一几何变换表执行一般几何变换和覆盖图像的叠加。因此，特别地，与其中在执行几何变换之后叠加覆盖图像的情形相比，在其中规则图像作为覆盖图像叠加的情形中，能够减少实现在通过变换从捕捉装置接收的输入图像而获得的图像上叠加覆盖图像的过程所需要的成本。注意特别地当在车辆中安装所述设备时，所述设备在空间、成本和重量方面是非常有利的。 [0010] 在根据第一方面的合成图像生成设备中，所述覆盖数据可以包括 每一个均表示在输出图像中的给定像素位置处显示的显示颜色的数据。 [0011] 在根据第一方面的合成图像生成设备中，所述显示颜色可以是亮度数值。特别地，当所述图像不是彩色图像时，规定覆盖图像的灰度。 [0012] 在根据第一方面的合成图像生成设备中，所述输出图像生成装置可以对于输出图像的每一个像素选择几何变换操作和覆盖操作中的一个操作。 [0013] 在根据第一方面的合成图像生成设备中，在几何变换操作中，可以执行输入图像的畸变校正。 [0014] 在根据第一方面的合成图像生成设备中，所述几何变换表可以包括表示将显示几何变换图像和覆盖图像中的哪一个的选择标志。 [0015] 在根据第一方面的合成图像生成设备中，所述覆盖数据可以包括每一个均表示在输出图像中的给定像素位置处的混合系数的数据。 [0016] 在根据第一方面的合成图像生成设备中，可以利用几何变换表规定在根据混合系数执行混合操作之后显示的覆盖图像的每一个像素的显示颜色。 [0017] 在根据第一方面的合成图像生成设备中，所述输出图像生成装置可以包括补数器、乘法器和加法器，它们用于执行其中根据几何变换表对输入图像进行几何变换的操作以及其中通过执行内分点计算而根据在覆盖数据中包括的混合系数执行混合操作的操作。 [0018] 在根据第一方面的合成图像生成设备中，所述输出图像生成装置可以通过关于为其提供覆盖数据的输出图像的像素，基于所述覆盖数 据替换围绕具有在输入图像上指定的坐标的点的像素的像素数值的至少一部分然后使用围绕在所述几何变换表中具有指定的坐标的点的像素的像素数值执行插值而生成输出图像。 [0019] 根据本发明第二方面的合成图像生成设备包括：几何变换表，所述几何变换表在从捕捉装置接收的输入图像上指定与输出图像的像素位置相应的坐标；以及输出图像生成装置，所述输出图像生成装置通过使用围绕在几何变换表中具有指定的坐标的点的像素的像素数值执行插值而生成输出图像，其中关于为其提供覆盖数据的输出图像的像素，所述输出图像生成装置通过基于覆盖数据替换围绕具有在所述输入图像上指定的坐标的点的像素的像素数值的至少一部分然后执行插值而生成所述输出图像。 [0020] 在根据第二方面的合成图像生成设备中，所述插值可以是双线性插值。 [0021] 根据第二方面的合成图像生成设备还可包括坐标转换装置，所述坐标转换装置在几何变换表中将在输入图像上指定的坐标的行方向的坐标的小数部分变换成表示混合系数的数值，其中关于为其提供覆盖数据的输出图像的像素，所述输出图像生成装置可以通过基于通过所述坐标转换装置将行方向坐标的小数部分变换成的所述数值执行混合操作而生成所述输出图像。 [0022] 在根据第二方面的合成图像生成设备中，所述插值可以是双线性插值，并且当利用坐标转换装置将行方向坐标的小数部分变换成的数值等于或者大于0.5时，相对于具有所述坐标的点的上侧的两个像素的像素数值可以被显示颜色替换；并且当利用坐标转换装置将行方向坐标的小数部分变换成的数值小于0.5时，相对于具有所述坐标的点的下侧的两个像素的像素数值可以被显示颜色替换。 [0023] 在根据第二方面的合成图像生成设备中，所述插值可以是双线性插值，并且当利用所述坐标转换装置将所述小数部分变换成的混合系数大于阈值时，围绕具有在所述输入图像中所述坐标的点的像素的像素数值可以全部被显示颜色替换。 [0024] 根据第二方面的合成图像生成设备还可包括坐标转换装置，所述坐标转换装置在几何变换表中将在输入图像上指定的坐标的列方向坐标的小数部分变换成表示混合系数的数值，其中关于为其提供覆盖数据的输出图像的像素，所述输出图像生成装置可以通过基于利用所述坐标转换装置将列方向坐标的小数部分变换成的数值执行混合操作而生成输出图像。 [0025] 在根据第二方面的合成图像生成设备中，所述插值可以是双线性插值，并且当利用坐标转换装置将列方向坐标的小数部分变换成的数值等于或者大于0.5时，相对于具有所述坐标的点的上侧的两个像素的像素数值可以被显示颜色替换；并且当利用坐标转换装置将列方向坐标的小数部分变换成的数值小于0.5时，相对于具有所述坐标的点的左侧的两个像素的像素数值可以被显示颜色替换。 [0026] 在根据第二方面的合成图像生成设备中，所述插值可以是双线性插值，并且当利用所述坐标转换装置将所述小数部分变换成的混合系数大于阈值时，围绕具有在所述输入图像中所述坐标的点的像素的像素数值可以全部被显示颜色替换。 [0027] 根据本发明第三方面的存储程序的计算机可读介质是一种存储用于使得计算机用作根据以上方面的合成图像生成设备的程序的计算机可读介质。 [0028] 本发明提供一种合成图像生成设备，由此能够减少实现在通过变换从捕捉装置接收的输入图像获得的图像上叠加覆盖图像的过程所需 要的成本，并且本发明还提供一种存储用于使得计算机用作合成图像生成设备的程序的计算机可读介质。 [0029] 附图简要说明 [0030] 参考附图从下面对优选实施例说明，本发明前面的和/或另外的目的、特征及优点将变得更加明显，其中相同的数字用于代表相同的元件并且其中： [0031] 图1是示出根据本发明第一实施例的合成图像生成设备1以及与之相连接的设备等的图表； [0032] 图2是表示第一实施例的几何变换表11的图表； [0033] 图3是示出在第一实施例中在输入图像中的坐标和输出图像中的坐标之间的对应关系的图表； [0034] 图4A是示出根据实施例第一在畸变校正之前的输入图像的一个实例的图表； [0035] 图4B是示出根据第一实施例在畸变校正之前的输出图像的一个实例的图表； [0036] 图5是示出在第一实施例中在向后停车操作期间用于引导的其中在车辆后视图的图像上叠加表示车辆宽度的延长线的情形的图表； [0037] 图6是示出利用第一实施例的输出图像生成部分21执行的特征过程的流程的流程图； [0038] 图7是示出根据本发明第二实施例的合成图像生成设备2以及与之相连接的设备等的图表； [0039] 图8A是表示第二实施例的几何变换表12的图表； [0040] 图8B是表示第二实施例的另一几何变换表12的图表； [0041] 图9是是示出利用第二实施例的输出图像生成部分22执行的特征过程的流程的流程图； [0042] 图10是示出根据本发明第三实施例的合成图像生成设备3以及与之相连接的设备等的图表； [0043] 图11是表示几何变换表13以及在第三实施例中在输入图像中的坐标和输出图像中的坐标之间的对应关系的图表； [0044] 图12是示出利用第三实施例的输出图像生成部分23执行的特征过程的流程的流程图； [0045] 图13是示出根据本发明第四实施例的合成图像生成设备4以及与之相连接的设备等的图表； [0046] 图14是表示第四实施例的几何变换表14的图表； [0047] 图15A是示出一种情形的图表，其中根据第四实施例的输出图像生成部分24B利用显示颜色替换在输入图像中围绕具有其小数部分被变换的坐标的点的像素的一个部分的像素数值，所述的点相应于输出图像的像素； [0048] 图15B是示出一种情形的图表，其中根据第四实施例的输出图像生成部分24B利用显示颜色替换在输入图像中围绕具有其小数部分被变换的坐标的点的像素的不同部分的像素数值，所述的点相应于输出图像的像素； [0049] 图16是示出由第四实施例的坐标变换部分24A和输出图像生成部分24B执行的特征过程的流程的流程图； [0050] 图17是示出根据本发明第五实施例的合成图像生成设备5以及与之相连接的设备等的图表； [0051] 图18是示出第五实施例的输出图像生成部分25的硬件配置的实例的图表； [0052] 图19是用于描述第五实施例的输出图像生成部分25的操作的时序图；并且 [0053] 图20是示出在第五实施例中在代表坐标Xi的小数部分的二进制表达和十进制表达及其补数之间的对应关系的图表。 具体实施方式[0054] 将在下面描述根据本发明第一实施例的合成图像生成设备1。合成图像生成设备1被安装在例如车辆中，并且在显示设备上显示图像，通过在从车辆由照相机捕捉的视图的图像上叠加覆盖图像而获得所述图像。“覆盖图像”这里意指在通过对捕捉图像进行几何变换而获得的背景图像上叠加的另外地显示的图像或者像素，例如计算机生成的图 像。 [0055] 图1是示出根据本发明第一实施例的合成图像生成设备1、与之相连接的设备等的图表。照相机30和显示设备40被连接到合成图像生成设备1。 [0056] 照相机30是使用例如电荷耦合设备(CCD)、互补金属氧化物半导体(CMOS)等的照相机。照相机30例如靠近车辆尾部处的车号牌设置，并且从所述车辆捕捉广角后视图的图像。注意这种布置仅仅是一个实例，并且在能够应用本发明的设备中，沿其从车辆捕捉图像的方向，例如向前方向、沿对角向前方向、侧向方向、向上方向或者向下方向以及捕捉图像的角度是任意的。 [0057] 照相机30例如包括照相机透镜32、图像传感器34以及电子控制器36。将基于照相机30是CCD照相机的假设进行下面的说明。照相机透镜32包括能够广角成像的鱼眼透镜。图像传感器34是例如行间(interline)图像传感器，其中作为用于执行光电转换的光线接收元件的光电二极管和与相应的光电二极管相关的CCD被以二维方式布置在平面上。另外，所述图像传感器具有在光电二极管和相关CCD之间用作模拟开关的传输门。用于收集光线的显微透镜被安装在每一个光电二极管的前侧(照相机透镜32侧)上。图像传感器不限于行间图像传感器。可以使用全帧转移图像传感器或者帧转移图像传感器，其中CCD自身用作光线接收元件。 [0058] 在电子控制器36中，例如以组合方式使用微型计算机、电子电路等，并且电子控制器36通过控制图像传感器34所具有的传输门的打开/关闭定时而调节照相机30的快门速度和捕捉频率(例如每秒几十次)。电子控制器36对从图像传感器34的输出电路输出的数据执行增益控制以及相关双采样(CDS)。 [0059] 显示设备40是点矩阵液晶显示面板、点矩阵有机发光显示面板等，其中以矩阵方式规则地排列像素。在这种面板中，对于每一个像素设置用于驱动像素的有源元件，并且对于每一个像素控制根据像素数值的亮度数值(显示颜色)。像素数目例如为640x480(VGA)、800x600(SVGA)等。注意显示设备40可以是探测显示表面上的电压的变化以接收各种输入的触摸面板显示器。 [0060] 合成图像生成设备1是微型计算机或者大规模集成电路(LSI)，其中经由内部总线连接中央处理单元(CPU)、随机存取存储器(RAM)、只读存储器(ROM)、快速存储器以及输入/输出接口。例如，在合成图像生成设备1的快速存储器中存储几何变换表11。合成图像生成设备1具有作为功能模块的输出图像生成部分21，所述输出图像生成部分当CPU执行在ROM(可以被视为本发明的“计算机可读介质”)中存储的系统实现程序时发挥作用，所述的系统实现程序可以被视为本发明的“程序”。 [0061] 图2是表示第一实施例的几何变换表11的图表。几何变换表11在由照相机30捕捉的输入图像上指定与在显示设备40上显示的输出图像的像素位置对应的坐标。换言之，几何变换表11可以被视为一种表格，该表格在由照相机30捕捉的输入图像上与输出图像的像素位置对应地定义坐标系统。按照用于执行输出图像光栅扫描的顺序(按照输出图像的坐标顺序)布置几何变换表11的元素，从而当使用输出图像的像素坐标(Xo，Yo)作为输入来参考几何变换表11时，检索到输入图像的坐标(Xi，Yi)。 [0062] 当输出图像的像素位置和输入图像的像素位置一一对应时，坐标(Xo，Yo)和坐标(Xi，Yi)一一对应。然而，在下述本发明的一般几何变换的情形中，输出图像的像素位置和输入图像的像素位置并不一一对应，因此，存在这样一种情形，其中虽然输出图像的坐标(Xo，Yo)是整数，但是输入图像的坐标(Xi，Yi)是具有十进制小数的实数。 [0063] 图3是示出在本发明第一实施例中在输入图像中的坐标和输出图像中的坐标之间的对应关系的图表。在图3中，网格交叉点代表位于输入图像和输出图像中的像素位置。在输出图像中的坐标(Xo，Yo)与像素位置一致，而在输入图像中的坐标(Xi，Yi)不与像素位置一致。然而，当以此方式在前地确定对应关系时，实现了一般几何变换(在该实施例中的畸变校正)。 [0064] 将简要地描述在坐标(Xo，Yo)和坐标(Xi，Yi)之间的对应关系。图4A是示出在畸变校正之前的输入图像实例的图表。图4B是示出在畸变校正之前的输出图像实例的图表。例如，当畸变程度随着沿向上或者向下方向与图像中心的距离增加时，根据像素的竖直位置使用几何变换在畸变校正中沿着宽度方向移位相互关联的输入图像的像素位置和输出图像的像素位置。特别地，线段V1和线段V2上的像素被分别地映射到具有不同长度的线段W1和线段W2上的像素。当每像素畸变量(沿着输入图像中的竖直方向)是α，并且在线段V1和V2之间的像素数目是L时，在线段V2上的像素的位置与在线段W2上的像素位置相关联从而线段W2比线段W1长L·α。结果，通过给定坐标变换等式(高阶多项式)确定在坐标(Xo，Yo)和坐标(Xi，Yi)之间的对应关系。 [0065] 与这种校正和变换有关的对应关系例如在输送车辆之前被存储在合成图像生成设备1的ROM等中，并且利用根据需要予以考虑的车身高度校正的数值作为几何变换表11被读取到快速存储器等。 [0066] 下面，将参考图2和3描述确定输入图像在坐标(Xi，Yi)处的像素数值的方法。输出图像生成部分21通过在围绕具有坐标(Xi，Yi)的点的像素的像素数值上执行所谓的双线性插值确定输入图像在坐标(Xi，Yi)处的像素数值，所述双线性插值是线性插值到二维情形的扩展。特别地，使用下面的等式(1)获得的像素数值被计算为输入图像在坐标(Xi，Yi)处的像素数值，并且被设为输出图像在坐标(Xo，Yo)处的像素 数值。为了简明起见，在于输入图像上定义的坐标系统中，单元栅格的一侧的长度具有数值“1”。注意这种方法仅仅是一个实例，并且可以使用另一种方法确定输入图像在坐标(Xi，Yi)处的像素数值。当输入图像的像素位置与坐标(Xi，Yi)一致时，可以使用输入图像的像素的初始像素数值而不执行这种插值。 [0067] 像素数值(Xi，Yi)＝{G1x(1-(Xi的小数部分))+G2x(Xi的小数部分)}x(Yi的小数部分)+{G3x(1-(Xi的小数部分))+G4x(Xi的小数部分)}x(1-Yi的小数部分)(1) [0068] 另外，在第一实施例的几何变换表11中，包括表示显示几何变换图像和覆盖图像中的哪一个图像的选择标志。所述选择标志被设为表示几何变换图像的数值“0”，或者设为表示覆盖图像的数值“1”。关于其选择标志被设为数值“1”的输出坐标(图2中的(Xp，Yp))，而不是或者除了输入图像的相应的坐标，输入将被显示的颜色(这里也被称作“显示颜色”)的说明。特别地，覆盖数据(在第一实施例中的选择标志和显示颜色)与输出图像的像素的位置(坐标)相关联。 [0069] 关于当选择标志的数值为“1”时规定选择标志以及规定显示颜色，在前地存储于ROM等中的数据可以被自动地包括在几何变换表11中，或者外部设备可以根据需要设定所述数值。其中前者适用的一种可设想的情形是这样一种情形，其中，当如在第一实施例的情形中那样捕捉并且显示车辆的后视图时，表示车辆宽度的延长线被叠加在车辆后视图的图像上以便在例如向后停车运行期间用作引导(见图5)。其中后者适用的一种情形是这样一种情形，其中，当例如捕捉并且显示车辆的前视图时，根据由导航系统提供的路线引导的路线表示被叠加在例如车辆的前视图的图像上。 [0070] 在输出图像生成部分21中，使用如上所述的等式(1)获得的像素数值被设为关于其选择标志的数值为“0”的输出图像的像素的像素数值， 并且在几何变换表11中规定的显示颜色被设为关于其选择标志的数值为“1”的输出图像的像素的像素数值。因此，通过在根据几何变换表11对输入图像进行几何变换而获得的图像上，叠加覆盖图像而生成输出图像，所述覆盖图像基于与在几何变换表11中的输出图像的像素位置相关联的覆盖数据。 [0071] 图6是示出由第一实施例的输出图像生成部分21执行的特征过程的流程的流程图。例如以预定循环反复地执行所述流程。 [0072] 首先，输出图像生成部分21读取在几何变换表11中与第一输出像素有关的数据(S100)。 [0073] 然后，输出图像生成部分21确定与该输出像素相关的选择标志是具有数值“0”还是“1”(S102)。如上所述，当选择标志的数值为“0”时，通过几何变换(以及插值)获得的像素数值被设为输出图像的像素数值(S104)，而当选择标志的数值为“1”时，在几何变换表11中规定的显示颜色被设为输出图像的像素数值(S106)。 [0074] 随后，确定是否已经对于所有的输出像素确定像素数值(S108)，并且当尚未对于所有的输出像素确定像素数值时，读取与下一输出像素有关的数据(S110)，并且执行从S102起的步骤。 [0075] 在另一方面，当已经对于所有的输出像素确定像素数值时，所确定的图像数据集作为一个帧的合成图像数据被输出到显示设备40(S112)。 [0076] 利用根据第一实施例的合成图像生成设备1，在几何变换表11中，用于显示覆盖图像的覆盖数据与输出图像的像素位置相关联，并且基于这种关联，执行在几何变换图像上叠加覆盖图像的过程，从而能够利用单一几何变换表11执行一般几何变换和覆盖图像叠加。因此，特 别地在其中规则图像作为覆盖图像叠加的情形中，与其中在执行几何变换之后叠加覆盖图像的情形相比，能够减少实现在通过变换从捕捉装置接收的输入图像而获得的图像上叠加覆盖图像的过程所需要的成本。 [0077] 将在下面描述根据本发明第二实施例的合成图像生成设备2。合成图像生成设备2不同于根据第一实施例的合成图像生成设备1之处在于当叠加覆盖图像时执行混合过程(例如α-混合)。 [0078] 第二实施例的合成图像生成设备2包括几何变换表12和输出图像生成部分22(见图7)。合成图像生成设备2的硬件构件以及它的照相机30和显示设备40类似于第一实施例的合成图像生成设备1的那些，因此省略这些构件的说明。进而，几何变换也类似于第一实施例的几何变换，并且省略其说明。 [0079] 图8A是表示第二实施例的几何变换表12的图表。替代或者除了在第一实施例的几何变换表11中包括的选择标志之外，第二实施例的几何变换表12包括混合系数。特别地，覆盖数据(在第二实施例中的混合系数)与输出图像的像素位置(坐标)相关联。注意也在第二实施例中，如在第一实施例的情形中那样，选择标志可以被包括在几何变换表12中。 [0080] 在第二实施例中的混合系数是用于α-混合过程的混合系数α。特别地，混合系数意指当执行半透明处理时使用的暗度，并且被设为数值“0”和“1”之间(包括“0”和“1”)。注意可以在数值“0”和“1”之间(包括“0”和“1”)的范围之外设置混合系数。关于规定混合系数，在前存储于ROM等中的数据可以被自动地包括在几何变换表12中，或者外部设备可以根据需要设定混合系数。 [0081] 使用利用第一实施例的等式(1)获得的像素数值Ga以及规定覆盖 图像的显示颜色的像素数值Gb，输出图像生成部分22利用下面的等式(2)计算像素数值。结果，覆盖图像被显示从而当混合系数α增加时覆盖图像的透明度增加。关于其混合系数被设为数值“0”(或者混合系数未被设定)的输出图像的像素，利用以上等式(1)获得的像素数值Ga被自然地用作像素数值。 [0082] 像素数值G＝(1-α)xGa+αxGb ...(2) [0083] 因此，通过在通过根据几何变换表12对输入图像进行几何变换而获得的图像上叠加覆盖图像而生成输出图像，所述覆盖图像基于与几何变换表12中的输出图像的像素位置相关联的覆盖数据。 [0084] 图9是示出由第二实施例的输出图像生成部分22执行的特征过程的流程的流程图。该流程例如以预定循环被反复地执行。 [0085] 首先，输出图像生成部分22读取几何变换表12中的与第一输出像素有关的数据(S200)。 [0086] 然后，使用以上等式(2)计算的像素数值被设为输出图像的像素数值(S202)。特别地，通过执行插值过程和混合过程确定输出图像的像素数值。 [0087] 随后，确定是否已经对于所有的输出像素确定像素数值(S204)，并且当尚未对于所有的输出像素确定像素数值时，读取与下一输出像素有关的数据(S206)，并且执行从S202起的步骤。在另一方面，当已经对于所有的输出像素确定像素数值时，所确定的图像数据集作为一个帧的合成图像数据被输出到显示设备40(S208)。 [0088] 根据第二实施例的合成图像生成设备2，如在第一实施例的合成图像生成设备1的情形中那样，能够减少实现在通过变换从捕捉装置接 收的输入图像而获得的图像上叠加覆盖图像的过程所需要的成本，并且另外，能够在其半透明处理之后将几何变换图像和覆盖图像相结合、执行反混淆过程等。 [0089] 在第二实施例中，可以对于每一个像素使用几何变换表12规定覆盖图像的显示颜色。这种情形的几何变换表12的一个实例示于图8B中。同样在此情形中，如果对于每一个像素从几何变换表12读取像素数值Gb，则能够使用以上等式(2)。 [0090] 将在下面描述根据本发明第三实施例的合成图像生成设备3。合成图像生成设备3不同于根据第一实施例的合成图像生成设备1之处在于围绕具有在输入图像上指定的坐标的点的像素的部分的或者所有的像素数值被包括于覆盖数据中的显示颜色替换以执行覆盖图像的叠加。 [0091] 第三实施例的合成图像生成设备3包括几何变换表13和输出图像生成部分23(见图10)。合成图像生成设备3的硬件构件以及它的照相机30和显示设备40类似于第一实施例的合成图像生成设备1的那些，因此省略这些构件的说明。 [0092] 因为覆盖图像的叠加被结合在第一和第二实施例的几何变换过程中，所以这些过程将被一起地描述。图11是表示在第三实施例中的几何变换表13以及在输入图像中的坐标和输出图像中的坐标之间的对应关系的图表。几何变换表13在由照相机30捕捉的输入图像上指定在显示设备40上显示的输出图像的像素位置相应的坐标。另外，第三实施例的几何变换表13包括围绕具有在输入图像上指定的坐标的点的像素的显示颜色和替换指令，所述替换指令指示哪些像素数值将被所规定的显示颜色替换。 [0093] 例如提供替换指令作为与围绕具有在输入图像上指定的坐标的点 的像素相应的4位数据。特别地，第一位表示左上像素的像素数值是否将被显示颜色替换(当进行替换时为“0”，并且当不进行替换时为“1”)，第二位表示左下像素的像素数值是否将被显示颜色替换，第三位表示右上像素的像素数值是否将被显示颜色替换，并且第四位表示右下像素的像素数值是否将被显示颜色替换。以此方式，能够实现类似于如在第二实施例的情形中那样当以预定数目的级别规定混合系数时的效果。特别地，当第一到第四位都具有数值“1”时，结果与当在第二实施例中混合系数被设为1时的结果相同，并且当第一到第四位中的一个、两个或者三个被设为数值“1”时，结果与当以三个级别规定混合系数时的结果相同(在第二实施例中能够任意地规定混合系数)。因此，考虑到因为执行以上等式(2)的计算的需要被消除，处理负荷能够被相应地降低，可以说即使准确度低于第二实施例的合成图像生成设备2的准确度，第三实施例的合成图像生成设备3也能够在其半透明处理之后利用更加简单的操作结合几何变换图像和覆盖图像、执行反混淆过程等。 [0094] 关于替换指令，以及显示颜色的规定，在前存储于ROM等中的数据可以被自动地包括在几何变换表13中，或者外部设备可以根据需要确定替换和显示颜色。进而，畸变校正类似于第一实施例的畸变校正，并且省略其说明。 [0095] 如在第一实施例的情形中，通过基于围绕具有坐标(Xi，Yi)的点的像素的像素数值(当如上所述像素数值被颜色替换时规定的显示颜色)使用以上等式(1)执行插值，输出图像生成部分23确定在具有坐标(Xi，Yi)的点处输入图像的像素数值。因此，通过在通过根据几何变换表13对输入图像进行几何变换而获得的图像上叠加覆盖图像而生成输出图像，所述覆盖图像基于几何变换表13中的与输出图像的像素位置相关联的覆盖数据。 [0096] 图12是示出由第三实施例的输出图像生成部分23执行的特征过 程的流程的流程图。例如以预定循环反复地执行所述流程。 [0097] 首先，输出图像生成部分23读取几何变换表13中的与第一输出像素有关的数据(S300)。 [0098] 然后，确定与有关输出像素相关的替换指令的第一位是否具有数值“1”(S302)，并且当输入图像的围绕具有坐标(Xi，Yi)的点的像素的像素数值的第一位具有数值“1”时，左上像素的像素数值被显示颜色替换(S304)。然后，确定第二位是否具有数值“1”(S306)，并且当第二位具有数值“1”时，左下像素的像素数值被显示颜色替换(S308)。然后，确定第三位是否具有数值“1”(S310)，并且当第三位具有数值“1”时，右上像素的像素数值被显示颜色替换(S312)。然后，确定第四位是否具有数值“1”(S314)，并且当第四位具有数值“1”时，右下像素的像素数值被显示颜色替换(S316)。 [0099] 然后，通过使用在替换之后的数据(当无替换指令时的初始数据)执行插值而获得的像素数值被设为输出图像有关的像素的像素数值(S318)。 [0100] 随后，确定是否已经对于所有的输出像素确定像素数值(S320)，并且当尚未对于所有的输出像素确定像素数值时，读取与下一输出像素有关的数据(S322)，并且执行从S302起的步骤。 [0101] 在另一方面，当已经对于所有的输出像素确定像素数值时，所确定的图像数据集作为一个帧的合成图像数据被输出到显示设备40(S324)。 [0102] 根据第三实施例的合成图像生成设备3，如在第一实施例的合成图像生成设备1的情形中那样，能够减少实现在通过变换从捕捉装置接收的输入图像而获得的图像上叠加覆盖图像的过程所需要的成本，并 且另外地，虽然准确度低于第二实施例的准确度，但是能够通过比第二实施例的操作更加简单的操作在其半透明处理之后将几何变换图像和覆盖图像相结合、执行反混淆过程等。 [0103] 将在下面描述根据本发明第四实施例的合成图像生成设备4。合成图像生成设备4不同于根据第一实施例的合成图像生成设备1之处在于围绕具有在输入图像上指定的坐标的点的像素的像素数值的一部分被包括于覆盖数据中的显示颜色替换。 [0104] 第四实施例的合成图像生成设备4包括几何变换表14、坐标变换部分24A、以及输出图像生成部分24B(见图13)。合成图像生成设备4的硬件构件、以及它的照相机30和显示设备40类似于第一实施例的合成图像生成设备1的那些，因此省略这些构件的说明。 [0105] 图14是表示第四实施例的几何变换表14的图表。几何变换表14在由照相机30捕捉的输入图像上指定与在显示设备40上显示的输出图像的像素位置相应的坐标。另外，第四实施例的几何变换表14包括显示颜色。 [0106] 坐标变换部分24A使用给定程序等将与输出图像的特定坐标(例如为其设定显示颜色的坐标)相应的输入图像的坐标(Xi，Yi)的行方向(Y方向)坐标的小数部分转换成混合系数α。 [0107] 在此情形中，关于其坐标小数部分被转换的输出图像的像素，在围绕由与和输出图像有关的像素对应的由输入图像的坐标(Xi，Yi)代表的点的像素的沿着列方向(X方向)排列的两个像素的像素数值被显示颜色替换之后，输出图像生成部分24B执行插值，并且通过使用在替换之后的数据根据以上等式(1)执行插值而获得的像素数值被设为与输出图像有关的像素的像素数值(见图15A)。 [0108] 以此方式，被显示颜色替换的像素数值被利用混合系数α加权并且在输出图像的像素数值上得到反映(见以上等式(1))。因此，通过在通过根据几何变换表14对输入图像进行几何变换而获得的图像上叠加覆盖图像而生成输出图像，所述覆盖图像是基于与几何变换表14中的输出图像的像素位置相关联的覆盖数据的。 [0109] 在输入图像的围绕具有坐标(Xi，Yi)的点的像素中，沿着列方向(X方向)排列的两个像素是位于具有坐标(Xi，Yi)的点的上侧上的两个像素，或者位于其下侧上的两个像素，因此，必须决定哪两个像素将进行像素数值替换。在这方面，所述的两个像素可以被固定为或者位于上侧上的那些或者位于下侧上的那些。可替代地，可以采用一种配置，其中当进行变换的坐标的小数部分等于或者大于0.5时上侧的两个像素的像素数值被替换，而当小数部分小于0.5时下侧的两个像素被替换。利用这种配置，能够使得输入图像的像素中具有更高权重的像素的像素数值保持不变。 [0110] 可替代地，可以采用一种配置，其中，取代总是替换输入图像的围绕具有坐标(Xi，Yi)的点的像素的沿着列方向(X方向)排列的两个像素的像素数值，当混合系数α(小数部分)小于阈值α1时不执行替换，而当混合系数α(小数部分)大于α2(α1<α2)时输入图像的围绕具有坐标(Xi，Yi)的点的所有像素的像素数值被显示颜色替换。 [0111] 坐标变换部分24A可以使用给定程序等将与输出图像的具有坐标(例如为其设定显示颜色的坐标)的特定点相应的输入图像的坐标(Xi，Yi)的列方向(X方向)坐标的小数部分变换成混合系数α。在此情形中，关于其坐标小数部分被转换的输出图像的像素，在围绕由与和输出图像有关的像素对应的由输入图像的坐标(Xi，Yi)代表的点的像素的沿着行方向(Y方向)排列的两个像素的像素数值被显示颜色替换之后，输出图像生成部分24B执行插值。 [0112] 如在其中行方向(Y方向)上的坐标的小数部分被转换成混合系数α的情形中那样，同样当列方向(X方向)上的坐标的小数部分被转换成混合系数α时，在其上执行替换的一侧可以被固定为右侧或者左侧；然而，可以采用一种配置，其中当进行转换的坐标的小数部分等于或者大于0.5时右侧的两个像素被替换，并且当其小数部分小于0.5时左侧的两个像素被替换。可替代地，可以采用一种配置，其中，取代总是替换输入图像的围绕具有坐标(Xi，Yi)的点的像素的沿着列方向(X方向)排列的两个像素的像素数值，当混合系数α(小数部分)小于阈值α1时不执行替换，而当混合系数α(小数部分)大于α2(α1<α2)时，输入图像的围绕具有坐标(Xi，Yi)的点的所有像素的像素数值被显示颜色替换。 [0113] 关于规定显示颜色，在前存储于ROM等中的数据可以被自动地包括在几何变换表14中，或者外部设备可以根据需要确定显示颜色。 [0114] 图16是示出由第四实施例的坐标变换部分24A和输出图像生成部分24执行的特征过程的流程的流程图。例如以预定循环反复地执行所述流程。 [0115] 首先，坐标变换部分24A读取几何变换表14中的与第一输出像素有关的数据(S400)。 [0116] 然后，确定是否对于有关输出像素规定显示颜色(S402)，并且当规定显示颜色时，与根据上述方法读取的输出图像的坐标相应的在输入图像的坐标(Xi，Yi)的行方向(Y方向)中的坐标的小数部分被变换成混合系数α(S404)。 [0117] 输出图像生成部分24B设定通过使用在替换之后的数据(当无替换指令时的初始数据)执行插值获得的像素数值作为输出图像的像素数值(S406)。 [0118] 随后，确定是否已经对于所有的输出像素确定像素数值(S408)，并且当尚未对于所有的输出像素确定像素数值时，读取与下一输出像素有关的数据(S410)，并且执行从S402起的步骤。 [0119] 另一方面，当已经对于所有的输出像素确定像素数值时，所确定的图像数据集作为一个帧的合成图像数据被输出到显示设备40(S412)。 [0120] 根据第四实施例的合成图像生成设备4，如在第一实施例的合成图像生成设备1的情形中那样，能够减少实现通过变换从捕捉装置接收的输入图像而获得的图像上叠加覆盖图像的过程所需要的成本，并且另外，能够在其半透明处理之后结合几何变换图像和覆盖图像、执行反混淆过程等。另外，因为能够在几何变换表14中省去用于混合系数的域，所以能够防止几何变换表14的大小变得太大。 [0121] 将在下面描述根据本发明第五实施例的合成图像生成设备5。作为示出输出图像生成部分21的特殊和简单的配置的实施例的合成图像生成设备5实现与根据第二实施例的合成图像生成设备2的功能类似的功能，所述功能能够通过使用几何变换表12规定覆盖图像的显示颜色。特别地，合成图像生成设备5执行所谓的双线性插值，并且同时，执行根据以上等式(2)的混合过程。 [0122] 第五实施例的合成图像生成设备5包括几何变换表15和输出图像生成部分25(见图17)。第五实施例的合成图像生成设备5不必为高级计算机系统，并且仅需具有在其中存储几何变换表15的存储介质，以及具有在下面描述的硬件配置的输出图像生成部分25。几何变换表15的内容与图8B所示那些相同。 [0123] 图18是示出第五实施例的输出图像生成部分25的硬件配置实例的图表。这种配置被设计成使得通过考虑到几何变换过程和混合过程均为其中利用内分比将两个数值加权的计算(内分点计算)，提供用于计 算利用内分比加权的数值的计算器并且使用计算器四次而实现几何变换过程和混合过程。利用这种配置，能够利用简单硬件配置(而不使用高级计算机系统)实现几何变换过程和混合过程，因此能够减少设备的尺寸和成本。 [0124] 在下面的说明中，双线性插值被划分成多个步骤，相对于X方向上像素的插值数值被称作第一插值数值，相对于X方向下像素的插值数值被称作第二插值数值，并且相对于Y方向第一和第二插值数值的插值数值被称作第三插值数值。 [0125] 输出图像生成部分25包括选择器A、选择器B、选择器C、补数器、乘法器A、乘法器B、加法器、第一寄存器、第二寄存器以及输出寄存器。选择器A接收左上像素数值、左下像素数值、以及第一寄存器的数值。选择器B接收右上像素数值、右下像素数值、以及第二寄存器的数值。选择器C接收在输入图像上指定的坐标(Xi，Yi)的Xi和Yi的小数部分、以及混合系数。 [0126] 将在下面参考图19所示的时序图描述输出图像生成部分25的运行。首先，为了获得第一插值数值，选择器A选择左上像素的像素数值，选择器B选择右上像素的像素数值，并且选择器C选择Xi(T1)的小数部分。Xi的小数部分是例如代表小数部分数值的4位二进制数值。该4位二进制数值本身作为乘数被供给到乘法器B，并且其补数被供给到乘法器A。在二进制和十进制这两种情形中，补数指一的补数(1-(初始数))。图20示出在代表小数部分的二进制表达和十进制表达之间的对应关系及其补数。 [0127] 因此，左上像素的像素数值作为被乘数被供给到乘法器A，并且(1-(Xi的小数部分))的数值作为乘数被供给到乘法器A。右上像素的像素数值作为被乘数被供给到乘法器B，并且Xi的小数部分的数值作为乘数被供给到乘法器B。因此，来自加法器的输出成为第一插值数值。 第一插值数值被保存在第一寄存器中。 [0128] 然后，选择器A选择左下像素的像素数值，选择器B选择右下像素的像素数值，并且选择器C选择Xi(T2)的小数部分。因此，来自加法器的输出成为第二插值数值。第二插值数值被保存在第二寄存器中。 [0129] 随后，选择器A选择第一寄存器的数值，选择器B选择第二寄存器的数值，并且选择器C选择Yi(T3)的小数部分。 [0130] 因此，第一插值数值作为被乘数被供给到乘法器A，并且(1-(Yi的小数部分))的数值作为乘数被供给到乘法器A。同时，第二插值数值作为被乘数被供给到乘法器B，并且Yi的小数部分的数值作为乘数被供给到乘法器B。因此，来自加法器的输出成为第三插值数值。第三插值数值被保存在第一寄存器中。 [0131] 最终，选择器A选择第一寄存器的数值，选择器B选择显示颜色，并且选择器C选择混合系数(T4)。 [0132] 因此，第三插值数值作为被乘数被供给到乘法器A，并且(1-(混合系数))的数值作为乘数被供给到乘法器A。显示颜色作为被乘数被供给到乘法器B，并且混合系数的数值作为乘数被供给到乘法器B。因此，来自加法器的输出成为已经经历α-混合过程的输出像素数值。该数值被保存在输出寄存器中(T5)。 [0133] 虽然采用其中首先执行关于X方向的插值然后执行关于Y方向的插值的步骤，但是可以采用其中首先执行关于Y方向的插值然后执行关于X方向的插值的步骤。另外，虽然在以上说明中提供两个乘法器，但是可以采用其中使用一个乘法器并且在两个步骤中分别地并且顺序地执行两次乘法的配置。 [0135] 例如，覆盖图像不限于其显示颜色被规定的计算机生成图像，而可以为从另一照相机接收的捕捉图像等。 |
||||||
QQ群二维码
意见反馈
意见反馈