[0001] 本实用新型是涉及一种图像装置，尤其涉及一种用以决定深度图像内无效区的图像装置，其中深度图像内无效区的像素具有无效深度信息。

[0002] 现有技术可根据一左眼图像和一右眼图像通过一立体匹配方式(stereo matching method)产生一深度图，其中左眼图像和右眼图像是符合一对极限制(epipolar constrain)的校正后图像。因为校正后图像具有在左眼图像(或右眼图像)的图像范围外的无效区，所以校正后图像的无效区的图像信息和对应于左眼图像和右眼图像的原始未校正图像无关。因此，在深度图根据左眼图像(校正后图像)和右眼图像(校正后图像)通过所述立体匹配方式产生之后，深度图将有错误的深度信息。

[0003] 一般而言，现有技术是先放大原始未校正图像，然后校正已放大的原始未校正图像以产生校正后图像，然后裁剪校正后图像的无效区，以及最后缩放没有无效区的校正后图像的尺寸至期望的尺寸。当缩放没有无效区的校正后图像的尺寸至期望的尺寸后，现有技术可利用没有无效区的校正后图像(具有期望的尺寸)产生一正确的深度图像。然而，对于一系统而言，放大原始未校正图像较复杂且运算负担较大。实用新型内容

[0004] 本实用新型的第一实施例公开一种用以决定深度图像内无效深度信息的图像装置。所述图像装置包括一第一传感器、一第二传感器、一前处理模块、一深度图引擎以及一错误决定单元，其中所述前处理模块包括一同步单元、一图像处理器以及一校正器。所述第一传感器是用以获取多个第一图像以及 所述第二传感器是用以获取多个第二图像。所述前处理模块电连接所述第一传感器和所述第二传感器，其中所述前处理模块是用以根据所述多个第一图像中的每一第一图像产生一参考图像，根据所述多个第二图像中的一第二图像产生对应所述参考图像的一目标图像，以及设定所述参考图像在所述第一图像的图像范围外的像素的灰阶值为一第一预定值以决定所述参考图像的无效区，其中所述第二图像对应所述第一图像。所述深度图引擎是电连接所述前处理模块，其中所述深度图引擎是用以根据所述参考图像和所述目标图像，产生一第一深度图像。所述错误决定单元是电连接所述前处理模块和所述深度图引擎，其中所述错误决定单元是利用所述参考图像的无效区决定所述第一深度图像的无效区，以及设定所述第一深度图像的无效区内的像素的灰阶值为一第二预定值以产生一第二深度图像，其中所述第二深度图像内具有所述第二预定值的灰阶值的像素具有无效深度信息。

[0005] 本实用新型公开一种用以决定深度图像内无效深度信息的图像装置。所述图像装置是利用一第一传感器获取多个第一图像和一第二传感器获取多个第二图像；利用一前处理模块根据所述多个第一图像中的每一第一图像产生一参考图像，根据所述多个第二图像中的一第二图像产生对应所述参考图像的一目标图像，以及决定所述参考图像的无效区；利用一深度图引擎根据所述参考图像和所述目标图像产生一第一深度图像；以及利用一错误决定单元根据所述参考图像的无效区决定所述第一深度图像的无效区，和根据所述第一深度图像的无效区产生一第二深度图像，其中所述第二深度图像的无效区的像素具有无效深度信息。相较于现有技术，因为本实用新型仅决定所述第二深度图像的无效区(也就是说本实用新型不执行放大操作以产生所述第二深度图像)，所以本实用新型可让电连接所述图像装置的后续应用单元忽略所述第二深度图像的无效区的像素所具有无效深度信息。如此，因为所述后续应用单元可忽略所述第二深度图像的无效区的像素所具有的无效深度信息，所以所述后续应用单元可降低其运算错误。另外，因为本实用新型不执行放大操作以产生所述第二深度图像，所以本实用新型也可降低功耗。
附图说明

[0006] 图1是本实用新型的第一实施例提供的一种用以决定深度图像内无效深度信息的图像装置的示意图。

[0007] 图2是说明所述参考图像在所述第一图像的图像范围外的像素的示意图。

[0008] 图3是本实用新型的第二实施例提供的一种用以决定深度图像内无效深度信息的操作方法的流程图。

[0009] 其中，附图标记说明如下：

[0010] 100                           图像装置

[0011] 102                           第一传感器

[0012] 104                           第二传感器

[0013] 106                           前处理模块

[0014] 108                           深度图引擎

[0015] 110                           错误决定单元

[0016] 1062                          同步单元

[0017] 1064                          图像处理器

[0018] 1066                          校正器

[0019] CSI                           相对应第二图像

[0020] SDI                           第二深度图像

[0021] FI、EFI                        第一图像

[0022] FDI                           第一深度图像

[0023] PFI                           第一处理图像

[0024] PSI                           第二处理图像

[0025] RI                            参考图像

[0026] SI                            第二图像

[0027] TI                            目标图像

[0028] 300-316                       步骤

[0029] 请参照图1，图1是本实用新型的一第一实施例提供的一种用以决定深度图像内无效深度信息的图像装置100的示意图。如图1所示，所述图像装置100包括一第一传感器102，一第二传感器104，一前处理模块106，一深度图引擎108，以及一错误决定单元110，其中所述前处理模块106包括一同步单元1062，一图像处理器1064，以及一校正器1066。在所述图像装置100开机之后，所述第一传感器102是用以获取多个第一图像FI以及所述第二传感器104是用以获取多个第二图像SI，其中所述多个第一图像FI是多个左眼图像和所述多个第二图像SI是多个右眼图像，以及所述多个第一图像FI和所述多个第二图像SI是多个灰阶图像。但本实用新型并不受限于所述多个第一图像FI和所述多个第二图像SI是多个灰阶图像。在本实用新型的另一实施例中，所述多个第一图像FI和所述多个第二图像SI是多个彩色图像，所述多个第一图像FI是多个灰阶图像和所述多个第二图像SI是多个彩色图像，或所述多个第一图像FI是多个彩色图像和所述多个第二图像SI是多个灰阶图像。如图1所示，所述同步单元1062是电连接所述第一传感器102和所述第二传感器104，所述图像处理器
1064是电连接所述同步单元1062，以及所述校正器1066是电连接所述图像处理器1064。因为在所述图像装置100开机后，所述第一传感器102可获取所述多个第一图像FI以及所述第二传感器104可获取所述多个第二图像SI，所以所述同步单元1062可同时输出所述多个第一图像FI中的每一第一图像EFI以及所述多个第二图像SI中的一相对应第二图像CSI至所述图像处理器1064。在所述图像处理器1064接收所述第一图像EFI和所述相对应第二图像CSI后，所述图像处理器1064可分别对所述第一图像EFI和所述相对应第二图像CSI执行一图像处理以产生一第一处理图像PFI和一第二处理图像PSI，其中所述图像处理是色彩空间转换，调整亮度，调整分辨率，消除噪声，强化边缘，内插和对比度调整的组合之一。在所述校正器1066接收所述第一处理图像PFI和所述第二处理图像PSI，所述校正器1066可分别对所述第一处理图像PFI和所述第二处理图像PSI执行一校正处理以产生一参考图像RI和一目标图像TI，其中所述校正处理是一坐标转换处理，所述参考图像RI和所述目标图像TI符合一对极限制(epipolar  constrain)，以及所述目标图像TI对应所述参考图像RI。另外，在所述校正器1066对所述第一处理图像PFI执行所述校正处理(所述坐标转换处理)产生所述参考图像RI后，因为所述参考图像RI的部分像素是在所述第一图像EFI的图像范围外(如图2所示)，所以所述校正器1066另用以设定所述参考图像RI的部分像素(所述参考图像RI位在所述第一图像EFI的图像范围外的像素)的灰阶值为一第一预定值(例如0)以决定所述参考图像RI的无效区(其中所述参考图像RI的无效区的图像信息和所述第一图像EFI无关)。另外，如图1所示，所述深度图引擎108是电连接所述前处理模块106的校正器1066，以及所述错误决定单元110是电连接所述前处理模块106的校正器1066和所述深度图引擎
108。所述深度图引擎108可根据所述参考图像RI和所述目标图像TI产生一第一深度图像FDI。在所述错误决定单元110接收所述第一深度图像FDI后，所述错误决定单元110利用所述参考图像的无效区RI决定所述第一深度图像FDI的无效区。虽然所述参考图像RI的无效区的灰阶值已被设定为所述第一预定值，但在所述第一深度图像FDI根据所述参考图像RI和所述目标图像TI产生后，所述第一深度图像FDI的无效区的灰阶值却可能为任意值。因此，所述错误决定单元110设定所述第一深度图像FDI的无效区的像素的灰阶值为一第二预定值以产生一第二深度图像SDI，其中所述第二深度图像SDI内具有所述第二预定值的像素(也就是位于所述第二深度图像SDI内无效区的像素)具有无效深度信息，以及所述第二预定值可等于或不同于所述第一预定值。如此，电连接所述图像装置100的一后续应用单元(未绘示于图1)可忽略所述第二深度图像SDI内具有所述第二预定值的像素以降低运算错误。

[0030] 当所述参考图像RI在所述第一图像EFI的图像范围内的像素的灰阶值等于所述第一预定值时，所述校正器1066设定所述参考图像RI在所述第一图像EFI的图像范围内的像素的灰阶值为一第三预定值，其中所述第二预定值和所述第三预定值不同。另外，当所述多个第一图像FI和所述多个第二图像SI不是灰阶图像时，校正器1066可设定所述参考图像RI在所述第一图像EFI的图像范围外的像素为相对应的值以决定所述参考图像RI的无效区。例如，当所述多个第一图像FI和所述多个第二图像SI是彩色图像时，校正器 1066可设定所述参考图像RI在所述第一图像EFI的图像范围外的像素的红、绿、蓝色彩值为相对应的预定值以决定所述参考图像RI的无效区。

[0031] 同理，在所述校正器1066对所述第二处理图像PSI执行所述校正处理(所述坐标转换处理)产生所述目标图像TI后，因为所述目标图像TI的部分像素是在所述相对应第二图像CSI的图像范围外，所以所述校正器1066另用以设定所述目标图像TI的部分像素(所述目标图像TI位在所述相对应第二图像CSI的图像范围外的像素)的灰阶值为所述第一预定值以决定所述目标图像TI的无效区(其中所述目标图像TI的无效区的图像信息和所述相对应第二图像CSI无关)。另外，当所述目标图像TI在所述相对应第二图像CSI的图像范围内的像素的灰阶值等于所述第一预定值时，所述校正器1066设定所述目标图像TI在所述相对应第二图像CSI的图像范围内的像素的灰阶值为所述第三预定值。然而,当所述深度图引擎108需要产生一第三深度图像(对应所述目标图像TI)时，所述校正器1066才需要决定所述目标图像TI的无效区。也就是说，当所述深度图引擎108仅需要产生所述第一深度图像FDI(对应所述参考图像RI)时，所述校正器1066并不一定要决定所述目标图像TI的无效区。因此，在所述深度图引擎108产生所述第三深度图像后，所述错误决定单元110可设定所述第三深度图像的无效区的像素的灰阶值为所述第二预定值以产生一第四深度图(对应所述目标图像TI)，其中第四深度图内具有所述第二预定值的像素(也就是位于第四深度图内无效区的像素)具有无效深度信息。

[0032] 另外，本实用新型并不受限于图1所示的同步单元1062、图像处理器1064以及校正器1066的耦接顺序。也就是说图1所示的同步单元1062、图像处理器1064以及校正器1066的位置可被任意改变，但同步单元1062、图像处理器1064以及校正器1066必须位于所述深度图引擎108之前，以及位于第一传感器102和第二传感器104之后。

[0033] 请参照图1至图3。图3是本实用新型的第二实施例说明一种用以决定深度图像内无效深度信息的操作方法的流程图。图3的操作方法是利用图1 的图像装置100说明，详细步骤如下：

[0034] 步骤300：开始。

[0035] 步骤302：所述第一传感器102获取多个第一图像FI和所述第二传感器104获取多个第二图像SI；

[0036] 步骤304：所述同步单元1062同时输出所述多个第一图像FI中的每一第一图像EFI以及所述多个第二图像SI中的一相对应第二图像CSI；

[0037] 步骤306：所述图像处理器1064分别对所述第一图像EFI和所述相对应第二图像CSI执行一图像处理以产生一第一处理图像PFI和一第二处理图像PSI；

[0038] 步骤308：所述校正器1066分别对所述第一处理图像PFI和所述第二处理图像PSI执行一校正处理以产生一参考图像RI和一目标图像TI；

[0039] 步骤310：所述校正器1066设定所述参考图像RI位在所述第一图像EFI的图像范围外的像素的灰阶值为一第一预定值以决定所述参考图像RI的无效区；

[0040] 步骤312：所述深度图引擎108根据所述参考图像RI和所述目标图像TI产生一第一深度图像FDI；

[0041] 步骤314：所述错误决定单元110利用所述参考图像的无效区RI决定所述第一深度图像FDI的无效区；

[0042] 步骤316：所述错误决定单元110设定所述第一深度图像FDI的无效区的像素的灰阶值为一第二预定值以产生一第二深度图像SDI，跳回步骤304。

[0043] 如图1所示，在步骤302中，在所述图像装置100开机之后，所述第一传感器102获取所述多个第一图像FI以及所述第二传感器104获取所述多个第二图像SI，其中所述多个第一图像FI是多个左眼图像和所述多个第二图像 SI是多个右眼图像，以及所述多个第一图像FI和所述多个第二图像SI是多个灰阶图像。但本实用新型并不受限于所述多个第一图像FI和所述多个第二图像SI是多个灰阶图像。在本实用新型的另一实施例中，所述多个第一图像FI和所述多个第二图像SI是多个彩色图像，所述多个第一图像FI是多个灰阶图像和所述多个第二图像SI是多个彩色图像，或所述多个第一图像FI是多个彩色图像和所述多个第二图像SI是多个灰阶图像。在步骤304中，因为在所述图像装置100开机之后，所述第一传感器102获取所述多个第一图像FI以及所述第二传感器104获取所述多个第二图像SI，所以所述同步单元1062可同时输出所述第一图像EFI以及所述相对应第二图像CSI至所述图像处理器1064。在步骤306中，所述图像处理是色彩空间转换，调整亮度，调整分辨率，消除噪声，强化边缘，内插和对比度调整的组合之一。在步骤308中，所述校正处理是一坐标转换处理，所述参考图像RI和所述目标图像TI符合一对极限制，以及所述目标图像TI对应所述参考图像RI。在步骤310中，a在所述校正器1066对所述第一处理图像PFI执行所述校正处理(所述坐标转换处理)产生所述参考图像RI后，因为所述参考图像RI的部分像素是在所述第一图像EFI的图像范围外(如图2所示)，所以所述校正器1066可设定所述参考图像RI位在所述第一图像EFI的图像范围外的像素的灰阶值为所述第一预定值(e.g.0)以决定所述参考图像RI的无效区(其中所述参考图像RI的无效区的图像信息和所述第一图像EFI无关)。另外，当所述参考图像RI在所述第一图像EFI的图像范围内的像素的灰阶值等于所述第一预定值，所述校正器1066设定所述参考图像RI在所述第一图像EFI的图像范围内的像素的灰阶值为一第三预定值，其中所述第一预定值和所述第三预定值不同。

[0044] 同理，在所述校正器1066对所述第二处理图像PSI执行所述校正处理(所述坐标转换处理)产生所述目标图像TI后，因为所述目标图像TI的部分像素是在所述相对应第二图像CSI的图像范围外，所以所述校正器1066也设定所述目标图像TI位在所述相对应第二图像CSI的图像范围外的像素的灰阶值为所述第一预定值以决定所述目标图像TI的无效区(其中所述目标图像TI的无效区的图像信息和所述相对应第二图像CSI无关)。另外，当所述目标图像TI在所述相对应第二图像CSI的图像范围内的像素的灰阶值等于所述第一预 定值时，所述校正器1066设定所述目标图像TI在所述相对应第二图像CSI的图像范围内的像素的灰阶值为所述第三预定值。然而,当所述深度图引擎108需要产生一第三深度图像(对应所述目标图像TI)时，所述校正器1066才需要决定所述目标图像TI的无效区。也就是说，当所述深度图引擎108仅需要产生所述第一深度图像FDI(对应所述参考图像RI)时，所述校正器1066并不一定要决定所述目标图像TI的无效区。

[0045] 在步骤316中，所述参考图像RI的无效区的灰阶值已被设定为所述第一预定值，但在所述第一深度图像FDI根据所述参考图像RI和所述目标图像TI产生后，所述第一深度图像FDI的无效区的灰阶值却可能为任意值。因此，所述错误决定单元110设定所述第一深度图像FDI的无效区的像素的灰阶值为所述第二预定值以产生所述第二深度图像SDI，其中所述第二深度图像SDI内具有所述第二预定值的像素(也就是位于所述第二深度图像SDI内无效区的像素)具有无效深度信息，以及所述第二预定值可等于或不同于所述第一预定值。如此，电连接所述图像装置100的后续应用单元(未绘示于图1)可忽略所述第二深度图像SDI内具有所述第二预定值的像素以降低运算错误。

[0046] 综上所述，所述图像装置和所述操作方法是利用所述第一传感器获取多个第一图像和所述第二传感器获取多个第二图像；利用所述前处理模块根据所述多个第一图像中的每一第一图像产生一参考图像，根据所述多个第二图像中的一第二图像产生对应所述参考图像的一目标图像，以及决定所述参考图像的无效区；利用所述深度图引擎根据所述参考图像和所述目标图像产生一第一深度图像；以及利用所述错误决定单元根据所述参考图像的无效区决定所述第一深度图像的无效区，和根据所述第一深度图像的无效区产生一第二深度图像，其中所述第二深度图像的无效区的像素具有无效深度信息。相较于现有技术，因为本实用新型仅决定所述第二深度图像的无效区(也就是说本实用新型不执行放大操作以产生所述第二深度图像)，所以本实用新型可让电连接所述图像装置的后续应用单元忽略所述第二深度图像的无效区的像素所具有无效深度信息。如此，因为所述后续应用单元可忽略所述第二深度图像的无效区的像素所具有的无效深度信息，所以所述后续应用单元可降低其 运算错误。另外，因为本实用新型不执行放大操作以产生所述第二深度图像，所以本实用新型也可降低功耗。

[0047] 以上所述仅为本实用新型的优选实施例而已，并不用于限制本实用新型，对于本领域的技术人员来说，本实用新型可以有各种更改和变化。凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。