能够进行HDR合成的摄像设备及其控制方法和存储介质
阅读：1035发布：2020-06-20
专利汇可以提供能够进行HDR合成的摄像设备及其控制方法和存储介质专利检索，专利查询，专利分析的服务。并且本 发明 提供能够进行HDR合成的摄像设备及其控制方法和存储介质。该摄像设备能够在防止由不适当的合成引起的重影伪像等的发生的同时根据是否存在运动被摄体来增大利用HDR合成的动态范围的扩大宽度。摄像部针对各 帧 以多个不同曝光量进行摄像操作，由此生成多个拍摄图像，以进行HDR合成。曝光 控制器 设置用于摄像部的多个不同曝光量。运动被摄体检测部检测存在于多个拍摄图像至少之一中的运动被摄体。曝光控制器根据运动被摄体检测部是否检测到运动被摄体来调整多个不同曝光量。，下面是能够进行HDR合成的摄像设备及其控制方法和存储介质专利的具体信息内容。
1.一种摄像设备，包括：
摄像部，其被配置为针对各帧以多个不同曝光量进行摄像操作，由此生成多个拍摄图像以进行HDR合成；以及
至少一个处理器或电路，其被配置为进行以下单元的操作：
设置单元，其被配置为设置用于所述摄像部的所述多个不同曝光量；以及运动被摄体检测单元，其被配置为检测存在于所述多个拍摄图像至少之一中的运动被摄体，
其中，所述设置单元根据所述运动被摄体检测单元是否检测到运动被摄体来调整所述多个不同曝光量。
2.根据权利要求1所述的摄像设备，其中，所述至少一个处理器或电路被配置为还进行运动被摄体分析单元的操作，所述运动被摄体分析单元被配置为对存在于所述多个拍摄图像的各个拍摄图像中的运动被摄体的明亮度进行分析，
其中，所述设置单元根据所分析的明亮度来调整所述多个不同曝光量。
3.根据权利要求1所述的摄像设备，其中，所述设置单元使得所述多个不同曝光量中的最大值和最小值之间的差在所述运动被摄体检测单元检测到运动被摄体的情况下比在所述运动被摄体检测单元没有检测到运动被摄体的情况下更小。
4.根据权利要求1所述的摄像设备，其中，在所述运动被摄体检测单元检测到运动被摄体的情况下，所述设置单元确定所述多个不同曝光量，使得拍摄所述运动被摄体的亮度范围所需的图像的数量最小。
5.根据权利要求1所述的摄像设备，其中，所述至少一个处理器或电路被配置为还进行背景图像计算单元的操作，所述背景图像计算单元被配置为计算通过计算所述摄像部在过去的预定时间段内所生成的相同场景的拍摄图像的时间平均而获得的背景图像，其中，所述运动被摄体检测单元检测所述多个拍摄图像至少之一和所计算出的背景图像之间的差作为所述运动被摄体。
6.根据权利要求1所述的摄像设备，其中，所述运动被摄体检测单元检测通过所述多个拍摄图像的HDR合成而获得的HDR合成图像和过去的HDR合成图像之间的差作为所述运动被摄体。
7.根据权利要求1所述的摄像设备，其中，所述运动被摄体检测单元检测所述摄像设备的摄像视角内的至少一个图像的由用户指定的区域作为所述运动被摄体。
8.根据权利要求1所述的摄像设备，其中，所述设置单元调整所述多个不同曝光量，使得所述多个拍摄图像其中之一的亮度范围包括所述运动被摄体的亮度区域的整个区域。
9.根据权利要求1所述的摄像设备，其中，在所述多个拍摄图像的数量是3个或更多个的情况下，所述设置单元调整所述多个不同曝光量中的除最大曝光量和最小曝光量之外的曝光量。
10.根据权利要求2所述的摄像设备，其中，所述运动被摄体分析单元针对从通过帧的奇数编号的摄像操作获得的拍摄图像所检测到的运动被摄体的亮度生成直方图，以及其中，所述设置单元根据所述直方图的分布来确定要用于该帧的偶数编号的摄像操作的曝光量。
11.根据权利要求2所述的摄像设备，其中，在所述运动被摄体分析单元检测到所述运动被摄体的亮度范围被划分为两个区域、并且划分后的两个区域之间的亮度差大到使得所述运动被摄体的整个亮度范围不能被所述多个拍摄图像其中之一的拍摄图像亮度范围覆盖的情况下，所述设置单元调整所述多个不同曝光量，使得在连续的拍摄定时之间，还根据所述两个区域的亮度范围来划分由所述多个拍摄图像所形成的HDR合成图像的整个拍摄图像亮度范围。
12.根据权利要求11所述的摄像设备，其中，所述多个拍摄图像的数量被设置为拍摄划分后的两个区域所需的最小数量。
13.一种摄像设备的控制方法，所述摄像设备包括摄像部，所述摄像部被配置为针对各帧以多个不同曝光量进行摄像操作，由此生成多个拍摄图像以进行HDR合成，所述控制方法包括：
设置用于所述摄像部的所述多个不同曝光量；
检测存在于所述多个拍摄图像至少之一中的运动被摄体；以及
根据是否检测到运动被摄体来调整所述多个不同曝光量。
14.一种存储有计算机可执行程序的非暂时性计算机可读存储介质，所述计算机可执行程序用于执行摄像设备的控制方法，所述摄像设备包括摄像部，所述摄像部被配置为针对各帧以多个不同曝光量进行摄像操作，由此生成多个拍摄图像以进行HDR合成，其中，所述控制方法包括：
设置用于所述摄像部的所述多个不同曝光量；
检测存在于所述多个拍摄图像至少之一中的运动被摄体；以及
根据是否检测到运动被摄体来调整所述多个不同曝光量。
能够进行HDR合成的摄像设备及其控制方法和存储介质
技术领域
[0001] 本发明涉及摄像设备及其控制方法和存储介质，更具体地涉及被配置为拍摄曝光不同并且用于高动态范围(HDR)合成的多个图像的摄像设备及其控制方法和存储介质。
背景技术
[0002] 传统上，已知对曝光不同的多个图像进行合成以增大所得到的拍摄图像的动态范围的高动态范围(HDR)合成的技术。
[0003] 在HDR合成中，将在时间上不同的定时拍摄的多个图像合成为一个图像，因此，如果在图像中存在运动被摄体，或者如果在拍摄要合成的图像的同时移动照相机，则可能无法适当地合成图像。也就是说，对被摄体位置不同的被摄体的图像进行合成有时导致诸如重影伪像的发生等的图像质量的劣化。
[0004] 例如，日本特开2012-257126描述了：在要合成的多个图像之间追踪被摄体的情况下，由于曝光不同，因此多个图像之间的相关性降低，使得存在不能追踪被摄体的可能性。为了防止这种情况，公开了如下技术：在用于检测预定区域(追踪对象的区域)的模式中，控制摄像，使得在HDR合成所用的多个图像之间曝光量的差减小。
[0005] 日本特开2011-004353描述了需要准确地计算用于合成的多个图像彼此叠加的位置。为此，公开了如下技术，该技术用于识别HDR合成所用的多个图像的各个图像中的共通区域，并且当图像彼此叠加时校正这些图像之间的位置偏移，使得各个叠加图像中的相应共通区域彼此一致。
[0006] 然而，在日本特开2012-257126和日本特开2011-004353中公开的上述传统技术中，不管图像中是否存在运动被摄体，都需要拍摄HDR合成所用的多个图像之间的共通被摄体亮度区域的图像。换句话说，即使在不存在运动被摄体、因此由不适当合成引起的重影伪像等的可能性很小的情况下，也无法增大HDR合成所用的多个图像之间的曝光差，这导致利用HDR合成的动态范围的扩大宽度的减小。
发明内容
[0007] 本发明提供一种能够在防止由不适当的合成引起的重影伪像等的发生的同时根据是否存在运动被摄体来增大利用HDR合成的动态范围的扩大宽度的摄像设备及其控制方法和存储介质。
[0008] 在本发明的第一方面，提供一种摄像设备，包括：摄像部，其被配置为针对各帧以多个不同曝光量进行摄像操作，由此生成多个拍摄图像以进行HDR合成；以及至少一个处理器或电路，其被配置为进行以下单元的操作：设置单元，其被配置为设置用于所述摄像部的所述多个不同曝光量；以及运动被摄体检测单元，其被配置为检测存在于所述多个拍摄图像至少之一中的运动被摄体，其中，所述设置单元根据所述运动被摄体检测单元是否检测到运动被摄体来调整所述多个不同曝光量。
[0009] 在本发明的第二方面，提供一种摄像设备的控制方法，所述摄像设备包括摄像部，所述摄像部被配置为针对各帧以多个不同曝光量进行摄像操作，由此生成多个拍摄图像以进行HDR合成，所述控制方法包括：设置用于所述摄像部的所述多个不同曝光量；检测存在于所述多个拍摄图像至少之一中的运动被摄体；以及根据是否检测到运动被摄体来调整所述多个不同曝光量。
[0010] 在本发明的第三方面，提供一种存储有计算机可执行程序的非暂时性计算机可读存储介质，所述计算机可执行程序用于执行摄像设备的控制方法，所述摄像设备包括摄像部，所述摄像部被配置为针对各帧以多个不同曝光量进行摄像操作，由此生成多个拍摄图像以进行HDR合成，其中，所述控制方法包括：设置用于所述摄像部的所述多个不同曝光量；检测存在于所述多个拍摄图像至少之一中的运动被摄体；以及根据是否检测到运动被摄体来调整所述多个不同曝光量。
[0011] 根据本发明，可以在防止由不适当的合成引起的重影伪像等的发生的同时根据是否存在运动被摄体来增大利用HDR合成的动态范围的扩大宽度。
附图说明
[0013] 图1是根据本发明第一实施例的摄像设备的控制框图。
[0015] 图3是示出用于处理在图2的处理中作为先前帧的曝光水平差计算帧的序列和用于处理在图2的处理中作为当前帧的曝光水平差反映帧的序列的示例的图。
[0016] 图4A和4B是用于说明根据第一实施例的摄像设备的曝光水平差控制的图。
[0017] 图5A和5B是用于说明根据第一实施例的摄像设备的曝光水平差控制的变形例的图。
[0018] 图6是用于说明在图5的变形例的情况下由本发明的摄像设备计算曝光水平差的方法的图。
[0019] 图7是根据本发明第二实施例的摄像设备的控制框图。
[0020] 图8是根据本发明第三实施例的摄像设备的控制框图。
[0021] 图9是示出根据第三实施例的用于处理曝光水平差计算帧的序列和其后的用于处理曝光水平差反映帧的序列的示例的图。
[0022] 图10是根据本发明第四实施例的摄像设备的控制框图。
[0023] 图11是示出根据第四实施例的摄像设备在短曝光图像上针对各帧进行的曝光水平差计算反映处理的序列的示例的图。
[0024] 图12是用于说明图11中的用于处理曝光水平差计算帧的序列的图。
[0025] 图13A和13B是用于说明根据本发明第五实施例的摄像设备的曝光水平差控制的图。
[0026] 图14A和14B是用于说明传统摄像设备的曝光水平差控制的图。
具体实施方式
[0027] 现在将参照示出本发明实施例的附图在下面详细描述本发明。
[0028] 下面将参照图1描述根据本发明第一实施例的摄像设备100。
[0029] 参照图1，摄像设备100包括摄像单元(摄像部)101、运动被摄体检测部102、运动被摄体分析部103、存储部104、曝光水平差计算部105、曝光控制器(设置单元)106和背景图像计算部107。
[0030] 摄像单元101针对各帧，以基于从曝光控制器106获取到的多个曝光控制参数所确定的多个不同曝光量来进行摄像操作，并且生成多个拍摄图像数据项。然后，摄像单元101将多个拍摄图像数据项作为摄像设备100的输出图像输出到外部设备，并且将多个拍摄图像数据项中的至少一个输出到存储部104。外部设备通过对接收到的多个拍摄图像数据项进行合成来生成HDR合成图像。
[0031] 注意，在下面描述的本实施例中，给出了通过针对各帧以多个不同曝光量的摄像操作生成的多个拍摄图像数据项的数量是2的情况的描述。更具体地，由以较低快门速度和较大曝光量拍摄的图像数据表示的图像在下文中称为长曝光图像，并且由以较高快门速度和较小曝光量拍摄的图像数据表示的图像在下文中称为短曝光图像。
[0032] 每当生成长曝光图像和短曝光图像其中之一的拍摄图像数据时，运动被摄体检测部102都计算由所生成的拍摄图像数据表示的图像和从存储部104获取到的(下文中提及的)背景图像之间的差。此后，运动被摄体检测部102检测该差作为存在于由所生成的拍摄图像数据表示的图像中的正运动的被摄体(运动被摄体)。然后，运动被摄体检测部102将检测到的运动被摄体的像素值输出到运动被摄体分析部103。注意，可以通过不使用背景图像，而使用由在当前帧之前的帧中以同一曝光量在同一场景中所拍摄的图像数据表示的图像，来检测运动被摄体。
[0033] 运动被摄体分析部103(运动被摄体分析单元)基于由运动被摄体检测部102检测到的运动被摄体的像素值来计算运动被摄体的特征量，并且将计算出的特征量输出到曝光水平差计算部105。运动被摄体的特征量例如是运动被摄体的亮度直方图。
[0034] 背景图像计算部107(背景图像计算单元)从存储部104获取由摄像单元101在过去的预定时间段内生成的同一场景的拍摄图像数据，并计算所获取的图像数据的时间平均作为背景图像数据。该背景图像数据从背景图像计算部107输出到存储部104。
[0035] 存储部104存储同一场景中拍摄的多个图像数据项，并且将其中存储的多个拍摄图像数据项输出到运动被摄体检测部102。从存储部104输出到运动被摄体检测部102的多个拍摄图像数据项的示例包括从背景图像计算部107输出的背景图像数据和先前帧的多个拍摄图像数据。
[0036] 曝光水平差计算部105在摄像单元101针对各帧进行多个摄像操作时，基于由运动被摄体分析部103计算出的运动被摄体的特征量来计算针对各个摄像操作的多个曝光量(曝光水平差)，并将计算出的曝光量输出到曝光控制器106。
[0037] 曝光控制器106基于从曝光水平差计算部105输出的多个曝光量来计算与曝光量相对应的多个曝光控制参数，并且将计算出的多个曝光控制参数输出到摄像单元101。
[0038] 将参照图2描述由根据本实施例的摄像设备100进行的曝光水平差计算反映处理。
[0039] 参照图2，首先，在步骤S201中，运动被摄体检测部102从存储部104获取背景图像和先前帧的长曝光图像的数据。此后，运动被摄体检测部102判断是否可以从先前帧的长曝光图像中提取与背景图像有差异的像素(运动被摄体像素)，并且如果可以提取运动被摄体像素，则处理进入步骤S202。另一方面，如果不能提取运动被摄体像素，则设置用于拍摄长曝光图像的曝光和用于拍摄短曝光图像的曝光之间的曝光水平差，使得消除当前帧中的长曝光图像和短曝光图像之间的亮度重叠范围，随后终止本处理。注意，在本处理开始时的第一帧没有先前帧，因此，针对第二帧和后续帧执行步骤S201。
[0040] 在步骤S202中，运动被摄体分析部103生成在步骤S201中从先前帧的长曝光图像提取的运动被摄体像素的亮度直方图A。
[0041] 在步骤S203中，运动被摄体检测部102从存储部104获取背景图像和先前帧的短曝光图像的数据，并且判断是否可以从先前帧的短曝光图像中提取与背景图像有差异的像素(运动被摄体像素)，并且如果可以提取运动被摄体像素，则处理进入步骤S204。另一方面，如果不能提取运动被摄体像素，则设置用于拍摄长曝光图像的曝光和用于拍摄短曝光图像的曝光之间的曝光水平差，使得消除当前帧中的长曝光图像和短曝光图像之间的亮度重叠范围，随后终止本处理。
[0042] 在步骤S204中，运动被摄体分析部103生成在步骤S203中从先前帧的短曝光图像提取的运动被摄体像素的亮度直方图B。
[0043] 在步骤S205中，运动被摄体分析部103计算亮度直方图A中具有预定频率值或更大频率值的亮度区域和亮度直方图B中具有预定频率值或更大频率值的亮度区域的总和，作为运动被摄体的亮度区域C。
[0044] 在步骤S206中，曝光水平差计算部105计算将在当前帧上反映的用于拍摄长曝光图像的曝光和用于拍摄短曝光图像的曝光之间的曝光水平差，以使得能够在长曝光图像和短曝光图像两者中拍摄亮度区域C，随后终止本处理。
[0045] 接着，将参照图3来描述用于处理在图2中作为先前帧的曝光水平差计算帧的序列和用于处理在图2中作为当前帧的曝光水平差反映帧的序列的示例。
[0046] 如图3所示，首先，从在图2中作为先前帧的曝光水平差计算帧中拍摄的长曝光图像检测运动被摄体，并且此外，还从在曝光水平差计算帧中拍摄的短曝光图像检测运动被摄体。接着，通过对这些运动被摄体检测结果进行整合来计算运动被摄体亮度区域，并且根据所计算出的运动被摄体亮度区域来计算当在图2中作为当前帧的曝光水平差反映帧中拍摄长曝光图像和短曝光图像时要应用的曝光量(曝光水平差)。然后，在曝光水平差反映帧中反映所计算出的曝光量。
[0047] 下面将描述本发明提供的有益效果。
[0048] 首先，将参照图14A和14B描述在传统摄像设备中进行的曝光水平差控制。
[0049] 如图14A所示，用于拍摄长曝光图像的曝光量和用于拍摄短曝光图像的曝光量之间的差减小，换句话说，长曝光图像和短曝光图像之间的亮度重叠范围增大。这使得可以拍摄长曝光图像和短曝光图像中共通的运动被摄体的亮度范围中的亮度重叠范围。在这种情况下，由于在长曝光图像和短曝光图像这两者中都拍摄了运动被摄体的亮度范围，因此可以通过利用长曝光图像和短曝光图像之间的亮度重叠范围的差来适当地对长曝光图像和短曝光图像进行合成，并且由此防止在所得到的合成图像中的运动被摄体的部分中发生重影伪像等。然而，动态范围的扩大宽度减小了与亮度重叠范围相对应的量。
[0050] 此外，如图14B所示，即使在要拍摄的被摄体图像中不存在运动被摄体的情况下，在由传统摄像设备进行的曝光水平差控制中，也将亮度重叠范围设置为固定范围。因此，即使在不存在运动被摄体、并且因此在通过对长曝光图像和短曝光图像进行合成而获得的合成图像中几乎不存在发生重影伪像等的可能性的情况下，动态范围的扩大宽度仍然减小。
[0051] 此外，亮度重叠范围的适当大小随着运动被摄体的亮度范围而变化，因此可能导致亮度重叠范围过大或不足。即，如图14A所示，存在如下情况：运动被摄体的亮度范围比亮度重叠范围宽，因此亮度重叠范围不足。在这种情况下，存在如下担忧：针对运动被摄体的亮度范围的未被包括在亮度重叠范围中的部分不适当地对长曝光图像和短曝光图像进行合成，并且在所得到的合成图像中可能发生重影伪像。此外，存在如下情况：亮度重叠范围比运动被摄体的亮度范围宽，因此亮度重叠范围过大。在这种情况下，动态范围的扩大宽度与所需相比减小了更多。
[0052] 另一方面，在由根据本实施例的摄像设备100进行的曝光水平差控制中，由外部设备根据图2中的当前帧的长曝光图像和短曝光图像来形成具有由图4A和4B所示的合成之后的拍摄图像亮度范围表示的动态范围的合成图像(以下称为“HDR合成图像”)。更具体地，如图4A所示，在存在运动被摄体的情况下，从先前帧的长曝光图像和短曝光图像检测运动被摄体的亮度范围(在图2的步骤S205中计算出的运动被摄体的亮度区域C)。此后，计算用于拍摄当前帧的长曝光图像的曝光和短曝光图像的曝光之间的曝光水平差，使得长曝光图像的亮度范围和短曝光图像的亮度范围在与运动被摄体的亮度范围相对应的范围上重叠。由此，通过利用长曝光图像和短曝光图像之间的亮度重叠范围的差，可以防止生成在运动被摄体的部分中具有重影伪像等的不适当的HDR合成图像。然而，通过HDR合成所获得的拍摄图像亮度范围、即HDR合成图像的动态范围缩小了该亮度重叠范围。此外，如图4B所示，在不存在运动被摄体的情况下，不能生成具有由此引起的重影伪像等的不适当的HDR合成图像。在这种情况下，在摄像设备100中，计算用于拍摄长曝光图像的曝光和用于拍摄短曝光图像的曝光之间的曝光水平差，使得消除长曝光图像和短曝光图像之间的亮度重叠范围。这使得可以将HDR合成图像的动态范围增大到最大。
[0053] 具体地，曝光控制器106根据运动被摄体检测部102是否检测到运动被摄体来调整应用于生成HDR合成所用的多个图像(在本实施例中为长曝光图像和短曝光图像)的摄像操作的多个不同曝光量。更具体地，在由运动被摄体检测部102检测到运动被摄体的情况下，与在没有检测到运动被摄体的情况下相比，使多个曝光量的最大量(在本实施例中为用于拍摄长曝光图像的曝光量)和最小量(在本实施例中为用于拍摄短曝光图像的曝光量)之间的差更小。
[0054] 注意，在本实施例中，尽管运动被摄体检测部102从存储部104获取先前帧的拍摄图像和背景图像，计算它们之间的差，并且将计算出差的先前帧的拍摄图像的像素分别设置为检测到运动被摄体的像素，但是检测运动被摄体的方法不限于此。例如，可以计算前一帧之前的帧的拍摄图像和紧挨着的前一帧的拍摄图像之间的差，并且可以将计算出相关差的紧挨着的前一帧的拍摄图像的像素设置为检测到运动被摄体的像素。
[0055] 注意，在本实施例中，尽管如图4A所示，曝光水平差计算部105计算用于拍摄长曝光图像的曝光和用于拍摄短曝光图像的曝光之间的曝光水平差以使得能够在长曝光图像和短曝光图像两者中拍摄运动被摄体的亮度区域C，但是计算曝光水平差的方法不限于此。
[0056] 例如，在检测到运动被摄体的情况下，如图5A所示，曝光水平差计算部105可以计算在图2的处理中用于拍摄长曝光图像的曝光和用于拍摄短曝光图像的曝光之间的曝光水平差，使得可以在长曝光图像和短曝光图像其中之一中拍摄运动被摄体的亮度区域C的整个区域。换句话说，可以计算曝光水平差，使得拍摄运动被摄体的亮度区域C所需的图像的数量变为最小。
[0057] 参照图6，对“拍摄运动被摄体的亮度区域C所需的图像的数量变为最小”的描述给出附加的解释。在图6的(a)至(c)中，每一个拍摄图像的拍摄图像亮度范围大于运动被摄体的亮度范围。因此，拍摄运动被摄体的亮度区域C所需的图像的最小数量是1。另一方面，在图6的(d)中，每一个拍摄图像的拍摄图像亮度范围小于运动被摄体的亮度范围，因此需要至少两个拍摄图像来拍摄运动被摄体的亮度区域C的整个区域。因此，拍摄运动被摄体的亮度区域C所需的图像的最小数量是2。接着，在曝光水平差如图6中的(a)所示的情况下，除非添加短曝光图像和长曝光图像的相应拍摄亮度区域，否则不能覆盖运动被摄体的亮度区域C。因此，在图6中的(a)所示的曝光水平差的情况下，拍摄运动被摄体的亮度区域C所需的图像的数量是2。由于在图6的(a)中拍摄运动被摄体的亮度区域C所需的图像的最小数量是1，因此拍摄运动被摄体的亮度区域C所需的图像的数量不是最小数量。另一方面，在图6的(b)中，运动被摄体的亮度区域C被长曝光图像和短曝光图像其中之一覆盖。此外，在图6的(c)中，运动被摄体的亮度区域C仅被短曝光图像覆盖。因此，在图6中的(b)和(c)所示的曝光水平差的情况下，拍摄运动被摄体的亮度区域C所需的图像的数量是1。由于在图6中的(b)和(c)中拍摄运动被摄体的亮度区域C所需的图像的最小数量是1，因此拍摄运动被摄体的亮度区域C所需的图像的数量是最小数量。
[0058] 如上所述，如果在HDR合成时对不同时间拍摄的图像进行合成，则可能生成在运动被摄体的一部分中具有重影伪像等的不适当的合成图像。换句话说，如果针对一个运动被摄体对仅在长曝光图像中拍摄的部分和仅在短曝光图像中拍摄的部分进行合成，则由于长曝光图像和短曝光图像之间的拍摄时间不同，因此引起位置偏移。因此，通过针对运动被摄体部分仅使用长曝光图像或短曝光图像来生成HDR合成的输出图像，防止了位置偏移，即防止了具有重影伪像等的不适当的合成图像的生成。由于这个原因，通过计算用于拍摄长曝光图像的曝光和用于拍摄短曝光图像的曝光之间的曝光水平差、使得可以通过长曝光图像和短曝光图像其中之一来拍摄运动被摄体的亮度区域C的整个区域，可以防止具有重影伪像等的不适当的合成图像的生成。
[0059] 如上所述，曝光水平差计算部105可以计算用于拍摄长曝光图像的曝光和用于拍摄短曝光图像的曝光之间的曝光水平差，使得可以通过长曝光图像和短曝光图像两者来拍摄运动被摄体的亮度区域C。此外，曝光水平差计算部105可以计算用于拍摄长曝光图像的曝光和用于拍摄短曝光图像的曝光之间的曝光水平差，使得可以通过长曝光图像和短曝光图像其中之一来拍摄运动被摄体的亮度区域C的整个区域。前一种方法和后一种方法中的哪一种方法用于计算曝光水平差未包括在本发明中，并且可以根据图1中未示出的外部设备的HDR合成单元中包括的用于防止在运动被摄体部分中生成不适当的合成图像的机构中的差来确定。
[0060] 也就是说，在包括利用长曝光图像和短曝光图像之间的差的机构的情况下，如在日本特开2012-257126和日本特开2011-004353中所公开的，需要在长曝光图像和短曝光图像中拍摄相同的亮度区域，因此最好使用前一种方法。
[0061] 另一方面，在HDR合成单元未包括利用长曝光图像和短曝光图像之间的差的机构的情况下，最好使用后一种方法。从图4A和图5A之间的比较明显可见，这是因为后一种方法使得可以增大合成图像的动态范围。
[0062] 注意，在曝光水平差极大改变的情况下，曝光水平差计算部105可以基于运动被摄体部分的图像数据来校正基准曝光。
[0063] 例如，在针对各帧拍摄长曝光图像和短曝光图像这两个图像的情况下，曝光水平差计算部105控制曝光，使得用于拍摄长曝光图像的曝光量固定为基准曝光，并且仅用于拍摄短曝光图像的曝光量根据运动被摄体而改变。在该曝光控制中，当检测到运动被摄体时，使得用于拍摄短曝光图像的曝光量更接近于用于拍摄长曝光图像的曝光量。因此，尽管防止了在运动被摄体部分中生成不适当的HDR合成图像，但是缩小了在HDR合成图像中的动态范围的扩大宽度。这可能导致HDR合成图像中的高亮度被摄体部分中的亮度饱和(过度曝光)。这里，在高亮度被摄体部分中包括运动被摄体的情况下，在运动被摄体部分中导致过度曝光。也就是说，为了防止在运动被摄体部分中生成不适当的HDR合成图像部分，导致了运动被摄体部分的过度曝光，这不期望地妨碍了运动被摄体部分的可视性的改善。在这种情况下，为了克服该问题，校正曝光以将基准曝光调整到运动被摄体部分，由此可以防止运动被摄体部分的过度曝光，并且防止不适当的HDR合成图像的生成。
[0064] 注意，在对三个或更多个拍摄图像进行HDR合成的情况下，曝光水平差计算部105可以计算针对各个摄像操作的曝光量，使得仅中间曝光量改变。换句话说，例如，在对三个拍摄图像进行HDR合成的情况下，控制曝光，使得不论运动被摄体的检测结果如何，曝光量相对于以最大曝光量拍摄的图像和以最小曝光量拍摄的图像不改变，但是相对于除了这些之外的其它拍摄图像改变。HDR合成图像的动态范围成为包括以最大曝光量拍摄的图像的亮度范围和以最小曝光量拍摄的图像的亮度范围并且在这两个范围之间的范围。因此，控制曝光使得在维持以最大曝光量拍摄的图像的亮度范围和以最小曝光量拍摄的图像的亮度范围的同时，仅改变以中间曝光量拍摄的图像的亮度范围。这使得可以在维持HDR合成图像的动态范围的同时防止在运动被摄体部分中生成不适当的HDR合成图像部分。
[0065] 接着，将参照图7描述根据本发明第二实施例的摄像设备100a及其控制方法。
[0066] 在第一实施例中，通过计算要合成的多个拍摄图像中的各个拍摄图像和背景图像或过去拍摄图像之间的差来检测运动被摄体。另一方面，在本实施例中，检测在先前帧中形成的HDR合成图像和过去的HDR合成图像之间的差作为运动被摄体。这里，过去的HDR合成图像是指在生成背景图像之前在前一帧之前的一帧或更前帧中所生成的HDR合成图像，并且是指在生成背景图像之后通过在前一帧之前的一帧或更前帧中所生成的HDR合成图像和背景图像的HDR合成所获得的图像。
[0067] 图7是根据本实施例的摄像设备100a的控制框图。
[0068] 注意，与第一实施例的功能部分相同的功能部分由相同的附图标记表示，并且省略对这些功能部分的描述。
[0069] 运动被摄体检测部202从外部设备获取先前帧的HDR合成图像，并且通过计算所获取到的HDR合成图像和从存储部204获取到的过去的HDR合成图像之间的差来检测运动被摄体。然后，运动被摄体检测部202将运动被摄体的像素值输出到运动被摄体分析部103。此外，运动被摄体检测部202将所获取到的先前帧的HDR合成图像输出到存储部204。
[0070] 存储部204存储与当前拍摄场景相同的场景中的过去的HDR合成图像，并将过去的HDR合成图像输出到运动被摄体检测部202。此外，存储部204顺次存储从运动被摄体检测部202输出的紧挨着的前一帧的HDR合成图像。
[0071] 背景图像计算部207从存储部204获取由摄像单元101在过去的预定时间段内生成的拍摄图像数据，并计算拍摄图像数据的时间平均作为背景图像的数据。此外，背景图像计算部207进行对所计算出的背景图像和前一帧之前的一帧或更前帧的HDR合成图像的HDR合成，并且将新的HDR合成图像输出到存储部204，以存储为过去的HDR合成图像。
[0072] 利用这种结构，在本实施例中，通过计算HDR合成图像之间的差来检测运动被摄体。
[0073] 与第一实施例中描述的被配置为每当拍摄多个图像时都通过计算这多个图像之间的差来检测运动被摄体的摄像设备100相比，这使得可以减少要存储的图像的数量。也就是说，尽管第一实施例中描述的摄像设备100需要存储过去拍摄的多个图像，但根据本实施例的摄像设备100a仅需要存储过去的HDR合成图像。据此，可以获得减少用于存储图像的存储器容量的有益效果。
[0074] 接着，将参照图8描述根据本发明第三实施例的摄像设备100b及其控制方法。
[0075] 在第一实施例和第二实施例中，尽管检测背景图像和拍摄图像之间的差或者HDR合成图像和过去的HDR合成图像之间的差作为运动被摄体，但是在本实施例中，基于用户指示来检测运动被摄体。
[0076] 图8是根据本实施例的摄像设备100b的控制框图。
[0077] 注意，与上述实施例的功能部分相同的功能部分由相同的附图标记表示，并且省略对这些功能部分的描述。
[0078] 运动被摄体检测部302基于用户指示来检测存在于摄像视角中的运动被摄体，并且将拍摄图像中所检测的运动被摄体的像素值输出到运动被摄体分析部103。
[0079] 更具体地，外部设备设置有未示出的指示接收部作为用户接口，该用户接口用于将由用户在摄像设备100b的摄像视角内指定的区域指定为存在运动被摄体的区域。然后，运动被摄体检测部302从外部设备获取与用户指定的区域有关的信息作为用户指示，并且检测拍摄图像中的指定区域作为运动被摄体。
[0080] 上述指示接收部的示例包括诸如PC等的计算机上运行的视频观看器应用。在这种情况下，用户通过操作鼠标或在计算机画面上对由视频观看器应用显示的视频显示区域进行触摸操作来指定存在运动被摄体的区域。
[0081] 此外，可以在上述视频显示区域上显示由外部设备紧接之前生成的HDR合成图像。在这种情况下，可以从显示的HDR合成图像中提取自运动被摄体检测部302输出的检测到的运动被摄体的像素值。此外，可以从作为针对各帧从摄像设备100b输出的图像的多个拍摄图像(长曝光图像和短曝光图像)中的一个拍摄图像或全部拍摄图像中提取自运动被摄体检测部302输出的检测到的运动被摄体的像素值。
[0082] 注意，指示接收部可以不设置在外部设备中，而是设置在摄像设备100b中。
[0083] 此外，在本实施例中，不必一定需要存在于上述实施例中的存储部。这是因为，不需要存储过去拍摄或生成的图像数据来检测运动被摄体。
[0084] 接着，将参照图9来描述用于处理曝光水平差计算帧的序列以及其后的用于处理曝光水平差反映帧的序列的示例。
[0085] 如图9中的用于处理曝光水平差计算帧的序列所示，响应于非同步生成的用户指示，进行运动被摄体的检测、以及用于拍摄长曝光图像的曝光量和用于拍摄短曝光图像的曝光量(曝光水平差)的计算。然后，控制曝光，使得在计算曝光量之后的第一拍摄定时(即，在作为下一帧的曝光水平差反映帧中)反映所计算出的曝光量。
[0086] 利用这种结构，在本实施例中，检测用户指定的区域作为运动被摄体。然后，确定曝光量以防止在用户指定的区域(运动被摄体)的部分中生成具有重影伪像等的不适当的合成图像，并且拍摄HDR合成所用的多个图像。
[0087] 据此，可以防止在用户关注的重要区域中生成具有重影伪像等的不适当的合成图像。
[0088] 接着，将参照图10描述根据本发明第四实施例的摄像设备100c及其控制方法。
[0089] 在上述第一实施例至第三实施例中，将用于拍摄HDR合成所用的图像的曝光控制参数输出到摄像单元。与此相对，在本实施例中，每当拍摄HDR合成所用的一个图像时，都计算用于拍摄HDR合成所用的下一图像的曝光控制参数，并且将计算出的曝光控制参数输出到摄像单元。也就是说，在同一帧中，基于通过奇数编号的摄像操作获得的拍摄图像来计算偶数编号的摄像操作所用的曝光控制参数。
[0090] 图10是根据本实施例的摄像设备100c的控制框图。
[0091] 摄像单元401以基于从曝光控制器406获取到的曝光控制参数所确定的曝光量来进行摄像，以生成长曝光图像和短曝光图像的拍摄图像数据项。然后，输出所生成的长曝光图像和短曝光图像的图像数据项两者作为摄像设备100c的输出图像，并且另一方面，还将长曝光图像的图像数据输出到运动被摄体检测部102。也就是说，运动被摄体检测部102仅从长曝光图像检测运动被摄体，并且运动被摄体分析部103仅生成从长曝光图像提取的运动被摄体的特征量(运动被摄体像素的亮度直方图)。
[0092] 曝光水平差计算部405从运动被摄体分析部103获取运动被摄体的特征量，并从曝光控制器406获取用于在紧挨着的前一帧中拍摄短曝光图像的曝光控制参数，并基于这些信息项来计算当摄像单元401拍摄当前帧的短曝光图像时要应用的曝光量。然后，曝光水平差计算部405将计算出的曝光量输出到曝光控制器406。
[0093] 曝光控制器406基于从曝光水平差计算部405获取到的曝光量来计算与所获取到的曝光量相关联的用于拍摄短曝光图像的曝光控制参数，并将计算出的曝光控制参数输出到摄像单元401。
[0094] 接着，将参照图11来描述由根据本实施例的摄像设备在短曝光图像上针对各帧进行的曝光水平差计算反映处理的序列的示例。
[0095] 如图11所示，在本实施例中，当拍摄长曝光图像时，基于长曝光图像的拍摄图像数据来检测运动被摄体，并且基于检测到的运动被摄体的特征量来计算运动被摄体亮度区域的整个范围。接着，基于所计算出的运动被摄体亮度区域来计算用于拍摄当前帧的短曝光图像的曝光量，并且在当前帧的短曝光图像的摄像操作上反映所计算出的曝光量。
[0096] 将参照图12描述基于当前帧的长曝光图像的拍摄图像数据来确定用于拍摄当前帧的短曝光图像的曝光量的方法。
[0097] 首先，从以基于从曝光控制器406获取到的曝光控制参数所确定的曝光量拍摄的长曝光图像的拍摄图像亮度范围(由表示“长曝光图像的亮度范围”的箭头表示的范围)中检测运动被摄体。此后，生成运动被摄体像素的亮度直方图(图12中的“运动被摄体亮度直方图”)。此时，存在如下情况：如图12中的“运动被摄体亮度直方图”的情况那样，运动被摄体的亮度分布在最大灰度值(亮度)附近。在这种情况下，可以估计出运动被摄体的亮度也分布在当前帧的短曝光图像的拍摄图像亮度范围(图12中由表示“短曝光图像的亮度范围”的箭头表示的范围)中。换句话说，存在长曝光图像和短曝光图像两者中都包括运动被摄体的可能性。如上所述，如果对在不同时间拍摄的各自包括运动被摄体的长曝光图像和短曝光图像进行合成，则可能不期望地生成具有重影伪像等的不适当的合成图像。为了防止这种情况，确定用于拍摄短曝光图像的曝光量，使得短曝光图像的拍摄图像亮度范围包括从长曝光图像检测到的运动被摄体的亮度范围(图12中的“亮度重叠范围”)。这使得可以使运动被摄体的整个亮度范围包括在短曝光图像的亮度范围中。由于这个原因，在进行HDR合成时，通过针对运动被摄体部分仅使用短曝光图像来形成HDR合成图像，可以防止在运动被摄体部分中生成具有重影伪像等的不适当的合成图像部分。
[0098] 注意，曝光水平差计算部405可以将用于拍摄长曝光图像的曝光量设置为基准曝光，基于与长曝光图像的明亮度相关联的特征量(例如，运动被摄体的亮度直方图)来计算曝光量，并且使得在用于拍摄下一帧的长曝光图像的曝光量上反映所计算出的曝光量。这使得可以在维持适当曝光的同时拍摄HDR合成所用的图像。
[0099] 接着，将给出本发明第五实施例的描述。本实施例与第一实施例的不同之处仅在于由运动被摄体分析部和曝光水平差计算部进行的处理操作的详情，因此省略了控制框图的图示。
[0100] 将参照图13描述本实施例中的处理操作的详情。
[0101] 在本实施例中，假设如下情况：将运动被摄体的亮度范围划分为两个区域，并且两个划分区域之间的亮度差大到使得运动被摄体的整个亮度范围不能被HDR合成所用的多个拍摄图像其中之一的拍摄图像亮度范围覆盖。
[0102] 在由运动被摄体分析部103检测到运动被摄体的这种亮度范围的情况下，如果进行HDR合成以覆盖运动被摄体的整个亮度范围，则如图13A所示，要合成的拍摄图像的数量增加。例如，在如图13A所示对四个图像进行合成的情况下，需要四个摄像操作来将这些图像合成为一个HDR合成图像，因此与不进行HDR合成的情况相比，帧频降低到1/4。此外，如果降低帧频，则运动被摄体看起来不能平滑地移动，这降低了运动被摄体的可视性。
[0103] 此外，由于不能用HDR合成所用的多个图像其中之一的拍摄图像亮度范围来覆盖运动被摄体的整个亮度范围，因此对在不同时间拍摄的具有运动被摄体的图像进行合成，这在运动被摄体部分中生成具有重影伪像等的不适当的合成图像部分。此外，存在的不便在于，随着拍摄图像的数量的变大，拍摄时间之间的时间间隔可能变大，并且随着拍摄时间之间的时间间隔的变大，通过对图像进行合成而引起的重影伪像的宽度变大，因此由重影伪像引起的干扰感变大。
[0104] 为了防止这种情况，在本实施例中，在将运动被摄体的亮度范围划分为至少两个或更多个区域的情况下，运动被摄体分析部103判断与运动被摄体相对应的划分区域之间的亮度差是否非常大(大于预定基准值)。然后，如果判断为亮度差非常大(大于预定基准值)，则曝光水平差计算部105确定曝光水平差，使得在连续的拍摄定时之间拍摄图像亮度范围不连续。换句话说，确定曝光量，使得根据与运动被摄体相对应的区域的亮度范围来划分HDR合成图像的整个拍摄图像亮度范围。更具体地，如图13B所示，计算用于拍摄第一个拍摄图像的曝光水平差，使得第一个图像的拍摄图像亮度范围包括两个划分区域中的一个，并且计算用于拍摄第二个拍摄图像的曝光水平差，使得第二个图像的拍摄图像亮度范围包括两个划分区域中的另一个。
[0105] 这样，减少了拍摄运动被摄体部分的时间之间的差，这使得可以减少通过对图像进行合成而引起的重影伪像的宽度，因此可以减少由重影伪像引起的干扰感。
[0106] 此外，将拍摄图像的数量设置为拍摄运动被摄体的亮度范围的划分区域所需的最小数量。也就是说，在图13B所示的情况下，将拍摄图像的数量设置为2。
[0107] 因此，可以通过将拍摄图像的数量设置为最小数量来增加帧频，这使得运动被摄体的运动变得自然并且改善了可视性。在图13A和13B所示的示例中，在图13B的情况下，与图13A的情况相比，可以加倍地增加帧频。
[0108] 注意，尽管没有改变帧频，但是如果获取HDR合成所用的多个图像的顺序使得优先拍摄与运动被摄体相对应的拍摄亮度区域，则可以减少拍摄运动被摄体的时间间隔。例如，在分别进行四个摄像操作以获取HDR合成所用的图像的情况下，针对与运动被摄体部分相对应的拍摄亮度区域连续地进行摄像操作。利用这种结构，可以减少HDR合成图像的运动被摄体部分中的重影伪像的不自然。
[0109] 其它实施例
[0110] 本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 陶瓷指纹图像生成、提取方法及装置 | 2020-05-15 | 2 |
| 一体化三维测量系统及测量方法 | 2020-09-20 | 0 |
| 可降低电流纹波的电源供应电路及降低电流纹波的方法 | 2021-02-07 | 2 |
| 智能零售柜商品目标检测统一框架的构建方法及商品识别方法 | 2021-06-21 | 0 |
| 模式切换方法、装置、可读存储介质及移动终端 | 2020-11-13 | 1 |
| 编码装置、解码装置、编码方法和解码方法 | 2020-10-30 | 0 |
| 一种显示面板、显示装置及显示面板的多路选通开关电路的驱动方法 | 2022-08-19 | 1 |
| 基于量子弱测量的高精度微重力加速度测量装置及测量方法 | 2021-03-16 | 1 |
| 照明调谐控制盒 | 2020-11-19 | 1 |
| 灯条及显示装置 | 2020-08-23 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
亮度热门专利
QQ群二维码
意见反馈
意见反馈