生成、编码或解码具有第一动态范围的图像的方法和设备
阅读：101发布：2024-01-31
专利汇可以提供生成、编码或解码具有第一动态范围的图像的方法和设备专利检索，专利查询，专利分析的服务。并且本公开涉及一种用于从具有第二动态范围的图像生成至少一个具有第一动态范围的图像的方法，所述第二动态范围低于所述第一动态范围，所述方法包括：获得(11)称为第一缩影的所述具有第一动态范围的图像的缩影；从所述具有第二动态范围的图像和所述第一缩影生成(12)所述具有第一动态范围的图像。，下面是生成、编码或解码具有第一动态范围的图像的方法和设备专利的具体信息内容。
1.一种用于从具有第二动态范围的图像生成至少一个具有第一动态范围的图像的方法，所述第二动态范围低于所述第一动态范围，所述方法包括：
-获得(11)具有第一动态范围的图像的缩影，该缩影被称为第一缩影；
-从具有第二动态范围的图像以及第一缩影生成(12)具有第一动态范围的图像。
2.如权利要求1所述的方法，其中，生成(12)具有第一动态范围的图像包括：
-从具有第二动态范围的图像确定具有第二动态范围的图像的缩影，该缩影被称为第二缩影；
-确定第二缩影与具有第二动态范围的图像之间的变换映射；
-将所述变换映射应用于第一缩影，以生成具有第一动态范围的图像。
3.如权利要求1或2所述的方法，其中，生成具有第一动态范围的图像还包括：对具有第二动态范围的图像进行上采样，以便生成具有第一动态范围的上采样图像。
4.如权利要求1至3中的任一项所述的方法，其中，所述方法包括以下的至少一个迭代：
-从具有第一动态范围的图像获得估计的具有第二动态范围的图像以用于第一迭代，或者从校正后的具有第一动态范围的图像获得估计的具有第二动态范围的图像以用于后续迭代；
-确定具有第二动态范围的图像与估计的具有第二动态范围的图像之间的估计误差；
以及
-响应于所述估计误差而校正具有第一动态范围的图像，以获得校正后的具有第一动态范围的图像。
5.一种用于对至少一个具有第一动态范围的图像进行解码的方法，包括：
-对具有第二动态范围的图像进行解码(411)，所述第二动态范围低于所述第一动态范围；
-对具有第一动态范围的图像的缩影进行解码(412)，该缩影被称为第一缩影；
-从具有第二动态范围的图像以及第一缩影生成(42)具有第一动态范围的图像。
6.如权利要求5所述的方法，其中，生成具有第一动态范围的图像包括：
-从具有第二动态范围的图像确定具有第二动态范围的图像的缩影，该缩影被称为第二缩影；
-确定第二缩影与具有第二动态范围的图像之间的变换映射；
-将所述变换映射应用于第一缩影，以生成具有第一动态范围的图像。
7.如权利要求5或6所述的方法，其中，生成具有第一动态范围的图像还包括：对具有第二动态范围的图像进行上采样，以便生成具有第一动态范围的上采样图像。
8.如权利要求5所述的方法，其中，所述方法包括以下的至少一个迭代：
-从具有第一动态范围的图像获得估计的具有第二动态范围的图像以用于第一迭代，或者从校正后的具有第一动态范围的图像获得估计的具有第二动态范围的图像以用于后续迭代；
-确定具有第二动态范围的图像与估计的具有第二动态范围的图像之间的估计误差；
以及
-响应于所述估计误差而校正具有第一动态范围的图像，以获得校正后的具有第一动态范围的图像。
9.一种用于对至少一个具有第一动态范围的图像进行编码的方法，包括：
-确定(31)具有第一动态范围的图像的缩影，该缩影被称为第一缩影；
-获得(32)具有第二动态范围的图像，所述第二动态范围低于所述第一动态范围；
-对具有第二动态范围的图像进行编码(331)；以及
-对第一缩影进行编码(332)。
10.一种用于从具有第二动态范围的图像生成至少一个具有第一动态范围的图像的设备，所述第二动态范围低于所述第一动态范围，所述设备包括：
-用于获得被称为第一缩影的具有第一动态范围的图像的缩影的模块(51)；
-用于从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像的模块(52)。
11.如权利要求10所述的设备，其中，生成具有第一动态范围的图像包括：
从具有第二动态范围的图像确定具有第二动态范围的图像的缩影，该缩影被称为第二缩影；
-确定第二缩影与具有第二动态范围的图像之间的变换映射；
-将所述变换映射应用于第一缩影，以生成具有第一动态范围的图像。
12.如权利要求10或11所述的设备，其中，生成具有第一动态范围的图像还包括：对具有第二动态范围的图像进行上采样，以便生成具有第一动态范围的上采样图像。
13.一种用于对至少一个具有第一动态范围的图像进行解码的设备，包括：
-用于对具有第二动态范围的图像进行解码的模块(71)，所述第二动态范围低于所述第一动态范围；
-用于对被称为第一缩影的具有第一动态范围的图像的缩影进行解码的模块(72)；
-用于从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像的模块(73)。
14.如权利要求13所述的设备，其中，生成具有第一动态范围的图像包括：
-从具有第二动态范围的图像确定具有第二动态范围的图像的缩影，该缩影被称为第二缩影；
-确定第二缩影与具有第二动态范围的图像之间的变换映射；
-将所述变换映射应用于第一缩影，以生成具有第一动态范围的图像。
15.如权利要求13或14所述的设备，其中，生成具有第一动态范围的图像还包括：对具有第二动态范围的图像进行上采样，以便生成具有第一动态范围的上采样图像。
16.一种用于对至少一个具有第一动态范围的图像进行编码的设备，包括：
-用于确定被称为第一缩影的具有第一动态范围的图像的缩影的模块(61)；
-用于获得具有第二动态范围的图像的模块(62)，所述第二动态范围低于所述第一动态范围；
-用于对具有第二动态范围的图像进行编码的模块(63)；以及
-用于对第一缩影进行编码的模块(64)。
17.一种非瞬时计算机可读介质，包括其上所记录的并且能够由处理器运行的计算机程序产品，其包含用于实现方法的程序代码指令，所述方法包括：
-获得被称为第一缩影的具有第一动态范围的图像的缩影；
-从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像。
18.如权利要求17所述的设备，其中，生成具有第一动态范围的图像包括：
-从具有第二动态范围的图像确定具有第二动态范围的图像的缩影，该缩影被称为第二缩影；
-确定第二缩影与具有第二动态范围的图像之间的变换映射；
-将所述变换映射应用于第一缩影，以生成具有第一动态范围的图像。
19.如权利要求17或18所述的设备，其中，生成具有第一动态范围的图像还包括：对具有第二动态范围的图像进行上采样，以便生成具有第一动态范围的上采样图像。
生成、编码或解码具有第一动态范围的图像的方法和设备
技术领域
[0001] 本公开涉及图像或图像序列(又被称为视频)的处理。
[0002] 更具体地，本公开提供一种用于从具有较低动态范围的至少一个图像(例如，LDR图像(“低动态范围”)或当前动态范围图像)生成具有较高动态范围的至少一个图像(例如，HDR图像(“高动态范围”))的技术。
[0003] 本公开具体地适用于与HDR视频制作、发布和呈现有关的任何应用。本公开涉及视频压缩和表示，但还涉及图像增强(又被称为呈现)。
[0004] 具体地，本公开旨在改进具有高动态范围的图像或视频的编码和解码。
背景技术
[0006] 这部分意图为读者介绍可能与以下描述和/或要求保护的本公开的各个方面有关的本领域的各个方面。相信该讨论有助于为读者提供背景信息，以促进对本公开的各个方面的更好理解。因此，应当理解的是，要从这个角度来阅读这些陈述，而不是作为对现有技术的承认。
[0008] 为了从具有较低动态范围的图像/视频生成具有较高动态范围的图像/视频，已经提出了不同技术。
[0009] 第一种已知技术依赖于使用更灵敏的传感器(诸如，RED或HARRI相机)、多相机设置(使用没有视差并且具有一个过度曝光以及一个曝光不足的相机的立体装备)或者时间包围(bracketing)(用不同光圈相继地拍摄同一图像)以直接捕获HDR图像/视频。
[0010] 然而，这些设备非常昂贵，并且所捕获的HDR图像需要被转换为待编码和传送的较低动态范围图像。
[0011] 此外，由于对视频所创建的运动模糊，因此时间包围主要用于照片/静态图像。
[0012] 第二种已知技术依赖于手动创建。在色彩管理处理期间，可以基于基准显示器上的呈现来延伸(extend)图像的色彩和亮度。该技术是对电影所执行的传统后处理。
[0013] 然而，这些技术是耗时的，并且不生成具有自然光的图像。
[0014] 第三种已知技术依赖于逆色调映射算子(iTMO)。iTMO用于将动态从一个范围延伸到更高范围。这样的算子可以基于所使用的图像处理算法来进行分类，诸如，对于所有像素使用同一扩展(expansion)函数的全局算子，或者扩展函数根据内容而变化的局部算子。
[0015] 然而，由于这些算子难以在时间上一致地获得具有局部变化的实际HDR视频，因此这些算子如今并非是完全高效的。这是在尝试根据约简数据集外推(extrapolate)信息时的普遍问题。
[0016] 本公开克服上述缺点中的至少一个。发明内容
[0017] 本公开涉及一种用于从具有第二动态范围的图像生成至少一个具有第一动态范围的图像的方法，所述第二动态范围低于所述第一动态范围，所述方法包括：
[0018] -获得被称为第一缩影(epitome)的具有第一动态范围的图像的缩影；
[0019] -从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像。
[0020] 假设具有较高动态范围(第一动态范围)的图像或视频的缩影的可用性，本公开因此提出一种用于从具有较低动态范围(第二动态范围)的图像或视频高效地生成具有较高动态范围的图像或视频的新技术。
[0021] 这样的缩影(又被称为第一缩影)包括可以用于协助将具有较低动态范围的图像或视频转换为具有较高动态范围的图像或视频的信息或元数据。
[0022] 具体地，具有第一动态范围的图像是高动态范围(HDR)图像，具有第二动态范围的图像是低动态范围(LDR)图像。HDR图像可以更精确地表示真实场景中所发现的强度等级的范围。
[0023] 根据本公开的实施例，利用从第一缩影获得的真实光信息来生成具有第一动态范围的图像。
[0024] 因而包括真实光信息的第一缩影可以用于以比现有技术更实际的方式生成具有较高动态范围的图像。
[0025] 该实施例提供用于改进逆色调映射算子(iTMO)的手段。
[0026] 根据本公开的另一实施例，生成具有第一动态范围的图像包括：
[0027] -从具有第二动态范围的图像确定被称为第二缩影的具有第二动态范围的图像的缩影；
[0028] -确定第二缩影与具有第二动态范围的图像之间的映射函数；
[0029] -将映射函数应用于第一缩影，以生成具有第一动态范围的图像。
[0030] 使得能够从第二缩影传递到具有第二动态范围的图像的映射函数因而可以应用于第一缩影，以生成具有第一动态范围的图像。
[0031] 根据第一示例，映射函数是第二缩影与具有第二动态范围的图像之间的变换映射。
[0032] 可以在构造第二缩影期间构建该变换映射。
[0033] 根据第二示例，所述映射函数是具有第二动态范围的图像中的至少一个块与第二缩影中的K个片块(patch)之间的线性组合，其中K是整数(诸如，K>1)。
[0034] 根据该第二示例，可以根据局部线性嵌入(LLE)函数确定映射函数。
[0035] 确定映射函数的步骤因此包括确定权重wi，k，该权重wi，k将要被应用于第二缩影中的所述K个片块的每个片块 以便获得具有第二动态范围的图像中的至少一个块xi，诸如：
[0036]
[0037] 其中， 并且K是从具有第二动态范围的图像的一个块所获得的第二缩影中的片块的数量。
[0038] 将映射函数应用于第一缩影的步骤包括：对于第二缩影中的K个片块，确定第一缩影中的K个对应片块。
[0039] 然后，将权重wi,k应用于第一缩影中的所述K个片块的每个片块 以便重构具有第一动态范围的图像的至少一个块yi，诸如：
[0040]
[0041] 根据第三示例，根据回归函数(例如，线性回归或核回归)确定映射函数。
[0042] 根据另一实施例，生成具有第一动态范围的图像还包括：对具有第二动态范围的图像进行上采样(up sampling)，以便生成上采样的具有第一动态范围的图像。
[0043] 以此方式，可以同时或在两个相继步骤中实现对较高动态范围的上采样和转换。
[0044] 根据另一实施例，生成方法包括以下的至少一个迭代(iteration)：
[0045] -从具有第一动态范围的图像获得估计的具有第二动态范围的图像以用于第一迭代，或者从校正后的具有第一动态范围的图像获得估计的具有第二动态范围的图像以用于后续迭代；
[0046] -确定具有第二动态范围的图像与估计的具有第二动态范围的图像之间的估计误差；以及
[0047] -响应于所述估计误差而校正具有第一动态范围的图像，以获得校正后的具有第一动态范围的图像。
[0048] 这种迭代反投影技术可以用于检查具有第一动态范围的图像是否一致。
[0049] 本公开还涉及一种用于对至少一个具有第一动态范围的图像进行编码的方法，包括：
[0050] -确定具有第一动态范围的图像的缩影，该缩影被称为第一缩影；
[0051] -获得具有第二动态范围的图像，所述第二动态范围低于所述第一动态范围；
[0052] -对具有第二动态范围的图像进行编码；以及
[0053] -对第一缩影进行编码。
[0054] 这种编码方法提出对具有第二动态范围的图像以及第一缩影进行编码，以用于存储或传输。
[0055] 根据本公开提出对具有第二动态范围的图像以及包括关于具有第一动态范围的图像的信息的第一缩影进行编码，而不是对具有第一动态范围的图像进行编码。
[0056] 这种编码使得能够减少要被传送的数据的大小。
[0057] 另外，缩影的传输有助于在解码侧将具有第二动态范围的图像或视频转换为具有第一动态范围的图像或视频。
[0058] 此外，这样的缩影可以被标准化并且传送，以用于将具有对传统LDR图像或视频的后向兼容性的HDR图像或视频进行编码。
[0059] 具体地，在编码侧，可以通过例如使用色调映射算子将具有第一动态范围的图像向下转换为具有第二动态范围的图像，由此来获得具有第二动态范围的图像。
[0060] 根据另一示例，具有第二动态范围的图像可以在编码侧(例如从捕获设备)直接获得。
[0061] 本公开还涉及一种用于对至少一个具有第一动态范围的图像进行解码的方法，包括：
[0062] -对具有第二动态范围的图像进行解码，所述第二动态范围低于所述第一动态范围；
[0063] -对被称为第一缩影的具有第一动态范围的图像的缩影进行解码；
[0064] -从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像。
[0065] 具体地，从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像可以实现上述生成方法。
[0066] 假设关于具有第一动态范围的原始图像/视频的一些信息的可用性，所提出的本公开因此提供一种用于改进具有第一动态范围的图像/视频(例如HDR图像/视频)的编码和解码的新解决方案。
[0067] 具体地，所提出的本公开通过对具有第一动态范围的图像和具有第二动态范围的图像的缩影进行编码和传送，代替对具有第一动态范围的图像进行编码和传送，来解决HDR图像/视频的传输/压缩的问题。
[0068] 本公开还涉及一种用于从具有第二动态范围的图像生成至少一个具有第一动态范围的图像的设备，所述第二动态范围低于所述第一动态范围，所述设备包括：
[0069] -用于获得被称为第一缩影的具有第一动态范围的图像的缩影的模块；
[0070] -用于从具有第二动态范围的图像和第一缩影生成具有第一动态范围的图像的模块。
[0071] 这样的设备尤其可以适用于实现以上在此所描述的生成方法。它当然可以包括能够进行组合或分离地采取的属于根据本公开的实施例的生成方法的不同特征。因此，所述设备的特征和优点与所述生成方法的特征和优点相同，并且不更大量详细地描述。
[0072] 此外，本公开涉及一种用于对至少一个具有第一动态范围的图像进行编码的设备，包括：
[0073] -用于确定被称为第一缩影的具有第一动态范围的图像的缩影的模块；
[0074] -用于获得具有第二动态范围的图像的模块，所述第二动态范围低于所述第一动态范围；
[0075] -用于对具有第二动态范围的图像进行编码的模块；以及
[0076] -用于对第一缩影进行编码的模块。
[0077] 这样的设备尤其可以适用于实现以上在此所描述的编码方法。它当然可以包括能够进行组合或分离地采取的属于根据本公开的实施例的编码方法的不同特征。因此，所述设备的特征和优点与所述编码方法的特征和优点相同，并且不更大量详细地描述。
[0078] 此外，本公开涉及一种用于对至少一个具有第一动态范围的图像进行解码的设备，包括：
[0079] -用于对具有第二动态范围的图像进行解码的模块，所述第二动态范围低于所述第一动态范围；
[0080] -用于对被称为第一缩影的具有第一动态范围的图像的缩影进行解码的模块；
[0081] -用于从具有第二动态范围的图像和第一缩影生成具有第一动态范围的图像的模块。
[0082] 再次，这样的设备尤其可以适用于实现以上在此所描述的解码方法。它当然可以包括能够进行组合或分离地采取的属于根据本公开的实施例的解码方法的不同特征。因此，所述设备的特征和优点与所述解码方法的特征和优点相同，并且不更大量详细地描述。
[0083] 本公开的另一方面涉及一种计算机程序产品，其可从通信网络下载和/或记录在可由计算机读取的介质上和/或可由包括适用于执行生成方法和/或编码方法和/或解码方法的软件代码的处理器执行，其中，所述软件代码适用于执行上述方法的步骤。
[0084] 此外，本公开涉及一种非瞬时计算机可读介质，包括其上所记录的并且能够由处理器运行的计算机程序产品，包括用于实现上述方法中的至少一个的步骤的程序代码指令。
[0085] 以下阐述与所公开的实施例在范围上等同的某些方面。应当理解，提出这些方面仅为了对读者提供本公开可能采取的特定形式的简要概述，并且这些方面并非意图限制本公开的范围。实际上，本公开涵盖以下可能未阐述的各个方面。附图说明
[0086] 借助于以非限制性的方式参照附图的以下实施例和执行示例，将更好地理解和说明本公开，附图中：
[0087] -图1是示出根据本公开的实施例的、用于从具有第二动态范围的图像生成具有第一动态范围的图像的方法的主要步骤的流程图；
[0088] -图2描述根据本公开的实施例的、被应用于LDR到HDR转换和放大(up-scaling)的超分辨率技术；
[0089] -图3示出根据本公开的实施例的、用于将具有第一动态范围的图像进行编码的方法的主要步骤；
[0090] -图4提出根据本公开的实施例的、用于将具有第一动态范围的图像进行解码的方法的主要步骤；
[0091] -图5至图7是分别实现根据图1的生成方法、根据图3的编码方法以及根据图4的解码方法的设备的框图。
[0092] 在图1以及图3至图7中，所表示的各方框是纯功能实体，其并非一定对应于物理上分离的实体。也就是说，它们可以以软件、硬件的形式来进行开发，或者被实现在包括一个或多个处理器的一个或若干个集成电路中。
具体实施方式
[0093] 应当理解，在为了清楚的目的而排除在典型编码设备和/或解码设备中发现的很多其它要素的同时，已经简化本公开的附图和描述以示出用于清楚理解本公开的有关要素。
[0094] 1.从具有第二动态范围的图像/视频生成具有第一动态范围的图像/视频[0095] 1.1一般原理
[0096] 图1示出用于从具有第二动态范围的图像生成具有第一动态范围的至少一个图像的方法的主要步骤，所述第二动态范围低于所述第一动态范围。
[0097] 例如，让我们考虑具有第一动态范围的图像是HDR图像，并且具有第二动态范围的图像是LDR图像。
[0098] 在第一步骤11期间，获得具有第一动态范围的图像(HDR图像)的缩影,其被称为第一缩影或缩影HDR。
[0099] 缩影方法目的在于通过利用图像内的重复内容减少图像中的冗余信息(纹理(texture))。不同的技术可以用于构造第一缩影。例如，H.Hoppe(ACM Transaction on Graphics 2008年第27卷第3期第1-10页的“Factoring Repeated Content Within and Among Images”)或S.Chérigui(IEEE MMSP 2011论文集中的“Epitome-based image compression using translational sub-pel mapping”)所公开的技术或PCT申请WO2012/097919中所公开的技术(THOMSON LICENSING的“Method and device for extracting an epitome”)可以应用于编码侧处可用的具有第一动态范围的原始图像，以计算第一缩影。由于这些技术被描述用于任何类型的图像/视频，因此它们自然地应用于HDR图像/视频。
[0100] 此外，可以将第一缩影的编码进行标准化并且传送，以便将具有对传统LDR图像/视频的后向兼容性的HDR图像进行编码。
[0101] 在第二步骤12期间，从具有第二动态范围的图像(LDR图像)和第一缩影(HDR缩影)生成具有第一动态范围的图像(HDR图像)。
[0102] 换言之，本公开目的在于改变具有较低动态范围的LDR图像的像素的亮度值，以获得具有较高动态范围的HDR图像。
[0103] 例如，可以由解码器接收第一缩影，解码器可以从第一缩影和具有第二动态范围的图像生成具有第一动态范围的图像。第一缩影因而用于协助从LDR到HDR的转换。
[0104] 现在让我们更详细地描述从具有第二动态范围的图像和第一缩影生成具有第一动态范围的图像的第二步骤12。
[0105] 1.2使用真实光信息
[0106] 根据本公开的至少一个实施例，可以使用上述技术来改进来自现有技术的状态的逆色调映射算子。
[0107] 诸如Banterle等人在EuroGraphics 2013的论文集中的“Real-Time High Fidelity Inverse Tone Mapping for Low Dynamic Range Content”中所描述的iTMO通常用于将图像/视频的动态从一个范围延伸到更高范围。
[0108] 根据该技术，首先使用相机响应函数或消除伽玛(gamma)来线性化LDR图像。然后使用提供可控制非线性扩展曲线的摄影算子的逆来扩展线性化的图像。这定义为：
[0109]
[0110] 其中，Lw(x)是线性化的图像的像素x处的扩展亮度，Ld(x)是输入的线性化的LDR亮度，Lwhite确定曲线的拉伸(stretching)，β是参数并且确定期望的最大亮度输出。
[0112]
[0113] 其中，x是要评价的当前像素的位置，Ω是中心x和半径rs的球形内部的样本集合，V是Ω的体积，Ψp是第p样本的功率，K是由以下参数所定义的核密度估计器：
[0114] rmax：密度估计器的参数(被称为带宽)，其改变滤波的强度，
[0115] x周围的原始图像的子空间(或核的大小)，
[0116] yp：x周围的样本集合，被包含于子空间 中。
[0117] 在采样期间，由于大的低亮度区域的存在，可以生成少数隔离的样本。它们可以产生隔离的离群值，即无需扩展的区域。如果||Ω||阈值)，则可以通过箝夹(clamp)使密度估计无效的集合来解决该问题。
[0118] 一旦使用交叉双边滤波器来计算并且过滤平滑场Λ，就使用Λ(x)作为权重对扩展的值Lw(x)和线性化的LDR亮度值Ld(x)进行线性内插，以便获得HDR图像的最终亮度值。
[0119] 为了根据本公开的至少一个实施例改进现有iTMO，Λ(x)权重可以基于根据第一缩影确定的真实光条件，而不是来自LDR图像的真实光条件的延伸。
[0120] 根据现有技术的“盲(blind)外推”可能实际上创建伪像(artificial)光，而缩影确保真实值。因此即使缩影是稀疏的，它也提供iTMO可以使用的真实光信息。
[0121] 在此情况下，最接近匹配准则可以用于从(Banterle所命名的)光映射(light map)或扩展映射找到最靠近的缩影图表(chart)，所述光映射或扩展映射是允许延伸LDR图像的光以生成HDR图像的权重因子映射。可替换地，来自同一位置的缩影(如果存在的话)可以用于通过真实值来替换外推的值。然后空间滤波使光映射平滑。应当注意，该技术应用于所有种类的iTMO。
[0122] 为了找到对于当前块的最接近匹配缩影，一种解决方案包括计算当前块与所有缩影块之间的差，并且选择具有最小差(最接近匹配)的缩影块。所述差可以在消除各块的平均亮度值以考虑LDR块与HDR块之间的光水平差之后进行计算。可替换地，HDR缩影可以首先被转换为LDR缩影(如上所述)，以便接着在同一光域中计算差。
[0123] 在步骤12期间，因而可以利用从第一缩影所获得的真实光信息来生成具有第一动态范围的图像。
[0124] 1.3确定映射函数
[0125] 根据本公开的至少一个实施例，映射函数可以用于从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像。
[0126] 可以在具有第二动态范围的图像的缩影(被称为第二缩影)与具有第二动态范围的图像之间确定这种映射函数，然后可以将该映射函数应用于第一缩影，以便生成具有第一动态范围的图像。
[0127] 可以使用任何技术(诸如例如H.Hoppe、S.Chérigui所公开的技术或前述PCT申请WO2012/097919中所公开的技术)来确定第二缩影。例如，可以使用同一技术来计算第一缩影和第二缩影，使得在两个缩影中包含适当信息。根据另一示例，可以根据与用于计算第一缩影的第一图像的块位于相同的位置的第二图像的块来计算第二缩影。
[0128] 映射函数可以是不同类型的。
[0129] 根据第一示例，所述映射函数是第二缩影与具有第二动态范围的图像之间的变换映射。变换映射包括对于将第二缩影映射到具有第二动态范围的图像而设计的分配矢量集合。
[0130] 利用例如使用S.Chérigui所公开的上述用于计算缩影的技术的缩影来输出这种变换映射。
[0131] 因此可以通过将变换映射应用于第一缩影(即，通过将与对于将第二缩影映射到具有第二动态范围的图像而设计的分配矢量相同的分配矢量应用于第一缩影)来简单地生成具有第一动态范围的图像。
[0132] 根据第二示例，根据局部线性嵌入技术(LLE)来确定映射函数，并且映射函数是具有第二动态范围的图像中的至少一个块与第二缩影中的K(K>1)个片块之间的线性组合(其中，片块是从缩影中提取的纹理信息)。
[0133] 根据该第二示例，确定权重wi,k，将该权重wi,k应用于第二缩影中的所述K个片块的每个片块 以便获得具有第二动态范围的图像中的至少一个块xi，例如：
[0134]
[0135] 其中， 并且K是从具有第二动态范围的图像的一个块所获得的第二缩影中的片块的数量。
[0136] 根据第一缩影中所选择的K个对应片块来确定第二缩影中的K个片块。
[0137] 然后将权重wi,k应用于第一缩影中的所述K个片块的每个片块 以便重构具有第一动态范围的图像的至少一个块yi，例如：
[0138]
[0139] 可以使用非局部均值(NLM)函数代替使用LLE函数，来确定映射函数。
[0140] 例如，根据第三示例，使用核回归的线性回归确定映射函数。然后，可以使用另一局部学习技术(诸如，线性回归或核回归)，以代替例如LLE。
[0141] 例如，对于具有第二动态范围的图像的每个重叠块(重叠因子是可以调谐的参数，并且对于8×8块，重叠因子可以设置为7)，搜索第二缩影中的K个最近邻(K-NN)片块。还选择第一缩影中的对应(即，共同定位或在同一位置处的)片块，从而形成用于使用回归(线性回归或核回归)学习映射函数F1的成对片块。
[0142] 然后，考虑多元线性回归，问题成为搜索使得下式最小化的函数F1：
[0143] ||(Mh)T-(Ml)TF1T||2
[0144] 该函数是形式||Y-XB||2，并且因此对应于线性回归模型Y＝XB+E。
[0145] 该函数的最小化给出最小二乘估计器：F1＝Mh(Ml)T(Ml(Ml)T)-1。
[0146] 其中，Mh是由其各列由第一缩影片块 构成的矩阵，Ml是由其各列由第二缩影对应片块 构成的矩阵，其中i＝1…K并且(.)T是转置算子。
[0147] 从具有第二动态范围的图像取得第二缩影片块 并且它们的位置与第一缩影片块 的位置一致。
[0148] 1.4改进超分辨率技术
[0149] 也可以使用上述技术来改进超分辨率技术。
[0150] 更具体地，经典超分辨率技术尝试融合低分辨率(LR)图像集合，以便恢复未知高分辨率(HR)图像。
[0151] 例如，在IEEE图像处理国际会议(ICIP)2013中M.Turkan等人的“Optimized Neighbor Embeddings For Single-Image Super-Resolution”以及IEEE图像处理国际会议(ICIP)2014中M.Turkan等人的“Iterated Neighbor-Embeddings For Image Super-Resolution”中已经提出一种无需使用任何外部信息或数据库的来自单个低分辨率图像的锥形超分辨率(SR)方法。该方法依赖于低分辨率和高分辨率图像片块空间的局部几何相似度。从取自LR图像的跨尺度(across scale)的输入LR片块及其K个最近邻，获得输入(减去或不减去均值的)LR片块邻域(neighborhood)的固有几何性质。
[0152] 利用来自其K-NN的输入LR片块的局部线性嵌入(LLE)重构系数来线性地表征局部LR几何。然后通过假设局部LR几何已经保留在HR片块空间中，由此根据输入LR片块的所发现的K-NN的对应(减去或不减去均值的)HR双亲来估计(猜想)HR嵌入。然后通过添加输入LR片块的均值来获得当前HR片块的估计。对于LR图像中的每个片块，已经计算HR嵌入，保留了LR邻域的局部几何。允许各片块之间的重叠尽可能多，以便在目标HR图像中强加局部兼容性以及平滑性约束。
[0153] 然后根据基于稀疏表示的加权措施，可以线性地组合重叠区像素。在该方法中，通过由取自LR图像及其跨尺度的LR图像片块和HR图像片块组成的字典(dictionary)已经分解了输入LR片块和所估计的HR片块的连接(concatenation)。使用指数核，根据片块的表示的稀疏性来加权这些片块(即，最稀疏的表示给予最高加权，依此类推)。
[0154] 根据本公开的至少一个实施例，由于缩影的可用性，可以改进任何超分辨率技术。例如，上述多层方案可以适用于动态范围的延伸。
[0155] 让我们考虑例如图2中所描述的与LR图像对应的具有第二动态范围的图像21及其第二缩影22。让我们还考虑我们希望获得的与HR图像对应的具有第一动态范围的图像24的第一缩影23。在该示例中，我们考虑我们想要生成的具有第一动态范围的图像与具有第二动态范围的图像相比是上采样的。因此可以同时或在两个相继步骤中执行上采样和动态范围转换两者。
[0156] 作为示例，可以使用K-NN片块来进行LLE线性内插，其中在图2中例如K＝2。在第二缩影22中搜索K-NN片块，并且在第一缩影23中标识对应片块。
[0157] 因而对“LR”数据计算权重wi,k，并且将该权重wi,k应用于第一缩影23中的K个对应片块，以重构图像/视频的HDR版本。
[0158] 权重wi，k被计算为：
[0159]
[0160] 其中，
[0161] 其中，i是将要被内插的具有第二动态范围的图像中的块xi(LDR块)的当前位置，k是第二缩影(LDR缩影)中的K-NN所选择的片块 的索引。
[0162] 换言之，确定权重wi,1、wi,2，将该权重wi,1、wi,2分别应用于第二缩影22中的每个片块 以便获得具有第二动态范围的图像21中的至少一个块xi，诸如：
[0163]
[0164] 我们注意到，当计算权重wi,k时，LLE消除平均亮度值。
[0165] 一旦计算出权重wi,k，就可以将它们应用于第一缩影中的K个对应片块的每个片块以便重构具有第一动态范围的图像的至少一个块yi，诸如：
[0166]
[0167] 换言之，根据第一缩影中的片块 执行线性内插，以重构HDR块，其中片块 是第二缩影中所选择的片块 的第一缩影中的排列(collocated)(i,k)K-NN片块。
[0168] 例如，将权重wi,1、wi,2分别应用于第一缩影23中的每个片块 以便获得具有第二动态范围的图像24的至少一个块yi(HDR块)。
[0169] 具体地，LR/LDR层中的片块/块的大小小于HR/HDR层的大小(比率是HR层相对于LR层的分辨率的比率)。
[0170] 因此可以使用本公开来改进现有超分辨率技术。
[0171] 应当注意，如果对应映射可以与缩影一起使用，则K-NN搜索不再是必须的。
[0172] 此外，如上所述，也可以使用NLM(诸如，线性回归或核回归)代替LLE来确定映射函数。
[0173] 1.5变形
[0174] 根据图2中所描述的本公开实施例，生成具有第一动态范围的图像还包括：对具有第二动态范围的图像进行上采样，以便生成上采样的具有第一动态范围的图像。
[0175] 以此方式，可以同时执行对较高动态范围的上采样和转换。根据另一实施例，在两个相继步骤中执行对较高动态范围上采样和转换。
[0176] 根据另一实施例，生成具有第一动态范围的图像包括以下的至少一个迭代：
[0177] -从具有第一动态范围的图像获得估计的具有第二动态范围的图像以用于第一迭代，或者从校正后的具有第一动态范围的图像获得估计的具有第二动态范围的图像以用于后续迭代；
[0178] -确定具有第二动态范围的图像与估计的具有第二动态范围的图像之间的估计误差；以及
[0179] -响应于所述估计误差而校正具有第一动态范围的图像，以获得校正后的具有第一动态范围的图像。
[0180] 可以可选地对于动态范围转换(HDR重构)或者HDR重构及放大二者添加用于检查所生成的图像是否一致的迭代反投影。反投影包括：将所重构的HDR(/HR)图像向下转换为LDR(/LR)图像，利用可用LDR(/LR)计算差，并且将该差向上转换回到HDR(/HR)差，以将其添加到所重构的HDR(/HR)。
[0181] 对于放大运算，当对于动态运算假设TMO和iTMO算子的可用性时，使用线性内插滤波器。
[0182] 此外，用于重叠块的上述技术可以用于非重叠块。
[0183] 2.根据具有第二动态范围的图像/视频对具有第一动态范围的图像/视频进行编码/解码
[0184] 用于从具有第二动态范围的图像生成至少一个具有第一动态范围的图像的方法可以用于改进具有第一动态范围的图像/视频的编码/解码，所述第二动态范围低于所述第一动态范围。
[0185] 为了解决HDR图像/视频的编码/解码并且尤其是传输/压缩的问题，已经提出了不同技术。
[0186] 例如，JPEG通过被称为RGBE的共享指数浮点色彩格式以及其它16比特和32比特定点色彩分量表示将其编码方案的扩展进行标准化，以支持HDR图像以及也支持HDR的JPEG-XR格式。
[0187] MPEG也正考虑对于MPEG HEVC支持HDR视频。
[0188] 然而，这些技术受制于将要发送的数据的大小或所重构的图像的有限质量。
[0189] 2.1编码器
[0190] 图3示出根据本公开的用于对至少一个具有第一动态范围的图像进行编码的方法的主要步骤。
[0191] 在第一步骤31期间，确定具有第一动态范围的图像(例如HDR图像)的缩影。原始HDR图像可以实际上在编码侧处可用。
[0192] 在第二步骤32期间，获得具有低于所述第一动态范围的第二动态范围的图像(例如LDR图像)。
[0193] 例如，使用色调映射算子从HDR图像获得LDR图像。在变形中，如虚线点示出的，LDR图像在编码侧是可直接(例如从捕获设备)获得的。
[0194] 在第三步骤33期间，对具有第二动态范围的图像(LDR)和第一缩影(HDR缩影)进行编码。可以使用用于元数据编码的任何设备对第一缩影进行编码(331)。可以使用传统编码方案或专用编码方案对其进行编码。可以使用任何图像或视频编码器(MPEG、JPEG、…)对具有第二动态范围的图像进行编码(332)。
[0195] 例如，然后可以通过使用两个不同网络(广播和IP)或两个IP链路来分离地传送LDR图像/视频和HDR缩影，或者例如通过在同一流内将LDR图像/视频和HDR缩影复用在一起来同时地传送LDR图像/视频和HDR缩影，以便在解码器侧重构第一和第二动态范围图像/视频版本。缩影因此可以被看作用于对HDR图像/视频进行编码的元数据。
[0196] 可以将第一缩影作为专用MPEG SEI消息、关联图像(例如与MPEG中的深度图相似)、私有数据进行传送，或者使用例如MPEG-2TS句法来传送第一缩影。
[0197] 应当注意，如果缩影是稀疏的，则应当使用低比特率。
[0198] 2.2解码器
[0199] 图4示出根据本公开的用于对至少一个具有第一动态范围的图像进行解码的方法的主要步骤。
[0200] 在解码的第一步骤41期间，对具有第二动态范围的图像(LDR)和第一缩影(HDR缩影)进行解码。可以使用用于元数据解码的任何设备对第一缩影进行解码(411)。可以使用传统解码方案或专用编码方案对其进行解码。可以使用任何图像或视频解码器(MPEG、JPEG、…)对具有第二动态范围的图像进行解码(412)。
[0201] 在第二步骤42期间，从(所解码的)具有第二动态范围的图像以及第一缩影生成或重构具有第一动态范围的图像(HDR)。
[0202] 可以使用上述生成方法来生成这种具有第一动态范围的图像。
[0203] 3.设备
[0204] 图5图示性地示出根据本公开的实施例的用于从具有第二动态范围的图像生成至少一个具有第一动态范围的图像的设备的示例。仅示出生成设备的必要元件。
[0205] 这样的生成设备至少包括：
[0206] -用于获得具有第一动态范围的图像的缩影(被称为第一缩影)的模块51；
[0207] -用于从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像的模块52；
[0208] -存储部件53，诸如易失性存储器；
[0209] -一个或多个处理器54，用于执行在设备的非易失性存储器中所存储的应用和程序；
[0210] -内部总线B1，其连接用于执行所述生成设备功能的本领域技术人员公知的各种模块和所有部件。
[0211] 图6示出根据本公开的实施例的用于对至少一个具有第一动态范围的图像进行编码的设备的示例。仅示出编码设备的必要元件。
[0212] 这样的编码设备至少包括：
[0213] -用于确定具有第一动态范围的图像的缩影(被称为第一缩影)的模块61；
[0214] -用于获得具有第二动态范围的图像的模块(62)，所述第二动态范围低于所述第一动态范围；
[0215] -用于对具有第二动态范围的图像进行编码的模块63；
[0216] -用于对所述第一缩影进行编码的模块64；
[0217] -存储部件65，诸如易失性存储器；
[0218] -一个或多个处理器66，用于执行在设备的非易失性存储器中所存储的应用和程序；
[0219] -内部总线B2，其连接用于执行所述编码设备功能的本领域技术人员公知的各种模块和所有部件。
[0220] 图7示出根据本公开的实施例的用于对至少一个具有第一动态范围的图像进行解码的设备的示例。仅示出解码设备的必要元件。
[0221] 这样的解码设备至少包括：
[0222] -用于对具有第二动态范围的图像进行解码的模块71，所述第二动态范围低于所述第一动态范围；
[0223] -用于对具有第一动态范围的图像的缩影(被称为第一缩影)进行解码的模块72；
[0224] -用于从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像的模块73；
[0225] -存储部件74，诸如易失性存储器；
[0226] -一个或多个处理器75，用于执行在设备的非易失性存储器中所存储的应用和程序；
[0227] -内部总线B3，其连接用于执行所述编码设备功能的本领域技术人员公知的各种模块和所有部件。
[0228] 可以根据纯软件实现方式、纯硬件实现方式(例如专用组件的形式，如同ASIC、FPGA、VLSI、…)或集成到设备中的若干电子组件或硬件元件和软件元件的混合的形式来分别实现这样的生成设备、编码设备和/或解码设备。
[0229] 图中的流程图和/或框图示出根据本公开各个实施例的系统、方法和计算机程序产品的可能的实现的配置、操作和功能。就这点而言，流程图或框图中的每个块可以表示包括用于实现专用逻辑功能的一个或多个可执行指令的模块、片段或代码部分。
[0230] 例如，用于获得具有第一动态范围的图像的缩影的模块51以及用于生成具有第一动态范围的图像的模块52可以被提供为生成设备的存储器中所存储的软件组件。根据各个实施例，一个或多个处理单元54可以被配置为执行各种软件程序和/或软件组件的指令集，以执行以下各个功能：获得具有第一动态范围的图像的缩影；以及从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像。
[0231] 用于确定具有第一动态范围的图像的缩影的模块61、用于获得具有第二动态范围的图像的模块62、用于对具有第二动态范围的图像进行编码的模块63以及用于对所述第一缩影进行编码的模块64也可以被提供为编码设备的存储器中所存储的软件组件。根据各个实施例，一个或多个处理单元66可以被配置为执行各种软件程序和/或软件组件的指令集，以执行以下各个功能：确定具有第一动态范围的图像的缩影；获得具有第二动态范围的图像；对具有第二动态范围的图像进行编码；以及对所述第一缩影进行编码。
[0232] 用于对具有第二动态范围的图像进行解码的模块71、用于对具有第一动态范围的图像的缩影进行解码的模块72以及用于生成具有第一动态范围的图像的模块73可以被提供为解码设备的存储器中所存储的软件组件。根据各个实施例，一个或多个处理单元75可以被配置为执行各种软件程序和/或软件组件的指令集，以执行以下各个功能：对具有第二动态范围的图像进行解码；对具有第一动态范围的图像的缩影(被称为第一缩影)进行解码；以及从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像。
[0233] 还应当注意，在一些替换的实现中，方框中所标注的功能可以不按附图中所标注的顺序产生。例如，取决于所涉及的功能，相继示出的两个方框实际上可以基本上同时地执行，或各方框可以有时按相反顺序执行，或各方框可以按交替顺序执行。应当注意，可以通过执行所指定的功能或动作的基于专用硬件的计算机系统或专用硬件和计算机指令的组合来实现框图和/或流程图图示的每个方框以及框图和/或流程图图示中的各方框的组合。虽然未明确描述，但可以在任何组合或部分组合中采用本发明实施例。
[0234] 本领域技术人员应当理解，本发明原理的各方面可以实施为系统、方法、计算机程序或计算机可读介质。相应地，本发明原理的各方面可以采取整体硬件实施例、整体软件实施例(包括固件、驻留软件、微码等)或组合软件和硬件方面的实施例的形式，其可以在此都总体上称为“电路”、“模块”或“系统”。此外，本发明原理的各方面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。
[0235] 计算机可读存储介质可以采取一个或多个计算机可读介质中实施的并且具有其上所实施的可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。在此所使用的计算机可读存储介质看作给出用于在其中存储信息的固有能力以及用于提供从其检索信息的固有能力的非瞬时存储介质。计算机可读存储介质可以例如但不限于是电子、磁、光、电磁、红外或半导体系统、装置或设备或前述项的任何合适的组合。应当理解，虽然提供本发明原理可以应用于的计算机可读存储介质的更具体示例，但本领域技术人员应当理解以下仅是说明性而非穷尽性列表：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式压缩盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述项的任何合适的组合。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 用于生成视频流的注释的方法和装置 | 2020-05-08 | 591 |
| 具有多个同时语音识别器的系统 | 2020-05-08 | 531 |
| 一种彩票投注的限号处理方法及系统 | 2020-05-11 | 315 |
| 交互式玩耍套件 | 2020-05-08 | 837 |
| 机器视觉处理系统、设备、方法及计算机可读存储介质 | 2020-05-08 | 45 |
| 用于视线校正的设备和方法 | 2020-05-08 | 731 |
| 基于维度的负载平衡 | 2020-05-08 | 537 |
| 软件授权方法、获取软件权限的方法及装置 | 2020-05-08 | 772 |
| 急诊留观管理系统及方法 | 2020-05-11 | 885 |
| 在支持免许可频带的无线通信系统中由基站发送下行链路信号的方法以及支持该方法的装置 | 2020-05-08 | 828 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
许可热门专利
QQ群二维码
意见反馈
意见反馈