用于根据4D原始光场数据获得重聚焦图像的方法
阅读：90发布：2020-10-12
专利汇可以提供用于根据4D原始光场数据获得重聚焦图像的方法专利检索，专利查询，专利分析的服务。并且在一个 实施例 中，提出了用于针对给定的焦平面值g根据4D原始光场数据获得重聚焦图像的方法。该方法是由 电子 设备执行的，并且其特征在于该方法包括针对至少一个 颜色 分量确定所述重聚焦图像的处于坐标(k，l)∈N2处的至少一个 像素 值，所述确定包括：针对所述至少一个颜色分量获得具有包括在所述坐标(k，l)的邻域中的坐标的至少一个投影像素值；基于函数对所述至少一个投影像素值进行加权，所述加权输出加权值；针对所述至少一个颜色分量使用所述加权值来更新所述重聚焦图像的处于坐标(k，l)处的所述至少一个像素值。，下面是用于根据4D原始光场数据获得重聚焦图像的方法专利的具体信息内容。
1.一种用于针对给定的焦平面值g根据4D原始光场数据来获得重聚焦图像的方法，所述方法由电子设备执行，并且其特征在于，所述方法包括针对至少一个颜色分量确定所述重聚焦图像的处于坐标(k，l)∈N2处的至少一个像素值，所述确定包括：
-针对所述至少一个颜色分量，获得具有包括在所述坐标(k，l)的邻域中的坐标的至少一个投影像素值；
-基于函数对所述至少一个投影像素值进行加权，所述加权输出加权值；
-针对所述至少一个颜色分量，使用所述加权值来更新所述重聚焦图像的处于坐标(k，l)处的所述至少一个像素值。
2.根据权利要求1所述的用于获得的方法，其中，所述至少一个投影像素值具有坐标(X，Y)，并且所述函数被定义为：
其中h1对应于属于 的值，并且函数||.||是
范数函数。
3.根据权利要求1所述的用于获得的方法，其中，所述至少一个投影像素值具有坐标(X，Y)，并且所述函数被定义为：
其中，h2对应于属于 的值，并且greal(X，Y)
的值对应于与所述4D原始光场数据相关联的场景中与获取所述4D原始光场数据的光场获取设备相距的实值距离。
4.根据权利要求1所述的用于获得的方法，其中，所述至少一个投影像素值具有坐标(X，Y)，并且所述函数被定义为：
其中，h3和
h3′对应于属于 的值，并且值a，b，c和d对应于根据所述重聚焦图像的张量结构确定的平滑值。
5.根据权利要求1所述的用于获得的方法，其中，所述至少一个投影像素值具有坐标(X，Y)，并且所述函数被定义为：
W6(k，l，X，Y)＝χ((k，l)属于([X]，[Y])的K个最近邻居像素)，其中，χ(.)是特征函数，所述特征函数在语句成立的情况下等于1否则等于0，[.]是取整函数，并且K是大于或等于2的整数。
6.根据权利要求1所述的用于获得的方法，其中，所述至少一个投影像素值具有坐标：
(X，Y)＝(s[g(x-Cx)+Cx]，s[g(y-Cy)+Cy])，其中，s定义了所述2D重聚焦图像的图像大小，坐标(x，y)对应于所述4D原始光场数据中的像素的坐标，坐标(Cx，Cy)对应于坐标(x，y)处的像素所属的微图像的中心的坐标，并且所述函数被定义为：
W7(k，l，X，Y)＝PSF(x，y)，其中，函数PSF是全光相机的点扩散函数的估计。
7.根据权利要求1所述的用于获得的方法，其中，所述至少一个投影像素值具有坐标：
(X，Y)＝(s[g(x-Cx)+Cx]，s[g(y-Cy)+Cy])，其中，s定义了所述2D重聚焦图像的图像大小，坐标(x，y)对应于所述4D原始光场数据中的像素的坐标，坐标(Cx，Cy)对应于坐标(x，y)处的像素所属的微图像的中心的坐标，并且所述函数被定义为：
W8＝χ(||(x，y)-(Cx，Cy)||2＜ρ)，其中χ(.)是特征函数，所述特征函数在语句成立的情况下等于1否则等于0，ρ是阈值，并且函数||.||是范数函数。
8.根据权利要求1所述的用于获得的方法，其中，所述至少一个投影像素值具有坐标：
(X，Y)＝(s[g(x-Cx)+Cx]，s[g(y-Cy)+Cy])，其中，s定义了所述2D重聚焦图像的图像大小，坐标(x，y)对应于所述4D原始光场数据中的像素的坐标，坐标(Cx，Cy)对应于坐标(x，y)处的像素所属的微图像的中心的坐标，并且所述函数被定义为：
其中，h8对应于属于 的值，并且函数||.
||是范数函数。
9.根据权利要求2至8中任一项所述的用于获得的方法，其中，所述至少一个投影像素值具有坐标：
(X，Y)＝(s[g(x-Cx)+Cx]，s[g(y-Cy)+Cy])，其中，s定义了所述2D重聚焦图像的图像大小，坐标(x，y)对应于所述4D原始光场数据中的像素的坐标，坐标(Cx，Cy)对应于坐标(x，y)处的像素所属的微图像的中心的坐标，并且所述函数被定义为等于：
其中i≠4，其中，S(x，y)是(x，y)所属的微透镜的
锐度的度量，并且Smax对应于所述4D原始光场数据的所有微透镜上的最大锐度值。
10.根据权利要求2至9中任一项所述的用于获得的方法，其中，所述函数被定义为是可分离的。
11.根据权利要求2至9中任一项所述的用于获得的方法，其中，所述函数被定义为：
与另一函数的乘积，其中，h1对应于属于 的
值，函数||.||是范数函数。
12.根据权利要求1至11中任一项所述的用于获得的方法，其中，所述更新包括：将所述加权值与所述至少一个像素值相加。
13.一种计算机可读非暂时性存储介质，存储包括计算机可执行指令集的计算机程序，以在由计算机执行所述指令时，执行用于处理4D原始光场数据的方法，其中所述指令包括在执行时将所述计算机配置为执行根据权利要求1至12所述的方法的指令。
14.一种用于针对给定的焦平面值g根据4D原始光场数据获得重聚焦图像的电子设备，所述电子设备的特征在于，所述电子设备包括被配置为针对至少一个颜色分量确定所述重
2
聚焦图像的处于坐标(k，l)∈N处的至少一个像素值的电路，所述电路包括：
-获得电路，被配置为针对所述至少一个颜色分量获得具有包括在所述坐标(k，l)的邻域中的坐标的至少一个投影像素值；
-加权电路，被配置为基于函数对所述至少一个投影像素值进行加权，所述加权电路输出加权值；
-更新电路，被配置为针对所述至少一个颜色分量使用所述加权值来更新所述重聚焦图像的处于坐标(k，l)处的所述至少一个像素值。
15.根据权利要求14所述的电子设备，其中，所述至少一个投影像素值具有坐标(X，Y)，并且所述函数被定义为：
其中，h1对应于属于 的值，并且函数||.||
是范数函数。
用于根据4D原始光场数据获得重聚焦图像的方法
技术领域
[0001] 本公开涉及4D光场数据处理。更具体地，本公开涉及用于根据4D原始光场数据直接获得2D重聚焦图像的技术，而无需对4D原始光场数据执行解复用(即，在无需使用根据4D原始光场数据得到/获得的亚孔径图像的情况下获得重聚焦图像)。
背景技术
[0002] 本部分旨在向读者介绍本领域中可能与以下描述和/或要求保护的本发明的各方面相关的各个方面。相信本讨论有益于向读者提供背景信息以便于更好地理解本发明的各个方面。因此，应当理解，这些陈述应以这种方式被解读，而不是作为对现有技术的承认。
[0003] 获取4D光场数据(可以被视为对4D光场的采样)(即，在ECCV2008会议记录中公开的Anat Levin等的文章“Understanding camera trade-offs through a Bayesian analysis of light field projections”的图1中解释的光线的记录)是热门的研究课题。
[0004] 实际上，与通过相机获得的典型的2D图像相比，4D光场数据使用户能够有权访问更多的后处理特征，这些特征增强了图像的呈现和/或与用户的交互性。例如，利用4D光场数据，可以容易地执行对图像的后验重聚焦(即，利用自由选择的调焦距离的重聚焦意味着焦平面的位置可以后验指定/选择)并且在图像的场景中略微改变视角。为了获取4D光场数据，可以使用几种技术。特别地，文档WO2013/180192中或文档GB 2488905中描述的全光相机能够获取4D光场数据。在本文的图1、图2、图3、图4和图5中提供了全光相机的架构的细节。
[0005] 在现有技术中，存在用于表示(或定义)4D光场数据的几种方式。实际上，在2006年7月公布的Ren Ng的题为“Digital Light Field Photography”的博士学位论文的第3.3章中，描述了用于表示4D光场数据的三种不同的方式。第一，当由例如图1中所示的全光相机等的全光相机进行记录时，可以通过微透镜图像集合来表示4D光场数据(参见本文中的图2的描述)。这种表示的4D光场数据被称作原始图像(或4D原始光场数据)。第二，可以通过亚孔径图像集来表示4D光场数据。亚孔径图像对应于从视角捕获的场景的图像，该视角在两个亚孔径图像之间略微不同。这些亚孔径图像提供了与成像场景的视差和深度有关的信息。第三，可以用核线图像集来表示4D光场数据(参见在2011年ISVC会议记录中公开的S.Wanner等的题为“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”的文章)。
[0006] 用于根据4D光场数据执行重聚焦的常见技术基于微透镜图像的平移和相加(即，直接根据4D原始光场数据，注意IRAW)，如文档WO 2013/167758(部分“图像重聚焦方法”)中所解释的。本文的图6大体上示出了如何投影所述4D原始光场数据中的坐标(x，y)处的像素以获得2D图像。当将4D原始光场像素(即，微图像的像素)投影到重聚焦图像时，权重图记录了累积的投影像素的数量。权重图还记录在投影坐标是非整数坐标的情况下的插值。一旦将所有4D原始光场像素投影到重聚焦图像并且确定了权重图，就通过权重图对重聚焦图像进行划分使得每一个重聚焦的像素接收到相同的平均贡献。例如，由此得到的2D图像可以在显示器上输出，或者存储和/或发送到另一设备。
[0007] 为了提高2D重聚焦图像的质量(特别是锐度)，可以使用Juliet Fiss等的题为“Refocusing Plenoptic Images using Depth-Adaptive Splatting”的文章中所述的技术以用于插值的目的。实际上，基于该方法的插值在于将4D原始光场像素对2D重聚焦图像的影响进行扩散(参见文章的图5，其中，坐标(x，y)处的4D原始光场像素被投影到具有被定义为溅射内核的函数的值的位置s)。如该文章中所提到的：“溅射可以被视为使用径向基函数的一种形式的分散数据插值”。然而，该方法的一个缺点是必须在将4D原始光场像素投影到2D重聚焦图像 上之前对4D原始光场数据去马赛克。该方法的另一缺点是溅射内核在(x，y)中是各项同性的，并且仅取决于场景的深度。最后，该方法的另一缺点是溅射内核未考虑多焦点全光相机(例如，如Todor Georgiev和Andrew Lumsdaine的题为“The Multi-Focus Plenoptic Camera”的文章中所述的多焦点全光相机)或场景的几何形状。
[0008] 因此，需要提供可以克服这些缺点的技术。
发明内容
[0009] 说明书中对“一个实施例”、“实施例”、“示例性实施例”的参考指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不必包括所述特定特征、结构或特性。此外，这种短语不必参考相同实施例。此外，当结合实施例描述特定特征、结构或特性时，应认为，在本领域技术人员的知识内，结合其他实施例影响这种特征、结构或特性，而不论是否明确地描述。
[0010] 本公开涉及用于针对给定的焦平面值g根据4D原始光场数据获得重聚焦图像的方法。该方法由电子设备执行，并且其特征在于该方法包括针对至少一个颜色分量确定所述重聚焦图像的处于坐标(k，l)∈N2处的至少一个像素值，所述确定包括：
[0011] -针对所述至少一个颜色分量获得具有包括在所述坐标(k，l)的邻域中的坐标的至少一个投影像素值；
[0012] -基于函数对所述至少一个投影像素值进行加权，所述加权输出加权值；
[0013] -针对所述至少一个颜色分量使用所述加权值来更新所述重聚焦图像的处于坐标(k，l)处的所述至少一个像素值。
[0014] 因此，本申请涉及用于逐个颜色分量地确定重聚焦图像中的像素值的处理。因此，本技术无需对4D原始光场数据使用去马赛克方法(可以在Zhan Yu等的题为“An Analysis of Color Demosaicing in Plenoptic Cameras”的文章中找到与去马赛克方法有关的更多细节)。因此，本技术实现了对重聚焦图像中的彩色伪影的减小。实际上，一旦针对每一个颜色应用了本技术，就对重聚焦图像(针对每一个颜色 分量一个重聚焦图像)进行组合以获得彩色图像。在本技术中未使用去马赛克方法。
[0015] 在优选的实施例中，所述用于获得的方法其特征在于所述至少一个投影像素值具有坐标(X，Y)，并且所述函数被定义为 其中h1对应于属于 的值，并且函数||.||是范数函数。
[0016] 在优选的实施例中，所述用于获得的方法其特征在于所述至少一个投影像素值具有坐标(X，Y)，并且所述函数被定义为 其中，h2对应于属于 的值，并且greal(X，Y)的值对应于与所述4D原始光场数据相关联的场景中的g的实值。更具体地，greal(X，Y)对应于与所述4D原始光场数据相关联的场景中与获取所述4D原始光场数据的光场获取设备相距的实值距离。
[0017] 在优选的实施例中，所述方法其特征在于所述至少一个投影像素值具有坐标(X，Y)，并且所述函数被定义为 其中，h3和h3′对应于属于 的值，并且值a，b，c和d对应于根据所述重聚焦图像的张量结构确定的平滑值。
[0018] 在优选的实施例中，所述方法其特征在于所述至少一个投影像素值具有坐标(X，Y)，并且所述函数被定义为W6(k，l，X，Y)＝χ((k，l)属于([X]，[Y])的K个最近邻居像素)，其中，χ(.)是特征函数，所述特征函数在语句成立的情况下等于1否则等于0，[.] 是取整函数，并且K是大于或等于2的整数。
[0019] 在优选的实施例中，所述方法其特征在于所述至少一个投影像素值具有坐标(X，Y)＝(s[g(x-Cx)+Cx]，s[g(y-Cy)+Cy])，其中，s定义了所述2D重聚焦图像的图像大小，坐标(x，y)对应于所述4D原始光场数据中的像素的坐标，坐标(Cx，Cy)对应于坐标(x，y)处的像素所属的微图像的中心的坐标，并且所述函数被定义为W7(k，l，X，Y)＝PSF(x，y)，其中，函数PSF是全光相机的点扩散函数的估计。
[0020] 在优选的实施例中，所述方法其特征在于所述至少一个投影像素值具有坐标(X，Y)＝(s[g(x-Cx)+Cx]，s[g(y-Cy)+Cy])，其中，s定义了所述2D重聚焦图像的图像大小，坐标(x，y)对应于所述4D原始光场数据中的像素的坐标，坐标(Cx，Cy)对应于坐标(x，y)处的像素所属的微图像的中心的坐标，并且所述函数被定义为W8＝χ(||(x，y)-(Cx，Cy)||2＜ρ)，其中χ(.)是特征函数，所述特征函数在语句成立的情况下等于1否则等于0，ρ是阈值，并且函数||.||是范数函数。
[0021] 在优选的实施例中，所述方法其特征在于所述至少一个投影像素值具有坐标(X，Y)＝(s[g(x-Cx)+Cx]，s[g(y-Cy)+Cy])，其中，s定义了所述2D重聚焦图像的图像大小，坐标(x，y)对应于所述4D原始光场数据中的像素的坐标，坐标(Cx，Cy)对应于坐标(x，y)处的像素所属的微图像的中心的坐标，并且所述函数被定义为其中，h8对应于属于 的值，并且函数||.||是范数函数。
[0022] 在优选的实施例中，所述方法其特征在于所述至少一个投影像素值具有坐标(X，Y)＝(s[g(x-Cx)+Cx]，s[g(y-Cy)+Cy])，其中，s定义了所述2D重聚焦图像的图像大小，坐标(x，y)对应于所述4D原始 光场数据中的像素的坐标，坐标(Cx，Cy)对应于坐标(x，y)处的像素所属的微图像的中心的坐标，并且所述函数被定义为等于其中i≠4，其中，S(x，y)是(x，y)所属的微透镜的锐度的度量，并且Smax对应于所述4D原始光场数据的所有微透镜上的最大锐度值。
[0023] 在优选的实施例中，所述方法其特征在于所述函数被定义为是可分离的。
[0024] 在优选的实施例中，所述方法其特征在于所述函数被定义为与另一函数的乘积，其中，h1对应于属于 的值，函数||.||是范数函数。
[0025] 在优选的实施例中，所述用于获得的方法其特征在于所述更新包括将所述加权值与所述至少一个像素值相加。
[0026] 在一个实施例中，存在对所述至少一个像素值进行初始化。例如，对所述至少一个像素值进行初始化可以包括：在电子设备的寄存器中初始化为空值。
[0027] 根据示例实现方案，通过计算机软件程序来实现该方法的不同步骤，这种软件程序包括被设计为由根据本公开的中继模块(relay module)的数据处理器来执行的软件指令，并被设计为控制执行该方法的不同步骤。
[0028] 因此，本公开的一个方面还涉及易于通过计算机或数据处理器执行的程序，这种程序包括用于命令执行上述方法的步骤的指令。
[0029] 该程序可以使用任何编程语言，并可以是源代码、目标代码或源代码和目标代码之间的中间代码的形式，例如，部分编译形式或任何其他所需形式。
[0030] 本公开还涉及一种可由数据处理器读取并包括上述程序的指令 的信息介质。
[0031] 信息介质可以是能够存储程序的任何实体或设备。例如，介质可以包括存储装置，如ROM(代表“只读存储器”)，例如CD-ROM(代表“压缩盘-只读存储器”)或微电子电路ROM，或磁性记录装置，例如软盘或硬盘驱动器。
[0033] 备选地，信息介质可以是其中并入了程序的集成电路，该电路适于执行或者用于执行考虑中的方法。
[0035] 软件组件对应于一个或多个计算机程序、程序的一个或多个子程序，或更一般地，对应于能够根据以下针对所涉及的模块描述的内容实现功能或功能集合的程序或软件程序的任何元素。一个这种软件组件由物理实体(终端、服务器等)的数据处理器来执行，并能够访问该物理实体的硬件资源(存储器、记录介质、通信总线、输入/输出电子板、用户接口等)。
[0036] 类似地，硬件组件对应于能够根据以下针对所涉及的模块描述的内容实现功能或功能集合的硬件单元的任何元素。它可以是可编程硬件组件或具有用于执行软件的集成电路(例如，集成电路、智能卡、存储卡、用于执行固件的电子版等)的组件。在一个变型中，硬件组件包括为集成电路的处理器(诸如中央处理器)和/或微处理器和/或专用集成电路(ASIC)和/或专用指令集处理器(ASIP)和/或图形处理单元(GPU)和/或物理处理单元(PPU)和/或数字信号处理器(DSP)和/或图像处理器和/或协处理器和/或浮点单元和/或网络处理器和/或音频处理器和/或多核处理器。此外，硬件组件还可以包括基带处理器(包括例如存储器单元和固件)和/或接收或发送无线电信号的无线电电子电路(可以包括天线)。在一个实施例中，硬件组件与一个或多个 标准兼容，诸如ISO/IEC 18092/ECMA-340、ISO/IEC 21481/ECMA-352、GSMA、StoLPaN、ETSI/SCP(智能卡平台)、全球平台(即，安全元件)。在一个变型中，硬件组件是射频识别(RFID)标签。在一个实施例中，硬件组件包括启用蓝牙通信和/或Wi-Fi通信和/或ZigBee通信和/或USB通信和/或火线通信和/或NFC(用于近场)通信的电路。
[0037] 还应当注意的是，在本文中获得元素/值的步骤可以被视为读取电子设备的存储器单元中的这种元素/值的步骤或者经由通信装置从另一电子设备接收这种元素/值的步骤。
[0038] 在另一实施例中，提出了用于针对给定的焦平面值g根据4D原始光场数据获得重聚焦图像的电子设备。所述电子设备其特征在于，所述电子设备包括被配置为针对至少一个颜色分量确定所述重聚焦图像的处于坐标(k，l)∈N2处的至少一个像素值的电路，所述电路包括：
[0039] -获得电路，被配置为针对所述至少一个颜色分量获得具有包括在所述坐标(k，l)的邻域中的坐标的至少一个投影像素值；
[0040] -加权电路，被配置为基于函数对所述至少一个投影像素值进行加权，所述加权电路输出加权值；
[0041] -更新电路，被配置为针对所述至少一个颜色分量使用所述加权值来更新所述重聚焦图像的处于坐标(k，l)处的所述至少一个像素值。
[0043] 通过参考附图给出的本发明的示例性实施例的以下详细说明，本发明的上述和其他方面将变得更加显而易见：
[0044] -图1示意性地呈现了本技术可以应用于的实现对光场数据的获取的全光相机中包括的主要组件；
[0046] -图3和图4示出了假定理想薄透镜模型的情况下的示意性II型全光相机；
[0047] -图5呈现了I型全光相机；
[0048] -图6呈现了4D原始光场像素的投影；
[0049] -图7a和图7b示出了根据本公开的一个实施例的溅射过程；-图7c呈现了确定重聚焦图像中的位置(k，l)∈N2处的像素的值的示例；
[0050] -图8(a)和图8(b)示出了基于对像素的张量分析的本公开的一个实施例；
[0051] -图9(a)和图9(b)呈现了图像和通过包括微透镜阵列的全光相机获得的该图像的一部分，其中微透镜具有不同的焦距；
[0052] -图10呈现了投影像素，该投影像素具有坐标(k，l)，其中接收到针对每一个颜色通道的至少一个值；
[0053] -图11示出了(坐标(x，y)处的)4D原始光场数据的像素值如何在投影坐标(X，Y)周围溅射/扩散到K个最近邻居(在K＝6的情况下)；
[0054] -图12示出了用于根据4D原始光场数据重聚焦图像的方法的一些步骤；
[0055] -图13呈现了可以用于执行本文所公开的方法的一个或多个步骤的设备的示例。
具体实施方式
[0056] 图1示意性地呈现了本技术可以应用于的实现对光场数据的获取的全光相机中包括的主要组件。
[0057] 更具体地，全光相机包括标记为101的主透镜和标记为104的传感器阵列(即，像素传感器阵列(例如，基于CMOS技术的传感器))。标记为102的微透镜阵列位于主透镜101与传感器阵列104之间，微透镜阵列包括标记为103的微透镜的集合。应当注意的是，可选地，一些垫片可以位于每一个透镜附近的微透镜阵列与传感器之间，以防止来自一个透镜的光与其他透镜的光在传感器侧交叠。应当注意的是， 主透镜101可以是更复杂的光学系统，如图1中所示的光学系统(如例如文档GB2488905的图12和图13中所述的光学系统)。因此，全光相机可以被视为传统的相机加上设置在传感器前方的微透镜阵列，如图1所示。通过微透镜的光线覆盖记录这些光线的辐射的传感器阵列的一部分。通过传感器的这一部分进行记录定义了微透镜图像。
[0058] 图2呈现了由传感器阵列104捕获的图像。实际上，在该视图中，呈现了传感器阵列104包括标记为201的像素集。通过微透镜的光线覆盖多个像素201，并且这些像素记录入射/接收的光线的能量值。
[0059] 因此，全光相机的传感器阵列104记录了包括布置在2D图像(也被称作原始4D光场图像)中的2D小图像(即，标记为202的微透镜图像)的集合的图像。实际上，每一个小图像(即，微透镜图像)是由微透镜(微透镜可以由透镜阵列的坐标(i，j)来标识)产生的。因此，光场的像素与4个坐标(x，y，i，j)相关联。作为由传感器记录的4D光场的L(x，y，i，j)示出了由传感器记录的图像。每一个微透镜产生由圆形表示的微图像(小图像的形状取决于通常圆形的微透镜的形状)。对(传感器阵列中的)像素坐标加标签(x，y)。p是两个连续微图像之间的距离，p不一定是整数值。微透镜被选择为使得p大于像素大小δ。微透镜图像是通过其坐标(i，j)来参考的。每一个微透镜图像使用(u，v)坐标系对主透镜的瞳孔进行采样。一些像素可能未从任何微透镜接收到任何光子，特别是在微透镜的形状是圆形的情况下。在该情况下，微透镜间的空间被遮蔽以防止光子从微透镜外部通过，从而导致微图像中的一些黑色区域。如果微透镜具有正方形形状，则不需要遮蔽。微透镜图像(i，j)的中心位于坐标(xi，j，yi，j)处的传感器上。θ是像素的正方形网格与微透镜的正方形网格之间的角度，在图2中，θ＝0。假定微透镜是根据规则的正方形网格来布置的，则可以在考虑微透镜图像(0，0)的像素坐标(x0，0，y0，0)的情况下通过以下等式来计算(xi，j，yi，j)：
[0060]
[0061] 图2还示出了来自场景的物体在多个连续微透镜图像上可见(黑点)。物体的两个连续视图之间的距离是w，该距离被称作复制距离。因此，对象在r个连续微透镜图像上是可见的，其中：
[0062]
[0063] r是一维的连续微透镜图像的数量。对象在r2个微透镜图像中是可见的。根据微透镜图像的形状，物体的r2个视图中的一些视图可能是不可见的。
[0064] 可以在2012年5月在IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.34，N°5公开的Tom E.Bishop和Paolo Favaro的题为“The Light Field Camera：Extended Depth of Field，Aliasing，and Superresolution”的文章中的题为“Image formation of a Light field camera”的部分4中找到与全光相机有关的更多细节。
[0065] 应当注意的是，在以与文档US2013258098中所述的方式相同的方式(或相似的方式)设计传统相机的像素的至少一部分的情况下，本技术也可以应用于“这种传统相机”(在没有附加的微透镜阵列位于主透镜和像素阵列之间的意义上)。实际上，文档US2013258098公开了可以由于使用多个光接收部(例如，文档US2013258098中的附图标记116和117)而记录光场数据的像素。因此，本领域技术人员可以具有集成了文档US2013258098的技术的像素阵列的这种传统相机视为图1中所示的一种类型的全光相机，其中，每一个微透镜将光线集中于传感器104中包括的两个像素上。应当注意的是，如果在像素的架构中集成了更多接收部，则可以在像素可以记录(由两个低和高接收部获得的)多于两个数据信息的意义上概括文档US2013258098的技术。本公开可以对集成可以记录光场数据(如前所述)的像素的“传统相机”的原始图像使用。实际上，这些原始图像可以被视为微透镜图像集。
[0066] 还应当注意的是，本公开也可以应用于获取4D光场数据的其他设备，例如，包括文档US 2010/0265386中所示的编码孔径元件的设备或者2007年在SIGGRAPH的记录中公开的A.Levin a等的题为“Image and depth from a conventional camera with a coded aperture”的文章中的设备、或者使用1995年4月10日在应用光学中公开的Edward R.Dowski、Jr和W.Thomas Cathe的题为“Extended depth of field through wave-front coding”的文章中提到的波阵面编码技术的设备。
[0067] 图3和图4示出了在假定理想薄透镜模型的情况下的示意性的II型全光相机。以像素为单位给出了先前介绍的距离p和w。通过将它们与像素大小δ相乘：W＝δ.w和P＝δ.p来将它们分别转换为物理单位距离(米)P和W。这些距离取决于光场相机特性。
[0068] 主透镜具有焦距F和孔径Ф。微透镜阵列由具有焦距f的微透镜构成。微透镜阵列的间距是φ。微透镜阵列位于与主透镜相距D的位置处和与传感器相距d的位置处。物体(图上不可见)位于与主透镜相距z的位置处(左侧)。通过主透镜将该物体聚焦到与主透镜相距z′的位置处(右侧)。
[0069] 图3和图4分别示出了D＞z′和D＜z′的情况。在两种情况下，微透镜图像可以根据d和f聚焦。该设计涉及所谓的II型全光相机(也称作全光相机2.0)。
[0070] 图5呈现了I型全光相机(也称作全光相机1.0)，其中f＝d。
[0071] 在图5中，进行设计使得主透镜将图像聚焦到与微透镜阵列接近的位置处。如果主透镜精确地聚焦到微透镜阵列上，则W＝∞。此外，微透镜图像完全离焦并且等于常数(不考虑噪声)。
[0072] 复制距离W随着物体的距离z而改变。为了建立W与z之间的关系，依赖于薄透镜方程：
[0073]
[0074] 和泰勒斯定律：
[0075]
[0076] 将前面两个等式结合得到：
[0077]
[0078] W与z之间的关系未假定微透镜图像是聚焦的。微透镜图像根据薄透镜方程严格聚焦：
[0079]
[0080] 此外，根据泰勒斯定律，得到P：
[0081]
[0082] P＝φe
[0083] 比值e定义了微透镜间距与微透镜图像间距之间的放大。该比值非常接近于1，这是因为D＞＞d。
[0084] 可以在文档WO 2013/167758中找到类似的论述。
[0085] 图6呈现了4D原始光场像素(即，坐标(x，y)处的像素，其属于标记为600的中心位于坐标(Cx，Cy)的微透镜图像)向坐标(X，Y)＝(s[g(x-Cx)+Cx]，s[g(y-Cy)+Cy])处的(2D重聚焦图像中的)像素的投影，其中，g确定重聚焦平面，s定义2D重聚焦图像的图像大小(因此，size(Ig)＝s·size(IRAW)，其中Ig.对应于2D重聚焦图像)。在图6的示例中，s＝1。在文档WO 2013/167758中详细描述了关于重聚焦过程的更多细节。
[0086] 因此，给定固定的图像大小s和焦平面g，估计将4D原始光场数据IRAW的所有像素(x，y)进行投影的重聚焦图像Ig。应当注意的是，投影的坐标(X，Y)不一定位于均匀分布的网格或规则的网格上。实际上，图像平面上的实值位置(X，Y)的分布高度依赖于值g。
[0087] 应当注意的是，假定通过现有的任何技术(如在计算机视觉和模式识别(CVPR)的会议记录中公开的Dansereau等的题为“Decoding，calibration and rectification for lenselet-based plenoptic cameras”的文章 中所述的技术(IEEE的2013IEEE会议))来估计图像的微透镜中心(Cx，Cy)。
[0088] 所提出的技术涉及用于针对给定焦点(基于g的值)根据4D原始光场数据获得重聚焦图像的方法，包括：通过确定在(k，l)的邻域中投影的像素值的加权和来确定重聚焦图像中的位置(k，l)∈N2处的像素的值。因此，重聚焦图像被定义如下：
[0089]
[0090] 其中， 是归一化因子，Bkl是以(k，l)为中心的邻域，并且位置(X，Y)＝(s[g(x-Cx)+Cx]，s[g(y-Cy)+Cy])，且c＝{R，G，B}是颜色通道(其中，是R红色、G是绿色并且B是蓝色)。应当注意的是，IRAW具有贝叶斯模式，因此IRAWc(x，y)仅针对一个颜色通道是非零的。
[0091] 图7(a)和图7(b)示出了根据本公开的一个实施例的溅射过程。注意，利用该定义，溅射内核调整模糊量。内核越大，2D重聚焦图像越模糊。
[0092] 图7(a)示出了强度值IRAWc(x，y)被投影到重聚焦平面处并且在位置(X，Y)周围扩散(溅射)。通过溅射内核W对扩散值进行加权，这意味着并非(X，Y)周围的所有像素都接收到相同的像素值。
[0093] 图7(b)示出了为了呈现重聚焦图像，针对图像网格的每一个像素位置(k，l)，确定该位置处所有接收的像素值的(加权)和。在该示例中，像素(k，l)接收到两个值。为了说明的目的，在该图中，溅射内核的形状是圆形的，但是其他形状是可能的。
[0094] 图7(c)呈现了确定重聚焦图像中的位置(k，l)∈N2处的像素的值。在第一步骤中，2
选择位于坐标(k，l)∈N处的像素的邻域Bkl。在本公开的实施例中，这种邻域可以以坐标(k，l)∈N2为中心。在一个变型中，这种邻域不以坐标(k，l)∈N2为中心，但是邻域区域包括坐标 (k，l)∈N2。邻域的几何形状可以改变(从圆形改变为更复杂的几何结构(如图7(c)中所示的几何结构))。在图7(c)的示例中，仅来自4D原始光场数据IRAW的具有红色分量的三个c
像素在邻域Bkl中具有投影。因此，在一个实施例中，针对红色分量，Ig(k，l)＝[0095] [W(1)(k，l，X1，Y1)IRAWc(x1，y1)+W(2)(k，l，X2，Y2)IRAWc(x2，y2)+[0096] W(3)(k，l，X3，Y3)IRAWc(x3，y3)]*归一化系数。
选择位于坐标(k，l)∈N处的像素的邻域Bkl。在本公开的实施例中，这种邻域可以以坐标(k，l)∈N2为中心。在一个变型中，这种邻域不以坐标(k，l)∈N2为中心，但是邻域区域包括坐标 (k，l)∈N2。邻域的几何形状可以改变(从圆形改变为更复杂的几何结构(如图7(c)中所示的几何结构))。在图7(c)的示例中，仅来自4D原始光场数据IRAW的具有红色分量的三个c
像素在邻域Bkl中具有投影。因此，在一个实施例中，针对红色分量，Ig(k，l)＝[0095] [W(1)(k，l，X1，Y1)IRAWc(x1，y1)+W(2)(k，l，X2，Y2)IRAWc(x2，y2)+[0096] W(3)(k，l，X3，Y3)IRAWc(x3，y3)]*归一化系数。
[0097] 在该等式中，加权函数(也称作溅射内核)W(1)、W(2)和W(3)可以是相同的函数或不同的函数。
[0098] 针对相同的邻域但是针对另一颜色分量，其他投影的像素包括在该邻域中。现在，描述溅射内核W的可能定义中的每一个。W的最简单的定义是具有固定半径r的圆形，在本文中，将其称作W0。但是，这种简单的溅射内核不会精细地恢复重聚焦图像。
[0099] 在本公开的第一实施例中，溅射内核W关于||(k，l)-(X，Y)||2是递减函数，这意味着W(X，Y，X，Y)随着||(k，l)-(X，Y)||2的增加达到其最大值然后成比例地减小。这种溅射内核的示例被定义为：
[0100]
[0101] 值h1是可以由用户输入的参数或者是被定义为执行对4D原始光场数据的获取的光场设备的参数的函数的参数。
[0102] 在本公开的第二实施例中，假定针对每一个点(x，y)已知greal(x，y)的值，即g的实值(即，场景中与光场获取设备相距的实值距离)。也即是说，点(x，y)被假定为在其处聚焦的平面(可以在已知场景的深度的情况下对此进行估计)。然后，可以根据greal在每一个点处对溅射内核进行调整。设g是旨在在其处对图像进行重聚焦的所需焦平面。将溅射内核定义为当|g-greal|减小时的递减函数。利用该定义，焦平面g处的点保持清晰，而其他点是模糊的，并且模糊的量 与到焦平面g的距离成正比。这种溅射内核的示例由下式给出：
[0103]
[0104] 值h2是可以由用户输入的参数或者是被定义为执行对4D原始光场数据的获取的光场设备的参数的函数的参数。
[0105] 在本公开的第三实施例中，图像(图像边界)的结构和几何形状是可以由溅射内核采用的重要信息。给定图像的边缘，溅射内核使其形状适应图像边界。在该情况下，溅射内核是各向异性的，并且使其自身适应图像的边缘。例如，已知被定义为下式(其中Ix，Iy是图像I的偏导数)的图像的张量结构
[0106]
[0107] 提供了关于图像的局部几何形状的重要信息：特征向量v1，v2提供了图像梯度的主方向(切向量和法向量的方向)并且相应的特征值λ1，λ2提供了每一个主向量的幅度。具体地，特征向量表征场景的局部几何结构(较小的λ1，λ2对应于同质区域，较大的λ1，λ2对应于图像角，并且较大的λ1和较小的λ2对应于具有切线v1的图像边缘)。图8(a)示出了图像边界的情况，其中，使用在黑点处计算的张量矩阵的特征向量和特征值来估计切向量和法向量。由于张量分析，可以定义溅射内核使得当存在图像边缘时其形状是自适应的(参见图8(b))。
[0108] 考虑张量结构提供的图像的几何结构的溅射内核的示例被定义为：
[0109]
[0110] 该高斯内核在方向 上使用值h3进行平滑并且在方向 上使用值h′3进行平滑。
[0111] 值h3和h′3是可以由用户输入的参数或者是被定义为执行对4D原始光场数据的获取的光场设备的参数的函数的参数。
[0112] 注意，实际上，由于对投影点(X，Y)的不规则采样，因此估计重聚焦图像的张量并不容易。然而，张量是局部算子，并且可以在原始图像中对张量进行估计然后以与图像颜色值相同的方式对张量进行投影。
[0113] 在第四实施例中，溅射内核考虑了多焦点全光相机中的微透镜类型。例如，Raytrix相机是其中存在具有三个不同的焦距的三种类型的微透镜的全光相机。图9(a)示出了使用Raytrix R5相机捕获的4D原始光场数据。
[0114] 图9(b)呈现了相同的图像的不同部分的三种不同的剪裁。注意，微透镜阵列是由在焦距方面三种不同类型的微透镜形成的。因此，不同的微透镜使场景的不同部分聚焦。与中间的结果相比，左边的结果未使相同的微透镜聚焦。最后一个结果显示了在三个微透镜离焦的情况下场景的一部分。
[0115] 在该实施例中，考虑溅射内核根据要溅射的值而改变的事实。如果这种值来自聚焦的微透镜，则溅射内核应当具有比对未聚焦的微透镜的值进行扩散的溅射内核更大的权重。该思想是相对于聚焦的微透镜对未聚焦的微透镜进行惩罚。这种溅射内核的示例被定义为：
[0116]
[0117] 其中，Wi≠4是本文中定义的溅射内核中的任意一个，S(x，y)是(x，y)所属的微透镜的锐度的度量，并且Smax是原始图像的所有微透镜上的最大锐度值。可以使用多个锐度度量。例如，在模式识别46.5(2013)：1415-1432中公开的Pertuz，Said等的题为“Analysis of focus measure operators for shape-from-focus”的文章中定义了锐度度量。
[0118] 在本公开的第五实施例中，给定图像大小s和所需重聚焦平面g，确定重聚焦平面中的投影点(X，Y)的分布。虽然s仅考虑了规模，但是g的选择改变其自身的分布。
[0119] 在本技术中，溅射内核考虑该分布使得2D重聚焦图像的呈现过程不会产生颜色“空洞”。换言之，本技术确保2D重聚焦图像Ig的每一个像素位置(k，l)在溅射过程期间已经得到了每一个颜色的至少一个强度值。
[0120] 实际上，这意味着对溅射内核的支持具有由最大采样步长H给出的最小大小。
[0121] 这种溅射内核的示例是W5＝W0，其中，圆形具有半径r＝H。
[0122] 图10呈现了针对每一个颜色通道接收到至少一个颜色的像素位置(k，l)。溅射内核可以具有不同的形状和大小(只要确保(对于不产生“空洞”必要的)最小大小)。
[0123] 溅射内核的所有前述定义建议将像素值IRAWc(x，y)扩散到最近像素。然而，在本公开的第六实施例中，可以将相同的像素值关于给定标准扩散到K个最近邻居像素(在颜色方面、在梯度方面等最近的邻居)。在形式上，
[0124] W6(k，l，X，Y)＝χ((k，l)属于([X]，[Y])的K-NN)
[0125] 其中，χ(.)是特征函数(如果句法成立，则等于1，否则等于0)，并且[.]是取整函数。
[0126] 图11呈现了被溅射到K个最近邻居的值IRAWc(x，y)。在该示例中，K＝6。K-NN不一定是根据欧氏距离的最近像素，但是根据颜色、深度或任何其他标准是最近的。
[0127] 在本发明的第七实施例中，可以在溅射内核的定义中估计并考虑全光相机的PSF(点扩散函数)(或微透镜阵列的PSF)。这种内核的一个可能的定义是：
[0128] W7(k，l，X，Y)＝PSF(x，y)
[0129] 注意，每一个颜色通道具有不同的PSF，因此也可以根据要溅射的颜色通道来调整溅射内核的定义。
[0130] 在本公开的第八实施例中，已知全光相机受到渐晕并且具体地受 到微透镜的渐晕。提议在溅射过程期间相比于来自微透镜的中心的像素来对受到渐晕的像素进行惩罚。这里，假定渐晕校正并非始终是完美的，并且经校正的像素具有更差的信噪比，因此即使利用渐晕校正算法，对这些像素进行惩罚也是有用的。这种溅射内核的一个可能的定义是定义下式：
[0131] W8＝χ(||(x，y)-(Cx，Cy)||2＜ρ)
[0132] 这意味着忽略置于微透镜的边界处的所有像素并且仅考虑具有半径ρ的圆形中的像素。另一个可能的定义由下式给出：
[0133]
[0134] 值h8是可以由用户输入的参数或者是被定义为执行对4D原始光场数据的获取的光场设备的参数的函数的参数。
[0135] 注意，考虑了主透镜的渐晕的特定内核也是可能的。
[0136] 在第九实施例中，溅射内核可以被计算为至少两个先前定义的溅射内核的乘积(例如，W9＝W1W7或者W9＝W2W3W6W8)。
[0137] 图12呈现了根据本发明的一个实施例的流程图。
[0138] 更具体地，图12示出了用于根据获取的4D原始光场数据重聚焦图像的方法的一些步骤。
[0139] 在标记为1201的步骤中，电子设备接收4D原始光场数据。此外，由所述电子设备获得一些参数，所述电子设备定义了必须在其上完成聚焦的焦平面。在一个实施例中，可以经由用户与用户界面的(用于选择例如必须在其上进行聚焦的物体的)交互来获得这些参数。这些参数还可以包括重聚焦图像的大小。
[0140] 然后，在标记为1202的步骤中，电子设备对4D原始光场数据的所有像素坐标进行处理以确定(例如图6中所投影的)投影像素的所有坐标。然后，通过使用规则网格(在上定义的有限网格)来定义2D重聚焦图像中的坐标，完成确定该规则网格中的像素值的过程。为了确定坐标(k，l)∈N2处的像素值，可以执行先前所述的过程。
[0141] 在一个变型中，并未对4D原始光场数据的所有像素进行“投影”。实际上，微透镜图像的边缘处的像素被丢弃，并且因此在重聚焦过程 中未被投影和使用。
[0142] 在一个变型中，同时完成对2D重聚焦图像中的像素值的投影和更新。
[0143] 在步骤1202的最后，获得2D重聚焦图像。然后可以由显示设备来显示该2D重聚焦图像。
[0144] 图13呈现了可以用于执行本文所公开的方法的一个或多个步骤的设备的示例。
[0145] 标记为1300的这种设备包括标记为1301的计算单元(例如，CPU，针对“中央处理单元”)和标记为1302的一个或多个存储器单元(例如，RAM(针对“随机存取存储器”)块，其中，可以在执行计算机程序的指令期间临时存储中间结果，或者ROM块，其中，尤其存储计算机程序，或者EEPROM(“电可擦除可编程只读存储器”)块或闪存块)。计算机程序由可以由计算单元执行的指令构成。这种设备1300还可以包括构成输入/输出接口的标记为1303的专用单元，以允许设备1300与其他设备进行通信。具体地，该专用单元1303可以连接到天线(以便执行无接触式通信)或串行端口(以便进行“接触式”通信)。应注意，图13中的箭头意味着被链接的单元可以通过例如总线来交换数据。
[0147] 在备选实施例中，可以在包括如图13所公开的存储单元和处理单元的电子设备上执行前述方法的一部分步骤或所有步骤。
[0148] 在本公开的一个实施例中，图13中所示的电子设备可以包括在被配置为捕获图像(即，对光场进行采样)的相机设备中。这些图像被存储在一个或多个存储器单元上。因此，这些图像可以被视为比特流数据(即，比特序列)。显而易见，比特流也可以转换为字节流，反之亦然。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 指纹纹理图像的去噪增强方法及其系统 | 2020-05-18 | 717 |
| 一种基于张量的分布式扩散自适应抗干扰方法 | 2020-05-12 | 589 |
| 扩散程度可控的各向异性扩散图像去噪增强方法 | 2020-05-19 | 819 |
| 扩散程度可控的各向异性扩散图像去噪增强方法 | 2020-05-19 | 318 |
| 基于多张量的磁共振扩散加权图像结构自适应平滑方法 | 2020-05-15 | 274 |
| 一种扩散张量磁共振成像方法 | 2020-05-11 | 395 |
| 一种非负高阶张量拟牛顿搜索的纤维方向分布估计方法 | 2020-05-26 | 753 |
| 基于多张量的磁共振扩散加权图像结构自适应平滑方法 | 2020-05-17 | 118 |
| 基于以高斯模型为实例整合重建的磁共振扩散成像方法 | 2020-05-20 | 385 |
| 保地质边界的地震图像去噪方法及计算机可读存储介质 | 2020-05-23 | 898 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈