用于创建相机重聚焦效果的方法和系统
| 专利类型 | 发明授权 | 法律事件 | 公开; 实质审查; 授权; 未缴年费; |
| 专利有效性 | 失效专利 | 当前状态 | 权利终止 |
| 申请号 | CN201480061072.5 | 申请日 | 2014-11-07 |
| 公开(公告)号 | CN105705979B | 公开(公告)日 | 2018-10-19 |
| 申请人 | 三星电子株式会社; | 申请人类型 | 企业 |
| 发明人 | K.纳拉亚南; B.S.奇兰吉维; 金健荣; S.K.B.纳拉亚纳斯瓦米; D.帕塔纳亚克; | 第一发明人 | K.纳拉亚南 |
| 权利人 | 三星电子株式会社 | 权利人类型 | 企业 |
| 当前权利人 | 三星电子株式会社 | 当前权利人类型 | 企业 |
| 省份 | 当前专利权人所在省份： | 城市 | 当前专利权人所在城市： |
| 具体地址 | 当前专利权人所在详细地址：韩国京畿道 | 邮编 | 当前专利权人邮编： |
| 主IPC国际分类 | G02B7/28 | 所有IPC国际分类 | G02B7/28 ; G03B3/00 |
| 专利引用数量 | 5 | 专利被引用数量 | 0 |
| 专利权利要求数量 | 18 | 专利文献类型 | B |
| 专利代理机构 | 北京市柳沈律师事务所 | 专利代理人 | 邵亚丽; 金玉洁; |
| 摘要 | 本 发明 的各种 实施例 公开了用于捕捉可重聚焦图像集的 图像处理 方法和系统。该方法包括：将视场分割成多个栅格；确定与多个栅格中的每一个相关联的锐度 水 平；基于所确定的多个栅格中的每一个的锐度水平识别一个或多个区域，每个区域包括多个栅格中的一个或多个；以及捕捉与所识别的一个或多个区域中的每一个相关联的图像以形成可重聚焦图像集。该方法还包括检测对视场中具有相关联的照度水平的对象的重聚焦动作，以及基于检测来变化对象的相关联的照度水平。 | ||
| 权利要求 | 1.一种捕捉可重聚焦图像集的方法，该方法包括： |
||
| 说明书全文 | 用于创建相机重聚焦效果的方法和系统技术领域背景技术[0002] 光场相机或全光相机是使用微镜头阵列来捕捉关于场景的4维光场信息的相机。此捕捉方法集合了多种计算机视觉和图形应用可利用的关于场景的大量信息。商用全光相机目前推出的一种这样的技术或效果是对已经拍摄的图像进行重聚焦的能力。顺便说一句，如图1中所图示的重聚焦效果(refocus effect)似乎是当代商用光场相机的仅有卖点。 或者，光场相机使终端用户能够拍摄给定场景，然后重聚焦到他们感兴趣的区域。 [0003] 虽然重聚焦效果的视觉效应相当重要，并且从消费者的视角其完全打破了照片拍摄范式，但手段没有为目的提供充分基础。允许用户“现在拍摄以后聚焦”的这些光场相机所产生的重聚焦效果，作为关键商用方面，并不一定要求创建全光机构。换句话说，可在不使用全光相机的情况下，即通过使用像数字相机这样的常规捕捉设备模拟相同的重聚焦效果。 [0004] 光场相机使终端用户能够拍摄给定场景，然后重聚焦到他们感兴趣的区域。提供此重聚焦能力的所有解决方案要么要求专用光场相机要么要求特殊辅助硬件或者某种形式的硬件集成或操纵。另外，这样的解决方案昂贵且与现有图像捕捉设备/相机不兼容，并且为了产生此重聚焦效果，将必须要求新的设备或镜头/传感器阵列。 [0005] 虽然已经尝试通过使用要求某种形式的额外硬件的技术来模拟重聚焦效果，但硬件附件或从更低层硬件设备(诸如传感器)获得信息并不总是可用。所有这些又要在成本或设备兼容性上妥协。任何硬件解决方案或追求硬件/传感器层级信息的解决方案都将被捆绑到特定设备或模型。这又将迫使用户购买那个设备或附件以实现要求的重聚焦效果。 发明内容[0007] 问题的解决方案 [0008] 本文的各种实施例提供了用于捕捉可重聚焦图像集的方法和装置。该方法包括：将视场分割成多个栅格；确定与多个栅格中的每一个相关联的锐度水平；基于所确定的多个栅格中的每一个的锐度水平识别一个或多个区域，每个区域包括多个栅格中的一个或多个；以及捕捉与所识别的一个或多个区域中的每一个相关联的图像以形成可重聚焦图像集。 [0009] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括检测对视场中具有相关联的照度水平的对象的重聚焦动作，以及基于检测来变化对象的相关联的照度水平。 [0010] 根据本发明的实施例，重聚焦效果按如下过程来定义：其中在图像被捕捉之后，用户可选择性地选择用户想要聚焦的区域。另外，本文的场景被定义为用户意图捕捉为图片的视场。 [0011] 根据本发明的实施例，该方法还包括在全景模式中捕捉可重聚焦图像集。在全景模式中，可在全景模式中的所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。 [0012] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括在高动态范围(HDR)模式中捕捉可重聚焦图像集，其中，在HDR模式中，可在所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。 [0013] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括在三维(3-D)模式中从多个位置捕捉可重聚焦图像集以渲染(render)所捕捉的可重聚焦图像集，其中，在3-D模式中，可在所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。 [0014] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括将可重聚焦图像集与相关联的元数据一起存储为预定义格式，诸如BSR文件格式、多媒体容器格式或档案文件格式之一。 [0015] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括：将视场分割成多个栅格，每个栅格与存在于视场中的一个或多个对象相关联；确定与多个栅格中的每一个相关联的锐度水平；基于所确定的多个栅格中的每一个的锐度水平识别一个或多个区域，每个区域包括多个栅格中的一个或多个；以及捕捉与所识别的一个或多个区域中的每一个相关联的图像以形成可重聚焦图像集，其中每个识别出的区域具有不同的锐度水平。 [0016] 根据本文的实施例，捕捉每个区域的图像包括将焦点设定在所选择区域上，计算一个或多个区域的锐度水平，基于阈值识别锐利的一个或多个区域，不拍摄被标记为锐利的区域的图像，并且继续捕捉多个非锐利区域的图像直到对于多个非锐利区域中的每个区域都捕捉了图像为止。 [0017] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括检测对视场中具有相关联的照度水平的对象的重聚焦动作，以及基于检测来变化对象的相关联的照度水平。 [0018] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括在全景模式中捕捉可重聚焦图像集，其中，在全景模式中，可在所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。 [0019] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括在高动态范围(HDR)模式中捕捉可重聚焦图像集，其中，在HDR模式中，可在所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。 [0020] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括在三维(3-D)模式中从多个位置捕捉可重聚焦图像集以渲染所捕捉的可重聚焦图像集，其中，在3-D模式中，可在所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。 [0021] 本文的实施例还提供一种用于捕捉可重聚焦图像集的成像装置，该装置包括：图像捕捉单元，被适配用于捕捉感兴趣的场景的图像，以及图像处理单元，被适配用于将视场分割成多个栅格，确定与多个栅格中的每一个相关联的锐度水平，基于所确定的多个栅格中的每一个的锐度水平识别一个或多个区域，每个区域包括多个栅格中的一个或多个，并且捕捉与所识别的一个或多个区域中的每一个相关联的图像以形成可重聚焦图像集。 [0022] 根据本发明的实施例，图像处理单元还被适配用于检测对视场中具有相关联的照度水平的对象的重聚焦动作，以及基于检测来变化对象的相关联的照度水平。 [0023] 根据本发明的实施例，图像处理单元还被适配用于在全景模式中捕捉可重聚焦图像集，其中，在全景模式中，可在所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。 [0024] 根据本发明的实施例，图像处理单元还被适配用于：将视场分割成多个栅格，每个栅格与存在于视场中的一个或多个对象相关联；确定与多个栅格中的每一个相关联的锐度水平；基于所确定的多个栅格中的每一个的锐度水平识别一个或多个区域，每个区域包括多个栅格中的一个或多个；以及捕捉与所识别的一个或多个区域中的每一个相关联的图像以形成可重聚焦图像集。 [0025] 根据本发明的实施例，图像处理单元还被适配用于检测对视场中具有相关联的照度水平的至少一个对象的重聚焦动作，以及基于检测来变化对象的相关联的照度水平。 [0026] 根据本发明的实施例，图像处理单元还被适配用于在高动态范围(HDR)模式中捕捉可重聚焦图像集，其中，在HDR模式中，可在所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。 [0027] 根据本发明的实施例，图像处理单元还被适配用于在三维(3-D)模式中从多个位置捕捉可重聚焦图像集以渲染所捕捉的可重聚焦图像集，其中，在3-D模式中，可在所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。 [0028] 前文已经大体上概述了本发明的各方面，并且将充当更好地理解之后的更完整的详细描述的辅助物。参照这些，将会清楚地理解，本发明不受限于本文描述和图示的使用的方法或应用。意图是根据本文包含的详细描述或图示而变得清楚或明显的本发明的任何其它优点和目标都在本发明的范围之内。 附图说明[0029] 本领域技术人员根据下列对优选实施例的描述和附图将想到其它目标、特征和优点，附图中： [0030] 图1是根据现有技术图示的对于相同场景具有不同聚焦区域的所捕捉图像的快照。 [0031] 图2是描绘根据本发明的实施例的捕捉可重聚焦图像集的示例性方法的流程图。 [0032] 图3是描绘根据本发明的实施例的将场景分块(tile)成邻接块的图示。 [0033] 图4是描绘根据本发明的实施例的拍摄最优化技术的图像处理系统的框图。 [0034] 图5是图示根据本发明的实施例的场景的基于对象的分割的快照。 [0035] 图6是根据本发明的实施例的图像捕捉系统的框图。 [0036] 图7是描绘根据本发明的实施例的利用不同的照度来重聚焦的图像的快照。 [0037] 图8是描绘根据本发明的示例性实施例的全景模式中的重聚焦的图像的快照。 [0038] 图9是描绘根据本发明的实施例的重聚焦图像中的HDR效果的图像的快照。 [0039] 虽然本发明的特定特征在一些图中示出且在其它图中没有示出，但这仅是为了方便而为，因为每个特征可依照本发明与其它特征中的任何一个或全部组合。 具体实施方式[0040] 本发明提供了用于捕捉可重聚焦图像集的方法和系统。在下列对本发明的实施例的详细描述中，参照形成本发明的一部分的附图，并且附图中借助图示的方式示出了可实践本发明的具体实施例。足够详细地描述了这些实施例以使得本领域技术人员能够实践本发明，并且将会理解，可利用其它实施例并且可在不脱离本发明范围的情况下作出改变。因此，下列详细描述不应以限制性的意义来看待，并且本发明的范围仅由所附权利要求定义。 [0041] 当今市场中可买到的图像捕捉设备(即存在于数字相机、智能电话、平板中的相机)中的大部分都具备在拍摄图片前明确设定聚焦区域的能力。本发明提供了从用户空间控制的触摸以聚焦的特征。此特征是定制应用。此外，本发明提供了一种通过使用捕捉场景的所有深度信息的一系列图像来模拟重聚焦效果的方法。因此，本发明提供了利用如下事实的图像捕捉方法和系统：从用户/应用空间可控制触摸以聚焦并且重聚焦可通过相同场景的所捕捉数量的照片来模拟，其中每个照片表示焦点对准的场景中的至少一个区域。当最优数量的照片被捕捉且充分捕捉时，此捕捉系统框架变得更鲁棒。 [0042] 图2是描绘根据本发明的实施例的由捕捉系统捕捉可重聚焦图像集的示例性过程的流程图。在步骤202，将视场分割成多个栅格。例如，当输入图像被输入到捕捉系统时，整个输入图像被分割成M×N块的栅格。对M×N的选择可由用户根据要求来配置。在示例性实施例中，M和N的值基于存在于输入图像中的对象的典型大小来确定。因此，在这种情况下，M和N的值可能会是5×4。接下来，定义名为“blockNum”的变量来指示将被明确设定为焦点的块。最初地，blockNum的值被假定为一。在步骤204，一给定区域被设定为在焦点上并且与每个区域相对应的图像被捕捉。另外，在步骤206，计算与多个栅格中的每一个相关联的锐度水平。在步骤208，基于阈值来识别锐利的一个或多个区域并且对标记为锐利或具有相同锐度水平的一个或多个区域拍摄单个图像。在步骤210，检验所有非锐利区域的图像是否都被捕捉。如果并不是所有非锐利区域的图像都被捕捉，则在步骤212识别至少一个非锐利区域，并且重复步骤204至210。一旦与所有区域相对应的图像都被捕捉，就在步骤214终止过程。 [0044] 根据本文的实施例，如果对于图像的一个或多个区域，图像装置中的自动聚焦失败，则提供可选的后处理以用于创建自动聚焦效果。取决于用户的需要，相机捕捉系统还使用拍摄最优化技术(shot optimization technique)执行对图像的预处理以确定焦点对准的其它块。拍摄最优化技术减少了对于每个场景所要求捕捉的图片数量。这进而减少了捕捉时间，从而增强了用户体验。 [0045] 拍摄最优化技术以每个图像为基础工作。另外，拍摄最优化技术提供关于图像中在相同深度平面中的所有其它区域的信息。例如，当一区域被明确设定为焦点时，拍摄最优化技术提供关于该场景中的也焦点对准的所有其它区域的信息。因此，拍摄最优化技术明确避免了再次对于那些区域捕捉另外的图像，从而创建了描绘该场景的最优数量的图片。从重聚焦的视角，拍摄最优化技术解释为序列中的每个区域具有完全焦点对准的至少一个图像。 [0046] 在捕捉与所识别的一个或多个区域中的每一个相关联的图像后，用户还可根据捕捉的序列技术使用最佳焦点对准估计(best in focus estimation)对所捕捉的图像执行后处理深度估计过程。根据本发明的实施例，根据捕捉的序列方法的最佳焦点对准估计确定在已捕捉的图像集当中的提供最佳聚焦的图像。采用此技术来使重聚焦所要求的深度图变得更好。该方法给其中像素焦点对准的场景中的每个像素准确地分配所捕捉的序列中的唯一图像。其也考虑到了如下区域：在所述区域中，相机自动聚焦可能失败从而可能没有可靠的焦点估计。 [0047] 在步骤210，所捕捉的图像与深度信息一起被打包为单个多媒体文件格式。该多媒体文件格式对应于用户所期望的任何文件格式。例如，多媒体文件格式对应于急速连拍重聚焦(burst shot refocus，BSR)格式。 [0048] 图3是描绘根据本发明的实施例的将场景分块成邻接块的图像的图示。如图3中所示，用户希望捕捉的整个场景的帧被划分成M×N块的栅格。M×N被估计为所遇到的对象的典型大小。在这种情况下，基于在捕捉场景时遇到的对象的典型大小，将M×N估计为5×4。在将整个场景划分成M×N块的栅格之后，基于栅格的位置给每个栅格分配一数字。在将数字分配给M×N个块中的每个栅格时，使用自动聚焦特征分别对每个栅格(也被称为块)进行聚焦以得到每个栅格的深度水平。在相同深度水平的一个或多个栅格被识别并且被捕捉在覆盖所有焦点对准的栅格的单个照片中。例如，栅格8和栅格9处于相同深度平面，从而由单个图像而非两个单独的图像来表示。单个图像由焦点对准的栅格8中的对象和栅格9中的对象组成。另外，对其它块拍摄额外的照片，并且这些图像被组合以得到可重聚焦图像。另一方面，如果确定M×N块中的每个栅格处于不同的深度水平，并且没有两个栅格处于相同深度水平，则分别捕捉每个栅格，并且分别生成M×N个图像。 [0049] 本文的实施例目的在于基于如下假定减少照片的数量：最自然的序列在相同深度平面中有(M×N块中的)多于一个块。 [0050] 根据另一实施例，本发明提供一种根据所捕捉的场景的称为最佳焦点对准估计的深度估计技术。覆盖用户想要捕捉的整个场景的M×N个块中的每个区域和M×N个块的像素将被唯一地映射到被捕捉来描述场景的图像序列中的单个图像。(M×N个块中的)一区域可能会由于捕捉设备的任何变更或有两个对象处于不同深度而没有焦点对准。在这样的情况下，在特定块被设定为焦点对准的情况下捕捉的图像不能被假定为是用于重建重聚焦效果的准确图像。例如，块14有两个对象，即焦点对准的玩具车和明显焦点没对准的钥匙链的一部分。因此，如果仅依赖在先前部分中被捕捉系统设定为焦点对准的区域，则该图像将被标记为使钥匙链的那个部分焦点对准的图像。但是显然，与焦点对准的区域20相对应的图像对于表示这些区域将更准确。 [0051] 另外，本文提供的焦点估计假定所捕捉的图像序列具有用于对于任意给定区域选择至少一个图像来焦点对准的所有信息。当提供了图像集时对于考虑中的区域渲染最锐利的(最佳焦点对准的)图像一直是一个挑战。考虑中的区域与在先前部分中提及的区域不同。典型地，考虑中的区域是基于期望的用户交互的模式来确定的。例如，如果用户将使用触摸界面操作重聚焦应用，则考虑中的区域将对应于使用触摸界面的交互的平均面积。使用具有基于鼠标的界面的重聚焦应用的用户将具有甚至更精细的交互面积，从而考虑中的区域将更小。这里提出的最佳焦点对准估计技术考虑到了所有这些因素并且提出了可配置的解决方案。执行这种最佳焦点对准估计所涉及的步骤描述如下。 [0052] 首先，使用任意边缘检测操作获得所有图像的边缘图Ij，其中，jH[1，N]。例如，一个这样的边缘检测操作可以是高斯-拉普拉斯滤波技术。其次，边缘图像Ij被划分成每个大小为p×q个像素的块。令在图像中有R个区域。然后，设定考虑中的区域r＝1。接下来，对于每个图像计算给定区域r的第一阶能量。随后，对于给定区域具有最高能量的图像被选择用于该区域的深度索引(μr)。 [0053] [0054] 然后，将考虑中的区域递增1，即r＝r+1。每次在r递增时确定r的值以检查r是否等于R，即，图像中的区域总数。如果r的值小于或等于R，则过程被路由到为区域r+1计算第一阶能量的前一步骤，直到对于图像中的所有区域R都计算了深度索引为止。从而此技术将为图像中的每个区域提供使该区域焦点对准的图像索引。 [0055] 图4是描绘根据本发明的实施例的拍摄最优化技术的图像处理系统的框图。本文的实施例通过利用如下事实解决了检测图像中的焦点的问题：与锐利区域相比，模糊区域一般缺乏高频分量从而对随后的低通滤波不敏感。这里，使用绝对差的总和来将从原始图像获得的边缘图与从图像的经严重低通滤波的版本获得的边缘图进行比较。另外，选择性的阈值化提供了清楚地焦点对准的区域。根据图4，输入图像的亮度分量被输入到低通滤波器402。输入图像被滤波并且低通滤波器402的输出被输入到边缘检测器404a。边缘检测器404a产生边缘图：与经低通滤波的版本相对应的 额外地，输入图像也被直接馈送到另一边缘检测器404b以获得与输入图像相对应的边缘图Iedge。分别与输入图像和经低通滤波的图像相对应的两个边缘图Iedge和 被输入到二元单元406。二元单元406根据Iedge和 之间的绝对差的归一化总和产生二元图Ibin，其中， [0056] [0057] 在以上公式中，索引(x,y)表示图像中的像素并且εth表示阈值因子(凭经验设定为5)。先前部分中所定义的二元图像Ibin的每个区域或块中的总和能量被计算，并且那些低于或高于特定阈值δth的区域被阈值单元408宣布为焦点对准的区域。阈值被按经验确定以确保误报不会发生。这通过公式2给出： [0058] [0059] 在本发明的实施例中，漏掉焦点对准的区域的检测是可接受的，但误报不可接受。换句话说，漏掉对焦点对准的区域的检测还好，但将没有焦点对准的区域分类为焦点对准的区域可能导致丢失数据。有可能被捕捉来描述场景的图像中的任何一个都没有使一特定区域焦点对准，这从重聚焦的视角看是不利的。另一方面，如果区域包含有强相对边缘，则假定漏掉是可接受的。 [0060] 在本发明的实施例中，捕捉系统提供另一种用于从所捕捉的序列估计最佳焦点对准图像的方法。在此方法中，在步骤一，整个场景被分成M×N块的栅格。M和N的值是可配置的。合理估计将是所遇到的对象的典型大小，从而M＝5和N＝4按经验看起来是合理选择。在步骤二，blockNum被设定为一，其中blockNum表示将被明确设定为焦点的块。在步骤三，考虑α来描绘焦点对准的区域，并且α被设定为NULL(空)。在步骤四，与blockNum相对应的块被设定为焦点对准，并且捕捉该块的图片。在步骤五，使用上文提及的拍摄最优化技术执行对所捕捉块的预处理以确定其它焦点对准的块。并且用被检测为焦点对准的所有区域来更新α。在步骤六，blockNum被设定为blockNum+1。在步骤七，确定blockNum是否是块α的一部分。如果是，则其指示blockNum已经焦点对准，并且过程跳至步骤六。如果否，则在步骤八，确定blockNum是否小于或等于M*N。如果是，则过程跳至步骤三。如果否，则在步骤九，执行对所捕捉图像的后处理深度估计。在步骤十，所捕捉的图像与深度信息一起被打包为多媒体文件格式。 [0061] 图5是图示根据本发明的实施例的场景的基于对象的分割的快照。用此方法，采用快速场景扫描技术来检测场景中最显著的对象。这里，随机重叠块对于捕捉场景中的所有显著对象来说是足够的。显著度检测的方法在图像处理文献中广泛定义。当给定图像中的最显著区域被识别出来时，相机捕捉应用被设定为明确聚焦在这些对象中的每一个上，并且对这些对象中的每一个拍摄照片。根据图5，包括用户想要捕捉的对象的块被用X标志标注。这些块对应于图中所示出的图像的显著区域。因此，这些块中的每一个被设定为焦点并且对于这些区域中的每一个捕捉照片。这里，有五个块与显著区域相对应，从而获得包含焦点对准的用户感兴趣的对象的5个图像。 [0062] 图6是根据本发明的实施例的图像捕捉系统的框图。根据图6，输入场景被输入到实时场景分析单元602中。实时场景分析单元602将输入图像的整个场景分割成M×N块的栅格，并且将blockNum设定为等于一。这对应于实时场景分析单元602的输出。blockNum指示将被明确设定为焦点的块。实时场景分析单元602的输出被馈送到焦点设定和捕捉单元604中，其中焦点设定和捕捉单元604获得分割后的M×N块的栅格以及blockNum＝1。焦点设定和捕捉单元604然后将与blockNum相对应的块设定为焦点对准并且拍摄图片。然后焦点设定和捕捉单元604使用如上所述的拍摄最优化技术执行预处理以确定焦点对准的其它块。焦点设定和捕捉单元604的输出被馈送到焦点更新单元606。焦点更新单元606检测与blockNum相对应的块是否已经焦点对准。如果是，则焦点更新单元606将blockNum的值递增 1。然后，确定blockNum的值以检查其是否小于或等于M×N的值。如果blockNum被确定为小于或等于M×N的值，则相应块被设定为焦点并且被拍摄图片。例如，考虑在将blockNum的值递增1之后，blockNum的值是13。在这种情况下，确定blockNum的值是否<＝M×N。这里，M×N的值是20。因此，blockNum的值小于M×N的值，即13<20。因此，块13被设定为焦点并且被拍摄图片。进行此过程直到M×N块的栅格中的所有块都被设定为焦点并被拍摄照片。一旦M×N栅格的所有块都完成，则焦点设定和捕捉单元604的输出就被馈送到后处理深度分析单元 608。后处理深度分析单元608如上所述根据所捕捉的场景执行最佳焦点对准估计。然后，后处理深度分析单元608的输出被馈送到打包单元610，在那里捕捉的图像与深度信息一起被打包为多媒体文件格式。 [0063] 图7是描绘根据本发明的示例性实施例的利用不同的照度来重聚焦的图像的快照。在图7中，检测对视场中具有相关联的照度水平的感兴趣的对象的重聚焦动作。然后，基于检测来变化该对象的相关联的照度水平。图(a)图示了焦点被设定到窗户的图像，而图(b)图示了焦点在靠垫上的图像。这里，窗户和靠垫处于相同的深度水平。因此，用户能够变化所捕捉图像的照度以突出其感兴趣的对象。 [0064] 图8是描绘根据本发明的示例性实施例的全景模式中的重聚焦的图像的快照。在图8中，用户基于拍摄最优化技术拍摄重聚焦照片，其中可重聚焦图像集在全景模式中捕捉。在所捕捉的全景图像中可对与视场相关联的每个对象个别聚焦。在此图中，全景图像包括诸如标记笔、鼠标、线缆和CPU的对象。用户可将焦点改变到全景图像中任何感兴趣的对象上。例如，用户可根据其兴趣对笔或线缆或者监视器重聚焦。此外，用户可实现重聚焦以使得在以后的阶段可对每个对象个别聚焦。 [0065] 图9是描绘根据本发明的示例性实施例的重聚焦图像中的HDR效果的图像的快照。在图9中，可重聚焦图像集在高动态范围(HDR)模式中捕捉，其中，可在HDR模式中在所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。在此模式中，相机以不同曝光水平捕捉像ERT板、窗户等等的每个对象的2-3张照片以给出HDR效果。例如，相机在ERT板和背景建筑两者焦点对准并且处于相同曝光水平的情况下捕捉第一张照片。在另一实施例中，然后相机捕捉另一张照片，其中ERT板处于较低曝光水平，而背景建筑处于较高曝光水平。 [0066] 根据示例性实施例，考虑具有7×5的强力自动聚焦支架的图像。因此，有35个块。为了模拟重聚焦，其需要拍摄35张照片。此外，为了模拟重聚焦和HDR，对于每个块需要处于不同曝光的照片，从而要求105张照片。使用智能重聚焦捕捉，其仅要求每个场景5张照片。 因此，为了重建具有HDR效果的重聚焦，我们总共要求5×3即15张照片。考虑到照度变动，这个数量可进一步减小。 [0067] 根据本发明的实施例，具有HDR效果的重聚焦也可由不具有专门HDR模式的图像捕捉设备创建。 [0068] 根据另一实施例，本发明还提供了一种用于在三维(3-D)模型中从多个位置捕捉可重聚焦图像集以渲染所捕捉的可重聚焦图像集的方法，其中，可在3-D模型中在所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。 [0069] 本文论述的图像捕捉系统的实施例可被并入到具备有自动聚焦能力的相机的大部分现有设备上。硬件无关性给应用提供了相对于重聚焦效果将任何现有相机转换成类光场相机的能力。本文的捕捉系统提供了基本捕捉框架和可从各种视角、质量、捕捉时间、处理时间和系统资源要求方面增强用户体验的各种优化。本文的实施例详述了可用来重建重聚焦效果的所有成本有效的技术。 |
||
QQ群二维码
意见反馈
意见反馈