技术领域
[0001] 本
发明涉及使用导入的深度信息（imported depth information）来使图像编辑和视频编辑应用的选择和掩蔽功能自动化。
背景技术
[0002] 精确掩蔽或选择图像或
视频帧的不规则形状区域的能
力是图像编辑和视频编辑应用的基本要求。
发明内容
[0003] 本发明的第一
实施例提供一种使用导入的深度信息来掩蔽或选择第一数字图像的区域的方法，该方法包括：
[0004]
计算机系统的处理器，其接收与第一数字图像相关联的深度值的第一集合，其中第一数字图像包括
像素的第一集合，并且其中深度值的第一集合的第一深度值与像素的第一集合的第一像素相关联；
[0005] 处理器接受选择像素的第一集合的第一子集的命令；
[0006] 响应于该命令，处理器选择第一像素作为第一深度值的函数。
[0007] 本发明的第二实施例提供一种
计算机程序产品，其包括计算机可读
硬件存储设备，该计算机可读硬件存储设备具有存储在其中的计算机可读程序代码，该程序代码配置为由计算机系统的处理器执行，以实施使用导入的深度信息来掩蔽或选择第一数字图像的区域的方法，该方法包括：
[0008] 处理器接收与第一数字图像相关联的深度值的第一集合，其中第一数字图像包括像素的第一集合，并且其中深度值的第一集合的第一深度值与像素的第一集合的第一像素相关联；
[0009] 处理器接受选择像素的第一集合的第一子集的命令；响应于该命令，处理器选择第一像素作为第一深度值的函数。
[0010] 本发明的第三实施例提供包括处理器、耦接到该处理器的
存储器以及耦接到该处理器的计算机可读硬件存储设备的计算机系统，该存储设备包含配置为经由该存储器通过该处理器运行的计算机代码，以执行使用导入的深度信息的图像选择和掩蔽的方法，该方法包括：
[0011] 处理器接收与第一数字图像相关联的深度值的第一集合，其中第一数字图像包括像素的第一集合，并且其中深度值的第一集合的第一深度值与像素的第一集合的第一像素相关联；
[0012] 处理器接受选择像素的第一集合的第一子集的命令；
[0013] 响应于该命令，处理器选择第一像素作为第一深度值的函数。
[0014] 本发明的第四实施例提供一种用于支持计算机
基础结构的处理，该处理包括为在计算机系统中创建、集成、托管、维护和部署计算机可读程序代码中的至少一个提供至少一个支持服务，其中与该计算机系统结合的程序代码配置为执行使用导入的深度信息的图像选择和掩蔽的方法，该方法包括：
[0015] 计算机系统的处理器接收与第一数字图像相关联的深度值的第一集合，其中第一数字图像包括像素的第一集合，并且其中深度值的第一集合的第一深度值与像素的第一集合的第一像素相关联；
[0016] 处理器接受选择像素的第一集合的第一子集的命令；
[0017] 响应于该命令，处理器选择第一像素作为第一深度值的函数。
附图说明
[0018] 图1示出根据本发明的实施例可以用于执行使用导入的深度信息的图像选择和掩蔽的计算机系统和计算机程序代码的结构。
[0019] 图2是根据在此呈现的本发明的实施例概述用于使用导入的深度信息的图像选择和掩蔽的方法的
流程图。
具体实施方式
[0020] 本发明提供一种用于使用导入的深度信息来选择或掩蔽编辑的图像和视频帧的区域的方法、计算机系统、计算机程序产品和服务。
[0021] 在本文中，动词“掩蔽”（mask）和“选择”可互换地用于描述勾画显示图像的区域的步骤，并且名词“掩蔽”和“选择”可互换地用于描述这样的勾画区域。如本领域技术人员已知的，图像编辑器的或视频编辑器的掩蔽特性和选择特性之间的功能差异与本发明的方法不相关。
[0022] 在此对数字“图像”引用应当解释为包括对数字视频剪辑的帧引用，并且对“图像编辑”应用的引用应当解释为包括对数字视频编辑应用的引用。对“数字相机”的引用应当类似地被解释为包括对数字
照相机和数字摄像机二者的引用。
[0023] 使用图像编辑或视频编辑
软件应用来掩蔽或选择图像或视频帧的区域可以是耗时的，但是掩蔽和选择是经常必须以辛苦而得的精确度来执行的重要和常用编辑功能。掩蔽或选择图像的面积是必要的，以将该区域识别为许多类型的编辑功能的目标或者在特定的编辑层或者α通道内区分图像区域。
[0024] 图像编辑应用可以包括手动掩蔽或选择工具，其让用户选择二维数字图像包括的像素的子集。这种手动工具可以要求用户通过在屏幕上的区域周围手画边界来选择子集。
[0025] 图像编辑应用可以进一步包括自动掩蔽或者选择工具，其基于位于区域内或附近的像素的特征自动地在该区域周围画出边界。这样的自动选择工具的示例包括，但不限于，配置为选择与落入规定的值的绝对或相对范围的
亮度、光度或
色调值相关联的连续或非连续区域内的像素的工具。在一些情况下，用户可以通过手动地点击屏幕上的参考像素或者参考像素集合
指定参考值，当选择像素时其它像素的该相关联的值与其相比较。
[0026] 本发明通过将深度值的集合嵌入图像中，有助于图像编辑应用更准确地选择像素以包括在这样的选择中。这些深度值可以类似于由数字相机的多点对焦特性生成的“焦点”深度数据，并且在一些实施例中，可以与数字图像一起从这样的相机中导入。深度值也可以通过多种其它机制标识。数字静态照相机，数字视频照相机或者其它类型的数字成像设备可以，例如，通过使用诸如雷达、声纳、检测放置在被摄体的
传感器、3D数字模型或者
运动检测来标识主体的深度距离。每个深度值可以标识沿垂直于二维图像的表面平面（“相机
位置”）的轴在该平面之后的距离。这样的深度距离可以与图像包括的像素的子集相关联，并且可以表示沿着由相关联的像素的子集表示的对象的该垂直“深度”轴的位置。换句话说，“深度值”描述由二维图像的区域表示的三维对象处于距相机位置多远。
[0027] 深度值可以组织为称为“
深度图”的数据结构，编辑应用可以将其作为元数据构造和嵌入到正在被编辑的图像中。这样的深度图可以包括允许图像编辑程序选择像素是否应当被包括在选择内的深度信息，其中该选择作为该像素全部或者部分代表的对象的被摄体到图像平面距离的函数。深度图数据结构的具体格式依赖于实现，并且可以包括可以允许存储和
访问深度图包括的深度值的任何数据结构。
[0028] 在一些实施例中，这样的嵌入深度图可以允许图像编辑应用仅仅估计初始选择边界，要求手动调整以更精确地勾画期望的选择。在其他实施例中，图像编辑应用可以包括有助于用户精心调整选择边界的附加的隔离特性，或者可以组合深度值与其他次要值，以更智能地或者更准确地选择像素。
[0029] 这些次要值可以包括，但不限于：与像素的亮度、色调、
饱和度或光泽度相关联的值；像素的位置处的α通道的不透明度、亮度的值或者其它特性；以及在该像素位置的先前定义的掩蔽的不透明度、亮度的值或者其它特性。一些实施例中，应用可以尝试检测深度值的图案（pattern）和其他类型的值的图案，以便更智能地或者更准确地将图像的区域与它们表示的三维对象相关联。
[0030] 图1示出根据本发明实施例可以用于实现使用导入的深度信息的图像选择和掩蔽的计算机系统和计算机程序代码的结构。图1引用对象101到115。
[0031] 本发明的各方面可以采取完全硬件实施例的形式、完全软件实施例（包括
固件、驻留软件、微代码等）的形式，或者组合软件和硬件方面的实施例的形式，本文一般称为“
电路”、“模
块”或“系统”。此外，在一个实施例中，本发明可以采取包含具有存储在其中的计算机可读程序代码的一个或多个物理有形（例如，硬件）计算机可读介质或设备，该计算机程序代码配置为由计算机系统的处理器执行，以实现本发明的方法。在一个实施例中，存储该程序代码的物理有形计算机可读介质和/或设备（例如，硬件介质和/或设备）一般不包括
信号，特别地不包括暂时信号，该程序代码执行本发明的方法。
[0032] 可以采用一个或多个计算机可读的介质或设备的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或
半导体系统、装置或器件，或者任意以上的适当组合。计算机可读存储介质或设备的更具体的例子（非穷举的列表）包括以下：电连接、便携式计算机磁盘、
硬盘、
随机存取存储器（RAM）、
只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、
射频识别标签、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何可以包含或存储程序的物理有形介质或硬件设备，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0033] 计算机可读的信号介质可以包括具有其中实现计算机可读程序代码的传播数据信号，例如，广播无线信号或通过以太网
电缆传播的数字数据。这样的传播信号可以采取多种形式的任一，包括——但不限于——电磁信号、光脉冲、载波信号的调制，或上述的任意组合。
[0034] 计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线通信介质、光纤电缆、导电电缆、射频或红外电磁传输等等，或者上述的任意合适的组合。
[0035] 用于执行本发明的各方面的操作的计算机程序程序代码可以以一种或多种程序设计语言的任意组合来编写，该程序设计语言包括但不限于如Java、Smalltalk、C++的程序设计语言，还包括一种或多种脚本语言，包括但不限于如JavaScript、Perl和PHP的脚本语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的
软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或
服务器上执行。在后者的情形中，远程计算机可以通过任意种类的网络连接到用户计算机，网络包括局域网(LAN)、广域网(WAN)、内联网、
外延网、或者可以包括LAN、WAN、内联网和外延网的组合的企业网，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
[0036] 以上和下面参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或
框图描述本发明的各方面。将理解，图1-2的流程图、框图的每个方框，以及流程图和/或框图中的各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程
数据处理装置的处理器，从而生产出一种机器，以便这些计算机程序指令通过计算机或其它可编程数据处理装置的处理器执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
[0037] 也可以把这些计算机程序指令存储在能使得计算机、其它可编程数据处理装置或其他设备以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的方框中规定的功能/操作的指令的制造品（manufacture）。
[0038] 也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
[0039] 图1-2的流程图和/或框图显示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表模块、程序段或代码的一部分，其中该模块、程序段或代码的一部分包含一个或多个用于实现一个或多个规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续示出的方框实际上可以基本并行地执行，或者它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0040] 在图1中，计算机系统101包括通过一个或多个I/O
接口109耦接到一个或多个硬件数据存储设备111以及一个或多个I/O设备113和115的处理器103。
[0041] 硬件数据存储设备111可以包括但不限于磁带
驱动器、固定或可移除硬盘、光盘、存储装配移动设备、以及固态随机存取或只读存储设备。I/O设备可以包括但不限于输入设备113（诸如，
键盘、
扫描仪、手持远程通信设备、触摸敏感显示器、写字板、
生物测定读取器、游戏杆、
跟踪球、或计算机
鼠标）、以及输出设备115，其可以包括但不限于
打印机、绘图仪、
移动电话、显示器、或发声设备。数据存储设备111、输入设备113和输出设备115既可以位于本地，也可以位于远程地点，它们通过网络接口从该远程地点连接到I/O接口109。
[0042] 处理器103也可以连接到一个或多个存储器设备105，其可以包括但不限于动态RAM（DRAM）、静态RAM（SRAM）、可编程只读存储器（PROM）、现场可编程
门阵列（FPGA）、安全数字存储器卡、SIM卡、或其他类型的存储器设备。
[0043] 至少一个存储器设备105包含存储的计算机程序代码107，该计算机程序代码107是包括计算机可执行指令的计算机程序。存储的计算机程序代码包括这样的程序，该程序根据本发明实施例执行用于使用导入的深度信息的图像选择和掩蔽的方法，并且可以执行本
说明书中描述的其他实施例，包括图1-2中图示的方法。数据存储设备111可以存储计算机程序代码107。存储设备111中存储的计算机程序代码107配置为经由存储设备105由处理器103执行。处理器103执行存储的计算机程序代码107。
[0044] 本发明公开了一种用于支持计算机基础结构、集成、托管、维护和部署计算机可读代码到计算机系统101中的过程，其中与计算机系统101结合的代码能够执行用于使用导入的深度信息的图像选择和掩蔽的方法。
[0045] 本发明的任意组件可以由服务提供商创建、集成、托管、维护、部署、管理、服务、支持等，该服务提供商提供以便利用于使用导入的深度信息的图像选择和掩蔽的方法。因此本发明公开了一种用于部署或集成计算基础结构的过程，包括将计算机可读代码集成到计算机系统101中，其中与计算机系统101结合的代码能够执行用于使用导入的深度信息的图像选择和掩蔽的方法。
[0046] 一个或多个数据存储单元111（图1中未示出的一个或多个附加存储器设备）可以用作在其中实现计算机可读程序和/或在其中存储其他数据的计算机可读硬件存储设备，其中计算机可读程序包括存储的计算机程序代码107。通常，计算机系统101的计算机程序产品（或者，可替代地，制造品）可以包括该计算机可读硬件存储设备。
[0047] 图2是概述根据在此呈现的本发明的实施例的用于使用导入的深度信息的图像选择和掩蔽的方法的流程图。图2包括步骤201-207。
[0048] 在步骤201，图像编辑软件应用接收与数字图像相关联的深度值的集合，其中该图像包括像素的集合，并且其中应用正在被用于编辑图像或将用于编辑图像。
[0049] 每个深度值与图像包括的像素的集合的子集相关联。深度值可以是在通过相关联的像素的子集在图像中全部或者部分地表示的对象的图像的二维表面平面之后的距离的函数。例如，如果摄影图像描绘当拍摄图像时距相机20英尺的
高尔夫球，则20英尺的深度值可以与表示高尔夫球的图像的全部或部分区域相关联。在一些实施例中，该深度值可以是相对于20英尺的值或可以是20英尺的值的另一函数。
[0050] 在各实施例中，图像可以与一个深度值相关联或者与多个深度值相关联，并且深度值可以与图像包括的像素的集合的非零连续或非连续子集相关联。深度值还可以与图像包括的像素的集合的非零或非连续子集表示的二维或三维对象相关联。
[0051] 与图像相关联的深度值、与图像相关联的深度值的数量、以及与每个深度值相关联的像素的选择可以通过创建图像的装置或软件程序的操作确定，通过可以用于编辑图像的图像编辑应用确定，或者通过将深度值、深度值的数量或相关联像素的选择识别为图像的特征的函数的插入技术或过程确定。
[0052] 本发明的方法不包括通过其识别深度值、通过其选择与图像相关联的深度值的数量、或者通过其选择像素的子集以与深度值相关联的机制。执行这些功能中的一些的机制可以包括但不限于基于谱分析和多点对焦技术或者下面描述的其它技术的方法，这些机制可以集成到数字照相机或数字摄像机中，或者一些其它的数字-图像装置或者软件，并且可以在创建图像的时间之前、之后或者同时执行。在一些情况下，这样的机制可以对识别图像的区域的一个或多个多点焦点或者类似实体执行数学计算，以便对于图像包括的像素的集合的子集计算深度值，其中像素的每个子集与一个这样的焦点、相似实体或深度值相关联。
[0053] 本发明的实施例不包括通过其可以由本发明的实施例接收的深度值的机制。
[0054] 在一些实施例中，步骤203可以将与图像相关联的深度值组织为称为“深度图”的数据结构。该深度图可以表示沿与图像的二维平面
正交的深度轴的、图像中的像素的子集或者图像中的像素的子集表示的对象的“深度距离”。这样的深度距离可以表示图像中表示的三维对像距相机位置的绝对或相对距离。在一些实施例中，该步骤由图像编辑应用执行。在其他实施例中，该步骤可以由在创建图像的时间到由图像编辑应用编辑图像的时间之间处理图像的其他硬件或软件实体执行。在另外的其他实施例中，该步骤被跳过，并且在步骤
201接收的深度值不被组织为数据结构。
[0055] 步骤205将在步骤203创建的深度图嵌入拍摄图像。该嵌入可以以关于图像表示的各对象中的三维空间关系的信息增强二维图像。在一些实施例中，该步骤由图像编辑应用执行。在其他实施例中，该步骤可以由从创建图像时到由图像编辑应用编辑图像时处理图像的其他硬件或软件实体执行。
[0056] 在不执行步骤203的实施例中，可以将离散的接收的深度值而非深度图数据结构嵌入到图像中。
[0057] 在步骤207，当被指示掩蔽或选择图像的区域时，图像编辑应用参考深度图以便选择哪些像素包括在掩蔽或选择中。该选择可以是与图像中像素的子集相关联的
深度图像的深度值的子集的函数，并且可以作为诸如亮度、色调或
颜色的其它参数的唯一函数代替或补充选择像素的其他方式。
[0058] 例如，如果图像包括在保龄
球道中以标准三
角配置排列的10个保龄球瓶的表示，则表示每个保龄球瓶的像素可以具有类似颜色、色调和亮度值。因此图像编辑应用不能使用颜色、色调或亮度值来自动掩蔽或选择仅表示最接近的“头”瓶的图像的区域，因为那些的值不会区分表示该一个瓶的像素与表示更远的瓶的像素。
[0059] 然而，如果图像的仅表示头瓶的区域与深度值相关联，本发明的实施例可以能够自动掩蔽该区域，该深度值与图像的表示其他更远处的瓶的区域的深度值可区分。这里，深度值提供附加信息，像素选择可以基于该附加信息。
[0060] 与图像相关联的深度值的数量可以是符合本发明的实施例的自动掩蔽或选择功能可以被执行的相对
精度的指示器。将图像仅与少数深度值相关联可以提供图像的大区域表示的对象深度距离的粗略近似。但是将图像的每个像素与对应的深度值相关联将允许基于图像表示的对象的深度距离的像素精确的自动掩蔽和选择。实际的实施例可以将图像与落入这两个极端之间的深度值的数量相关联。
[0061] 在一些实施例中，自动像素选择可以执行为绝对深度距离的函数。在我们较早的保龄瓶说明中，如果第二行中的所有瓶位于图像表面平面之后1米，则用户可以通过指示图像编辑应用选择具有1米深度距离的所有像素来选择选择该行的瓶。在一些实施例中，用户可以能够设置容许值或深度距离的范围，例如这可以允许用户指示编辑应用选择与0.75-1.25米范围内的深度距离相关联的像素或图像区域，或者选择与具有10%的容差的
1.0米的深度距离相关联的像素或图像区域。
[0062] 在其他实施例中，自动像素选择可以由图像的深度图包括的深度值的另一函数确定。在我们的保龄球瓶示例中，图像编辑器可能通过在与头瓶的表示相关联的像素周围自动创建掩蔽，响应于用户选择该像素，其中掩蔽中的每个像素与作为选择的像素的深度值的函数的深度值相关联。这样的函数可能包括但不限于掩蔽具有在用户选择的像素的某一百分比内的深度值、具有在大于或小于用户选择的像素的绝对距离的范围内的深度值、或者具有满足依赖于多个参数的条件集的深度值的像素，其中该多个参数可以包括但不限于与像素的亮度、色调、饱和度、光泽度或者深度相关联的值；像素的位置处的α通道的不透明度、亮度的值或者其它特性；以及在该像素位置的先前定义的掩蔽的不透明度、亮度的值或者其它特性。
[0063] 在一些实施例中，用户可以指示应用掩蔽满足更复杂的条件或函数、或者以更复杂的方式与用户选择的像素相关的图像中的所有像素。在其他实施例中，仅当所有掩蔽的像素的集合在用户选择的像素的周围形成单个连续区域时，用户可以指示应用掩蔽满足更复杂的条件或函数、或者以更复杂的方式与用户选择的像素相关的图像中的像素。
[0064] 在一个示例中，应用可以通过首先识别如深度距离、色调或颜色的参数的值的图案然后关联一个或更多这种参数的值的图案，以识别和隔离图像的区域表示的三维对象。这样的对象可能包括但不限于被摄体的面部、衣物、或者站在
建筑物前面的人。
[0065] 在另一实施例中，图像编辑应用可以将在此描述的方法同时延伸到两个或更多图像。这样的延伸可以允许应用识别两个或更多图像共有的对象，使得更精确地缝合两个或更多图像到单个全景图像中。深度图提供的信息也可以用于对两个或更多图像进行可能方便无缝缝合的其他调整，诸如调整每个图像的透视以便表示多个图像共有的对象的选择区域呈现一致的大小和形状。
[0066] 在一些实施例中，图像编辑应用可以通过使用一个或多个外部机构创建并且导入该应用的一个或多个深度图，来执行本发明的方法的各步骤。这样的外部设备可以包括但不限于数字静态照相机、数字摄像机、其它类型的数字图像设备以及软件应用。
[0067] 在其他实施例中，本发明的方法可以延伸到视频编辑应用，其中以上描述的技术可以对视频剪辑的每个帧执行，并且其中这些步骤的结果识别各像素子集或不同帧的各区域之间的关系。这样的实施例的应用可以执行包括但不限于使黑白电影彩色化、随着对象在帧周围移动改变对象的
对比度的功能。
[0068] 例如，可以通过调整视频帧序列的一个或者多个帧的自动选择的选择或者掩蔽的区域的一个或者多个像素的色调、饱和度、颜色或其它参数来进行彩色化，其中每个彩色化的帧的选择或者掩蔽的区域被选择作为与彩色化的帧相关联的接收的深度值的集合的函数。这里，本发明的方法可以用来标识和分离视频帧序列中的多个帧所共有的三维对象。这样的彩色化可以用在包括但不限于将黑白的画面转换为彩色、改变在屏幕上移动的三维对象的颜色或者通过调整场景的外观照明来增强场景的氛围的应用中。
[0069] 这些示例和图1-2为了说明的目的描述本发明的实施例，但是许多
修改和变化对本领域的技术人员是显然的。在此描述的方法的步骤可以以不同的顺序执行，或者以较小的方式变化。因此，所附
权利要求书意图包含所有这样的修改和变化，如同落在本发明的真实精神和范围内。
