使用胶片颗粒遮蔽压缩伪影专利检索-实施例专利权专利检索查询-专利查询网

使用胶片颗粒遮蔽压缩伪影

阅读：123发布：2021-06-10

专利汇可以提供使用胶片颗粒遮蔽压缩伪影专利检索，专利查询，专利分析的服务。并且描述了与处理视频数据相关联的系统、方法和其它实施例。根据一个实施例，一种设备包括视频处理器(105)，其用于通过至少识别数字视频流的图像内的面部边界来处理数字视频流。组合器(115)基于面部边界有选择地向图像应用数字胶片颗粒。，下面是使用胶片颗粒遮蔽压缩伪影专利的具体信息内容。

权利要求

1.一种处理数字视频数据的设备(100)，包括：
视频处理器(105)，其用于通过至少识别经解压缩的数字视频流的图像内的面部边界来处理所述数字视频流；以及
胶片颗粒生成器(215)，其用于生成与所述面部边界内的像素值的颜色相关的数字胶片颗粒，其中基于在所述面部边界中找到的当前像素值动态生成所述数字胶片颗粒；
组合器(115)，其基于所述面部边界有选择地向所述图像应用所述数字胶片颗粒。
2.根据权利要求1的设备，其中所述组合器(115)被配置为向所述数字视频流中的红色、绿色和蓝色通道应用所述数字胶片颗粒。
3.根据权利要求1的设备，其中所述组合器(115)被配置为通过将所述数字胶片颗粒与处于所述面部边界内的像素值进行组合来修改所述图像，而并不对所述面部边界之外的区应用所述数字胶片颗粒。
4.根据权利要求1的设备，进一步包括胶片颗粒生成器(215)，其用于生成具有大于一个像素宽度的大小的所述数字胶片颗粒。
5.根据权利要求1的设备，其中所述视频处理器包括：
肤色检测器(220)，其用于从所述图像中的像素确定肤色值以识别与面部区域相关联的脸部的部分；以及
脸部检测器(110)，其被配置为确定所述面部边界，所述面部边界是所述面部区域的边界，其中所述面部边界被至少部分地基于所述肤色值而进行调整。
6.一种处理数字视频数据的装置(200)，包括：
胶片颗粒生成器(215)，其用于生成数字胶片颗粒；
脸部检测器(110)，其被配置为接收经解压缩的视频数据流(211)并且从所述视频数据流中的图像确定脸部区域；以及
组合器(115)，其用于将所述数字胶片颗粒在所述脸部区域内应用于所述视频数据流中的图像，
其中所述胶片颗粒生成器(215)被配置为生成与所述脸部区域内的像素值的颜色相关的所述数字胶片颗粒，以及其中基于在所述脸部区域中找到的当前像素值动态生成所述数字胶片颗粒。
7.根据权利要求6的装置，其中所述装置被配置为向所述数字视频流中的红色、绿色和蓝色通道应用所述胶片颗粒。
8.根据权利要求6的装置，其中所述胶片颗粒生成器被配置为使用来自所述视频数据流的红色、绿色和蓝色参数生成所述数字胶片颗粒。
9.根据权利要求6的装置，其中所述胶片颗粒生成器(215)被配置为生成与所述视频数据流的像素值相关的噪声值的遮蔽，其中所述遮蔽表示所述数字胶片颗粒。
10.根据权利要求6的装置，其中所述脸部检测器(110)被配置为生成表示图像内的脸部区域的边界的边框；并且
其中所述组合器(115)基于所述边框应用所述数字胶片颗粒。
11.根据权利要求6的装置，其中所述脸部检测器(110)包括：
肤色检测器(220)，其用于从所述图像中的像素确定肤色值以识别脸部的部分；并且其中所述脸部检测器(110)被配置为确定所述脸部区域的边界，其中所述边界被至少部分地基于所述肤色值而进行调整。
12.根据权利要求6的装置，其中所述组合器(115)被配置为将所述数字胶片颗粒应用于所述脸部区域内的所述图像，而并不对所述脸部区域之外的区应用所述数字胶片颗粒。
13.根据权利要求6的装置，进一步包括压缩伪影缩减器(210)，其被配置为：
接收非压缩形式的所述视频数据流；
对所述视频数据流进行修改以减少至少一种类型的压缩伪影；并且
其中所述装置包括用于将经修改的视频流输出到所述胶片颗粒生成器(215)、所述脸部检测器(110)和所述组合器(115)的信号路径。
14.一种处理数字视频数据的方法，包括：
通过至少限定(310)经解压缩的数字视频流的图像内的脸部区域来处理(305)所述数字视频流；
生成与所述脸部区域内的像素值的颜色相关的数字胶片颗粒，其中基于在所述脸部区域中找到的当前像素值动态生成所述数字胶片颗粒；以及
通过至少部分基于所述脸部区域应用所述数字胶片颗粒来修改(315)所述数字视频流。
15.根据权利要求14的方法，其中所述胶片颗粒包括应用于所述数字视频流中的红色、绿色和蓝色通道的颜色值。
16.根据权利要求14的方法，进一步包括使用来自视频数据流的处于所述脸部区域内的像素值的肤色值生成所述数字胶片颗粒。
17.根据权利要求14的方法，其中所述数字胶片颗粒在所述脸部区域内被应用于所述图像而不将所述数字胶片颗粒应用于所述脸部区域之外的区。
18.根据权利要求14的方法，进一步包括从肤色颜色值生成所述数字胶片颗粒。
19.根据权利要求14的方法，其中限定所述脸部区域包括：
从所述图像中的像素确定肤色值以识别脸部的部分；以及
至少部分地基于所述肤色值对所述脸部区域的边界进行调整。

说明书全文

使用胶片颗粒遮蔽压缩伪影

[0001] 相关申请的交叉引用

[0002] 本申请要求于2010年1月15日提交的序列号61/295,340的美国临时申请的权益，其全文通过引用结合于此。

背景技术

[0003] 存储设备和/或通信信道中的带宽限制要求压缩视频数据。压缩视频数据导致了图像中的细节和纹理的丢失。压缩率越高，视频中被去除的内容就更多。例如，存储未压缩的90分钟长的动态图像长片(例如，电影)所需的存储器量通常大约是90GB。然而，典型地，DVD介质具有4.7GB的存储容量。因此，将完整的电影存储到单个DVD上要求20∶1量级的高压缩比。数据被进一步压缩以在相同的存储介质上容纳音频。例如，通过使用MPEG2压缩标准，可以实现相对高的压缩比。然而，当电影被解码和回放时，经常可见如方块效应和蚊影噪声的压缩伪影。多种类型的空间和时间伪影是经变换的压缩数字视频(即，MPEG-2、MPEG-4、VC-1、WM9、DIVX等)的特征。伪影可以包括等高线(特别是在平滑的亮度或色度区域中明显)、方块效应、蚊影噪声、运动补偿和预测伪影、临时跳动(temporal beating)和环状伪影。

[0004] 在解压缩之后，某些解码块的输出使得周围的像素表现为一起呈中间色并且看上去像更大的块。随着显示设备和电视机变得更大，方块效应和其它伪影变得更为明显。发明内容

[0005] 在一个实施例中，一种设备包括视频处理器，其用于通过至少识别数字视频流的图像内的面部边界来处理数字视频流。该设备还包括组合器以基于面部边界有选择地向图像应用数字胶片颗粒。

[0006] 在一个实施例中，一种装置包括用于生成数字胶片颗粒的胶片颗粒生成器。脸部检测器被配置为接收视频数据流并且从视频数据流中的图像确定脸部区域。组合器在脸部区域内对视频数据流中的图像应用数字胶片颗粒。

[0007] 在另一个实施例中，一种方法包括通过至少限定数字视频流的图像内的脸部区域来处理数字视频流；以及至少部分基于脸部区域通过应用数字胶片颗粒来修改数字视频流。附图说明

[0008] 结合于说明书中并且构成其一部分的附图图示了本公开的各种系统、方法和其它实施例。将要意识到的是，在图中所图示的元素边界(例如框、框的分组或其它形状)表示边界的一个示例。在一些示例中，一个元素可以被设计为多个元素或者多个元素可以被设计为一个元素。在一些实施例中，被示为另一个元素的内部组件的元素可以被实施为外部元素，反之亦然。此外，元素可以不按比例绘制。

[0009] 图1图示了与处理数字视频数据相关联的装置的一个实施例。

[0010] 图2图示了图1的装置的另一个实施例。

[0011] 图3图示了与处理数字视频数据相关联的方法的一个实施例。

具体实施方式

[0012] 在视频压缩、解压缩和去除压缩伪影的处理中，视频流经常会丢失看起来自然(natural-looking)的外观并且相反地可获得不调和(patchy)外观。通过添加一些胶片颗粒(例如，噪声)，可以使得视频流看上去更加自然并且令人类观众更为满意。添加胶片颗粒还可以对图像的看起来不调和的区提供更具纹理的外观。当视频流经过过度压缩时，其会在诸如人脸之类的应当具有纹理的地方丢失大量细节。典型地，压缩处理会导致面部区域中的图像看上去扁平并因此显得不自然。对面部区域应用胶片颗粒可以减少不自然的外观。

[0013] 图1中示出了在处理视频信号时与使用胶片颗粒相关联的装置100的一个实施例。作为概述，装置100包括对数字视频流(视频输入)进行处理的视频处理器105。在该示例中，假设视频流之前被压缩并且在到达视频处理器之前被解压缩。脸部检测器110对视频流进行分析以识别视频的图像中的面部区域。例如，面部区域是图像中对应于人脸的区。面部边界也可以被确定为限定了面部区域的周界。在一个实施例中，周界由沿面部区域的边缘定位的像素所限定。组合器115随后基于面部边界有选择地对视频流应用胶片颗粒。换句话说，胶片颗粒被应用于面部边界内的像素(例如，应用于面部区域中的像素)。通过添加胶片颗粒，面部区域可以表现得看上去更加自然而不是由于压缩伪影而表现出不自然地扁平。在一个实施例中，通过仅将面部区域作为目标有选择地应用胶片颗粒，而并不将胶片颗粒应用于如由所识别的面部边界/区域所确定的其它区。

[0014] 在一些实施例中，装置100可以在电视、蓝光播放器或其它视频显示设备中使用的视频格式转换器中实现。装置100也可以被实现为在用于观看从网络下载的视频的计算设备中进行视频回放的视频解码器的一部分。在一些实施例中，装置100可以被实现为集成电路。

[0015] 参考图2，示出了包括视频处理器105的装置200的另一个实施例。输入视频流可以首先由压缩伪影缩减器(reducer)210进行处理以减少出现在视频图像中的压缩伪影。如之前所指出的，假设视频流之前被压缩和解压缩。视频流沿信号路径211、212和213分别输出到视频处理器105、组合器115和胶片颗粒生成器215。如以上所说明的，由视频处理器105所生成的面部边界对组合器115进行控制以将来自胶片颗粒生成器215的胶片颗粒应用于视频流中处于脸部边界内的区域。显然，对于包括多个脸部的图像可以识别出多个面部边界。

[0016] 关于压缩伪影缩减器210，在一个实施例中，压缩伪影缩减器210接收未压缩形式的视频数据流并且对该视频数据流进行修改以减少至少一种类型的压缩伪影。例如，可以使用某些环路(in-loop)和后处理算法来减少方块效应、蚊影噪声和/或其它类型的压缩伪影。方块效应伪影是在压缩的视频信号中出现为异常大的像素块的失真。也被称作“宏块”，其可能在视频编码器无法赶上所分配带宽时出现。典型地，其在快速运动序列或迅速画面改变时可见。当使用利用基于块的编码的量化时(如JPEG压缩的图像中)，会出现若干类型的伪影，诸如环形、等高线、多色调分色、沿曲线边缘的阶梯噪声、“繁忙”区域中的方块效应(有时称作绗缝(quilting)或棋盘)，等等。因此，可以实施一个或多个伪影缩减算法。可以用压缩伪影缩减器210实现的伪影缩减算法的特定细节超出了本公开的范围并且将不进行讨论。

[0017] 继续参考图2，连同脸部检测器110一起，视频处理器105包括肤色检测器220。通常，脸部检测器110被配置为识别与人脸相关联的区。例如，如果可能，可以定位诸如眼睛、耳朵和/或嘴之类的某些面部特征以辅助识别脸部的区。边框被生成为限定脸部可能位于那里的面部边界。在一个实施例中，根据从典型的人类头部大小所预期的，可以使用预先选择的公差将边框从所识别面部特征扩展某些距离。边框并不必局限于方框形状，而是可以为多边形、圆形、椭圆形或者其它弯曲的或成角度的边缘。

[0018] 肤色检测器220执行像素值比较，其试图识别边框内类似于肤色颜色的像素值。例如，预先选择的与已知肤色值相关联的色调和饱和度值可以被用来定位面部边框的区之中和周围的肤色。在一个实施例中，可以在边框的周界的周围执行像素值比较的多次迭代以对其边缘进行修改从而更为准确地找到脸部的边界。因此，来自肤色检测器220的结果与脸部检测器110的结果进行组合以修改/调整面部区域的边框。经组合的结果可以提供脸部应当处于图像中哪里的更好的分类器。

[0019] 在一个实施例中，组合器115接着向由面部边框所限定的区内的视频流应用数字胶片颗粒。例如，组合器115使用与面部边框内的像素值进行组合的胶片颗粒生成遮蔽值。在一个实施例中，组合器115被配置为向视频数据流中的红色、绿色和蓝色通道应用数字胶片颗粒。脸部边框之外的区则被绕过(例如，不应用胶片颗粒)。以这种方式，视频中脸部的视觉外观会看上去更为自然并且具有更多的纹理。

[0020] 继续参考图2，胶片颗粒生成器215被配置为生成数字胶片颗粒以用于应用到视频流。在一个实施例中，基于在面部区域中找到的当前像素值动态(即时)生成胶片颗粒。因此，胶片颗粒与面部区域的内容相关并且得以被着色(例如，肤色胶片颗粒)。例如，使用来自面部区域的红色、绿色和蓝色(RGB)参数生成胶片颗粒并且随后对其进行修改、调整和/或缩放以产生噪声值。

[0021] 在一个实施例中，胶片颗粒生成器215被配置为对所要添加的颗粒大小和胶片颗粒量进行控制。例如，生成两个或更多像素宽并且具有特定颜色值的数字胶片颗粒。颜色值可以为正或负。通常，胶片颗粒生成器215利用肤色值生成表示噪声的值，该值被应用于面部区域内的视频数据流。

[0022] 在另一个实施例中，可以独立于视频数据流(例如，不依赖于视频流中的当前像素值)(随机)生成胶片颗粒。例如，可以使用预先生成的肤色值作为噪声并且作为胶片颗粒加以应用。

[0023] 在一个实施例中，胶片颗粒作为噪声生成并且被用来在视觉上遮蔽(或隐藏)视频伪影。在当前情形中，噪声被应用于如由脸部检测器110所确定的面部边框所控制的图像的面部区域。向视频添加一些类型的噪声以便进行显示的两个原因在于遮蔽数字编码伪影和/或将胶片颗粒作为艺术效果进行显示。

[0024] 与作为数字视频的特性的结构化噪声相比，胶片颗粒噪声被认为结构化程度较低。通过添加一定量的胶片颗粒噪声，可以使得数字视频看上去更加自然并且令人类观众更为满意。数字胶片颗粒被用来遮蔽数字视频中不自然的平滑伪影。

[0025] 参考图3，示出了与以上所描述的处理视频数据相关联的方法300的一个实施例。在305，方法300对数字视频流进行处理。在310，从视频确定一个或多个脸部区域。在一个实施例中，针对(多个)图像内的每个脸部识别和限定面部边界以限定对应的脸部区域。
在315，通过至少部分地基于所限定的脸部区域(或边界)向视频数据应用胶片颗粒来对数字视频流进行修改。例如，使用脸部区域和/或所识别的面部边界作为输入，胶片颗粒被应用于处于脸部区域内的像素值。用于生成胶片颗粒及其大小和颜色的各种方式可以如之前所描述的那样执行。在另一个实施例中，通过执行如之前所描述的肤色分析来调整面部边界。以这种方式，利用胶片颗粒对限定面部区域的区进行调整。

[0026] 因此，这里所描述的系统和方法使用具有胶片颗粒的视觉属性的噪声值并且将该噪声应用于数字视频中的面部区域。该噪声遮蔽了压缩的视频中可能出现的像“方块效应”和“等高线”那样的不自然平滑伪影。即使在使用非常高分辨率的数字传感器时，传统的胶片也通常产生比数字视频在审美上更为赏心悦目的外观。与数字视频的更加粗糙、平淡的外观相比，这种“胶片外观”有时被描述为更加“顺滑(creamy)和柔和”。与数字传感器的固定像素网格相比，胶片结果的这种在审美上赏心悦目的属性(至少部分地)来自于随机出现的、连续移动的高频率胶片颗粒。

[0027] 下文中包括了这里所采用的所选择术语的定义。该定义包括了落入术语范围内并且可以被用于实现方式的组分的各种示例和/或形式。示例并非意在作为限制。术语的单数和复数形式都可以在定义内。

[0028] 对“一个实施例”、“实施例”、“一个示例”、“示例”等的引用指示这样描述的(多个)实施例或(多个)示例可以包括特定的特征、结构、特性、属性、元素或限制，但是并非每个实施例或示例都必然包括该特定的特征、结构、特性、属性、元素或限制。此外，对短语“在一个实施例中”的重复使用并非必然指代相同的实施例，虽然其可以如此。

[0029] 如这里所使用的，“逻辑”包括但不局限于用来执行(多个)功能或(多个)动作和/或导致来自于另一逻辑、方法和/或系统的功能或动作的硬件、固件、存储在非瞬时介质上或者在机器上执行的指令和/或以上每一种的组合。逻辑可以包括软件控制的微处理器、离散逻辑(例如，ASIC)、模拟电路、数字电路、编程逻辑设备、包含指令的存储器设备，等等。逻辑可以包括一个或多个门、门的组合或者其它电路组件。在描述多个逻辑的情况下，可能将多个逻辑结合到一个物理逻辑中。类似地，在描述单个逻辑的情况下，可能将该单个逻辑在多个逻辑之间进行分布。这里所描述的一个或多个组件和功能可以使用一个或多个逻辑单元来实施。

[0030] 虽然出于说明的简明性的目的，所图示的方法被作为一系列方框来示出和描述。但是方法并不被方框的顺序所限制，这是因为一些方框可以按照与所示出和描述不同的顺序进行和/或与其它方框同时进行。此外，可以使用比所有所图示的方框更少的方框来实施示例方法。方框可以进行组合或者被划分为多个部分。此外，附加和/或备选方法可以采用附加的、未被图示的方框。

[0031] 对于具体实施方式或权利要求中所采用的术语“包括了”或“包括”的程度而言，其意在以类似于术语“包含”的方式来是包含性的，这是因为该术语在采用时被解释为权利要求中的过渡词。

[0032] 虽然已经通过描述示例而对示例系统、方法等进行了说明，并且已经以相当的细节对示例进行了描述，但是本申请人的意图并非将所附权利要求的范围限制或者以任意方式局限于这样的细节。显然，不可能为了对这里所描述的系统、方法等进行描述而对方法组分的每种可预见组合都进行描述。因此，该公开并不局限于所示出和描述的特定细节、表示性装置和说明性示例。因此，本申请意在包含落入所附权利要求范围内的改变、修改和变化形式。

标题	发布/更新时间	阅读量
利用经过调节的气流处理例如待孵化蛋的产品的方法以及用于实施该方法的气候室	2020-05-12	130
键盘-视频-鼠标系统以及提供和使用此系统的方法	2020-05-13	753
外汇交易的系统（实施例）	2020-05-11	293
阶层式滤波器	2020-05-12	721
无菌液体纸板包装中具有切割箔纸并折向内部的装置的螺纹盖子实施例	2020-05-12	92
例如肉和蔬菜制品或农产品的食物、饲料和食物及饲料加工机械设备的消毒或灭菌方法和实施该方法的工程设备	2020-05-12	866
调节尿酸含量的化合物、组合物及其使用方法在一些实施例	2020-05-11	1004
非四边无衬标签结构，使用方法、应用实例和实施装置	2020-05-11	867
流体喷射设备	2020-05-13	836
用于光雷达发射的方法和系统	2020-05-13	52

使用胶片颗粒遮蔽压缩伪影

使用胶片颗粒遮蔽压缩伪影

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：