技术领域
[0001] 本公开一般地涉及视频处理，并且更具体地，涉及视频内容中的边缘增强。
背景技术
[0002] 视频系统通常采用边缘增强以便改进图像锐度。边缘增强技术通常采用易受相当大过冲(overshoot)和下冲(undershoot)影响的锐化空间
滤波器，从而在得到的图像中引入“激振(ringing)”视觉伪像。减少或消除下冲和过冲的常规方法是复杂的，并且涉及很大的计算吞吐量，并且因此成本高昂，并且对于视频处理系统内的实现来说效率低。
附图说明
[0003] 参考附图，本领域的技术人员可以更好地理解本公开，并且可以明了其许多特征和优点。在不同附图中使用相同的参考标记指示类似或相同的项目。
[0004] 图1是示出了根据本公开的至少一个
实施例，采用使用非线性滤波的方向分量的自适应边缘增强的视频处理设备的方
框图；
[0005] 图2是示出了根据本公开的至少一个实施例，图1的边缘增强单元的方向滤波器单元的示例实现的图；
[0006] 图3是示出了根据本公开的至少一个实施例，图2的方向滤波器单元的瞬时改进模
块的示例实现的图；和
[0007] 图4是示出了根据本公开的至少一个实施例，用于实现图1的视频处理设备的示例系统的图。
具体实施方式
[0008] 图1-4示出了用于视频处理设备处的视频图像内的边缘增强的示例技术。在一个实施例中，四个方向滤波器单元中的每一个通过应用使用
像素窗口中的那些像素值的非线性滤波，确定相应方向(
水平、垂直、正对
角线和负对角线)的瞬时改进值，所述像素窗口以与相应方向上的选择像素共线的选择像素为中心。非线性滤波可以包括确定相应方向上的像素窗口内的共线像素之间的二阶导数近似值，并且然后以基于这些共线像素之间的一阶导数近似值的缩放值缩放二阶导数近似值，以便增加高频分量而不会很大地增加噪声。这种缩放处理的结果值是针对相应方向的方向特定的瞬时改进值。然后，这种方向特定的瞬时改进值与选择像素的原始像素值或选择像素的平滑表示进行累加，以便产生选择像素值的方向特定的增强像素值。针对四个方向中的每一个确定的瞬时改进值可与选择像素的原始像素值进行累加，以便确定该选择像素的新的增强像素值。另外，在至少一个实施例中，每个方向滤波器单元附加地可以包括过激抑止(shoot suppression)模块，其监视由方向滤波器单元产生的方向特定的增强像素值中的潜在下冲或过冲，并且在检测到下冲/过冲的情况下，提供与共线像素值的最大值(对于过冲的情况)或共线像素值的最小值(对于下冲的情况)有关的抑止像素值，以取代增强像素值。由于由方向滤波器单元执行的处理在得到的边缘增强图像中引入了高频分量，可以对增强像素值的产生流应用线性非锐化掩模，以便增强得到的锐化图像中的这些高频分量。
[0009] 图1示出了采用根据本公开的至少一个实施例的自适应多方向边缘增强的视频处理设备100。视频处理设备100包括像素窗口
缓冲器102、边缘增强模块104和输出缓冲器105。边缘增强模块104包括垂直滤波器单元106、水平滤波器单元107、正对角线滤波器单元108、负对角线滤波器单元109和累加模块110。边缘增强模块104还可以包括线性非锐化掩模(Linear Unsharp Mask，LUM)模块112。图1-3所示的视频处理设备100的各种模块的功能可被实现为
硬件、
固件、执行相应
软件的一个或多个处理器或它们的组合。为了说明，某些组件的功能可被实现为分立
电路、
专用集成电路(ASIC)、现场可编程
门阵列(FPGA)等，而某些组件的其它功能可被实现为处理系统的执行软件指令的一个或多个处理器。另外，可以在基于一组寄存器传输级(RTL)或Verilog指令设计的处理设备内实现某些或全部组件，这些组件定义该处理设备的功能，并且综合在一起以便产生该处理设备的电气和
电子设计。
[0010] 在操作中，视频处理设备100通过输入118接收输入图像数据，并且通过输出120提供得到的边缘增强视频数据。像素窗口缓冲器102缓冲输入视频数据的多个行的像素的像素数据。可以从各种来源(诸如视频
解码器输出处的
帧缓冲器)中的任意一种提供或获得像素数据。每个滤波器单元106-109配置为基于对大体围绕像素窗口缓冲器102内的选择像素的像素值的像素窗口进行的非线性滤波，为该选择像素产生相应的方向特定的瞬时改进(TI)值，从而：垂直滤波器单元106基于在垂直方向上对像素窗口的非线性滤波产生瞬时改进值TIV；水平滤波器单元107基于在水平方向上对像素窗口的非线性滤波产生瞬时改进值TIH；正对角线滤波器单元108基于在正对角线方向(例如，+45度)上对像素窗口的非线性滤波产生瞬时改进值TID+；并且负对角线滤波器单元109基于在与正对角线方向垂直的负对角线方向(例如，-45度)上对像素窗口的非线性滤波产生瞬时改进值TID-。每个瞬时改进值TIV、TIH、TID+和TID-表示选择像素在垂直、水平、正对角线和负对角线方向中的相应一个方向上的锐化增强。累加模块110将最初与选择像素相关联的原始像素值(OPV)与某些或全部方向特定的瞬时改进值TIV、TIH、TID+和TID-进行累加，以便产生选择像素的增强像素值(EPV)。然后，可以为将被边缘增强的下一个像素重复这个处理。
[0011] 如下面更详细描述的，由于滤波器单元106-109执行的瞬时改进处理的非线性属性，增强像素值的输出流可以具有新引入的高频分量。因此，在一个实施例中，LUM模块112对增强像素值的流应用各种线性非锐化掩模中的任意一种，以便控制新引入的高频分量的增益。得到的像素值流在输出缓冲器105内被缓冲(输出缓冲器105可以包括例如帧缓冲器)。由视频处理设备100产生的结果增强像素值可通过输出120作为边缘增强视频数据被提供给另一个视频处理设备(例如，显示
控制器、
编码器等)。
[0012] 图2示出了根据本公开的至少一个实施例，用于产生选择像素的瞬时改进值的方向滤波器单元200的示例实现。方向滤波器单元200对应于滤波器单元106-109中的每一个，从而滤波器单元106-109的操作根据采用的方向并且因此在非线性滤波处理中使用的这些像素值而不同。如图所示，方向滤波器单元200包括二维(2D)平滑滤波器202、瞬时改进模块204和相减模块206。方向滤波器单元200还可以包括乘法器模块208，用于以可编程的方向特定的加权值ux对得到的瞬时改进值进行加权或缩放。
[0013] 在示出的例子中，方向滤波器单元200采用的非线性滤波处理被定向到3×3像素窗口210，像素窗口210以将被增强的选择像素212为中心。选择像素212的像素值被标识为“X22”；选择像素212左边的像素和相同行上该选择像素212右边的像素的像素值被分别标识为“X21”和“X23”；选择像素212之上的行内的像素的像素值被标识为“X11”、“X12”和“X13”(从左到右)；并且选择像素212之下的行内的像素的像素值被标识为“X31”、“X32”和“X33”(从左到右)。这些像素值可以包括例如
亮度值或
色度值。
[0014] 使用3×3像素窗口的优点在于这种窗口大小涉及相对少的像素值，并且因此需要相对低的计算工作量来执行此处相对于像素窗口210描述的处理。另外，垂直、水平和+/-45度对角定向是3×3像素窗口内仅有的可能边缘定向，并且因此对于锐化处理不需要对3×3像素窗口内的潜在边缘定向的检测。然而，虽然3×3像素窗口在该特定上下文中具有这些优点，此处描述的处理不局限于这种特定的窗口大小，而是可以使用此处提供的指导被扩展到使用各种像素窗口大小中的任意一种，并且不脱离本公开的范围。
[0015] 方向滤波器单元200的2D平滑滤波器202通过应用不强调或避免使用所关注的相同定向或方向内的像素信息的滤波器矩阵，基于对选择像素212的像素值x22的线性平滑/滤波，产生平滑的像素值X[1]。为了说明，对于采用方向滤波器单元200作为垂直滤波器单元106或水平滤波器单元107，采用滤波器矩阵H1以便降低像素窗口210的对角线方向上的像素信息的重要性。
[0016]
[0017] 相反，对于采用方向滤波器单元200作为正对角线滤波器单元108或负对角线滤波器单元109，采用滤波器矩阵H2以便降低像素窗口210的水平和垂直方向上的像素信息的重要性。
[0018]
[0019] 从而核心分量“a”、“b”、“c”和“d”可以包括通过计算或经验分析识别出的任意各种适合的值。已经发现矩阵分量的下列值提供可接受的结果：
[0020]
[0021]
[0022] c＝0.5
[0023] d＝0.5
[0024] 根据上面针对像素窗口210的像素值所述的数值方案，平滑滤波器202根据关注的方向，对像素窗口210的像素值应用适当的核滤波器H，以便基于由下列等式表示的计算产生值X[1]：
[0025]
[0026] 瞬时改进模块204从平滑滤波器202接收值X[1]，以及在所关注的特定方向上像素窗口210在选择像素212的相对的、共线侧上的像素的像素值X[0]和X[2]。由于垂直滤波器单元106提供垂直锐化滤波，垂直滤波器单元106的瞬时改进模块204分别为X[0]和X[2]使用像素值x12和x32。水平滤波器单元107提供水平锐化滤波，并且因此水平滤波器单元107的瞬时改进模块204分别为X[0]和X[2]使用像素值x21和x23。正对角线滤波器单元108在+45度方向上提供锐化滤波，并且因此正对角线滤波器单元108的瞬时改进模块204分别为X[0]和X[2]使用像素值x31和x13。负对角线滤波器单元109在-45度方向上提供锐化，并且因此负对角线滤波器单元109的瞬时改进模块204分别为X[0]和X[2]使用像素值x11和x33。表1概述了方向滤波器单元200的一般化输入和水平、垂直、正对角线和负对角线方向的特定实现之间的特定关系：
[0027] 表1
[0028]值 垂直 水平 +45对角线 -45对角线
X[0] x12 x21 x31 x11
X[1] H1滤波器矩阵 H1滤波器矩阵 H2滤波器矩阵 H2滤波器矩阵
X[2] x32 x23 x13 x33
[0029] 由于垂直和水平滤波器单元106和107使用相同滤波器矩阵，并且因此使用X[1]的相同平滑像素值，因此垂直和水平滤波器单元106和107可以共享单个2D平滑滤波器的输出。出于相同原因，对角线滤波器单元108和109可以共享单个2D平滑滤波器的输出。
[0030] 使用平滑的中间像素值X[1]和所关注的方向上的共线像素值X[0]和X[2]，瞬时改进模块204执行下面更详细描述的非线性滤波处理，以便产生方向特定的增强值x22′，其表示在关注的方向上对选择像素212的原始像素值x22的锐化增强；即，x22′＝x22+TIx。因此，为了作为一个单独值获得方向特定的瞬时改进值TIx，相减模块206从该增强像素值x22′中减去原始像素值x22；即，TIx＝x22′-x22。在某些情况下，以可编程的加权值ux对瞬时改进值TIx加权可能是有利的，从而可以为每个滤波方向独立编程特定的加权值，并且可以通过计算或通过经验分析确定这些加权值。因此，通过将瞬时改进值TIx与加权值ux相乘，加权模块208可以产生加权的瞬时改进值。已经发现每个方向的加权值ux的示例值1/3提供有效的结果。除非另外说明，此处对方向滤波单元所提供的瞬时改进值的引用可以包括未加权的瞬时改进值或加权的瞬时改进值。
[0031] 图3示出了根据本公开的至少一个实施例，图2的方向滤波器单元200的瞬时改进模块204的示例实现。在示出的例子中，瞬时改进模块204包括一阶导数模块302、二阶导数模块304、核化滤波器306、增益控
制模块308、乘法器310、加法器312和过激抑止模块314。过激抑止模块314包括因子计算模块316、最小/最大模块318、选择逻辑模块320和复用器324。
[0032] 在操作中，一阶导数模块302和二阶导数模块304使
用例如算子：
[0033]
[0034]
[0035] 分别确定平滑的中间像素值X[1]和两个共线像素值X[0]和X[2]的一阶和二阶导数的近似值，从而二阶导数模块304出于方便起见确定二阶导数的负近似值。应当理解，在该上下文中，一阶导数在恒定强度的区域内为零、在强度开始改变的区域内为非零、并且伴随着强度改变为非零，而二阶导数在恒定强度以及强度恒定改变的区域内为零、并且在强度开始改变和强度改变结束处为非零。从而，一阶导数近似值用作像素窗口210所表示的局部图像区域内的边缘的指示器，以及二阶导数近似值用作边缘边界的指示器。
[0036] 在使用典型的线性非锐化掩模(LUM)的常规边缘增强处理中，二阶导数近似值的负数仅被缩放，并且被加到原始像素值上，以便产生所述像素的增强值。然而，这种方法导致激振视觉伪像(由于引入的过冲/下冲)和噪声增强。为了避免这种问题，通过如果二阶导数近似值的绝对值低于某个
阈值，则将输出值c(n)设置为零，并且否则输出二阶导数近似值的负数作为输出值c(n)，瞬时改进模块204采用核化滤波器306以便滤除噪声。
[0037] 为了减少激振并且进一步防止噪声影响，增益
控制模块308使用对局部区域的测量值，以便通过使用增益值g(n)，控制加到瞬时改进模块204所产生的瞬时值TIx上的高频分量的数量，乘法器模块310使用增益值g(n)对输出值c(n)进行缩放。从而，增益控制模块308使用一阶导数近似值的绝对值(在图3中表示为k(n))，来估计该局部区域在所关注方向上的斜率。如图表320所示，图表320示出了k(n)的输入值与增益控制模块308输出的增益值g(n)的相应输出值之间的示例相关性，一阶导数近似值k(n)的绝对值和由增益控制模块308提供的增益控制值g(n)之间的关系可以具有相对为钟形的曲线，从而在k(n)相对小或相对大的情况下，增益控制值g(n)相对小，并且在k(n)落在这两个极值之间的情况下，增益控制值g(n)相对大。这种关系的目的是当进一步的像素锐化不再有利时，当存在过冲/下冲和噪声的潜在可能时，通过增益控制值g(n)降低瞬时改进值的重要性。为了说明，如果以一阶导数近似值表示的斜率相对高(并且因此以图表320右侧远处表示)，所表示的边缘可能已经充分锐利，并且任何进一步的锐化可能导致激振，并且如果斜率相对小(并且因此以图表320左侧远处表示)，该区域内可能没有显著的边缘，并且因此试图锐化该区域可能仅导致增加的噪声。因此，增益控制模块308在这些情况下回缩增益控制值g(n)。在一个实施例中，增益控制模块308将输入的一阶导数近似值k(n)和相应增益控制值g(n)之间的关系实现为查找表或根据所希望的强调关系，将k(n)的特定值链接到g(n)的特定值的其它数据结构，诸如以图表320所示。
[0038] 通过由乘法器模块310将二阶导数近似值c(n)和增益控制值g(n)相乘来产生缩放值a(n)，增益控制值g(n)被用于控制产生的高频分量c(n)的增益；即，a(n)＝g(n)＊c(n)。数字乘法器322可以将缩放值a(n)乘以一个可编程的常数增益因子α，并且然后将得到的缩放值α＊a(n)加到原始平滑像素值X[1]，来产生增强像素值Xc(n)，从而Xc(n)＝x22+α＊a(n)，并且因此α＊a(n)表示瞬时改进值TIx在所关注方向上的潜在值。
[0039] 在一个实施例中，增强像素值Xc(n)可被作为选择像素212的方向特定的边缘增强值x22′输出，而不进行其它处理。然而，用于产生增强像素值Xc(n)的处理可能潜在地受到某种程度的下冲/过冲。因此，在替换实施例中，使用过激抑止模块314检查下冲/过冲，并且然后在检测到下冲/过冲的情况下抑止增强像素值Xc(n)。在操作中，最小/最大模块318确定X[0]、X[1]和X[2]的最小值(“xmin”)和最大值(“xmax”)，并且以因子R缩放这些极值的和平滑的像素值X[1]，并且然后基于由下列等式表示的计算对结果进行累加，从而产生两个抑止值DU和DO：
[0040] DU＝xmin*R+(1-R)*X[1]
[0041] DO＝xmax*R+(1-R)*X[1]
[0042] 从而，使用因子R控制下冲/过冲，从而控制最终输出内的激振的数量。在一个实施例中，通过根据以下列等式表示的处理分别以可编程权重a1和a2缩放一阶导数近似值和二阶导数近似值的绝对值，并且然后将缩放结果与值a0(其可以是零)累加，并且然后对该和进行平方，因子计算模块316计算因子R：
[0043]
[0044] 如果像素窗口中存在大边缘，R将相对大，并且输出被局限为xmax或xmin。如果存在小边缘，R将相对小，并且输出将局限为输入值。从而R的值是对边缘强度的度量。
[0045] 抑止值Do和DU以及增强像素值Xc(n)被作为输入提供给复用器324，复用器324的输出是选择像素212的方向特定的增强像素值x22′(图2)。因此，增强像素值x22′的可能值是过冲抑止值Do、下冲抑止值Du和增强像素值Xc(n)。为了在这些值之间选择，选择逻辑模块320通过相对于值Xc(n)分析局部极值xmin和xmax，分析下冲/过冲的潜在可能，Xc(n)如上所述表示二阶导数近似值，并且因此指示边缘区域的边界。小于零的c(n)的值指示选择像素212处于上升边缘的底部，并且因此值Xc(n)与xmin比较，以便确定是否存在下冲。在值Xc(n)小于xmin从而指示下冲的情况下，选择逻辑模块320控制复用器324以便输出下冲抑止值Du作为增强像素值x22′。相反，等于零或更大的c(n)的值指示选择像素212处于上升边缘的顶部，并且因此值Xc(n)与xmax比较，以便确定是否存在过冲。在Xc(n)的值大于xmax从而指示过冲的情况下，选择逻辑模块320控制复用器324以便输出过冲抑止值Do作为增强像素值x22′。当c(n)等于0或更大时值Xc(n)小于xmax，或当c(n)小于0时Xc(n)的值大于xmin的情况指示选择像素212不接近边缘边界，并且因此选择逻辑模块320控制复用器324，以便输出增强像素Xc(n)作为选择像素212的方向特定的增强像素值x22′。
[0046] 由过激抑止模块314提供的抑止处理具有非线性效果，并且因此可以在增强像素值的输出流中引入新的高频分量。因此，如上所述，可以使用LUM模块112(图1)过滤由过激抑止处理引入的非线性，以便强调增强像素流的高频分量。
[0047] 如上所述，图1-3的视频处理设备100的模块可被实现为硬件。然而，除了适合于执行根据本公开的一个实施例的功能的
硬件实现之外，这些模块还可被包含在一个或多个处理器内，这些处理器配置为执行布置在例如配置为存储软件(例如，计算机可读程序代码)的计算机可使用(例如，可读)介质内的软件中的指令。程序代码使得能够实现本
发明的实施例，包括下列实施例：(i)此处公开的设备和方法的功能(诸如提升/去交织视频的设备和方法)；(ii)此处公开的设备和方法的制造(诸如能够提升或去交织视频的设备的制造)；(iii)此处公开的设备和方法的功能和制造的组合。
[0048] 例如，这可通过使用通用编程语言(诸如C或C++)、硬件描述语言(HDL)(包括Verilog、Verilog-A、HDL、VHDL、Altera HDL(AHDL)等)、或其它可获得的编程和/或示意捕获工具(诸如电路捕获工具)完成。程序代码可被布置在任意已知的计算机可用介质内，包括
半导体、磁盘、光盘(诸如CD-ROM，DVD-ROM)，并且作为计算机数据
信号包含在计算机可使用(例如，可读)的传输介质(诸如，数字、光学或基于模拟的介质)内。应当理解，上面描述的系统和技术完成的功能和/或提供的结构可被表达在核心内(诸如，GPU核心)，其被包含在程序代码内，并且可作为集成电路产品的一部分被变换为硬件。
[0049] 图4示出了根据本公开的至少一个实施例的处理系统400。处理系统400可以包括一组指令，所述指令可被执行，以便操纵处理系统400执行此处公开的一个或多个方法或功能。处理系统400可以作为独立设备操作，或可例如使用网络被连接到其它处理器设备或外设。
[0050] 在联网部署中，处理器设备可以作为
服务器-客户端用户网络环境中的服务器或客户端用户计算机，或作为对等(或分布式)网络环境中的对等处理器设备操作。处理系统400还可被实现为或结合到例如便携式显示设备内。另外，虽然示出了单个处理系统400，但是可以采用术语“系统”以便包括单独或联合执行一组或多组指令，以便执行一个或多个计算机功能的系统或子系统的任意集合。
[0051] 处理系统400可以包括处理器402，例如，中央处理单元(CPU)、
图形处理单元(GPU)或这两者。另外，处理系统400可以包括主
存储器404和静态存储器406，它们可以通过总线408彼此通信。如图所示，处理系统400还可以包括视频显示单元410，诸如
液晶显示器(LCD)、
有机发光二极管(OLED)、平板显示器、固态显示器或
阴极射线管(CRT)。另外，处理系统400可以包括输入设备412诸如
键盘，和
光标控制设备414诸如
鼠标。处理系统400还可以包括盘驱动单元416、信号产生设备418诸如扬声器、以及网络
接口设备420。
[0052] 在特定实施例中，如图4所示，盘驱动单元416可以包括计算机可读存储设备422，其中可以包括一组或多组指令424，例如软件。另外，指令424可以包含此处描述的一个或多个方法或逻辑。在特定实施例中，在处理系统400的执行过程中，指令424可以完全或至少部分地驻留在主存储器404、静态存储器406和/或处理器402内。主存储器404和处理器402还可以包括计算机可读介质。网络接口设备420可以提供到网络426，例如广域网(WAN)、局域网(LAN)或其它网络的连接。
[0053] 在替换实施例中，专用硬件实现诸如专用集成电路、可编程逻辑阵列和其它硬件设备可被构造为实现此处描述的一个或多个方法。可以包括各种实施例的装置和方法的
申请可以广泛地包括各种电子和处理器设备。此处描述一个或多个实施例可以使用具有相关控制和数据信号的两个或更多个特定互连的硬件模块或设备实现功能，所述相关控制和数据信号可在模块之间并且通过模块被传递，或作为专用集成电路的若干部分。因此，本系统包含软件、固件和硬件实现。
[0054] 根据本公开的各种实施例，此处描述的方法可被整个或部分地以可由处理器设备执行的软件程序实现。本公开设想计算机可读存储设备，其包括指令或接收并且提供指令，以便响应传播的信号执行，从而联网的设备可以在网络426上传递语音、视频或数据。另外，可以通过网络接口设备420在网络426上传输或接收指令424。
[0055] 在一个实施例中，不是作为直接实现此处描述的功能的软件指令，指令424取而代之可以实现表示上述功能的硬件实现的设计指令，这些指令然后可被综合在一起，以便确定实现上述发明的处理设备的电气和电子设计。为了说明，这些硬件设计指令可以包括寄存器传输级(RTL)指令、Verilog指令等。
[0056] 虽然计算机可读存储设备被示出为是单个存储设备，术语“计算机可读存储设备”包括单个存储设备或多个存储设备，诸如中央或分布式
数据库，和/或存储一组或多组指令的相关高速缓存和服务器。术语“计算机可读存储设备”还包括能够存储指令集以便由处理器执行或使得处理器设备执行此处公开的任意一个或多个方法或操作的任意存储设备。
[0057] 在特定实施例中，计算机可读存储介质可以包括固态存储器，诸如存储器卡或包含一个或多个非易失
只读存储器的其它封装。另外，计算机可读存储设备可以是随机
访问存储器或其它易失可重写存储器。另外，计算机可读存储设备可以包括磁光介质或光学介质。因此，本公开被认为包括其中可以存储数据或指令的任意一种或多种计算机可读存储设备或分布介质和其它等同物以及后继介质。
[0058] 如此处使用的，术语“另一个”被定义为至少第二个或更多。如此处使用的，术语“包含”、“具有”或其变型被定义为包括。如此处参考光电技术使用的，术语“耦连”被定义为连接，虽然不必是直接地并且不必是机械地连接。
[0059] 通过考虑此处公开的本公开的
说明书和实现，本领域的技术人员将明了本公开的其它实施例、用途和优点。本说明书和附图应当被认为仅是示例，并且因此本公开的范围旨在仅由下列
权利要求书和其等同物限制。
