评诂两个信号序列之间差异的可视性的方法与装置
阅读：644发布：2021-02-02
专利汇可以提供评诂两个信号序列之间差异的可视性的方法与装置专利检索，专利查询，专利分析的服务。并且公开了用于评估诸如图象序列等两个输入 信号 序列之间的差异的可视性的方法与装置(110)。该装置包括感觉量发生器(112),该发生器具有 输入信号 处理部分(210)、 亮度 处理部分(220)、 色度 处理部分(230)、及感觉量发生部分(240、250、260)。，下面是评诂两个信号序列之间差异的可视性的方法与装置专利的具体信息内容。
1、一种用于评估具有多个输入图象的两个输入图象序列之间的差 异的可视性的方法，其中各所述输入图象包含色度分量，所述方法包 括下述步骤：
(a)分解所述输入图象的色度分量以产生具有所述色度分量的 多个分辨级的金字塔形；
(b)对所述色度分量的所述金字塔形的所述级的至少一个施加 时间滤波成色度时间响应；以及
(c)从所述色度时间响应生成图象量。
2、权利要求1的方法，其中各所述输入图象是半高度。
3、权利要求1的方法，其中各所述输入图象还包含亮度分量，其 中所述方法还包括下述步骤：
(a’)分解各所述输入图象的亮度分量以产生具有所述亮度分量 的多个分辨率级的金字塔形；
(b’)对所述亮度分量的所述金字塔形的所述级的至少一个施加 时间滤波成亮度时间响应；以及
其中所述生成步骤(c)从来自所述亮度及所述色度响应的所述时间 响应生成图象量。
4、权利要求1的方法，还包括下述步骤：
(a”)在所述分解步骤(a)之前，将输入图象的所述色度分量变换 到CIELUV均匀色空间中。
5、权利要求3的方法，还包括下述步骤：
(a”)在所述分解步骤(a)之前，将输入图象的所述亮度分量变 换到CIE 1931三色值Y中。
6、权利要求3的方法，其中所述生成步骤(c)包括下述步骤：
(c’)从所述亮度时间响应中生成分开的亮度量；
(c”)从所述色度时间响应中生成分开的色度量；
(c)从所述亮度量与所述色度量中生成所述图象量。
7、权利要求3的方法，其中所述施加步骤(b’)对所述亮度分量的 所述金字塔形的最低级施加时间滤波成亮度时间响应；以及其中所述方法还包括步骤(b”)，对所述亮度分量的所述金字塔形的 所述其余的级施加空间滤波成亮度空间响应。
8、权利要求6的方法，其中所述生成步骤(c”)从所述色度时间响 应中生成分开的色度量，其中所述色度时间响应是用所述亮度时间响 应屏蔽的。
9、一种用于评估具有多个输入图象的两个输入图象序列之间的差 异的可视性的装置(112)，其中各所述输入图象包含色度分量，所述 装置包括：
用于分解各所述输入图象的色度分量以产生具有所述色度分量的多 个分辨率级的金字塔形的金字塔形发生器(410、510)。
耦合在所述金字塔形发生器上、用于对所述色度分量的所述金字塔 形的所述级中至少一个进行时间滤波成色度时间响应的时间滤波器 (520)；以及耦合在所述时间滤波器上、用于从所述色度时间响应中生成图象量 的图象量发生器(250、550)。
10、一种上面存储有多条指令的计算机可读的介质，该多条指令中 包含在处理器执行时使处理器执行下述步骤的指令：
(a)分解各所述输入图象的色度分量以产生具有所述色度分量 的多个分辨率级的金字塔形；
(b)对所述色度分量的所述金字塔形的所述级中的至少一个施 加时间滤波成色度时间响应；以及
(c)从所述色度时间响应中生成图象量。
本发明涉及评估与改进信号处理系统的性能的装置及相应的方 法。更具体地本发明涉及评估两个信号序列之间的差异的可视性的 方法及装置。
发明背景
诸如成象系统等信号处理系统的设计人员通常用诸如对比度、分 辨率与/或压缩/解压(codec)处理中的位率效率等物理参数来评估 他们的设计的性能。虽然这些参数能容易地测定，但它们不是评估 性能的精确尺度。原因在于成象系统的最终用户通常更关心诸如赝 象或畸变的可见性等主观视觉性能及在一些情况中，可揭示诸如图 象中肿瘤的存在等信息的这些图象特征的增强，如MRI(磁共振成 象)图象或CAT(计算机辅助X线断层)扫描图象。
例如，能用两种不同的codec算法处理输入图象以产生两种不同 的codec图象。如果codec图象保真度的测定是单纯地基于诸如在 两个codec图象上执行的均方误差(MSE)计算等参数而不考虑人的 视觉心理物理性质，具有较低MSE值的codec图象可能实际上包含 比具有较高的MSE值的codec图象更引人注意的畸变。
因此，在本技术中存在着对诸如成象系统等信号处理系统的主观 性能上的物理参数的效果进行评估的方法与装置的需求。尤其是， 存在着对评估两个时变视觉图象序列之间的差异的可视性的方法与 装置的需求。
发明概述
本发明为评估诸如图象序列等两个输入信号序列之间的差异的可 视性的方法与装置。该装置包括具有输入信号处理部分、亮度处理 部分、色度处理部分及感觉量发生部分的感觉量发生器。
输入信号处理部分将输入信号变换成诸如亮度分量与色度分量等 心理物理定义量。亮度处理部分将亮度分量处理成亮度感觉量，而 色度处理部分则将色度分量处理成色度感觉量。最后，感觉量发生 部分将亮度感觉量与色度感觉量相关成统一的感觉图象量，例如， 最小可辨差异(JND)图。
附图的简要描述
通过考虑下面结合附图的详细描述，便能容易地理解本发明的内 容，附图中：
图1展示本发明的信号处理系统的方框图；
图2展示感觉量发生器的方框图；
图3展示输入信号处理部分的方框图；
图4展示亮度处理部分的方框图；
图5展示色度处理部分的方框图；
图6展示亮度处理部分的详细方框图；
图7展示亮度量发生部分的方框图；
图8展示色度处理部分的详细方框图；及
图9展示色度量发生部分的方框图；
图10为展示亮度空间灵敏度数据的曲线；
图11为展示亮度时间灵敏度数据的曲线；
图12为展示亮度对比鉴别数据的曲线；
图13为展示圆盘检测数据的曲线；
图14为展示方格盘检测数据的曲线；
图15为展示轮廓清晰鉴别数据的曲线；
图16为展示色度空间灵敏度数据的曲线；
图17为展示色度对比鉴别数据的曲线；
图18为展示额定预测数据的曲线；
图19展示亮度处理部分的另一实施例的方框图；
图20展示图19的亮度处理部分的另一实施例的详细方框图；
图21展示亮度量发生部分的另一实施例的详细方框图；
图22展示处理半高度图象的亮度处理部分的方框图；
图23展示处理半高度图象的亮度量发生部分的方框图；
图24展示色度处理部分的另一实施例的详细方框图；
图25展示色度量发生部分的另一实施例的详细方框图；
图26展示处理半高度图象的色度处理部分的方框图；
图27展示处理半高度图象的色度量发生部分的方框图。
图1描绘利用本发明的信号处理系统100。信号处理系统包含信 号接收部份130、信号处理部分110、输入/输出装置120及受测试 的系统140。
信号接收部分130用于接收输入数据信号，例如来自成象设备的 图象序列或诸如来自麦克风或录制的媒体的音频信号等其它时变信 号。从而，虽然下面针对图象描述本发明，应理解本发明也能应用 于上面讨论的其它输入信号。
信号接收部分130包含数据接收部分132及数据存储部分134。 数据接收部分130可包含诸如调制解调器及模数转换器等若干装 置。调制解调器是众所周知的装置，它包括用于在电话线或其它通 信信道上发送与接收二进制数据的调制器与解调器，而模数转换器 将模拟信号转换成数字形式。因此，信号接收部分130可“在线” 或“实时”接收输入信号，如果必要，将它们转换成数字形式。从 而，部分130可接收来自诸如计算机、摄象机、录象机或各种医用 成象装置等一或多个装置的信号。
数据存储部分134用于存储数据接收部分132所接收的输入信 号。数据存储部分134包含诸如盘驱动器、半导体存储器或其它存 储介质等一或多个装置。这些存储装置提供在输入信号上施加延迟 或简单地存储输入信号供以后处理的方法。
在较佳实施例中，信号处理部分110包括具有感觉量发生器(或 称作视觉鉴别测定(VDM))112、中央处理单元(CPU)114及存储 器116以提供图象处理的通用计算机。感觉量发生器112可以是由 通过通信通道耦合在CPU上的各种滤波器或处理器构成的物理装 置。作为替代，感觉量发生器112可作为软件应用实现，它是从输 入/输出装置120或从存储器116调用并由信号处理部分的CPU执行 的。这样，可将本发明的感觉量发生器存储在计算机可读的介质上。
信号处理部分110还耦合在多个输入与输出设置120上，诸如键 盘、鼠标器、视频监视器或包含但不限于磁与光盘驱动器、软盘或 磁带、诸如硬盘驱动器或光盘驱动器等存储设备。输入设备用于提 供输入(控制信号及数据)给信号处理部分供处理输入图象，而输 出设备则用于显示或记录结果，如在显示器上显示感觉量。
使用感觉量发生器112的信号处理系统100能预测人们主观赋予 两个信号序列的感觉额定值，如恶化的彩色序列相对于其非恶化的 对等序列。感觉量发生器112评估输入图象的两个序列或流之间的 差异的可视性，并产生若干差异估计，包含这两个序列之间的感觉 差异的单一额定值。这些差异以模拟的人类最小可辨差异(JND)量 为单位量化。这一量可表示为JND值，JND图或概率预测。CPU可依 次利用JND图象量来优化包含但不限于数字图象压缩、图象质量测 定及目标探测在内的各种处理。
为了展示，输入图象序列通过两条不同的路径或通道到达信号处 理系统100。在一条路径上(参照通道或参照图象序列)，输入图 象序列直接通过到信号处理部分而不处理，而同一输入图象序列在 另一条路径上通过受测试的系统140，在其中以某种方式处理图象 序列(受测试的通道或测试图象序列)。信号处理系统100生成测 定两个图象序列之间的差异的感觉量。由于经济原因，由测试的系 统140生成的畸变经常发生，例如受测试的系统140可以是音频或 视频编码器。事实上，受测试的系统100可以是任何数目的设备或 系统，诸如解码器、传输通道本身、录音或录象机、扫描器、显示 器或发射机。从而信号处理系统100可用于评估测试图象序列相对 于参照图象序列的主观质量，借此提供关于编码过程、解码过程、 传输通道或任何“受测试系统”的畸变的性能的信息。通过使用感 觉量发生器112，能执行测试图象相对于参照序列的主观质量评估 而无须使用人类观察者。
最后，可通过路径150利用感觉量来修正或控制受测试的系统的 参数。例如，可修正编码器的参数来产生具有诸如解码被编码的图 象时低可辨别的畸变等改进的感觉额定值的编码图象。此外，虽然 受测试的系统140示出为独立的设备，熟悉本技术的人员会理解受 测试的系统可实现为位于信号处理部分的存储器116中的软件实 现，例如，视频编码方法。
图2展示感觉量发生器112的简化方框图。在较佳实施列中，感 觉量发生器包括输入信号处理部分210、亮度处理部分220、色度处 理部分230、亮度量发生部分240、色度量发生部分250及感觉量发 生部分260。
输入信号处理部分将输入信号205变换成心理物理学定义的量， 如图象信号的亮度分量与色度分量。输入信号为两个任意长度的图 象序列。虽然图2中只示出一个输入信号，应理解输入信号处理部 分能同时处理一个以上输入信号。输入信号处理部分210的目的为 将输入图象信号变换成光输出。然后将这些光输出变换成分开表示 亮度与色度特征的心理物理学定义的量。
更具体地，对于各输入序列的各视场(field)，存在着从诸如 D1磁带导出的在图2顶部标记为Y’、C’b、C’r的三个数据集。然后 再将Y、Cb、Cr数据变换成产生显示的象素值的R’、G’与B’电子枪电 压。在输入信号处理部分中，R’、G’、B’经过进一步处理被变换成传 递给下一处理级或部分的一个亮度及两个色度图象。
亮度处理部分220接受表示为显示器的最大亮度的分数的亮度Y 的两个图象(测试与参照)。亮度处理部分220的输出能广义地定 义为由下述各种时间与空间处理引起的时间与/或空间特性。将这些 输出传递给亮度量发生部分240，在其中生成亮度JND图。JND图为 一个图象，其灰度级与对应的象素位置上的测试与参照图象之间的 JND的数目成正比。
类似地，色度处理部分230将输入信号的色度分量处理成色度感 觉量。即，色度处理部分230接受基于CIE L*u*v*均匀彩色空间的 色度的两个图象(测试与参照)(针对各色度图象u*与v*产生的)， 并表示为显示的最大色度的分数。再一次能将色度处理部分230的 输出广义地定义为由下述各种时间与空间处理产生的时间与/或空间 特性。色度量发生部分250接收与组合u*与v*处理的输出以产生色 度JND图。
此外，色度与亮度处理都受到通过路径225来自称作“屏蔽”的 亮度通道的输入的影响，它取决于亮度图象的结构使感觉到的差异 或多或少地看得见。屏蔽(自身或交叉)通常指通道或邻接通道中 存在信息时的灵敏度降低。
色度、亮度及组合亮度色度JND图各可用作对感觉量发生部分260 的输出，连同从这些图中导出的少量概括测量。虽然单个JND值(JND 概要)输出对测试序列中的畸变的观察者的整体额定值的模型是有 用的，但JND图给出赝象的位置与严重性的更详细的视图。感觉量 发生部分(图象量发生器)260将亮度感觉量与色度感觉量相关成 统一的感觉图象量270，如最小可辨差异(JND)图。
应指出两个基本假设构成本发明的基础。第一，各象素是“正方 形”且对着0.03度视角。这一数字是从480个象素的屏幕高度和4 个屏幕高度的视距(“Rec.500”标准规定的最近视距)导出的。 当将本感觉量发生器与长于4个屏幕高度的视距上的人类感觉比较 时，本感觉量发生器可能过高估计人对空间细节的敏感度。从而， 在视距上没有硬性限制时，将感觉量发生器调节成在“Rec.500” 的推荐内尽可能灵敏。然而，可为特定的应用调整感觉量发生器的 灵敏度。
第二，感觉量发生器适用于.01-100ft-L的屏幕亮度(整体灵 敏度是为之定标的)，但最大的精确度在大约20ft-L处(所有时 空频率是为之定标的)。还假定改变亮度在所有时空频率上产生成 比例的灵敏度改变，这一假定对20ft-L附近较不重要，其中出现 附加定标。定标与实验数据如下。
下面参照图3、4、5、6与7更详细地描述图2中所示的处理部 分。
图3展示输入信号处理部分210的方框图。在较佳实施例中，各 输入信号是以4个视场的集合305处理的。从而，图3顶部的标记 为Y’、C’b、C’r的每个视场的栈表示来自测试或参照图象序列之一的 四个接续的视场的集合。然而，本发明不限于这一实现，也可使用 其它视场组合方法。
在输入信号处理部分120中包含多种变换。简言之，输入信号处 理部分210首先将Y’、C’b、C’r视频输入信号变换成电子枪电压，然 后到三种荧光体的亮度值，及最后到分成亮度与色度分量的心理物 理变量。下面计算的三色值Y取代色度处理前使用的“模型强度值”。 此外，按照CIE均匀彩色规范逐个象素地生成色度分量u*与v*。
应指出，如果输入信号己在可接受的均匀彩色空间中，能有选择 地实现输入信号处理部分210。例如，输入信号可能己事先处理成 适当的格式并保存在诸如磁或光驱动器与盘等存储设备上。此外， 应指出虽然本发明是以映射到国际标准均匀彩色空间CIELUV中实现 的，也能将本发明实现与适应成处理映射到其它空间中的输入信号。
第一处理级310将Y’、C’b、C’r数据变换成R’、G’、B’枪电压。 更具体地，下面概括的步骤描述从Y’、C’b、C’r图象帧到驱动CRT显 示器的R’、G’、B’电压信号的变换。这里的撇表示输入信号己在编 码器上γ预校正。即，变换后的这些信号能驱动共电压电流转换函 数能用γ非线性紧密逼近的CRT显示设备。
假定输入数据图象是4∶2∶2格式的：在亮度相关Y’上全分辨率， 而在色度相关C’b与C’r上水平半分辨率，其中假定Y’、C’b、C’r是以 ANSI/SMPTE Std.125M-1992中规定的次序存储的，即
C’b0，Y’0，C’r0，Y’1，C’b1，Y’2，C’r1，Y’3，…C’bn/2-1，Y’n1，C’rn/2-1，Y’n-2，…
在下面列举的步骤中，有两个色度上抽样的实施例或替代方案及 从Y’C’bC’r到R’G’B’的矩阵变换的三个实施例或替代方案。这些替代 方案覆盖各种应用要求，如可能在各种应用中遇到的解码要求等。
更具体地，在第一色度上抽样实施例中，接收来自单一帧的Y’、 C’b、C’r阵列，其中将C’b或C’r阵列扩张成Y’图象的全分辨率。初始， C’b、C’r阵列是在水平半分辨率上的，并且是随后上抽样以产生全分 辨率视场的。即，将一行上的交错的C’b、C’r象素分配给数据流中的 偶数编号的Y’i。与偶数编号Y’I关联的C’b、C’r对可通过如下计算： (1)复制或(2)与其邻数的平均值。
在第二色度上抽样实施例中，将全分辨率Y’、C’b、C’r阵列分成 两个视场。在Y’的情况中，第一视场包含Y’阵列的奇数行，而第二 视场包含Y’阵列的偶数行。在C’b及C’r阵列上执行相同的处理以产 生第一与第二C’b及C’r视场。
在Y’C’bC’r到R’G’B’的矩阵变换中，将对应的Y’C’bC’r值转换成两 个视场的各个中的各象素的枪输入值R’G’B’。用下面三种替换式之 一将Y’C’bC’r值取作相关的R’G’B’值。前面两式可在Keith Jack，的 Video Demystified，High Text，San Diego 1996，第3章，p.40-42 中找到。式(3)对应于C.A.Poynton的“数字视频的技术引论”， p.176，Wiley，1996，中的式9.9(Cb替换为U及用Cr替换为V)。 在较佳实施例中，将式(2)选择为默认的，除非感兴趣的显示的测定 另有所指， 或 或 或
然后输入信号处理部分210中的第二处理级320接收R’、G’与B’ 阵列。第二处理级320在各R’G’B’图象上施加点-非线性。这一第二 处理级建立将R’G’B’枪电压传送到显示的强度(R、G、B)中的模型 (最大亮度的分数)。非线性还执行在各平面显示中低亮度上的剪 裁。
更具体地，(R’、G’、B’)与(R、G、B)之间的转换包含两部分， 其中之一独立地变换各象素值，而其中之一在变换过的象素值上执 行空间滤波。下面描述这两部分。
象素值变换
首先，为各象素计算与输入R’对应的最大亮度的分数R。类似地， 从输入G’、B’中计算分数亮度G与B。假定来自各枪的最大亮度对应 于输入值255。下面的式子描述从(R’、G’、B’)到(R、G、B)的 变换。
将默认阈值td选择为16来与显示的黑色级对应，并将γ默认为 2.5。
td的值16是选择为提供显示(255/16)2.5的动态范围的，它大 约是1000∶1。这一动态范围是相对大的，并在环境亮度大约为最大 的显示白色时可能没有必要。因此，即使感觉发生器采用值40而不 是16作为黑色级，它仍能提供100∶1的动态范围而保持物理保真度。 实际上，较低的动态范围可节省计算周期，即在处理中节省一或两 位。
下面讨论关于显示的两种观察。第一种观察涉及对绝对屏幕亮度 的依赖性。感觉量发生器的预测只隐含地作用到感觉量发生器为之 定标的亮度级上。
对于典型的定标数据(J.J.Koenderink与A.J.van Doorn， “时空对比度检测阈值表面是双态的”，光学通信4，32-34(1997))， 使用直径2mm的默认瞳孔，视网膜亮度为200托兰(trolands)。 这意味着63.66cd/m2或18.58ft-L的屏幕亮度。定标亮度是与用 在主观额定值测试中的显示的亮度相当的。例如，虽然两个实验的 最大白色亮度为71与97ft-L，在象素值128上的亮度分别为15 与21ft-L。计入这些值及感觉量发生器的总体灵敏是从.01到100 ft-L定标的这一事实(利用F.L.van Nes、J.J.Koenderink、 H.Nas与M.A.Bouman的“人眼中的时空调制传送”，J.Opt.Soc. Am.57，1082-1088(1967)中的数据)，能得出结论该感觉量发生器 适用于从大约20到100ft-L的屏幕亮度。
第二种观察涉及式(4)对其它模型的关系。偏压td(诸如来自阴 极与TV屏幕之间的栅极设定值)可用于将式(4)变换成Poynton提 出的模型(C.A.Poynton，“Ganna”及其伪装：感觉中强度的非线 性映射，CRT，胶片及视频，SMPTE期刑，1993年12月，1099-1108 页)其中R＝K[R’+b]γ(类似地对G与B)。通过定义新电压R”＝R’-td 得出Poynton的模型。从而R＝K[R”+td]γ及类似地对于G与B。通 过写入式(4)而不是Poynton的公式，假定偏压为-td。还假定没有 环境亮度。
存在环境亮度c时，电压偏移成为可忽略不计的，而式(4)近似 等价于Meyer提出的模型(“监视器定标中枪平衡的重要性”，感 觉、测定及用色(M.Brill，编辑)Proc，SPIE，卷1250，69-79 页(1990))，即R＝kR’γ+c。对G与B得出的类似的表达式。如果存 在环境照明，则式(4)可用Meyer的模型R＝(1/255)γ及c＝.01替代。
本感觉量发生器为各帧(前进图象中)及奇与偶视场(交错图象 中)提供了用于规定(R、G、B)图象的垂直表示的三种选择。
选择1.帧
图象为全高度且包含前进扫描的图象。
选择2.全高度交错
半高度图象散布以空行而成为全高度，如它们在交错屏幕中。随 后用下述内插填充空行。
选择3.半高度交错
直接处理半高度图象。
前两种选择更忠实于视频图象结构，而第三种选择具有减少50 ％处理时间与存储器要求的优点。对选择1与2，由于两种选择都 在全高度图象上操作，亮度与色度处理是相同的。下面详细描述这 三种选择。
空间预滤波
上面的选择1与3不需要空间预处理。然而存在着与全高度交错 选择2关联的空间预滤波。
为了提供来自视场中的行到行间象素的光散布，还将R、G与B 视场图象提交给行内插过程。下面说明四种不同内插法，但本发明 不限于这些内插法。在各方法中，读取整个帧，然后用紧靠在上面 与下面的象素计算出的值替代属于不活跃视场的行上的各象素。对 于方法(3)与(4)，计算也使用来自不活跃视场的象素值。
令Pinactive表示要内插的不活跃行象素，及Pabove与Pbelow分别表 示Pinactive上方与下方的活跃行象素。四种方法为： (1)平均 (2)复制 (3)混合平均 (4)中位数
返回至图3，在非线性处理后面，第三处理级330通过用来自上 面与下面的插入值取代视场R、G、B中的行间值建立散布到行间位 置中的垂直电子束斑的模型。然后，将视场中的各象素上的矢量(R， G，B)提交给线性变换(它取决于显示器荧光体)到CIE 1931三色 坐标(X，Y，Z)。将矢量的亮度分量Y传递给上述亮度处理部分220。
更具体地，给定了分数亮度值R，G，B为各象素计算CIE 1931三 色值X，Y，与Z。这一处理需要下述与显示设备有关的输入：三种荧 光体的色度坐标(xr，yr)、(xg，yg)、(xb，yb)及监视器白色点 的色度(xw，yw)。
将白色点选择为对应于荧光体D65，使得(xw，yw)＝ (.3128，.3292)(见G.Wyszecki与W.S.Stiles的白色科学， 第二版，Wiley，1982，761页)。对应于当前可获得的紧密地近似 NTSC荧光体的红、绿与兰荧光体，值(xr，yr)＝(.6245，.3581)、 (xg，yg)＝(.2032，.716)及(xb，yb)＝(.1465，.0549)。然而， 下面的表1展示其它显示荧光体坐标(荧光体原色度)选项。ITU-R BT. 709(Rec.709)为默认的。 源 (xr，yr) (xg，yg) (xb，yb) ITU-R BT.709(SMPTE274M) (0.640，0.330) (0.300，0.600) (0.150，0.060) SMPTE 240M (0.630，0.340) (0.310，0.595) (0.155.0.070) EBU (0.640，0.330) (0.290，0.600) (0.150，0.060)
表1.显示荧光体坐标选项
利用上述参数值，用下式给出象素的值X，Y，Z：
其中，zr＝(1-xr-yr)，zg＝(1-xg-yg)，zb＝(1-xb-yb)，及值Y0r，Y0g， Y0b由下式给出：
其中，zw＝(1-xw-y)(见D.Post的自发光显示的比色法测定、 定标及特征，电子显示中的彩色，H.Widdel与D.L.Post(编辑)， Plenum出版社，1992，306页)。
也需要设备的白色点的三色值Xn，Yn，Zn。这些值对应于色度(xw， yw)并且使得在全荧光体激活(R’＝G’＝B’＝255)时，Y＝1。从而，白 色点的三色值为(Xn，Yn，Zn)＝(xw/yw，1，zw/yw)。
作为导出值X，Y，Z中的可选用的最后一级，可进行调节来接纳 由来自显示屏的遮蔽反射引起的假定的环境光。这一调节采取下述 形式：
这里引入两个用户可指定的参数Lmax及La并赋于默认值。显示的 最大亮度Lmax设定为对应于销售的显示器的100cd/m2。遮蔽亮度La 设定为与在Rec 500条件下测定的屏幕值一致的5cd/m2。
环境光的色度假定与显示白色点的相同。应指出在只有亮度的实 现选择中，它不计算中性点(Xn，Yn，Zn)，调节：
来替代式(6a)。这等价于式(6a)的Y分量，因为Yn永远是1。还 应指出量Lmax*Y为以cd/m2表示的显示亮度。
返回到图3，为了保证(各象素上)色空间的感觉均匀度逼近等 照度色差，在第四处理级340中将单个象素映射到国际标准均匀色 空间CIELUV中(见Wyszecki与Stiles)。将这一空间的色度分量 u*，v*传递给色度处理部分230。
更具体地，将逐个象素的X，Y，Z值变换到1976 CIELUV均匀彩 色系统(Wgszecki与Stiles，1982，165页)：
u*＝13L*(u′-u′n) (8)
v*＝13L*(v′-v′n) (9)
应指出坐标L*不传递给亮度处理部分220。L*只用于计算色度坐 标u*与v*。结果，只为进一步处理保留u*与v*图象。
图4展示亮度处理部分220的方框图。可将图4看成亮度处理步 骤的流程图或用于执行这些亮度处理步骤的多个硬件部件的方框 图，例如滤波器、各种电路元件与/或应用专用的集成电路(ASIC)。
参见图4，滤波各亮度场并在四级高斯金字塔410(金字塔发生 器)中下抽样，以便将进入视觉信号的心理物理与生理学地观察的 分解的模型建立到不同空间频率带412-418中。分解之后，便能执 行随后的可选处理，如在各金字塔级上(分辨率级)上作用的定向 滤波。
接着，紧接在金字塔分解之后执行非线性运算430。这一级是根 据最粗略的金字塔级内最大亮度的与时间有关的窗口平均(跨场) 的增益设定运算(正规化)。这一正规化设定感觉量发生器的总体 增益，并建立诸如从明亮到黑暗场景的过渡之后的视觉灵敏度损失 等效应的模型。
应指出，执行中间正规化过程420来导出中间值Inorm。利用Inorm 值来定标各四个金字塔级，如下所述。
正规化后，将最低分辨率金字塔图象418提交给时间滤波(时间 滤波器)及对比度计算450，并将其它三级412-416提交给空间滤 波及对比度计算440。在各情况中，对比度是适当地定标的象素值 的本地差除以本地和。在感觉量发生器的形成，这建立“1 JND”的 定义，将其传递给感觉量发生器的后面的级。(定标在中间感觉量 发生器级上重复地更新1-JND解释，下面讨论这一点)。在各情况 中，将对比度平方以生成所谓对比度能量。保留对比度的符号用于 在紧接在图象比较(JND图计算)之前重新附加在上面。
下面的级460与470(对比度能量屏蔽)构成进一步的增益设定 运算，在其中将各定向响应(对比度能量)除以所有对比度能量的 函数。将各响应与其它本地响应地这一种组合的衰减包含进去以建 立诸如对“忙”图象区中的畸变的灵敏度下降等视觉“屏蔽”效应 的模型。在感觉量发生器的这一级上，作出时间结构(闪烁)来屏 蔽空间差异，并且也作出空间结构来屏蔽时间差异。还在色度侧上 作用亮度屏蔽，如下面所讨论的。
利用屏蔽的对比度能量(连同对比度符号)生成亮度JND图480。 简言之，亮度JND图是用下述步骤生成的：1)将各图象分成正与负 分量(半波整流)；2)执行本地汇集(平均及下抽样，以建立在心 理物理学实验中观察到的本地空间求和的模型)；3)逐个通道地评 估绝对图象差异；4)设置门限(核化)；5)将核化图象差异上升一 次幂；及6)上抽样到相同的分辨率(由于汇集级而成为原始图象的 一半分辨率)。
图19展示亮度处理部分220的另一实施例的方框图。更具体地， 用亮度压缩级1900来替换图4的正规化级420与430。简言之，首 先将输入信号中的各亮度值提交给压缩非线性，这一点在下面详细 描述。图19中的其它级类似于图4。从而，上面己提供了这些类似 的级的描述。对于不同的级，下面参照图20提供图19的亮度处理 部分的详细描述。
一般地说，图19的亮度处理部分是较佳实施例。然而，由于两 个实施例表现不同的特征，在不同的应用下它们的性能可能不同。 例如，己观察到图4的亮度处理部分在诸如10位输入图象等较高动 态范围上执行得比在较低的动态范围上好。
图5展示色度处理部分230的方框图。可将图5看成色度处理步 骤的流程图或用于执行这些色度处理步骤的多个硬件元件的方框 图，诸如滤波器、各种电路元件与/或应用专用的集成电路(ASIC)。 色度处理在若干方面中与亮度处理并行。利用CIELUV空间的色度 (u*502及v*504)的图象内差异来为色度运算定义检测阈值，类似 于在亮度处理部分中利用Michelson对比度(及Weber氏定律)定 义检测阈值的方式。并且，与亮度运算类似，将用u*gn v*差异定 义的色度“对比度”提交给屏蔽运算。换能器非线性使一个图象与 另一图象之间对比度增量的鉴别取决于对两个图象公共的对比度能 量。
更具体地，如在亮度处理部分中，图5示出各色度分量u*502、 v*504提交给金字塔形分解过程510的。然而，虽然在较佳实施例 中亮度处理实现四级金字塔形分解，色度处理是用7级实现的。这 一实现解决色度通道是对远远低于亮度通道的空间频率敏感的这一 经验性事实(K.T.Mullen，“人类彩色视觉对红绿及兰黄色格的对 比度灵敏性”，J.Phtsiol.395，381-400，1985)。此外，这种 分解考虑了能在大的均匀区中观察到色差这一直观事实。
下面，为了反映色度通道对闪烁的内在不灵敏性，时间处理520 是通过在四个图象视场上求平均值进行的。
然后在u*与v*上执行用Laplacian核530的空间滤波。这一操 作产生u*、v*中的色差，它(根据均匀彩色空间的定义)是在度量 上与最小可辨色差相关的。取这一级上的值1来表示己达到单一的 JND，类似于亮度通道中的基于Weber氏定律的角色。(如在亮度处 理的情况中，1-JND色度单位必须在定标中进行重新解释)。
将这一色差值加权、平方及(带对比度代数符号)传递给对比度 能量屏蔽级540。该屏蔽级执行与亮度处理部分中相同的功能。操 作是比较简单的，因为它只从亮度通道及从己估算了其差异的色度 通道接收输入。最后，与亮度处理部分中完全相同地处理屏蔽的对 比度能量，以在级550中产生色度JND图。
对视频序列比较中的各场，首先将亮度与色度JND图减少到单一 数的概括，即亮度与色度JND值。在各情况中，从图减少到数是通 过Minkowski加法求所有象素值之和完成的。然后，再通过Minkowski 加法组合亮度与色度JND数，以产生感觉量发生部分260正在处理 的视场的JND估算。在Minkowski意义上相加各场的JND估算值来 确定视频序列的许多视场的单一性能测量270。
图6展示图4的亮度处理部分220的详细方框图。输入的测试与 参照场图象分别用Ik与Irefk表示，(R＝0，1，2，3)。Ik与Irefk中 的象素值分别用Ik(i，j)与Irefk(i，j)表示。这些值为输入信号处理 部分210中计算的Y三色值605。下面只讨论视场Ik，因为Irefk处 理是相同的。应指出k＝3表示4视场序列中的最新视场。
四个分辨率级上的空间分解是通过称作金字塔形处理或金字塔形 分解的高效计算方法进行的，它在分辨率的各连续的粗糙级上用因 子2抹掉及下抽样图象。原始的全分辨率图象称作金字塔的第零级 (级0)，G0＝I3(i，j)。较低分辨率上的随后的级是用称作REDUCE(减 少)的操作获得的。即，将具有权重(1，2，1)/4的三抽头低通滤 波器610在图象的各方向上顺序地作用在G0上以生成弄模糊的图 象。然后用因子2子抽样(subsample)得出的图象(隔一个去掉一 个象素)以产生下一级G1。
将滤波与下抽样一个金字塔形级的操作记作fdsl()，REDUCE处 理可表示为：Gi+1＝fdsl(Gi)i＝1，2，3
重复地在各新的级上作用REDUCE过程(如P.J.Burt与E.H. Adelson在“作为压缩图象码的Laplacian金字塔”，IEEE通信学 报，COM-31，532-540(1983)中所描述的)。
定义了用相同的3x3核上抽样与滤波的逆操作EXPAND(扩张)。 这一操作用usfl()表示并出现在下面。
各方向(水平与垂直)上的fdsl与usfl滤波器核分别是kd[1，2， 1]与ku[1，2，1]，其中将常量kd与ku选择为保持均匀场值，对于 fdsl，常量kd＝0.25，而对于ufsl，常量ku＝0.5(由于上抽样图 象中的零)。为了作为布置适当的操作实现usfl，用等效的线性内 插替代核来取代零值。然而，为了简化概念，可将它称作“上抽样 滤波器”。
接着，采用正规化，通过求各视场(k＝0，1，2，3)的级3图象 中的四个最大象素值的平均值计算中间值(用Ilvl3表示)。这一步 骤通过金字塔形分解过程中内在的平滑，减轻全分辨率(级0)图 象中的局外影响。然后将Ilvl3与前期(k＝2)中使用的正规化因子Inorm 的减小的值比较。将本期(k＝3)的Inorm设定为等于这两个值中的较大 者。然后用Inorm的这一新值定标最新的视场的全体4个金字塔形级 的图象，并将其提交饱和非线性。
下面的式子描述这一过程。如果来自上面的金字塔形级为 I3.1(i，j)，其中3与1分别表示最新的视场与金字塔级，则
(620)其中Inorm＝max[αI()norm，Ilvl3]615，I()norm为在前期 中正规化视场3金字塔级中使用的Inorm的值，m默认为2，及
Δt为场频的倒数，而thalf＝1/2与去掉明亮刺激后人的视觉系统 的适应率相关。对于50与60Hz的值分别为0.9727与0.9772。常 量LD表示在没有光线时存在的残留视觉反应(噪声)，并默认为0.01 的值。式(14)中的饱和非线性是从基于生理学的模型导出的(见 Shapley与Enroth-Cugell，1984)。
定向空间滤波器(中心与周围)作用在场3的级0、1与2图象 上。反之，时间滤波器作用在最低分辨率级(级3)上。即，将第 一与最后的场对分别线性组合成Early与Late图象。
中心与周围滤波器625及627为分开的3x3滤波器并产生所有定 向组合：中心垂直(CV)、中心水平(CH)、周围垂直(SV)及周 围水平(SH)。滤波器核如下：
级3 Early 630与Late 632图象分别为
E3＝tcI3.1(i，j)+(l-tc)I3.0(i，j)， (17)
L3＝tlI3.3(i，j)+(l-tl)I3.2(i，j). (18)
60Hz的常量te与tl分别为0.5161与0.4848，而50Hz的则分别 为0.70与0.30。
对比度计算的输入为中心与周围图象CVi、CHj、SVi与SHi(对于 金字塔极0、1与2，I＝0，1，2)，及早与晚图象E3与L3(对于金 字塔级3)。用于计算对比度的式子类似于Michelson对比度。对 于水平与垂直朝向，逐个象素的各自对比度为： 和
类似地，时间分量的对比度比为：
通过用心理物理学测试数据定标所确定的Wi(i＝0，1，2，3) 的值分别为0.015、0.0022，0.0015，及0.003。
通过将前面两个式了所定义的象素值平方计算出水平与垂直对比 度能量图象640与642，从而得出：
类似地，通过求象素值的平方计算出时间对比度能量图象650：
保留平方以前的各对比度比象素值的代数符号供以后使用。
对比度能量屏蔽为作用在用式21与22计算出的各对比度能量或 图象上的非线性函数。屏蔽运算建立在受测试图象序列中的畸变的 鉴别上的参照图象序列中的时空结构的效应的模型。
例如，受测试与参照图象相差低幅空间正弦波。已知当两个图象 都具有公共的相同空间频率的中间对比度正弦波时比两个图象都包 含均匀场时，这一差异更可见(Nachmias与Sansbury，1974)。然 而，如果公共正弦波的对比度太大，象差变得可见性差。这也是其 它空间频率的正弦波在对比度差异的可视性上具有影响的情况。这 一表现可用在低对比度能量上是S形的而对于高对比度能量为递增 的幂函数的非线性来建模。此外，在人类视觉中能近似地观察到下 述标准。各通道屏蔽自己，高空间频率屏蔽低的(而不是反过来)， 及时间闪烁屏蔽空间对比度灵敏度(反之亦然)。
根据人类视觉的这些性质，作用下述形式的非线性(逐个象素作 用)660：
这里，y为要屏蔽的对比度能量：空间，Hi或Vi(式(21))或时 间(T3)(式(22))。量Di指依赖于Y所属的金字塔形级i的图象 而言(逐个象素)。感觉量发生器定标己找出量β、σ、a与c分 别为1.17、1.00、0.0757与0.4753，而dy为平方以前对比度y中 固有的代数符号。
Di的计算需要金字塔形构成(滤波及下抽样)及金字塔形重构(滤 波与上抽样)。图6中展示Di的这一计算。首先，作为H0与V0之和 计算E0。通过级652滤波、下抽样这一和，并将其加在H1+V1上给出 E1。接着，进一步滤波、下抽样E1并将其加在H2+V2上给出E2。依次， 进一步滤波与下抽样E2给出E3。同时，将时间对比度T3的图象乘以 mt并将其加到mft E3上而产生指定为D3的和。
依次，级654重复地上抽样及滤波D3以产生T2、T1与T0。最后 将图象D1定义为Di＝mf Ei+Ti，i＝0，1，2。这里，用定标将mf确定 为等于0.001，mft设定为等于0.0005，而将mt设定为等于0.05。 滤波、下抽样与上抽样步骤与前面讨论的相同。
上面的处理显示较高的空间频率屏蔽较低的(由于Di受到小于 等于i的金字塔级的影响)，而时间通道受所有空间通道的屏蔽。 这一屏蔽操作总的是与心理物理学观察相符的。量Di，i＝0，1，2，还 屏蔽色度对比度(但反过来不是)，如下面讨论的。
图20示出图19的亮度处理部分220的另一实施例的详细方框 图。由于图19的亮度处理部分包含许多与图6的亮度处理部分类似 的级，下面只对不同的级提供描述。
一种明显的不同是用图20中的亮度压缩(压缩非线性)级2000 取代图6的正规化级。即，非线性包括降低幂函数偏移一个常量。 令来自最新的场的相对亮度阵列为Y3(i，j)，其中3表示最新的场。 则：
将显示的最大亮度Lmax设定为100cd/m2。本函数用8c/deg上的 对比度灵敏度数据定标。从而，找出可调节的参数m与LD分别为0.65 及7.5cd/m2。即，将Ld与m的值选择为便于在从0.01到100ft-L 的亮度级上与对比度检测数据匹配(van Nes与Bouman，1967)。 换言之，式(23a)允许相对于绝对亮度定标，例如，改变显示的最 大亮度将影响总亮度输出。观察式(23a)的另一方法为它允许感觉 量发生器包含与亮度有关的对比度灵敏度函数。
作为替代，可在各金字塔形级上插入附加的亮度压缩级2000(在 图20中示出在虚线框中)以允许现有的感觉量发生器建立作为亮度 与空间频率两者的函数的对比度灵敏度的模型。否则，实现只有两 个参数的一个亮度压缩级2000不足以建立其它空间频率的模型。
更具体地，各亮度图象金字塔形分解之后，在各金字塔形级k上 作用非线性。这时，对于金字塔形级k，压缩非线性由下式给
L3(i，j；k)＝[LmaxY3(i，j；k)+La]m(k)+LD(k)m(k)， (23b)
其中再一次选择m(k)与LD(k)以便在从0.01至100ft-L的亮度 级上与对比度检测匹配(van Nes等人，1967)。值La为环境屏幕 照明的偏移(据屏幕测定值设定为5cd/m2)，而Lmax为显示的最 大亮度(通常大约为100cd/m2)。
定标式(23b)的数据列表如下： I0(td) fs(c/deg) Cm 8500.00 0.500000 1.46780E-02 850.000 0.500000 1.46780E-02 85.0000 0.500000 1.46780E-02 8.50000 0.500000 1.46780E-02 0.85000 0.500000 1.46780E-02 0.08500 0.500000 1.67028E-02 8500.00 4.00000 2.61016E-03 850.000 4.00000 2.61016E-03 85.0000 4.00000 2.61016E-03 8.50000 4.00000 4.15551E-03 0.85000 4.00000 1.31409E-02 0.08500 4.00000 4.15551E-02 8500.00 8.00000 2.61016E-03 850.000 8.00000 2.61016E-03 85.0000 8.00000 2.61016E-03 8.50000 8.00000 6.71363E-03 0.85000 8.00000 2.12304E-02 0.08500 8.00000 6.71363E-02 8500.00 16.0000 3.83119E-03 850.000 16.0000 3.83119E-03 85.0000 16.0000 4.57394E-03 8.50000 16.0000 1.44641E-02 0.85000 16.0000 4.57394E-02 0.08500 16.0000 0.144641 8500.00 24.0000 6.81292E-03 850.000 24.0000 6.81292E-03 85.0000 24.0000 1.44641E-02 8.50000 24.0000 4.57394E-02 0.85000 24.0000 0.144641 0.08500 24.0000 0.457394 8500.00 32.0000 1.21153E-02 850.000 32.0000 1.21153E-02 85.0000 32.0000 2.97023E-02 8.50000 32.0000 9.39270E-02 0.85000 32.0000 0.297023 0.08500 32.0000 0.939270 8500.00 40.0000 3.16228E-02 850.000 40.0000 3.16228E-02 85.0000 40.0000 8.95277E-02 8.50000 40.0000 0.283111 0.85000 40.0000 0.89527 8500.00 48.0000 7.49894E-02 850.000 48.0000 8.13375E-02 85.0000 48.0000 0.257212 8.50000 48.0000 0.813374
上表中各对比度调制Cm为在空间频率fs的正弦波的最小可区别 对比度及视网膜亮度I0中得出的实验值。应指出由于在定标中采用 了2mm的人工瞳孔，将视网膜亮度值(以托兰表示的I0)乘以π以 补偿亮度值(以cd/m2表示的L)。用于定标的好的起始点为对所有 的m(k)与LD(k)采用8c/deg正弦波检波的默认值，对于它适当的 指数m为.65而适当的LD值为7.5cd/m2。
亮度空间与时间滤波对图6及图20的两种感觉量发生器相同。 然而，图20的感觉量发生器的亮度对比度计算是不用平方运算得出 的。图20中的级2040、2042及2050取代级640、642及650。
更具体地，对比度响应图象是作为上述式(19)与(20)所定义 的量的绝对值的剪裁的版本计算的。这些量计算如下：
i＝0，1，2，
绝对值运算之前的各对比度比象素值的代数符号也必须保留供以 后使用。
图6与图20的感觉量发生器之间的另一明显差别为对比度能量 的实现。与图6不同，图20的感觉量发生器在两个分开的级中实现 对比度能量屏蔽2060：对每个水平与垂直通道的一个交叉屏蔽级及 一个自屏蔽级(见图20)。自屏蔽降低在当前通道内存在信息时的 灵敏度，而交叉屏蔽降低在邻接通道中存在信息时的灵敏度。事实 上，这两个分开的屏蔽级的次序可以颠倒。这些对比度能量屏蔽级 有下述形式： (白屏蔽) (23e)
其中： i＝0，1，2，及 (交叉异蔽)
这里，y为要屏蔽的对比度：空间，Hi或Ji(式(23c))或时间 (T3)(式(24d))。量Di指依赖于y所属的金字塔级i的图象而言 (逐个象素)。量b、a、c、mf及mt是通过分别建立1.4、3/32、 5/32、10/1024及50的定标模型找出的。dy为在取绝对值之前保留 的对比度y的代数符号。
Di的计算类似于上面讨论的图6中的。即，fdsl()表示3×3滤 波，后随一个金字塔级的下抽样，而usfl()表示一个金字塔形级 的上抽样后随3x3滤波。首先，计算阵列E0如下：
E0＝H0+V0(23f)
然后，对于i＝1，2，递归地计算阵列Ei：
Ei＝Hi+Vi+fdsl(Ei-1)，对于i＝1，2 (23g)
E3＝fdsl(E2) (23h)
然后将阵列Ei与时间对比度图象T3及图象Ti组合给出对比度分 母阵列Di如下：
D3＝mtT3+mftfdsl(E2)， (23i)
T2＝usfl(D3)，T1＝usfl(Ti+1)，for i＝1，0，
D1＝Ei+Ti，i＝0，1，2. (23j)
这里，参数mft＝3/64，调制所有空间亮度一起用它来屏蔽时 间(闪烁)亮度通道的强度；而参数mt＝50，调制时间(闪烁)亮 度通道用它来屏蔽各空间亮度通道的强度。
图7展示亮度量发生部分240的详细方框图。再一次可将图7看 成是亮度量发生步骤的流程图或具有用于执行这些亮度量发生步骤 的多个硬件部件的亮度量发生部分的方框图，诸如滤波器、各种电 路元件与/或应用专用的集成电路(ASIC)。下述构造适用于上面图 6中生成的所有屏蔽的对比度图象：金字塔形H与V中的图象(即 图象H0，V0、H1、V1、H2与V2)、图象T3(具有级3上的分辨率)及 从参照序列中导出的对应图象(用图6与7中的上标ref表示)。
下面过程中的前四个步骤分开作用在上述图象上。在下面的讨论 中X表示从测试序列中导出的任何图象，而用Xref表示从参照序列 中导出对应图象。给定这一标记法，这些步骤如下：
在步骤(或级)710中，将图象X分成两个半波整流图象，一个 用于正在对比度712而另一个用于负对比度714。在正对比度图象 (称作X+)中，利用来自X对比度的符号(如上面讨论的分开存储 的)将零赋予X+中具有负对比度的所有象素。相反的操作出现在负 对比度图象X-中。
在步骤(或级)720中，对于各图象X+与X-，通过应用3x3滤波 器将图象与0.25(1，2，1)的滤波器核水平及垂直卷积来执行本地 汇集操作。
此外，在步骤720中，在各方向上用因子2下抽样得出的图象， 消除从汇集操作中导致的冗余。为对应的参照图象Xref执行与作用 在X上相同的处理。
在步骤(或级)730中，逐个象素计算绝对差图象|X+-X+ref| 及|X--X-ref|。得出的图象为JND图。
在步骤(或级)740中，在JND图上执行核化操作。即将小于阈 值tc的所有值设定为零。在较佳实施例中，tc的默认值为0.5。
在步骤(或级)750中，确定这些图象的第Q次幂。在较佳实施 例中，Q为默认值为2的正整数。
对所有的X，Xref对完成了这一处理之后，通过重复地上抽样、 滤波及将所有图象向上相加到要求的级来确定概括测量。这是按如 下进行的：
在步骤(或级)760中，在从T3，T3ref中导出的级3图象上作用 上抽样与滤波以导出级2图象。
在步骤(或级)761中，在来自步骤760的级2图象与从H2、H2ref、 V2及V2ref导出的级2图象之和上作用上抽样及滤波。
在步骤(或级)762中，在来自步骤761的级2图象与从H1、H1ref、 V1及V1ref导出的级2图象之和上作用上抽样及滤波。
在步骤(或级)763中，在来自步骤762的级2图象与从H0、H0ref、 V0及V0ref导出的级2图象之和作用上抽样及滤波。来自步骤(或级) 763的路径765上的输出为亮度JND图。
应指出在最后处理步骤763之前，得出的图象是原始图象的一半 分辨率。类似地应指出在这一处理部分中的各金字塔形级下标是指 它从其原始导出的金字塔级而言，它是与滤波/下抽样后的级关联的 分辨率的两倍。
还应指出通过上面的重复上抽样、滤波及加法处理生成的所有图 象为第Q次幂JND图象。以两种方式使用级0图象，在路径764上 将其直接送到概括处理，或者为显示目的在步骤763中上抽样及滤 波到原始图象分辨率。
图21展示亮度量发生部分240的另一实施例的详细方框图。由 于图21的亮度量发生包含许多与图7的亮度量发生类似的级，下面 只对不同的级提供描述。
更具体地，用保持通道输出的运行和与运行最大值的多个求最大 值与和级取代“核化”级740及“上升到第Q次幂”级750。由于 直到级750图21所示的过程与图7的相同，现有从己确定了绝对差 图象|X+-X+ref|及|X--X-ref|的点上开始描述图21的过程。
接着，在为各X，Xref的对完成了该过程之后，在级2140中初始 化运行和图象以包含从T3，T3ref导出的级3图象之和。类似地，在 级2142中初始化运行最大值图象以包含作为|T3+-T3+ref|及|T3- -T3-ref|的逐点最大值的运行最大值图象。
接着，级2140a与2142a分别上抽样及滤波运行和与运行最大值 图象，以构成两个级2图象。然后级2144通过将其加到从H2、H2ref、 V2及V2ref导出的级2图象而更新运行和图象。类似地，级2146通过 将其与从H2、H2ref、V2及V2ref导出的组2图象比较而更新运行最大 值图象。
接着，级2144a及2146a分别上抽样及滤波运行和与运行最大值 图象来构成两个级1图象。然后级2148通过将其加到从H1、H1ref、 V1及V1ref导出的级1图象而更新运行和图象。类似地，级2150通过 将其与从H1、H1ref、V1及V1ref导出的级1图象比较而更新运行最大 值图象。
接着，级2148a与2150a分别上抽样及滤波运行和及运行最大值 图象以构成两个级0图象。然后级2152通过将其加到从H0、H0ref、 V0及V0ref导出的级0图象而更新运行和图象。类似地，级2154通过 将其与从H0、H0ref、V0及V0ref导出的级0图象比较而更新运行最大 值图象。
最后，在级2160中执行运行和与运行最大值图象的逐点线性组 合来产生按照下式的亮度JND图：
JNDL(i，j)＝kL Running_Max(i，j)+(l-kL)Running_Sum(i，j) (23k)
其中kL＝0.783。k值是通过逼近Minkowski Q-norm确定的。给 定Q值及要集合的图象数目N，值kL＝[N-NI/Q]/[N-1]保证当所有 比较项(在一个象素上)相同时且当只有一个非零项时，近似测定 值正好与Q-norm匹配。在这一情况中，N＝14(通道数)而Q＝2。
应指出这一过程之后，得出的图象是原始的一半分辨率。类似地， 应指出这一过程中的各金字塔形级下标是指它从其原始导出的金字 塔级而言，它是与滤波/下抽样后的级关联的分辨率的两倍。
最后，应指出能在通过重复滤波/下抽样与加法/求最大值过程生 成的所有图象上加上权重kL与l-kL以产生JND图象。可用两种方式 处理级0图象，通过路径2161将级0图象直接送至JND概括处理或 者用级2170上抽样及滤波到原始分辨率供显示。
通常，图21的亮度量发生部分是较佳实施例，而图7的亮度量 发生部分是替代实施例。原因之一是求最大值、求和方法是计算上 较便宜的。从而，如果希望整数实现中的动态范围，则图21的亮度 量发生部分较佳。否则，如果采用浮点处理器，则图7的亮度量发 生部分也能一样好地使用。
半高度亮度处理
由于存储器需求与计算周期是重要的处理问题，本发明提供能处 理诸如交错图象的顶与底部场的半高度图象的感觉量发生器的另一 实施例。这一实施例减少存储全高度图象所需的存储器空间量，同 时减少计算周期数。
如果要直接传递通过半高度图象而无须填充0到真实的图象高 度，则上述亮度处理部分220必须加以修改以反映固有的垂直分辨 率只是固有的水平分辨率的一半。图22与23为用于处理半高度图 象的亮度处理部分及亮度量发生部分的方框图。
这两个图(图22与23)与用于全高度交错图象的对应的图(图 20与21)之间的比较揭示许多级是相同的。从而，下面对图22与 23的描述只限于两种实现之间的差别。
首先，消除了最高分辨率水平通道H0。第二，最高分辨率图象是 用具有权重(1/8，3/4，1/8)的3×1“Kell”滤波器(垂直滤 波器)2210垂直(即沿列)低通滤波的。这一滤波器是垂直尺度上 的抗混淆滤波器，用于消除由于行是在一半空间频率上抽样的这一 事实引起的影响。即它是垂直变模糊的低通滤波器。然后用1×3 滤波器2220(核0.25[1，2，1])水平滤波得出的经垂直滤波的图 象L0。得出的图象LP0为L0的水平低通型式。
接着，将L0与LP0组合以产生除以类似于其它定向通道的(S- C)/(S+C)响应的低通(LP0)定向的响应的带通(LP0-L0)。
依次，在级2200中将图象LP0(720×240个象素的半高度图象) 水平下抽样到全高度半分辨率图象(360×240)。在这一点上，纵 横比使得在这一图象及全部剩下的三个金字塔级上的处理能象全高 度方案中一样继续进行。
接着，分别用级2232(标记为1×3滤波器与d.s.)1×3滤波 /水平下抽样及用级2234水平上抽样(h.u.s)/1×3滤波完成来 自级0的半高度图象与级1的全高度图象之间的下抽样及上抽样。 水平下抽样在水平尺度上用因子2施加分样(decimation)，即丢 弃图象的每隔一列。水平上抽样在现有图象的每两列之间插入零的 列。上抽样后的滤波器核用0.5[1，2，1]定义，其理由如上所述。
图23展示用于处理半高度图象的亮度量发生部分。首先，不存 在最高分辨率水平通道H0。对于V0通道，提供1×3滤波和水平下 抽样级2300来取代其它通道中使用的3×3滤波及下抽样级。
由于没有H0通道，修改了各种参数及运行最大值与运行和的“通 路”例如，将确定k的N值从14改变到12。同一值k＝0.738用于 全高度与半高度处理两者并且是从上面给出的式子计算的全高度与 半高度常量的平均值。
最后，如在全高度实施例中，在显示以前必须将概括测量的亮度 图带入全图象分辨率。紧接在显示前，在级2310中通过上抽样及随 后用1×3滤波(核0.5[1，2，1])将最终的JND带到全分辨率。 因垂直方向上，在级2320中执行了行加倍。
应指出由于各空间滤波器具有水平与垂直空间相关性，与其全高 度对等物相比半高度实施例存在一些差别。然而，己观察到半高度 实施例在与主观额定值的相关性中呈现少许失真。从而，可采用非 交错选择项作为交错选择项的有生命力与节省时间的替代品。
图8展示色度处理部分230的详细方框图。再一次可将图8看 成色度处理步骤的流程图或具有用于执行这些色度处理步骤的多个 硬件元件的色度处理部分的方框图，例如滤波器、各种电路元件与/ 或应用专用的集成电路(ASIC)。应指出除具有级0，1，2的金字 塔形外，色度处理部分230为u*802与v*804两者计算具有级0，1，…， 6的金字塔形。
将色度通道的空间分辨率(即最高金字塔级的分辨率)选择为等 于亮度的分辨率的，因为分辨率是由象素间间隔而非接收器间间隔 驱动的。接收器间间隔为0.007度视角，而象素间间隔为0.03度， 这是从在其高度上具有480个象素及在四倍其高度处观看而导出 的。另一方面，Morgan与Aiba(1985)发现红绿微调敏锐度在等亮 度上降低因子3，这一因子要用其它类型的敏锐度的三个接收器间 间隔来均衡。同时，兰黄色度通道的分辨率受到视觉系统对于小于 大约2’(0.033度)视角的光线是三型色盲(兰色盲)的这一事实的 限制(见Wyszecki与Stiles，1982，571页)。0.03度视角的象 素分辨率非常接近这些值中的最大者，使其适合于均衡亮度与色度 通道的象素分辨率。
色度金字塔延伸到级6。这支持观察者注意到大的空间均匀的彩 色场之间的差异的论据。这一效应能用空间延伸的JND图来解决。 Mullen(1985)己提供这种低空间频率对JND的影响的定量论据。
返回到图8，类似于亮度处理，通过金字塔形分解完成在七个分 辨率级上的空间分解，在各连续的较粗糙的分辨率级上用因子2弄 模糊及下抽象图象。原始的全分辨率图象称作金字塔的第0级(级 0)。在较低分辨率上的后面的级是用称作REDUCE(降低)的操作 得到的。即，在图象的各方向上顺序地将具有权重(1，2，1)/4的 三抽头低通滤波器805作用在级0上以生成弄模糊的图象。然后用 因子2子抽样得出的图象以产生下一级，级1。
在步骤(或级)810中，为各分辨率级在u*图象上并且也在v* 图象上用抽头权重(0.25，0.25，0.25，0.25)执行四场平均，即令
其中j为场下标。这一平均运算反映彩色通道的固有低通时间滤 波，并取代时间亮度通道的“early-late”处理。
在步骤(或级)820中，将非定向的Laplacian空间滤波器820 作用在各u*与v*图象上。该滤波器具有下面的3×3核：
选择成具有0总权重及用最大强度1来响应两个均匀区之间的任 何直边，这两个区之间具有单位值的差异。(最大响应是由水平或 垂直边达到的。)这将u*与v*图象描绘到能以均匀色空间(JND) 为单位估算的色度差异图中。
在步骤(或级)830中，直接在从作为色度对比度金字塔的步骤 820得出的u*与v*图象上执行对比度计算，将类似于亮度处理部分 中计算的Michelson对比度进行解释。与亮度对比度类似，色度对 比度是通过用Laplacian金字塔实现的图象内比较计算的。正如 Laplacian差除以空间平均值表示Michelson对比度，它通过Weber 氏定律假设1-JND级上(检测阈值)的常量值，在u*与v*上操作的 Laplacian金字塔具有1-JND的解释。类似地，这一解释在定标过 程中修改。修改反映本发明的所有部分的交互作用，以及激发1-JND 响应的刺激并非简单地依据感觉量发生器这一事实。
此外在步骤(或级)830中，将对比度金字塔形图象逐级除以七 个常量qi(i＝0，…，6)，它们的值是分别通过定标成1000、125、 40、12.5、10、10、10确定的。这些常量类似于亮度处理部分中的 量Wi(i＝0，…，3)。
在步骤(或级)840中，确定所有u*与v*对比度的平方，但再 一次保留代数符号供以后使用。符号保留防止由于在平方运算中丢 失符号的二义性引起的在两个不同图象之间记录0 JND的可能性。 结果是两个色度平方对比度金字塔Cu、Cv。
在步骤(或级)850中，执行对比度能量屏蔽。首先，直接从亮 度处理部分220不加改变地采用分母金字塔级Dm(m＝0，1，2)。 然而，对于级3，…，6利用与亮度处理中相同的方法但不增加新项， 执行D2的顺序滤波与下抽样。在步骤840中在微扰理论的精神中使 用这些Dm值，共含义为，由于亮度是JND的更重要的确定者，事先 假定亮度在色度上的作用比色度在亮度上的作用更重要。即，由于 在大多数情况中预期亮度作用支配色度作用，可将色度处理部分看 成是亮度处理部分上的第一级微扰。因此将亮度作用(Dm)建模成 屏蔽色度，而不是反过来。
屏蔽的色度对比度金字塔是通过使用亮度通道分母金字塔Dm及 与用于亮度换能器相同函数形式以屏蔽色度平方对比度金字塔而生 成的，对于所有金字塔级m＝0，1，2：
应指出在步骤830中去掉的代数符号通过因子Sum与Svm重新加 上。这一运算产生u*与v*的屏蔽对比度金字塔。定标己确定值ac＝0.15， cc＝0.3，k＝0.7，σc＝1.0及βc＝1.17。此外，将mc设定为值1在所 有定标与预测中己产生足够的性能。
图24展示色度处理部分230的另一实施例的详细方框图。由于 图24的色度处理部分包含许多与图8的色度处理部分类似的级，下 面只对不同的级提供描述。
对于图8与图24的两种感觉量发生器，色度空间与时间滤波是 相同的。然而，图24的感觉量发生器的色度对比度计算是不用平方 运算达到的。即，用图24中的级2400取代级830。
更具体地，在步骤(或级)830中，逐级将对比度金字塔图象除 以7个常量qi(i＝0，…，6)，它们的值是分别通过定标成384、60、 24、6、4、3、3确定的。应指出这些常量与图8的不同。这些常量 类似于亮度处理部分中的量wi(i＝0，…，3)。
接着，计算所有ui与v*对比度的经过剪裁的绝对值[其中 clip(x)＝max(0，x-e)]，其中e＝0.75。再一次保留代数符号及在 以后使用时重新加上。这防止了由于在绝对值运算中的符号丢失的 二义性而在两个不同图象之间记录0 JND的可能性。结果是两个色 度对比度金字塔Cu、Cv。
图8与图24的感觉量发生器之间的另一明显差异是对比度能量 屏蔽的实现。与图8不同，图24的感觉量发生器在两个分开的级中 实现对比度能量屏蔽2410：用于各水平与垂直通道的一个交叉屏蔽 级及一个自屏蔽级(见图24)。自屏蔽降低当前通道内出现信息时 的灵敏度。而交叉屏蔽降低在邻接通道中出现信息时的灵敏度。事 实上，这两个分开的屏蔽级的次序可以颠倒。
利用亮度通道分母金字塔Dm及用于亮度换能器的相同函数形式， 对所有金字塔级m＝0，…，6屏蔽色度对比度金字塔：
并在i＞2时Di为D2的滤波及下抽样的版本。类似地，
注意上面去掉的代数符号己通过因子sum与svm重新加上。这产生 ui与vi的屏蔽的对比度金字塔。定标确定值ac＝1/2，cc＝1/2，βc＝1.4 及mc＝mf＝10/1024。通常，图24的色度处理部分为较佳实施例，而 图8的色度处理部分为替代实施例。
图9展示色度量发生部分250的方框图。再一次可将图9看成是 色度量发生步骤的流程或具有用于执行这些亮度量发生步骤的多个 硬件部件的色度量发生部分的方框图，诸如滤波器、各种电路元件 与/或应用专用的集成电路(ASIC)。色度JND图的构成类似于上面 对图7讨论的亮度JND图的构成。在色度情况中，这一过程作用在 上面的级840生成的所有屏蔽的对比度色度图象(即图象Cu0，Cv0，…， Cu6、Cv6)及从参照序列导出的对应图象上(在图8与9中用上标ref 表示)。
下面过程中的前四个步骤分开作用在上述图象上。在下面的讨论 中X表示从测试序列导出的任何图象，而用Xref表示从参照序列导 出的对应图象。给定这一标记，步骤如下：
在步骤(或级)910中，将图象X分成两个半波整流图象，一个 用于正对比度912及另一个用于负对比度914。在正对比度图象(称 作X+)中，利用来自X对比度(如上面讨论的分开存储的)的符号 对X+中具有负对比度的所有象素赋值0。在负对比度图象X-中发生 相反的操作。
在步骤(或级)920中，通过作用3×3滤波器将图象水平及垂 直地与0.5[1，2，1]的滤波器核卷积，以执行本地汇集操作。
此外，在步骤920中，在各方向上用因子2下抽样得出的图象以 消除从汇集操作中导致的冗余。对对应的参照图象Xref执行与作用 在X上相同的处理。
在步骤(或级)930中，逐个象素计算绝对差图象|X+-X+ref| 及|X--X-ref|。得出的图象为JND图。
在步骤(或级)940中，在J-ND图上执行核化操作。即将所有小 于阈值tc的值设定为零。在较佳实施例中，tc的默认值为0.5。
在步骤(或级)950中，确定这些图象的第Q次幂。在较佳实施 例中，Q为默认值为2的正整数。
对所有的X，Xref对完成了这一过程之后，通过重复地上抽样、 滤波及将所有图象加在一起到所要求的级上来确定概括测量。这是 如下进行的：
在步骤(或级)960中，在从Cu6、Cu6ref、Cv6、Cv6ref导出的级6 图象上作用上抽样及滤波以导出级5图象。
在下一步骤(或级)中，将上抽样及滤波作用在来自具有从Cu5、 Cu5ref、Cv5、Cv5ref导出的级5图象的步骤960的级5图象之和上。这 一过程继续进行到级0。
类似于亮度处理，应指出在最后的处理步骤963之前，得出的图 象的分辨率是原始图象的一半。类似地，应指出这一处理部分中的 各金字塔级下标是指它原来从其导出的金字塔级而言，它是与滤波/ 下抽样后的级关联的分辨率的两倍。
应指出上面重复上抽样、滤波及加法过程所生成的所有图象为第 Q次幂JND图象。以两种方式使用级0图象，在路径964上直接送 给概括处理，或者在步骤963中上抽样及滤波到原始图象分辨率供 显示用。
如上面讨论的，传递给输出概括步骤的亮度及色度JND图为第Q 次幂JND图象，并且是在原始图象的半分辨率上表示的。这利用了 在各屏蔽对比度级上执行汇集中固有的冗余性。通过用Minkowski 加法求所有象素的平均值能将这些半分辨率图象中的每个减少到单 个JND性能测量：
NP为各个JND图中的象素数目，JNDluminance及JNDchrominance为概括 测量，而LJNDQ与CJNDQ为分别来自亮度及色度图构造的半分辨率图。 在各情况中，该总和是在图象中的所有象素。如上所述，Minkowski 指数Q的值默认为2。
从亮度与色度概括测量中，用Minkowski加法计算场的单一性能 测量，即
其中Q再次默认为2。
通过再一次在Minkowski意义上将各场的JND值相加得出视频序 列的N个场的单一性能测量JNDfield。Q默认为2。
图25展示色度量发生部分250的另一实施例的详细方框图。因 为图25的色度量发生包含许多与图9的色度量发生类似的级，下面 只对不同的级提供描述。
更具体地，用保持通道输出的运行和与运行最大值的多个求最大 值及求和级取代“核化”级940及“升高到第Q次幂”级950。由 于直到级930图25与图9中所示的过程相同，现在从己确定了绝对 差图象|X+-X+ref|及|X--X-ref|的点上开始描述图25的过程。
接着，为所有的X，Xref对完成了处理之后，在级2540中初始化 运行和以包含从Cu6、Cu6ref、Cv6及Cv6ref导出的级6图象之和。类似 地，在级2542中将运行最大值图象初始化为这些相同图象的逐点最 大值。
接着，用级2540a及2542a分别上抽样及滤波运行和及运行最大 值图象，以构成两个级5图象。然后级2544通过将其加到从Cu5、 Cu5ref、Cv5及Cv5ref导出的级5图象更新运行和图象。类似地，级2546 通过将其与从Cu5、Cu5ref、Cv5及Cv5ref导出的级5图象比较而更新运 行最大值图象。这一过程向下重复到金字塔级0。
最后，执行了上述步骤之后，执行运行和与运行最大值图象的逐 点线性组合以产生色度JND图：
JNDC(i，j)＝kCRunning_Max(i，j)+(1-kC)Running_Sum(i，j)， (30a)
其中kc＝0.836。kc的值是通过逼近Minkowski Q-norm确定的。 给定Q的值及要集在一起的图象的数目N，值kc＝[N-NI/Q]/[N- 1]保证近似测量在所有比较项(象素上)相同时并且在只有一个非 零项时，完全与Q-norm匹配。在本例中，N＝28(通道数)及Q＝2。
和在亮度处理中一样，这些操作之后得出的图象在分辨率上是原 始图象的一半。应指出这一过程中的各金字塔级下标是指从其原始 导出的金字塔级而言，它是与滤波/下抽样后的级关联的分辨率的两 倍。
还应指出可在上面的重复上抽样/滤波与加法/求最大值过程所生 成的所有图象上加上权重kc与1-kc以产生JND图象。以两种方式使 用级0图象，将其直接送给概括处理或上抽样到原始图象分辨率及 滤波供显示用。
通常，图25的色度量发生部分是较佳实施例，而图9的亮度量 发生部分为替代实施例。一种原因是最大值-和方法在计算上较便 宜。从而，如果希望以整数实现的动态范围，则图25的色度量发生 部分较佳。否则，如采用浮点处理器，则图9的亮度量发生部分能 同样使用。
半高度色度处理
如果直接传递半高度图象而不填充零到真实图象高度，则上面的 色度处理部分230必须加以修改以反映固有的垂直分辨率只是固有 的水平分辨率的一半。图26与27为用于处理半高度图象的色度处 理部分及色度量发生部分的方框图。
这些图(图26与27)与用于全高度交错的对应的图(图24与25) 之间的比较揭示许多级是相同的。因此，下面对图26与27的描述 限于两种实现之间的差别。
首先，消除最高分辨率色度通道u0*与v0*。由于在高空间频率 上色度灵敏度通常是低的，损失这些通道并不重要。
第二，为了产生次最高分辨率色度图象u1*与v1*，垂直(即沿 列)作用具有权重(1/8，3/4，1/8)的核的低通“Kell”滤波器2600。 这一操作对应于假设的去交错滤波器连同全高度实施例的3×3滤波 器的垂直分量所执行的滤波的联合滤波。然后用具有权重0.25(1，2， 1)的核的1×3滤波器2610水平滤波得出的垂直滤波的图象。u*与 v*图象的这一滤波使半高度图象的分辨率各向同性。这一分辨率具 有全高度金字塔级1。
图27展示用于处理半高度图象的色度量发生部分。首先，0级 不存在。这样，修改了运行最大值与运行和的各种参数及“通路”。 例如，将确定k的值N从28改变到24。相同的k＝0.836用于全 高与半高度处理并且是从上面给出的公式中计算出的全高与半高度 常量的平均值。
由于在色度实施例中，最大值与和流是完全累积在金字塔级1上 的，概括测量的色度JND图只是全部累积的亮度图的一关大小(在 水平与垂直方向上)。从而，在组合色度与亮度图来产生总的JND 图之前，必须首先将色度图变成与亮度图相同的分辨率。为了达到 这一目的，执行上抽样后随3×3滤波器2705，以产生概括测量的 色度JND图。
如在全高度实施例中，在显示以前必须将概括测量的色度图变成 全图象分辨率。为了与亮度图中的类似操作一致，在级2710中通过 上抽样及后随1×3滤波(核0.5[1，2，1])将色度图在水平方向 上变成全分辨率。在垂直方向上，在级2720中执行行加倍。
JND输出概要
如上面讨论的，传递给输出概要步骤的亮度与色度JND图为JND 图象，并且是在原始图象的半分辨率上表示的。这利用己执行汇集 的各屏蔽的对比度级中固有的冗余性。
接着，将亮度与色度JND图JNDL与JNDC组合成总视场JND图JNDT。 这一组合是用近似Minkowski加法进行的，与通道组合来产生图JNDL 与JNDC相似：
JNDT(i，j)＝kTmax[JNDL(i，j)，JNDC(i，j)] (30b)
+(1-kT)[JNDL(i，j)+JNDC(i，j)]
其中kT＝0.586。kT的选择是通过逼近Minkowski Q-norm确定 的。在本例中，max/sum中有两项，而Q＝2。
依次，通过下述直方图过程将各半分辨率JND图象(各场三个： 亮度、色度与总视场)减少到称作JAM的单一JND性能测量：
首先，制作JND值的直方图(1/8 JND)，但不包含小于阈值级 tc＝1/2的值。将大于100JND的所有的值作为100JND记录。
第二，采用JND作为来自上面的缩略的直方图的JND点数的第90 个百分点。以这一方式为分别对应于JNDL、JNDC及JNDT的概括测量 计算三个值JAMluma、JAMchroma及JAMtotal。这是为视频序列中的各场 进行的。
从视频序列中的N个单视场JAMfield值中，取决于序列的长度， 以两种方式之一计算单一的性能测量。
对于N＞10：
JAMN等于JAMfield值的直方图的第90个百分点。
对于N≤10：
用于N增加时提供连续度的下述过程确定JAMN。更具体地，首先 制作JAMfield值的直方图。第二，用具有与真实直方图相同的最小值、 最大值及平均值的“人造直方图”逼近直方图，该人造直方图是由 在最小或最大值之一上的单一仑峰值的常量构成的。
第三，采用N场JAM作为来自上述人造直方图的JAMfield点数的 第90个百分点。
应指出主观额定数据对于短视频序列(如小于1/2秒或15帧) 是有噪声及不可靠的。从而JAM估计与短序列的主观额定值的相关 是低劣的。
图象边界处理
在本感觉量发生器中，己观察到各级上的边界反射能将赝象传播 到亮度与色度JND图中，从而需要修剪来使这些JND图不受这些赝 象污染。为了解决这一临界性，己研究出一种方法用无限大小但以 每边不超过6个象素增加实际图象大小进行操作的灰色遮光板来取 代屏幕边界。这一“虚拟遮光板”的使用消除了修剪JND来避免边 界赝象的要求。无限的灰色遮光板模仿观看条件并因此可认为不是 人工的。用这一解释，整个JND图是不受赝象污染的。并能用画面 质量分析器显示。
在下面的描述中，将己在所有边上用6个象素填衬的的图象称作 “填衬图象”，而将未填衬的图象或其填衬图象内的部位称作“图 象本体”。
由于图象操作是本地的，能高效地实现虚拟无限遮光板。在图象 本体外侧充分远处，无限遮光板在任何给定级上得出一组相同的常 量值。可事先计算在这一常量区上所执行的诸如滤波等图象操作的 效果。从而，窄的边界(本实现中为6个象素)能提供从图象本体 到无限遮光板的适当过渡。
在输入端上，给予遮光板值Y’＝90，U’＝V’＝0。(Y’＝90的值对应于 最大屏幕亮度的15％的Rec 500背景值的一半)。然而，直到前端 处理完成为止遮光板是不需要的，由于在这一级完成之前不会出现 延伸到图象边界以外的空间交互作用。在亮度通道中，在亮度压缩 完成之前没有边界(并因而没有遮光板值)附加在图象上。在色度 通道中，前端处理之后加上边界。
在高度通道中，亮度压缩后的第一遮光板值是
在u*与v*通道中，第一遮光板值均为0。
这些值以三种方式传播通过后面的处理级：
1)逐个象素的函数在老遮光板值上运算以产生新遮光板值。例 如，从1.4次幂函数得出的遮光板值为：
bezel_out＝(bezel_in)1.4 (30d)
2)其行与列之和为P的3×3空间滤波器将输出bezel值设定 为输入bezel乘P。
3)对比度函数计数器与四视场时间滤波器(具有零抽头和)将 输出遮光板值设定为0。
在对比度级上及以后，在亮度与色度通道中给予遮光板值0，即 在空间常量阵列上用零和线性核运算的逻辑结果。
用于生成虚拟遮光板的方法公开在1997年11月23日提交的名 为“生成图象金字塔边界的方法”的美国专利申请08/997,267中。 通过引用将该美国专利申请08/997,267包含在此。
集成图象及遮光板
从模型的金字塔级开始，必须提供边界。在N×M输入图象上的 第一边界操作是用具有适当的遮光板值(对于压缩的亮度图象的 first luma bezel及对于u*与v*图象的0)的6个象素(所有边上) 填充图象。填充后的图象具有尺度(N+12)×(M+12)。对于第k个金 字塔级(其中k的范围为0至7)填充后的图象具有尺度([N/2k]+12) ×([M/2k]+12)，其中“[x]”表示x中的最大整数。
所有金字塔级上的图象都互相登记在图象本体的左上角上。图象 本体的记号在0≤y≤高度，0≤x≤宽度上进行。图象本体的左上角 永远具有记号(0，0)。遮光板象素取小于0的高度与宽度值。例如， 左上遮光板象素为(-6，-6)。如果从宽度为w的图象(图象加遮光 板宽度w+12)的左边开始沿x方向看，遮光板象素是用x＝(-6，- 5，…，-1)标记的，实际图象标记为(0，1，…，w-1)而右边遮光板 标记则为(w，w+1，…，w+5)。
给定填充后的图象，取决于以后的处理级，能发生四件事情。在 描述下面的操作中，我们用单一图象行来概括空间处理(理解类似 的事件发生在垂直方向上)。
(a)对于逐个象素操作。当下一个操作是逐个象素操作时(如具 有非线性)，简单地将填充后的图象传递通过该操作，并且输出图 象尺度与输入图象尺度相同。当操作是在不同的场或不同的色带中 的对应象素之间时，出现相同的情况。
(b)对于3×3空间滤波器。假定(在一个尺度上)未填充的输 入图象具有尺度Nk+12。则填充后的输入图象具有尺度Nk+12，而填 充后的输出图象同样具有尺度Nk+12。首先计算输出遮光板值及写入 至少尚未被以后的图象操作填充的遮光板象素中。然后从离开填充 后的输入图象左边1个象素开始，3×3核开始对输入图象运算及改 写输出图象的遮光板值，停止在距图象右(或底)边一个象素处(这 里存在原始遮光板值)。事先写入的遮光板值使核运算没有必要进 行到原始(填充后的)图象外面去计算这些值。
(c)对于在REDUCE中的滤波及下抽样。给定具有尺度Nk+12的 输入填充后的图象，分配给输出阵列尺度[Nk/2]+12。将遮光板值写 入至少后面的滤波器与下抽样操作不填充的遮光板象素中。然后， 按照上面的(b)滤波输入图象，滤波器作用在象素-4，-2，0，2，4 上直到穷尽了输入图象为止，并将输出值写入连续的象素-2，-1，0， 1，2，…中，直到输出图象中再也没有它们的位置为止。注意新图 象中象素0的位置距新图象左端7个象素。如果Nk为奇数，滤波器 的最后象素应用取输入象素Nk+3以输出象素[Nk/2]+12，而如果Nk 为偶数它取输入象素Nk+4以输出象素[Nk/2]+12。(这里我们称滤波 器的输入象素为对应于3象素核的中心的象素)。
亮度定标与预测
心理物理学数据用于两种目的：1)定标亮度处理部分(即为某些 处理参数确定值)，及2)一旦定标以后，确认亮度处理部分的预测 值。在所有情况中，将激励作为紧接在亮度处理前面的Y值图象注 入感觉量发生器中。
定标
亮度处理部分220能用两组数据重复地定标。一组数据用于调节 亮度处理部分中的步骤640、642与650中的预屏蔽常量(wi，te及 tl)。另一组数据用于调节亮度处理部分的步骤660中的屏蔽级常 量σ、β、a与c。由于JND值永远是在步骤660后面估算的，用第 二组数据对步骤660中的常量的调节要求用第一组数据对步骤640、 642与650常量的重新调节。继续这些常量的重新调节直到从一次 迭代到下一次迭代观察不到进一步的改变为止。应指出虽然上面的 迭代过程通过将未屏蔽的对比度的单位值(步骤640、642与650) 解释为视觉输出的一个JND出发，屏蔽过程还是微扰这一解释。下 面的小节中描述调节的细节。
对比度正规化常量的调节(步骤640、642及650)
将屏蔽以前感觉量发生器对空间与时间对比度灵敏度的预测与 Koenderink及Van Doorn(1979)提出的正弦波的对比度灵敏度数据 匹配。为了生成基于感觉量发生器的曲线上的点，提供低幅值正弦 波作为对感觉量发生器的测试图象(空间或时间中的)，并估计1JND 输出的对比度阈值。在各情况中参照图象隐含地具有与测试场相同 的平均亮度的均匀场。
在感觉量发生器的步骤640、642与650中将空间对比度灵敏度 对数据的拟合(见图10的最后拟合)用于调节对比度金字塔灵敏度 参数w0、w1及w2。图10中的虚线表示构成总灵敏度(实线)的分 开的金字塔通道的灵敏度。应指出与图10符合的空间模型不延伸超 过15个周期/度，与上面讨论的观察距离限制符合：四个屏蔽高度 的观察距离。可执行w0、w1及w2的类似调节以容纳略为不同的观 察距离；更大的观察距离可能要求较低的分辨率金字塔级，这些可 在低计算费用上容易地体现。
使用时间对比度灵敏度对数据的拟合(见图11的最后拟合)调 节时间滤波器抽头参数te及tl以及对比度金字塔灵敏度参数w3。用 来拟合这些参数的方法类似于空间对比度定标。将各种时间频率上 的Van Doorn与Koenderink的最低空间频率数据与为空间均匀的时 间正弦波计算的灵敏度匹配。在各情况中，视觉模型场速率在50与 60Hz抽样时间正弦波，而这产生上面指出的不同参数值。
屏蔽常量的调节(步骤660)
屏蔽参数值σ、β、a与c(感觉量发生器的步骤660中)是通 过比较屏蔽的对比度分辨的预测与Carlson及Cohen(1978)获得的 数据拟合的。图12中示出最后拟合比较的结果。从Carlson-Cohen 研究中，选择服从代表性标准并且具有足够数据点的单个观察者的 数据。在这一情况中，感觉量发生器激励包含测试与参照场两者中 给定的基准对比度的空间正弦波，及附加测试场正弦波的对比度增 量。达到1JND所必需的对比度增量是从感觉量发生器中为各对比 度基准值确定的，然后标出在图12中。
预测
感觉量发生器定标之后，将感觉量发生器预测与来自并非正弦波 的激励的检测与分辨数据进行比较。这是为了检验正弦波结果到更 一般的激励的可移植性而进行的。从图13、14与15中可见，预测 不能应用在具有10个周期/度以上的标准空间频率的图形上。这些 图形在15个周期/度以上的空间频率上己具有可觉察的能量，并己 与象素抽样率混淆(每度30个样本，见上面的讨论)。
在第一研究中(图13)，相对于均匀的参照场检测测试场中的 低对比度圆盘。实验数据来自Blackwell与Blackwell(1971)。在 为这一特定研究运行感觉量发生器时，必须用最大值取代空间Q-norm 概括测量。否则JND结果是对圆盘的背景的大小(即对图象大小) 敏感的。
在第二研究中(图14)，低幅方格盘的检测，数据是在Sarnoff 的未公布的研究中采集的。
第三研究(来自Carlson与Cohen的数据，1980)与前两个有些 不同。在参照图象中提供用erf(ax)给出的弄模糊的边，并对照测 试图象中用erf(a’x)给出的边试图分辨。这里，x为以视觉度表示 的视网膜距离，a＝πf/[ln(2)]0.5，a’＝π(f+Δf)/[ln(2)]0.5， 而f是以周期/度表示的。这里，Δf为一个JND所需的f的改变。 图15中的曲线为Δf/f相对f。
能看出对于在4个屏幕高度视距上的显示的空间频率特征的范 围，感觉量发生器预测与数据很好地拟合。
色度定标
如在亮度参数定标中，利用心理物理学数据来定标色度参数(即 为最佳模型拟合调节它们的值)。在所有情况中，激励是四个相等 的场，它们是紧靠在转换到CIELOV之前作为CIE X、Y与Z中的图 象引入感觉量发生器中的。
对比度正规化常量的调节(步骤830)。
将屏蔽前的色度对比度灵敏度的感觉量发生器预测与 Mullen(1985)提供的对比度灵敏度数据匹配。所用的测试序列为四 个相等的场，各具有作为(X，Y，Z)值引入的水平变化的空间正弦 波额定值。用于定标的数据来自Mullen的图6，对应于它，各测试 图象为红一绿等照度正弦波。在象素i上，测试图象正弦波具有下 式给出的三色值
X(i)＝(Yo/2){(xr/yr+xg/yg)+cos(2πfai)Δm(xr/yr-xg/yg)}
Y(i)＝Yo， (31)
Z(i)＝(Yo/2){(zr/yr+zg/yg)+cos(2πfai)Δm(zr/yr-zg/yg)}
这里Δm为阈值增量分辨对比度，(xr，yr)＝(.636，.364)为红 色干扰滤波器(在602nm上)的色度，(xg，yg)＝(.122，.832)为 绿色干扰滤波器(在526nm上)的色度，zr＝1-xr-yr，zg＝1- xg-yg， 而a＝.03度/象素。参照图象为用式(28)表示的均匀 场但Δm＝0。为了感觉量发生器的目的，设定Y0＝1己足够。
为了生成基于模型的曲线上的点，在各种f值上提供上述激励， 及评估1JND输出的对比度阈值Δm。利用建模的色度对比度灵敏度 对数据的拟合(见图16的最后拟合)来调节感觉量发生器中的参数 qi(i＝0，…，6)。
屏蔽常量的调节(步骤840)
将用于色度屏蔽的感觉量发生器预测与Hwitkes等人(1988)提 供的数据匹配。使用的测试序列为四个相等的场，各具有作为(X，Y， Z)值引入的水平变化的空间正弦波额定值。为了与该工作(色度的 色度屏蔽)的图4对应，在象素I上，测试图象正弦波具有下式给 出的三色值
X(i)＝(Yo/2){(xr/yr+xg/yg)+cos(2πfai)[(m+Δm)(xr/yr-xg/yg)]}
Y(i)＝Yo (32)
Z(i)＝(Yo/2){(zr/yr+zg/yg)+cos(2πfai)[(m+Δm)(zr/yr-zg/yg)]}
其中Δm为阈值增量分辨对比度，(xr，yr)＝(.580，.362)为红 色荧光体的色度，(xg，yg)＝(.301，.589)为绿色荧光体的色度，zr ＝1-xr-yr，zg＝1-xg-yg，及fa＝2c/deg*.03deg/pixel＝.06。 参照图象正弦波与测试图象正弦波相同，但Δm＝0。为了感觉量发 生器的目的，设定Y0＝1己足够。
为了生成基于模型的曲线上的点，在屏蔽对比度m的各种值上提 供上述激励，及估计1JND输出的对比度阈值Δm。利用建模的色度 对比度灵敏度对数据的拟合(见图17的最后拟合)来调节感觉量发 生器中的参数σc、βc、ac、cc及k。
与额定值数据比较
使用各带有不同程度的畸变的四个图象序列来将本感觉量发生器 与DSCQS额定值数据比较。结果描绘在图18中，并揭示感觉量发生 器与数据之间的相关性0.9474。对于各该序列，感觉量发生器处理 30个场(与用于测试前面发布的四个场不同)。
从曲线上去掉了若干数据点，但在前面的发布中是存在的。为了 两个原因删除这些点：(1)删除了对应于所有主题的“热身(warm- up)”测试的五个点。Rec 500荐议应删除序列中的前五个点，因 为它们表示主题的判断的稳定化。
(2)对于“Gwen”序列之一，即使在测试与参照之间前景是完全 对准时，相对于出现在背景中的树的图象之间的参照序列，测试序 列也存在小的移动。分开为测试与参照引入兰色屏幕视频，在这一 特定情况中具有时间标准误差。
JND图解释
JND图是以适合于以后的处理确定任何空间或时间窗口内的JND 的形式的。如上面指出的，图中的值是以上升到第Q次幂的JND为 单位的，而不是以简单的JND为单位的。为了获得视频流的任何时 空区的单一JND值，只须求出来自该区中的JND图的值之和，然后 取第Q次根即可。
若干实例将澄清这一处理。为了检索各象素的1 JND值(可能是 最典型的想要的输出)，取JND图中各象素的第Q次根。
然而，对于典型的MPEG-2编码器分析应用，具有各16×16个象 素的宏块而不是各象素的单个JND值可能是有用的。为了获得每一 宏块一个JND，首先求和各宏块内的所有JND图输出，然后取第Q 次根。其结果将是JND值的宏块分辨率图。
金字塔构造：图象大小及边界要求
如果较大图象尺度N与较小图象尺度M满足下述条件，金字塔法 的当前实现不会遇到图象尺度问题。
1)M必须至少128
2)在它追朔到小于64的商以前，M必须是多达P次中每次都能 被2除尽的。
3)N也必须是P次被2除尽的。
感觉量发生器将任何不满足之些条件的图象识别为非法的。作为 这些规则如何工作的实例，考虑图象尺度N＝720，M＝480。条件(a) 满足，因为M＞128。条件(b)满足因为M能被2除3次并在除法3(从 而P＝3)上遇到小于64的标准。最后，条件(c)满足，因为N也能 被2除3次得出整数。
交错考虑
以下讨论的目的为澄清本感觉量发生器中的场交错(更具体地， 行间空间)处理。行间空间是人类观察显示看不见的，但如果它们 用黑色值建模，它们的确在感觉量发生器中产生明显的影响。作为 感觉量发生器对行的可视性的结果，高频行结构屏蔽了任何空间频 率上的垂直图象畸变。此外，当将交错序列与非交错序列比较时， 行结构的可视性会是JND赝象的主要原因。
对这一关键问题的解决方法为将显示模型改变成包含在显示本身 中发生的空间与时间中的已知平均。这一平均使行间空间较看不见。 第一步为定义这些效果的幅度来确定适当的模型。
由于荧光体具有有限的衰减时间，时间平均发生在显示中。因此 在来自场N的偶数行的最初发射的时间上永远存在着来自场N-1的 奇数行的衰减的残余。然而，与场间间隔(16500微秒)相比，荧 光体衰减时间通常是相当短的，例如对于兰色荧光体的70微秒，对 于绿色荧光体的100微秒及对于红色荧光体的700微秒。因此，显 示模型中的时间平均对行间平滑并无明显影响。
显示中发生空间平均，因为来自一个象素的发射散布超出正常的 象素边界。在交错显示中，电子束斑结构是与交错结构联合设计的。 结果，将象素散布在垂直方向上设计成更明显，以便填充行间空间 并从而使它们较看不见。在高束电流上散布特别明显，这些电流对 应于高亮度值并从而对应于图象的最明显部分。因此，从显示的角 度，空间平均是用于行间平滑的良好物理模型。
作为替代，可用某些时间平均来实现行间平滑。视觉系统本身呈 现为执行足够的时间平均来使行间空间看不见。然而，如从下面讨 论中将弄清楚的，当前的感觉量发生器中缺少眼睛移动己使得感觉 量发生器偏离本应存在的时间平均表现。
己观察到人类视觉是受到具有两种不同的时空响应级的机制促进 的：具有高空间但低时间分辨率的“持续的”，及具有高时间但低 空间分辨率的“瞬时的”。
这一感觉量发生器的一种实现采用可分开的空间/时间滤波器来 整形两个通道的响应。这一建模选择的直接结果便是在持续通道上 的与显示的典型的60Hz时间抽样率相比在时间上相当低通的时间 滤波器。甚至瞬时响应对60Hz抽样率也是不敏感的。然而，并未 进入持续/瞬时模型的一个因素便是眼睛移动的效果，并且特别是眼 睛跟踪图象中移动物体的能力。这一跟踪以忠实于具有受限制的激 励的心理物理学实验的感觉量发生器滤波器不能捕捉的方式增进对 注意的物体的细节的视觉灵敏度。
图象序列中畸变侧度上的运动效应是可观的。如果眼睛不跟踪图 象中的运动物体，从持续的时间响应得出的图象中的模糊将精确地 反映在具有一个通道中许多时间平均的感觉量发生器中。然而，眼 睛确实跟踪移动物体，因此图象不是运动弄模糊的。没有跟踪运动 物体的能力，意在量化时间视觉响应的感觉量发生器应呈现运动模 糊。然而，这种模糊阻碍精确的JND图的生成。
为了解决没有跟踪模型的难题，作出了下述折衷，作为在最后的 场上而不是在一些场的时间平均上的操作表示空间通道(它由于对 空间细节灵敏而扮演“持续的”通道的角色)。作为这一方法的结 果，空间通道表现聚焦良好的JND图，这是眼睛跟踪图象序列中注 意的物体的运动的情况。
在保持上述折衷的精神中，仍可放松空间通道的“似是而非的存 在”性质，因此它在两个场上从而在一帧上求平均值。这一措施会 降低交错场中空行的可视性，并且比“似是而非的存在”解决方法 在物理学与心理物理学上更合理。然而，在两个场的时间平均中存 在一种赝象，这便是本应是平滑的移动边处出现“梳状”。
为了理解为何在具有两个场平均的模型中出现梳状，只要观看在 偶数场(称之为场N)与奇数场(称之为场N+1)之间的时间间隔中 移动的物体便己足够。假定该物体具有在场之间水平移动5个象素 的一条垂直边。还假定该物体边在场N上的偶数行的象素n上。则 这边将显示在场N+1的奇数行的象素n+5上。如果在特定场的光栅 行之间没有“填充”，则平均场N与场N+1产生不再是垂直的而是 在象素n与n+5之间交错的边。这便是“梳状”效应。
为了理解视觉系统为何看不见这一梳状效应，设想该物体令人感 兴趣得使眼睛紧跟踪它。这意味着物体是在视网膜上静止的，因为 视网膜预见物体到下一场中的运动。如果物体的边是在场N的偶数 行的象素N上，它也将在场N+1的奇数行的象素n上，只是因为对 物体的眼睛跟踪己几乎完美无缺。
为了避免梳状及其它交错赝象，感觉量发生器可在显示中的各场 的行之间执行空间填充。这一垂直平均避免了梳状效应，因为它提 供了瞬时空间边的表现(这是任何时间平均所不能的)。并且，垂 直平均以与电子束斑结构的已知空间散布相一致的方式解决了交错 行结构的可视性的原始问题。
从而己展示及描述了为改进图象保真度及视觉任务应用而估计两 个输入图象序列之间的差异的可视性的新颖的方法与装置。然而， 熟悉本技术的人员在考虑了本说明书及公开其实施例的附图之后， 本主题发明的许多改变、修正、变型及其它用途与应用对他们将是 显而易见的。
本申请要求1997年4月4日提交的60/043,050及1998年2月 2日提交的60/073,435号美国临时申请的权益，通过引用将它们结 合在此。
例如，能用两种不同的codec算法处理输入图象以产生两种不同 的codec图象。如果codec图象保真度的测定是单纯地基于诸如在 两个codec图象上执行的均方误差(MSE)计算等参数而不考虑人的 视觉心理物理性质，具有较低MSE值的codec图象可能实际上包含 比具有较高的MSE值的codec图象更引人注意的畸变。
因此，在本技术中存在着对诸如成象系统等信号处理系统的主观 性能上的物理参数的效果进行评估的方法与装置的需求。尤其是， 存在着对评估两个时变视觉图象序列之间的差异的可视性的方法与 装置的需求。
发明概述
本发明为评估诸如图象序列等两个输入信号序列之间的差异的可 视性的方法与装置。该装置包括具有输入信号处理部分、亮度处理 部分、色度处理部分及感觉量发生部分的感觉量发生器。
输入信号处理部分将输入信号变换成诸如亮度分量与色度分量等 心理物理定义量。亮度处理部分将亮度分量处理成亮度感觉量，而 色度处理部分则将色度分量处理成色度感觉量。最后，感觉量发生 部分将亮度感觉量与色度感觉量相关成统一的感觉图象量，例如， 最小可辨差异(JND)图。
附图的简要描述
通过考虑下面结合附图的详细描述，便能容易地理解本发明的内 容，附图中：
图1展示本发明的信号处理系统的方框图；
图2展示感觉量发生器的方框图；
图3展示输入信号处理部分的方框图；
图4展示亮度处理部分的方框图；
图5展示色度处理部分的方框图；
图6展示亮度处理部分的详细方框图；
图7展示亮度量发生部分的方框图；
图8展示色度处理部分的详细方框图；及
图9展示色度量发生部分的方框图；
图10为展示亮度空间灵敏度数据的曲线；
图11为展示亮度时间灵敏度数据的曲线；
图12为展示亮度对比鉴别数据的曲线；
图13为展示圆盘检测数据的曲线；
图14为展示方格盘检测数据的曲线；
图15为展示轮廓清晰鉴别数据的曲线；
图16为展示色度空间灵敏度数据的曲线；
图17为展示色度对比鉴别数据的曲线；
图18为展示额定预测数据的曲线；
图19展示亮度处理部分的另一实施例的方框图；
图20展示图19的亮度处理部分的另一实施例的详细方框图；
图21展示亮度量发生部分的另一实施例的详细方框图；
图22展示处理半高度图象的亮度处理部分的方框图；
图23展示处理半高度图象的亮度量发生部分的方框图；
图24展示色度处理部分的另一实施例的详细方框图；
图25展示色度量发生部分的另一实施例的详细方框图；
图26展示处理半高度图象的色度处理部分的方框图；
图27展示处理半高度图象的色度量发生部分的方框图。
图1描绘利用本发明的信号处理系统100。信号处理系统包含信 号接收部份130、信号处理部分110、输入/输出装置120及受测试 的系统140。
信号接收部分130用于接收输入数据信号，例如来自成象设备的 图象序列或诸如来自麦克风或录制的媒体的音频信号等其它时变信 号。从而，虽然下面针对图象描述本发明，应理解本发明也能应用 于上面讨论的其它输入信号。
信号接收部分130包含数据接收部分132及数据存储部分134。 数据接收部分130可包含诸如调制解调器及模数转换器等若干装 置。调制解调器是众所周知的装置，它包括用于在电话线或其它通 信信道上发送与接收二进制数据的调制器与解调器，而模数转换器 将模拟信号转换成数字形式。因此，信号接收部分130可“在线” 或“实时”接收输入信号，如果必要，将它们转换成数字形式。从 而，部分130可接收来自诸如计算机、摄象机、录象机或各种医用 成象装置等一或多个装置的信号。
数据存储部分134用于存储数据接收部分132所接收的输入信 号。数据存储部分134包含诸如盘驱动器、半导体存储器或其它存 储介质等一或多个装置。这些存储装置提供在输入信号上施加延迟 或简单地存储输入信号供以后处理的方法。
在较佳实施例中，信号处理部分110包括具有感觉量发生器(或 称作视觉鉴别测定(VDM))112、中央处理单元(CPU)114及存储 器116以提供图象处理的通用计算机。感觉量发生器112可以是由 通过通信通道耦合在CPU上的各种滤波器或处理器构成的物理装 置。作为替代，感觉量发生器112可作为软件应用实现，它是从输 入/输出装置120或从存储器116调用并由信号处理部分的CPU执行 的。这样，可将本发明的感觉量发生器存储在计算机可读的介质上。
信号处理部分110还耦合在多个输入与输出设置120上，诸如键 盘、鼠标器、视频监视器或包含但不限于磁与光盘驱动器、软盘或 磁带、诸如硬盘驱动器或光盘驱动器等存储设备。输入设备用于提 供输入(控制信号及数据)给信号处理部分供处理输入图象，而输 出设备则用于显示或记录结果，如在显示器上显示感觉量。
使用感觉量发生器112的信号处理系统100能预测人们主观赋予 两个信号序列的感觉额定值，如恶化的彩色序列相对于其非恶化的 对等序列。感觉量发生器112评估输入图象的两个序列或流之间的 差异的可视性，并产生若干差异估计，包含这两个序列之间的感觉 差异的单一额定值。这些差异以模拟的人类最小可辨差异(JND)量 为单位量化。这一量可表示为JND值，JND图或概率预测。CPU可依 次利用JND图象量来优化包含但不限于数字图象压缩、图象质量测 定及目标探测在内的各种处理。
为了展示，输入图象序列通过两条不同的路径或通道到达信号处 理系统100。在一条路径上(参照通道或参照图象序列)，输入图 象序列直接通过到信号处理部分而不处理，而同一输入图象序列在 另一条路径上通过受测试的系统140，在其中以某种方式处理图象 序列(受测试的通道或测试图象序列)。信号处理系统100生成测 定两个图象序列之间的差异的感觉量。由于经济原因，由测试的系 统140生成的畸变经常发生，例如受测试的系统140可以是音频或 视频编码器。事实上，受测试的系统100可以是任何数目的设备或 系统，诸如解码器、传输通道本身、录音或录象机、扫描器、显示 器或发射机。从而信号处理系统100可用于评估测试图象序列相对 于参照图象序列的主观质量，借此提供关于编码过程、解码过程、 传输通道或任何“受测试系统”的畸变的性能的信息。通过使用感 觉量发生器112，能执行测试图象相对于参照序列的主观质量评估 而无须使用人类观察者。
最后，可通过路径150利用感觉量来修正或控制受测试的系统的 参数。例如，可修正编码器的参数来产生具有诸如解码被编码的图 象时低可辨别的畸变等改进的感觉额定值的编码图象。此外，虽然 受测试的系统140示出为独立的设备，熟悉本技术的人员会理解受 测试的系统可实现为位于信号处理部分的存储器116中的软件实 现，例如，视频编码方法。
图2展示感觉量发生器112的简化方框图。在较佳实施列中，感 觉量发生器包括输入信号处理部分210、亮度处理部分220、色度处 理部分230、亮度量发生部分240、色度量发生部分250及感觉量发 生部分260。
输入信号处理部分将输入信号205变换成心理物理学定义的量， 如图象信号的亮度分量与色度分量。输入信号为两个任意长度的图 象序列。虽然图2中只示出一个输入信号，应理解输入信号处理部 分能同时处理一个以上输入信号。输入信号处理部分210的目的为 将输入图象信号变换成光输出。然后将这些光输出变换成分开表示 亮度与色度特征的心理物理学定义的量。
更具体地，对于各输入序列的各视场(field)，存在着从诸如 D1磁带导出的在图2顶部标记为Y’、C’b、C’r的三个数据集。然后 再将Y、Cb、Cr数据变换成产生显示的象素值的R’、G’与B’电子枪电 压。在输入信号处理部分中，R’、G’、B’经过进一步处理被变换成传 递给下一处理级或部分的一个亮度及两个色度图象。
亮度处理部分220接受表示为显示器的最大亮度的分数的亮度Y 的两个图象(测试与参照)。亮度处理部分220的输出能广义地定 义为由下述各种时间与空间处理引起的时间与/或空间特性。将这些 输出传递给亮度量发生部分240，在其中生成亮度JND图。JND图为 一个图象，其灰度级与对应的象素位置上的测试与参照图象之间的 JND的数目成正比。
类似地，色度处理部分230将输入信号的色度分量处理成色度感 觉量。即，色度处理部分230接受基于CIE L*u*v*均匀彩色空间的 色度的两个图象(测试与参照)(针对各色度图象u*与v*产生的)， 并表示为显示的最大色度的分数。再一次能将色度处理部分230的 输出广义地定义为由下述各种时间与空间处理产生的时间与/或空间 特性。色度量发生部分250接收与组合u*与v*处理的输出以产生色 度JND图。
此外，色度与亮度处理都受到通过路径225来自称作“屏蔽”的 亮度通道的输入的影响，它取决于亮度图象的结构使感觉到的差异 或多或少地看得见。屏蔽(自身或交叉)通常指通道或邻接通道中 存在信息时的灵敏度降低。
色度、亮度及组合亮度色度JND图各可用作对感觉量发生部分260 的输出，连同从这些图中导出的少量概括测量。虽然单个JND值(JND 概要)输出对测试序列中的畸变的观察者的整体额定值的模型是有 用的，但JND图给出赝象的位置与严重性的更详细的视图。感觉量 发生部分(图象量发生器)260将亮度感觉量与色度感觉量相关成 统一的感觉图象量270，如最小可辨差异(JND)图。
应指出两个基本假设构成本发明的基础。第一，各象素是“正方 形”且对着0.03度视角。这一数字是从480个象素的屏幕高度和4 个屏幕高度的视距(“Rec.500”标准规定的最近视距)导出的。 当将本感觉量发生器与长于4个屏幕高度的视距上的人类感觉比较 时，本感觉量发生器可能过高估计人对空间细节的敏感度。从而， 在视距上没有硬性限制时，将感觉量发生器调节成在“Rec.500” 的推荐内尽可能灵敏。然而，可为特定的应用调整感觉量发生器的 灵敏度。
第二，感觉量发生器适用于.01-100ft-L的屏幕亮度(整体灵 敏度是为之定标的)，但最大的精确度在大约20ft-L处(所有时 空频率是为之定标的)。还假定改变亮度在所有时空频率上产生成 比例的灵敏度改变，这一假定对20ft-L附近较不重要，其中出现 附加定标。定标与实验数据如下。
下面参照图3、4、5、6与7更详细地描述图2中所示的处理部 分。
图3展示输入信号处理部分210的方框图。在较佳实施例中，各 输入信号是以4个视场的集合305处理的。从而，图3顶部的标记 为Y’、C’b、C’r的每个视场的栈表示来自测试或参照图象序列之一的 四个接续的视场的集合。然而，本发明不限于这一实现，也可使用 其它视场组合方法。
在输入信号处理部分120中包含多种变换。简言之，输入信号处 理部分210首先将Y’、C’b、C’r视频输入信号变换成电子枪电压，然 后到三种荧光体的亮度值，及最后到分成亮度与色度分量的心理物 理变量。下面计算的三色值Y取代色度处理前使用的“模型强度值”。 此外，按照CIE均匀彩色规范逐个象素地生成色度分量u*与v*。
应指出，如果输入信号己在可接受的均匀彩色空间中，能有选择 地实现输入信号处理部分210。例如，输入信号可能己事先处理成 适当的格式并保存在诸如磁或光驱动器与盘等存储设备上。此外， 应指出虽然本发明是以映射到国际标准均匀彩色空间CIELUV中实现 的，也能将本发明实现与适应成处理映射到其它空间中的输入信号。
第一处理级310将Y’、C’b、C’r数据变换成R’、G’、B’枪电压。 更具体地，下面概括的步骤描述从Y’、C’b、C’r图象帧到驱动CRT显 示器的R’、G’、B’电压信号的变换。这里的撇表示输入信号己在编 码器上γ预校正。即，变换后的这些信号能驱动共电压电流转换函 数能用γ非线性紧密逼近的CRT显示设备。
假定输入数据图象是4∶2∶2格式的：在亮度相关Y’上全分辨率， 而在色度相关C’b与C’r上水平半分辨率，其中假定Y’、C’b、C’r是以 ANSI/SMPTE Std.125M-1992中规定的次序存储的，即
C’b0，Y’0，C’r0，Y’1，C’b1，Y’2，C’r1，Y’3，…C’bn/2-1，Y’n1，C’rn/2-1，Y’n-2，…
在下面列举的步骤中，有两个色度上抽样的实施例或替代方案及 从Y’C’bC’r到R’G’B’的矩阵变换的三个实施例或替代方案。这些替代 方案覆盖各种应用要求，如可能在各种应用中遇到的解码要求等。
更具体地，在第一色度上抽样实施例中，接收来自单一帧的Y’、 C’b、C’r阵列，其中将C’b或C’r阵列扩张成Y’图象的全分辨率。初始， C’b、C’r阵列是在水平半分辨率上的，并且是随后上抽样以产生全分 辨率视场的。即，将一行上的交错的C’b、C’r象素分配给数据流中的 偶数编号的Y’i。与偶数编号Y’I关联的C’b、C’r对可通过如下计算： (1)复制或(2)与其邻数的平均值。
在第二色度上抽样实施例中，将全分辨率Y’、C’b、C’r阵列分成 两个视场。在Y’的情况中，第一视场包含Y’阵列的奇数行，而第二 视场包含Y’阵列的偶数行。在C’b及C’r阵列上执行相同的处理以产 生第一与第二C’b及C’r视场。
在Y’C’bC’r到R’G’B’的矩阵变换中，将对应的Y’C’bC’r值转换成两 个视场的各个中的各象素的枪输入值R’G’B’。用下面三种替换式之 一将Y’C’bC’r值取作相关的R’G’B’值。前面两式可在Keith Jack，的 Video Demystified，High Text，San Diego 1996，第3章，p.40-42 中找到。式(3)对应于C.A.Poynton的“数字视频的技术引论”， p.176，Wiley，1996，中的式9.9(Cb替换为U及用Cr替换为V)。 在较佳实施例中，将式(2)选择为默认的，除非感兴趣的显示的测定 另有所指， 或 或 或
然后输入信号处理部分210中的第二处理级320接收R’、G’与B’ 阵列。第二处理级320在各R’G’B’图象上施加点-非线性。这一第二 处理级建立将R’G’B’枪电压传送到显示的强度(R、G、B)中的模型 (最大亮度的分数)。非线性还执行在各平面显示中低亮度上的剪 裁。
更具体地，(R’、G’、B’)与(R、G、B)之间的转换包含两部分， 其中之一独立地变换各象素值，而其中之一在变换过的象素值上执 行空间滤波。下面描述这两部分。
象素值变换
首先，为各象素计算与输入R’对应的最大亮度的分数R。类似地， 从输入G’、B’中计算分数亮度G与B。假定来自各枪的最大亮度对应 于输入值255。下面的式子描述从(R’、G’、B’)到(R、G、B)的 变换。
将默认阈值td选择为16来与显示的黑色级对应，并将γ默认为 2.5。
td的值16是选择为提供显示(255/16)2.5的动态范围的，它大 约是1000∶1。这一动态范围是相对大的，并在环境亮度大约为最大 的显示白色时可能没有必要。因此，即使感觉发生器采用值40而不 是16作为黑色级，它仍能提供100∶1的动态范围而保持物理保真度。 实际上，较低的动态范围可节省计算周期，即在处理中节省一或两 位。
下面讨论关于显示的两种观察。第一种观察涉及对绝对屏幕亮度 的依赖性。感觉量发生器的预测只隐含地作用到感觉量发生器为之 定标的亮度级上。
对于典型的定标数据(J.J.Koenderink与A.J.van Doorn， “时空对比度检测阈值表面是双态的”，光学通信4，32-34(1997))， 使用直径2mm的默认瞳孔，视网膜亮度为200托兰(trolands)。 这意味着63.66cd/m2或18.58ft-L的屏幕亮度。定标亮度是与用 在主观额定值测试中的显示的亮度相当的。例如，虽然两个实验的 最大白色亮度为71与97ft-L，在象素值128上的亮度分别为15 与21ft-L。计入这些值及感觉量发生器的总体灵敏是从.01到100 ft-L定标的这一事实(利用F.L.van Nes、J.J.Koenderink、 H.Nas与M.A.Bouman的“人眼中的时空调制传送”，J.Opt.Soc. Am.57，1082-1088(1967)中的数据)，能得出结论该感觉量发生器 适用于从大约20到100ft-L的屏幕亮度。
第二种观察涉及式(4)对其它模型的关系。偏压td(诸如来自阴 极与TV屏幕之间的栅极设定值)可用于将式(4)变换成Poynton提 出的模型(C.A.Poynton，“Ganna”及其伪装：感觉中强度的非线 性映射，CRT，胶片及视频，SMPTE期刑，1993年12月，1099-1108 页)其中R＝K[R’+b]γ(类似地对G与B)。通过定义新电压R”＝R’-td 得出Poynton的模型。从而R＝K[R”+td]γ及类似地对于G与B。通 过写入式(4)而不是Poynton的公式，假定偏压为-td。还假定没有 环境亮度。
存在环境亮度c时，电压偏移成为可忽略不计的，而式(4)近似 等价于Meyer提出的模型(“监视器定标中枪平衡的重要性”，感 觉、测定及用色(M.Brill，编辑)Proc，SPIE，卷1250，69-79 页(1990))，即R＝kR’γ+c。对G与B得出的类似的表达式。如果存 在环境照明，则式(4)可用Meyer的模型R＝(1/255)γ及c＝.01替代。
本感觉量发生器为各帧(前进图象中)及奇与偶视场(交错图象 中)提供了用于规定(R、G、B)图象的垂直表示的三种选择。
选择1.帧
图象为全高度且包含前进扫描的图象。
选择2.全高度交错
半高度图象散布以空行而成为全高度，如它们在交错屏幕中。随 后用下述内插填充空行。
选择3.半高度交错
直接处理半高度图象。
前两种选择更忠实于视频图象结构，而第三种选择具有减少50 ％处理时间与存储器要求的优点。对选择1与2，由于两种选择都 在全高度图象上操作，亮度与色度处理是相同的。下面详细描述这 三种选择。
空间预滤波
上面的选择1与3不需要空间预处理。然而存在着与全高度交错 选择2关联的空间预滤波。
为了提供来自视场中的行到行间象素的光散布，还将R、G与B 视场图象提交给行内插过程。下面说明四种不同内插法，但本发明 不限于这些内插法。在各方法中，读取整个帧，然后用紧靠在上面 与下面的象素计算出的值替代属于不活跃视场的行上的各象素。对 于方法(3)与(4)，计算也使用来自不活跃视场的象素值。
令Pinactive表示要内插的不活跃行象素，及Pabove与Pbelow分别表 示Pinactive上方与下方的活跃行象素。四种方法为： (1)平均 (2)复制 (3)混合平均 (4)中位数
返回至图3，在非线性处理后面，第三处理级330通过用来自上 面与下面的插入值取代视场R、G、B中的行间值建立散布到行间位 置中的垂直电子束斑的模型。然后，将视场中的各象素上的矢量(R， G，B)提交给线性变换(它取决于显示器荧光体)到CIE 1931三色 坐标(X，Y，Z)。将矢量的亮度分量Y传递给上述亮度处理部分220。
更具体地，给定了分数亮度值R，G，B为各象素计算CIE 1931三 色值X，Y，与Z。这一处理需要下述与显示设备有关的输入：三种荧 光体的色度坐标(xr，yr)、(xg，yg)、(xb，yb)及监视器白色点 的色度(xw，yw)。
将白色点选择为对应于荧光体D65，使得(xw，yw)＝ (.3128，.3292)(见G.Wyszecki与W.S.Stiles的白色科学， 第二版，Wiley，1982，761页)。对应于当前可获得的紧密地近似 NTSC荧光体的红、绿与兰荧光体，值(xr，yr)＝(.6245，.3581)、 (xg，yg)＝(.2032，.716)及(xb，yb)＝(.1465，.0549)。然而， 下面的表1展示其它显示荧光体坐标(荧光体原色度)选项。ITU-R BT. 709(Rec.709)为默认的。 源 (xr，yr) (xg，yg) (xb，yb) ITU-R BT.709(SMPTE274M) (0.640，0.330) (0.300，0.600) (0.150，0.060) SMPTE 240M (0.630，0.340) (0.310，0.595) (0.155.0.070) EBU (0.640，0.330) (0.290，0.600) (0.150，0.060)
表1.显示荧光体坐标选项
利用上述参数值，用下式给出象素的值X，Y，Z：
其中，zr＝(1-xr-yr)，zg＝(1-xg-yg)，zb＝(1-xb-yb)，及值Y0r，Y0g， Y0b由下式给出：
其中，zw＝(1-xw-y)(见D.Post的自发光显示的比色法测定、 定标及特征，电子显示中的彩色，H.Widdel与D.L.Post(编辑)， Plenum出版社，1992，306页)。
也需要设备的白色点的三色值Xn，Yn，Zn。这些值对应于色度(xw， yw)并且使得在全荧光体激活(R’＝G’＝B’＝255)时，Y＝1。从而，白 色点的三色值为(Xn，Yn，Zn)＝(xw/yw，1，zw/yw)。
作为导出值X，Y，Z中的可选用的最后一级，可进行调节来接纳 由来自显示屏的遮蔽反射引起的假定的环境光。这一调节采取下述 形式：
这里引入两个用户可指定的参数Lmax及La并赋于默认值。显示的 最大亮度Lmax设定为对应于销售的显示器的100cd/m2。遮蔽亮度La 设定为与在Rec 500条件下测定的屏幕值一致的5cd/m2。
环境光的色度假定与显示白色点的相同。应指出在只有亮度的实 现选择中，它不计算中性点(Xn，Yn，Zn)，调节：
来替代式(6a)。这等价于式(6a)的Y分量，因为Yn永远是1。还 应指出量Lmax*Y为以cd/m2表示的显示亮度。
返回到图3，为了保证(各象素上)色空间的感觉均匀度逼近等 照度色差，在第四处理级340中将单个象素映射到国际标准均匀色 空间CIELUV中(见Wyszecki与Stiles)。将这一空间的色度分量 u*，v*传递给色度处理部分230。
更具体地，将逐个象素的X，Y，Z值变换到1976 CIELUV均匀彩 色系统(Wgszecki与Stiles，1982，165页)：
u*＝13L*(u′-u′n) (8)
v*＝13L*(v′-v′n) (9)
应指出坐标L*不传递给亮度处理部分220。L*只用于计算色度坐 标u*与v*。结果，只为进一步处理保留u*与v*图象。
图4展示亮度处理部分220的方框图。可将图4看成亮度处理步 骤的流程图或用于执行这些亮度处理步骤的多个硬件部件的方框 图，例如滤波器、各种电路元件与/或应用专用的集成电路(ASIC)。
参见图4，滤波各亮度场并在四级高斯金字塔410(金字塔发生 器)中下抽样，以便将进入视觉信号的心理物理与生理学地观察的 分解的模型建立到不同空间频率带412-418中。分解之后，便能执 行随后的可选处理，如在各金字塔级上(分辨率级)上作用的定向 滤波。
接着，紧接在金字塔分解之后执行非线性运算430。这一级是根 据最粗略的金字塔级内最大亮度的与时间有关的窗口平均(跨场) 的增益设定运算(正规化)。这一正规化设定感觉量发生器的总体 增益，并建立诸如从明亮到黑暗场景的过渡之后的视觉灵敏度损失 等效应的模型。
应指出，执行中间正规化过程420来导出中间值Inorm。利用Inorm 值来定标各四个金字塔级，如下所述。
正规化后，将最低分辨率金字塔图象418提交给时间滤波(时间 滤波器)及对比度计算450，并将其它三级412-416提交给空间滤 波及对比度计算440。在各情况中，对比度是适当地定标的象素值 的本地差除以本地和。在感觉量发生器的形成，这建立“1 JND”的 定义，将其传递给感觉量发生器的后面的级。(定标在中间感觉量 发生器级上重复地更新1-JND解释，下面讨论这一点)。在各情况 中，将对比度平方以生成所谓对比度能量。保留对比度的符号用于 在紧接在图象比较(JND图计算)之前重新附加在上面。
下面的级460与470(对比度能量屏蔽)构成进一步的增益设定 运算，在其中将各定向响应(对比度能量)除以所有对比度能量的 函数。将各响应与其它本地响应地这一种组合的衰减包含进去以建 立诸如对“忙”图象区中的畸变的灵敏度下降等视觉“屏蔽”效应 的模型。在感觉量发生器的这一级上，作出时间结构(闪烁)来屏 蔽空间差异，并且也作出空间结构来屏蔽时间差异。还在色度侧上 作用亮度屏蔽，如下面所讨论的。
利用屏蔽的对比度能量(连同对比度符号)生成亮度JND图480。 简言之，亮度JND图是用下述步骤生成的：1)将各图象分成正与负 分量(半波整流)；2)执行本地汇集(平均及下抽样，以建立在心 理物理学实验中观察到的本地空间求和的模型)；3)逐个通道地评 估绝对图象差异；4)设置门限(核化)；5)将核化图象差异上升一 次幂；及6)上抽样到相同的分辨率(由于汇集级而成为原始图象的 一半分辨率)。
图19展示亮度处理部分220的另一实施例的方框图。更具体地， 用亮度压缩级1900来替换图4的正规化级420与430。简言之，首 先将输入信号中的各亮度值提交给压缩非线性，这一点在下面详细 描述。图19中的其它级类似于图4。从而，上面己提供了这些类似 的级的描述。对于不同的级，下面参照图20提供图19的亮度处理 部分的详细描述。
一般地说，图19的亮度处理部分是较佳实施例。然而，由于两 个实施例表现不同的特征，在不同的应用下它们的性能可能不同。 例如，己观察到图4的亮度处理部分在诸如10位输入图象等较高动 态范围上执行得比在较低的动态范围上好。
图5展示色度处理部分230的方框图。可将图5看成色度处理步 骤的流程图或用于执行这些色度处理步骤的多个硬件元件的方框 图，诸如滤波器、各种电路元件与/或应用专用的集成电路(ASIC)。 色度处理在若干方面中与亮度处理并行。利用CIELUV空间的色度 (u*502及v*504)的图象内差异来为色度运算定义检测阈值，类似 于在亮度处理部分中利用Michelson对比度(及Weber氏定律)定 义检测阈值的方式。并且，与亮度运算类似，将用u*gn v*差异定 义的色度“对比度”提交给屏蔽运算。换能器非线性使一个图象与 另一图象之间对比度增量的鉴别取决于对两个图象公共的对比度能 量。
更具体地，如在亮度处理部分中，图5示出各色度分量u*502、 v*504提交给金字塔形分解过程510的。然而，虽然在较佳实施例 中亮度处理实现四级金字塔形分解，色度处理是用7级实现的。这 一实现解决色度通道是对远远低于亮度通道的空间频率敏感的这一 经验性事实(K.T.Mullen，“人类彩色视觉对红绿及兰黄色格的对 比度灵敏性”，J.Phtsiol.395，381-400，1985)。此外，这种 分解考虑了能在大的均匀区中观察到色差这一直观事实。
下面，为了反映色度通道对闪烁的内在不灵敏性，时间处理520 是通过在四个图象视场上求平均值进行的。
然后在u*与v*上执行用Laplacian核530的空间滤波。这一操 作产生u*、v*中的色差，它(根据均匀彩色空间的定义)是在度量 上与最小可辨色差相关的。取这一级上的值1来表示己达到单一的 JND，类似于亮度通道中的基于Weber氏定律的角色。(如在亮度处 理的情况中，1-JND色度单位必须在定标中进行重新解释)。
将这一色差值加权、平方及(带对比度代数符号)传递给对比度 能量屏蔽级540。该屏蔽级执行与亮度处理部分中相同的功能。操 作是比较简单的，因为它只从亮度通道及从己估算了其差异的色度 通道接收输入。最后，与亮度处理部分中完全相同地处理屏蔽的对 比度能量，以在级550中产生色度JND图。
对视频序列比较中的各场，首先将亮度与色度JND图减少到单一 数的概括，即亮度与色度JND值。在各情况中，从图减少到数是通 过Minkowski加法求所有象素值之和完成的。然后，再通过Minkowski 加法组合亮度与色度JND数，以产生感觉量发生部分260正在处理 的视场的JND估算。在Minkowski意义上相加各场的JND估算值来 确定视频序列的许多视场的单一性能测量270。
图6展示图4的亮度处理部分220的详细方框图。输入的测试与 参照场图象分别用Ik与Irefk表示，(R＝0，1，2，3)。Ik与Irefk中 的象素值分别用Ik(i，j)与Irefk(i，j)表示。这些值为输入信号处理 部分210中计算的Y三色值605。下面只讨论视场Ik，因为Irefk处 理是相同的。应指出k＝3表示4视场序列中的最新视场。
四个分辨率级上的空间分解是通过称作金字塔形处理或金字塔形 分解的高效计算方法进行的，它在分辨率的各连续的粗糙级上用因 子2抹掉及下抽样图象。原始的全分辨率图象称作金字塔的第零级 (级0)，G0＝I3(i，j)。较低分辨率上的随后的级是用称作REDUCE(减 少)的操作获得的。即，将具有权重(1，2，1)/4的三抽头低通滤 波器610在图象的各方向上顺序地作用在G0上以生成弄模糊的图 象。然后用因子2子抽样(subsample)得出的图象(隔一个去掉一 个象素)以产生下一级G1。
将滤波与下抽样一个金字塔形级的操作记作fdsl()，REDUCE处 理可表示为：Gi+1＝fdsl(Gi)i＝1，2，3
重复地在各新的级上作用REDUCE过程(如P.J.Burt与E.H. Adelson在“作为压缩图象码的Laplacian金字塔”，IEEE通信学 报，COM-31，532-540(1983)中所描述的)。
定义了用相同的3x3核上抽样与滤波的逆操作EXPAND(扩张)。 这一操作用usfl()表示并出现在下面。
各方向(水平与垂直)上的fdsl与usfl滤波器核分别是kd[1，2， 1]与ku[1，2，1]，其中将常量kd与ku选择为保持均匀场值，对于 fdsl，常量kd＝0.25，而对于ufsl，常量ku＝0.5(由于上抽样图 象中的零)。为了作为布置适当的操作实现usfl，用等效的线性内 插替代核来取代零值。然而，为了简化概念，可将它称作“上抽样 滤波器”。
接着，采用正规化，通过求各视场(k＝0，1，2，3)的级3图象 中的四个最大象素值的平均值计算中间值(用Ilvl3表示)。这一步 骤通过金字塔形分解过程中内在的平滑，减轻全分辨率(级0)图 象中的局外影响。然后将Ilvl3与前期(k＝2)中使用的正规化因子Inorm 的减小的值比较。将本期(k＝3)的Inorm设定为等于这两个值中的较大 者。然后用Inorm的这一新值定标最新的视场的全体4个金字塔形级 的图象，并将其提交饱和非线性。
下面的式子描述这一过程。如果来自上面的金字塔形级为 I3.1(i，j)，其中3与1分别表示最新的视场与金字塔级，则
(620)其中Inorm＝max[αI()norm，Ilvl3]615，I()norm为在前期 中正规化视场3金字塔级中使用的Inorm的值，m默认为2，及
Δt为场频的倒数，而thalf＝1/2与去掉明亮刺激后人的视觉系统 的适应率相关。对于50与60Hz的值分别为0.9727与0.9772。常 量LD表示在没有光线时存在的残留视觉反应(噪声)，并默认为0.01 的值。式(14)中的饱和非线性是从基于生理学的模型导出的(见 Shapley与Enroth-Cugell，1984)。
定向空间滤波器(中心与周围)作用在场3的级0、1与2图象 上。反之，时间滤波器作用在最低分辨率级(级3)上。即，将第 一与最后的场对分别线性组合成Early与Late图象。
中心与周围滤波器625及627为分开的3x3滤波器并产生所有定 向组合：中心垂直(CV)、中心水平(CH)、周围垂直(SV)及周 围水平(SH)。滤波器核如下：
级3 Early 630与Late 632图象分别为
E3＝tcI3.1(i，j)+(l-tc)I3.0(i，j)， (17)
L3＝tlI3.3(i，j)+(l-tl)I3.2(i，j). (18)
60Hz的常量te与tl分别为0.5161与0.4848，而50Hz的则分别 为0.70与0.30。
对比度计算的输入为中心与周围图象CVi、CHj、SVi与SHi(对于 金字塔极0、1与2，I＝0，1，2)，及早与晚图象E3与L3(对于金 字塔级3)。用于计算对比度的式子类似于Michelson对比度。对 于水平与垂直朝向，逐个象素的各自对比度为： 和
类似地，时间分量的对比度比为：
通过用心理物理学测试数据定标所确定的Wi(i＝0，1，2，3) 的值分别为0.015、0.0022，0.0015，及0.003。
通过将前面两个式了所定义的象素值平方计算出水平与垂直对比 度能量图象640与642，从而得出：
类似地，通过求象素值的平方计算出时间对比度能量图象650：
保留平方以前的各对比度比象素值的代数符号供以后使用。
对比度能量屏蔽为作用在用式21与22计算出的各对比度能量或 图象上的非线性函数。屏蔽运算建立在受测试图象序列中的畸变的 鉴别上的参照图象序列中的时空结构的效应的模型。
例如，受测试与参照图象相差低幅空间正弦波。已知当两个图象 都具有公共的相同空间频率的中间对比度正弦波时比两个图象都包 含均匀场时，这一差异更可见(Nachmias与Sansbury，1974)。然 而，如果公共正弦波的对比度太大，象差变得可见性差。这也是其 它空间频率的正弦波在对比度差异的可视性上具有影响的情况。这 一表现可用在低对比度能量上是S形的而对于高对比度能量为递增 的幂函数的非线性来建模。此外，在人类视觉中能近似地观察到下 述标准。各通道屏蔽自己，高空间频率屏蔽低的(而不是反过来)， 及时间闪烁屏蔽空间对比度灵敏度(反之亦然)。
根据人类视觉的这些性质，作用下述形式的非线性(逐个象素作 用)660：
这里，y为要屏蔽的对比度能量：空间，Hi或Vi(式(21))或时 间(T3)(式(22))。量Di指依赖于Y所属的金字塔形级i的图象 而言(逐个象素)。感觉量发生器定标己找出量β、σ、a与c分 别为1.17、1.00、0.0757与0.4753，而dy为平方以前对比度y中 固有的代数符号。
Di的计算需要金字塔形构成(滤波及下抽样)及金字塔形重构(滤 波与上抽样)。图6中展示Di的这一计算。首先，作为H0与V0之和 计算E0。通过级652滤波、下抽样这一和，并将其加在H1+V1上给出 E1。接着，进一步滤波、下抽样E1并将其加在H2+V2上给出E2。依次， 进一步滤波与下抽样E2给出E3。同时，将时间对比度T3的图象乘以 mt并将其加到mft E3上而产生指定为D3的和。
依次，级654重复地上抽样及滤波D3以产生T2、T1与T0。最后 将图象D1定义为Di＝mf Ei+Ti，i＝0，1，2。这里，用定标将mf确定 为等于0.001，mft设定为等于0.0005，而将mt设定为等于0.05。 滤波、下抽样与上抽样步骤与前面讨论的相同。
上面的处理显示较高的空间频率屏蔽较低的(由于Di受到小于 等于i的金字塔级的影响)，而时间通道受所有空间通道的屏蔽。 这一屏蔽操作总的是与心理物理学观察相符的。量Di，i＝0，1，2，还 屏蔽色度对比度(但反过来不是)，如下面讨论的。
图20示出图19的亮度处理部分220的另一实施例的详细方框 图。由于图19的亮度处理部分包含许多与图6的亮度处理部分类似 的级，下面只对不同的级提供描述。
一种明显的不同是用图20中的亮度压缩(压缩非线性)级2000 取代图6的正规化级。即，非线性包括降低幂函数偏移一个常量。 令来自最新的场的相对亮度阵列为Y3(i，j)，其中3表示最新的场。 则：
将显示的最大亮度Lmax设定为100cd/m2。本函数用8c/deg上的 对比度灵敏度数据定标。从而，找出可调节的参数m与LD分别为0.65 及7.5cd/m2。即，将Ld与m的值选择为便于在从0.01到100ft-L 的亮度级上与对比度检测数据匹配(van Nes与Bouman，1967)。 换言之，式(23a)允许相对于绝对亮度定标，例如，改变显示的最 大亮度将影响总亮度输出。观察式(23a)的另一方法为它允许感觉 量发生器包含与亮度有关的对比度灵敏度函数。
作为替代，可在各金字塔形级上插入附加的亮度压缩级2000(在 图20中示出在虚线框中)以允许现有的感觉量发生器建立作为亮度 与空间频率两者的函数的对比度灵敏度的模型。否则，实现只有两 个参数的一个亮度压缩级2000不足以建立其它空间频率的模型。
更具体地，各亮度图象金字塔形分解之后，在各金字塔形级k上 作用非线性。这时，对于金字塔形级k，压缩非线性由下式给
L3(i，j；k)＝[LmaxY3(i，j；k)+La]m(k)+LD(k)m(k)， (23b)
其中再一次选择m(k)与LD(k)以便在从0.01至100ft-L的亮度 级上与对比度检测匹配(van Nes等人，1967)。值La为环境屏幕 照明的偏移(据屏幕测定值设定为5cd/m2)，而Lmax为显示的最 大亮度(通常大约为100cd/m2)。
定标式(23b)的数据列表如下： I0(td) fs(c/deg) Cm 8500.00 0.500000 1.46780E-02 850.000 0.500000 1.46780E-02 85.0000 0.500000 1.46780E-02 8.50000 0.500000 1.46780E-02 0.85000 0.500000 1.46780E-02 0.08500 0.500000 1.67028E-02 8500.00 4.00000 2.61016E-03 850.000 4.00000 2.61016E-03 85.0000 4.00000 2.61016E-03 8.50000 4.00000 4.15551E-03 0.85000 4.00000 1.31409E-02 0.08500 4.00000 4.15551E-02 8500.00 8.00000 2.61016E-03 850.000 8.00000 2.61016E-03 85.0000 8.00000 2.61016E-03 8.50000 8.00000 6.71363E-03 0.85000 8.00000 2.12304E-02 0.08500 8.00000 6.71363E-02 8500.00 16.0000 3.83119E-03 850.000 16.0000 3.83119E-03 85.0000 16.0000 4.57394E-03 8.50000 16.0000 1.44641E-02 0.85000 16.0000 4.57394E-02 0.08500 16.0000 0.144641 8500.00 24.0000 6.81292E-03 850.000 24.0000 6.81292E-03 85.0000 24.0000 1.44641E-02 8.50000 24.0000 4.57394E-02 0.85000 24.0000 0.144641 0.08500 24.0000 0.457394 8500.00 32.0000 1.21153E-02 850.000 32.0000 1.21153E-02 85.0000 32.0000 2.97023E-02 8.50000 32.0000 9.39270E-02 0.85000 32.0000 0.297023 0.08500 32.0000 0.939270 8500.00 40.0000 3.16228E-02 850.000 40.0000 3.16228E-02 85.0000 40.0000 8.95277E-02 8.50000 40.0000 0.283111 0.85000 40.0000 0.89527 8500.00 48.0000 7.49894E-02 850.000 48.0000 8.13375E-02 85.0000 48.0000 0.257212 8.50000 48.0000 0.813374
上表中各对比度调制Cm为在空间频率fs的正弦波的最小可区别 对比度及视网膜亮度I0中得出的实验值。应指出由于在定标中采用 了2mm的人工瞳孔，将视网膜亮度值(以托兰表示的I0)乘以π以 补偿亮度值(以cd/m2表示的L)。用于定标的好的起始点为对所有 的m(k)与LD(k)采用8c/deg正弦波检波的默认值，对于它适当的 指数m为.65而适当的LD值为7.5cd/m2。
亮度空间与时间滤波对图6及图20的两种感觉量发生器相同。 然而，图20的感觉量发生器的亮度对比度计算是不用平方运算得出 的。图20中的级2040、2042及2050取代级640、642及650。
更具体地，对比度响应图象是作为上述式(19)与(20)所定义 的量的绝对值的剪裁的版本计算的。这些量计算如下：
i＝0，1，2，
绝对值运算之前的各对比度比象素值的代数符号也必须保留供以 后使用。
图6与图20的感觉量发生器之间的另一明显差别为对比度能量 的实现。与图6不同，图20的感觉量发生器在两个分开的级中实现 对比度能量屏蔽2060：对每个水平与垂直通道的一个交叉屏蔽级及 一个自屏蔽级(见图20)。自屏蔽降低在当前通道内存在信息时的 灵敏度，而交叉屏蔽降低在邻接通道中存在信息时的灵敏度。事实 上，这两个分开的屏蔽级的次序可以颠倒。这些对比度能量屏蔽级 有下述形式： (白屏蔽) (23e)
其中： i＝0，1，2，及 (交叉异蔽)
这里，y为要屏蔽的对比度：空间，Hi或Ji(式(23c))或时间 (T3)(式(24d))。量Di指依赖于y所属的金字塔级i的图象而言 (逐个象素)。量b、a、c、mf及mt是通过分别建立1.4、3/32、 5/32、10/1024及50的定标模型找出的。dy为在取绝对值之前保留 的对比度y的代数符号。
Di的计算类似于上面讨论的图6中的。即，fdsl()表示3×3滤 波，后随一个金字塔级的下抽样，而usfl()表示一个金字塔形级 的上抽样后随3x3滤波。首先，计算阵列E0如下：
E0＝H0+V0(23f)
然后，对于i＝1，2，递归地计算阵列Ei：
Ei＝Hi+Vi+fdsl(Ei-1)，对于i＝1，2 (23g)
E3＝fdsl(E2) (23h)
然后将阵列Ei与时间对比度图象T3及图象Ti组合给出对比度分 母阵列Di如下：
D3＝mtT3+mftfdsl(E2)， (23i)
T2＝usfl(D3)，T1＝usfl(Ti+1)，for i＝1，0，
D1＝Ei+Ti，i＝0，1，2. (23j)
这里，参数mft＝3/64，调制所有空间亮度一起用它来屏蔽时 间(闪烁)亮度通道的强度；而参数mt＝50，调制时间(闪烁)亮 度通道用它来屏蔽各空间亮度通道的强度。
图7展示亮度量发生部分240的详细方框图。再一次可将图7看 成是亮度量发生步骤的流程图或具有用于执行这些亮度量发生步骤 的多个硬件部件的亮度量发生部分的方框图，诸如滤波器、各种电 路元件与/或应用专用的集成电路(ASIC)。下述构造适用于上面图 6中生成的所有屏蔽的对比度图象：金字塔形H与V中的图象(即 图象H0，V0、H1、V1、H2与V2)、图象T3(具有级3上的分辨率)及 从参照序列中导出的对应图象(用图6与7中的上标ref表示)。
下面过程中的前四个步骤分开作用在上述图象上。在下面的讨论 中X表示从测试序列中导出的任何图象，而用Xref表示从参照序列 中导出对应图象。给定这一标记法，这些步骤如下：
在步骤(或级)710中，将图象X分成两个半波整流图象，一个 用于正在对比度712而另一个用于负对比度714。在正对比度图象 (称作X+)中，利用来自X对比度的符号(如上面讨论的分开存储 的)将零赋予X+中具有负对比度的所有象素。相反的操作出现在负 对比度图象X-中。
在步骤(或级)720中，对于各图象X+与X-，通过应用3x3滤波 器将图象与0.25(1，2，1)的滤波器核水平及垂直卷积来执行本地 汇集操作。
此外，在步骤720中，在各方向上用因子2下抽样得出的图象， 消除从汇集操作中导致的冗余。为对应的参照图象Xref执行与作用 在X上相同的处理。
在步骤(或级)730中，逐个象素计算绝对差图象|X+-X+ref| 及|X--X-ref|。得出的图象为JND图。
在步骤(或级)740中，在JND图上执行核化操作。即将小于阈 值tc的所有值设定为零。在较佳实施例中，tc的默认值为0.5。
在步骤(或级)750中，确定这些图象的第Q次幂。在较佳实施 例中，Q为默认值为2的正整数。
对所有的X，Xref对完成了这一处理之后，通过重复地上抽样、 滤波及将所有图象向上相加到要求的级来确定概括测量。这是按如 下进行的：
在步骤(或级)760中，在从T3，T3ref中导出的级3图象上作用 上抽样与滤波以导出级2图象。
在步骤(或级)761中，在来自步骤760的级2图象与从H2、H2ref、 V2及V2ref导出的级2图象之和上作用上抽样及滤波。
在步骤(或级)762中，在来自步骤761的级2图象与从H1、H1ref、 V1及V1ref导出的级2图象之和上作用上抽样及滤波。
在步骤(或级)763中，在来自步骤762的级2图象与从H0、H0ref、 V0及V0ref导出的级2图象之和作用上抽样及滤波。来自步骤(或级) 763的路径765上的输出为亮度JND图。
应指出在最后处理步骤763之前，得出的图象是原始图象的一半 分辨率。类似地应指出在这一处理部分中的各金字塔形级下标是指 它从其原始导出的金字塔级而言，它是与滤波/下抽样后的级关联的 分辨率的两倍。
还应指出通过上面的重复上抽样、滤波及加法处理生成的所有图 象为第Q次幂JND图象。以两种方式使用级0图象，在路径764上 将其直接送到概括处理，或者为显示目的在步骤763中上抽样及滤 波到原始图象分辨率。
图21展示亮度量发生部分240的另一实施例的详细方框图。由 于图21的亮度量发生包含许多与图7的亮度量发生类似的级，下面 只对不同的级提供描述。
更具体地，用保持通道输出的运行和与运行最大值的多个求最大 值与和级取代“核化”级740及“上升到第Q次幂”级750。由于 直到级750图21所示的过程与图7的相同，现有从己确定了绝对差 图象|X+-X+ref|及|X--X-ref|的点上开始描述图21的过程。
接着，在为各X，Xref的对完成了该过程之后，在级2140中初始 化运行和图象以包含从T3，T3ref导出的级3图象之和。类似地，在 级2142中初始化运行最大值图象以包含作为|T3+-T3+ref|及|T3- -T3-ref|的逐点最大值的运行最大值图象。
接着，级2140a与2142a分别上抽样及滤波运行和与运行最大值 图象，以构成两个级2图象。然后级2144通过将其加到从H2、H2ref、 V2及V2ref导出的级2图象而更新运行和图象。类似地，级2146通过 将其与从H2、H2ref、V2及V2ref导出的组2图象比较而更新运行最大 值图象。
接着，级2144a及2146a分别上抽样及滤波运行和与运行最大值 图象来构成两个级1图象。然后级2148通过将其加到从H1、H1ref、 V1及V1ref导出的级1图象而更新运行和图象。类似地，级2150通过 将其与从H1、H1ref、V1及V1ref导出的级1图象比较而更新运行最大 值图象。
接着，级2148a与2150a分别上抽样及滤波运行和及运行最大值 图象以构成两个级0图象。然后级2152通过将其加到从H0、H0ref、 V0及V0ref导出的级0图象而更新运行和图象。类似地，级2154通过 将其与从H0、H0ref、V0及V0ref导出的级0图象比较而更新运行最大 值图象。
最后，在级2160中执行运行和与运行最大值图象的逐点线性组 合来产生按照下式的亮度JND图：
JNDL(i，j)＝kL Running_Max(i，j)+(l-kL)Running_Sum(i，j) (23k)
其中kL＝0.783。k值是通过逼近Minkowski Q-norm确定的。给 定Q值及要集合的图象数目N，值kL＝[N-NI/Q]/[N-1]保证当所有 比较项(在一个象素上)相同时且当只有一个非零项时，近似测定 值正好与Q-norm匹配。在这一情况中，N＝14(通道数)而Q＝2。
应指出这一过程之后，得出的图象是原始的一半分辨率。类似地， 应指出这一过程中的各金字塔形级下标是指它从其原始导出的金字 塔级而言，它是与滤波/下抽样后的级关联的分辨率的两倍。
最后，应指出能在通过重复滤波/下抽样与加法/求最大值过程生 成的所有图象上加上权重kL与l-kL以产生JND图象。可用两种方式 处理级0图象，通过路径2161将级0图象直接送至JND概括处理或 者用级2170上抽样及滤波到原始分辨率供显示。
通常，图21的亮度量发生部分是较佳实施例，而图7的亮度量 发生部分是替代实施例。原因之一是求最大值、求和方法是计算上 较便宜的。从而，如果希望整数实现中的动态范围，则图21的亮度 量发生部分较佳。否则，如果采用浮点处理器，则图7的亮度量发 生部分也能一样好地使用。
半高度亮度处理
由于存储器需求与计算周期是重要的处理问题，本发明提供能处 理诸如交错图象的顶与底部场的半高度图象的感觉量发生器的另一 实施例。这一实施例减少存储全高度图象所需的存储器空间量，同 时减少计算周期数。
如果要直接传递通过半高度图象而无须填充0到真实的图象高 度，则上述亮度处理部分220必须加以修改以反映固有的垂直分辨 率只是固有的水平分辨率的一半。图22与23为用于处理半高度图 象的亮度处理部分及亮度量发生部分的方框图。
这两个图(图22与23)与用于全高度交错图象的对应的图(图 20与21)之间的比较揭示许多级是相同的。从而，下面对图22与 23的描述只限于两种实现之间的差别。
首先，消除了最高分辨率水平通道H0。第二，最高分辨率图象是 用具有权重(1/8，3/4，1/8)的3×1“Kell”滤波器(垂直滤 波器)2210垂直(即沿列)低通滤波的。这一滤波器是垂直尺度上 的抗混淆滤波器，用于消除由于行是在一半空间频率上抽样的这一 事实引起的影响。即它是垂直变模糊的低通滤波器。然后用1×3 滤波器2220(核0.25[1，2，1])水平滤波得出的经垂直滤波的图 象L0。得出的图象LP0为L0的水平低通型式。
接着，将L0与LP0组合以产生除以类似于其它定向通道的(S- C)/(S+C)响应的低通(LP0)定向的响应的带通(LP0-L0)。
依次，在级2200中将图象LP0(720×240个象素的半高度图象) 水平下抽样到全高度半分辨率图象(360×240)。在这一点上，纵 横比使得在这一图象及全部剩下的三个金字塔级上的处理能象全高 度方案中一样继续进行。
接着，分别用级2232(标记为1×3滤波器与d.s.)1×3滤波 /水平下抽样及用级2234水平上抽样(h.u.s)/1×3滤波完成来 自级0的半高度图象与级1的全高度图象之间的下抽样及上抽样。 水平下抽样在水平尺度上用因子2施加分样(decimation)，即丢 弃图象的每隔一列。水平上抽样在现有图象的每两列之间插入零的 列。上抽样后的滤波器核用0.5[1，2，1]定义，其理由如上所述。
图23展示用于处理半高度图象的亮度量发生部分。首先，不存 在最高分辨率水平通道H0。对于V0通道，提供1×3滤波和水平下 抽样级2300来取代其它通道中使用的3×3滤波及下抽样级。
由于没有H0通道，修改了各种参数及运行最大值与运行和的“通 路”例如，将确定k的N值从14改变到12。同一值k＝0.738用于 全高度与半高度处理两者并且是从上面给出的式子计算的全高度与 半高度常量的平均值。
最后，如在全高度实施例中，在显示以前必须将概括测量的亮度 图带入全图象分辨率。紧接在显示前，在级2310中通过上抽样及随 后用1×3滤波(核0.5[1，2，1])将最终的JND带到全分辨率。 因垂直方向上，在级2320中执行了行加倍。
应指出由于各空间滤波器具有水平与垂直空间相关性，与其全高 度对等物相比半高度实施例存在一些差别。然而，己观察到半高度 实施例在与主观额定值的相关性中呈现少许失真。从而，可采用非 交错选择项作为交错选择项的有生命力与节省时间的替代品。
图8展示色度处理部分230的详细方框图。再一次可将图8看 成色度处理步骤的流程图或具有用于执行这些色度处理步骤的多个 硬件元件的色度处理部分的方框图，例如滤波器、各种电路元件与/ 或应用专用的集成电路(ASIC)。应指出除具有级0，1，2的金字 塔形外，色度处理部分230为u*802与v*804两者计算具有级0，1，…， 6的金字塔形。
将色度通道的空间分辨率(即最高金字塔级的分辨率)选择为等 于亮度的分辨率的，因为分辨率是由象素间间隔而非接收器间间隔 驱动的。接收器间间隔为0.007度视角，而象素间间隔为0.03度， 这是从在其高度上具有480个象素及在四倍其高度处观看而导出 的。另一方面，Morgan与Aiba(1985)发现红绿微调敏锐度在等亮 度上降低因子3，这一因子要用其它类型的敏锐度的三个接收器间 间隔来均衡。同时，兰黄色度通道的分辨率受到视觉系统对于小于 大约2’(0.033度)视角的光线是三型色盲(兰色盲)的这一事实的 限制(见Wyszecki与Stiles，1982，571页)。0.03度视角的象 素分辨率非常接近这些值中的最大者，使其适合于均衡亮度与色度 通道的象素分辨率。
色度金字塔延伸到级6。这支持观察者注意到大的空间均匀的彩 色场之间的差异的论据。这一效应能用空间延伸的JND图来解决。 Mullen(1985)己提供这种低空间频率对JND的影响的定量论据。
返回到图8，类似于亮度处理，通过金字塔形分解完成在七个分 辨率级上的空间分解，在各连续的较粗糙的分辨率级上用因子2弄 模糊及下抽象图象。原始的全分辨率图象称作金字塔的第0级(级 0)。在较低分辨率上的后面的级是用称作REDUCE(降低)的操作 得到的。即，在图象的各方向上顺序地将具有权重(1，2，1)/4的 三抽头低通滤波器805作用在级0上以生成弄模糊的图象。然后用 因子2子抽样得出的图象以产生下一级，级1。
在步骤(或级)810中，为各分辨率级在u*图象上并且也在v* 图象上用抽头权重(0.25，0.25，0.25，0.25)执行四场平均，即令
其中j为场下标。这一平均运算反映彩色通道的固有低通时间滤 波，并取代时间亮度通道的“early-late”处理。
在步骤(或级)820中，将非定向的Laplacian空间滤波器820 作用在各u*与v*图象上。该滤波器具有下面的3×3核：
选择成具有0总权重及用最大强度1来响应两个均匀区之间的任 何直边，这两个区之间具有单位值的差异。(最大响应是由水平或 垂直边达到的。)这将u*与v*图象描绘到能以均匀色空间(JND) 为单位估算的色度差异图中。
在步骤(或级)830中，直接在从作为色度对比度金字塔的步骤 820得出的u*与v*图象上执行对比度计算，将类似于亮度处理部分 中计算的Michelson对比度进行解释。与亮度对比度类似，色度对 比度是通过用Laplacian金字塔实现的图象内比较计算的。正如 Laplacian差除以空间平均值表示Michelson对比度，它通过Weber 氏定律假设1-JND级上(检测阈值)的常量值，在u*与v*上操作的 Laplacian金字塔具有1-JND的解释。类似地，这一解释在定标过 程中修改。修改反映本发明的所有部分的交互作用，以及激发1-JND 响应的刺激并非简单地依据感觉量发生器这一事实。
此外在步骤(或级)830中，将对比度金字塔形图象逐级除以七 个常量qi(i＝0，…，6)，它们的值是分别通过定标成1000、125、 40、12.5、10、10、10确定的。这些常量类似于亮度处理部分中的 量Wi(i＝0，…，3)。
在步骤(或级)840中，确定所有u*与v*对比度的平方，但再 一次保留代数符号供以后使用。符号保留防止由于在平方运算中丢 失符号的二义性引起的在两个不同图象之间记录0 JND的可能性。 结果是两个色度平方对比度金字塔Cu、Cv。
在步骤(或级)850中，执行对比度能量屏蔽。首先，直接从亮 度处理部分220不加改变地采用分母金字塔级Dm(m＝0，1，2)。 然而，对于级3，…，6利用与亮度处理中相同的方法但不增加新项， 执行D2的顺序滤波与下抽样。在步骤840中在微扰理论的精神中使 用这些Dm值，共含义为，由于亮度是JND的更重要的确定者，事先 假定亮度在色度上的作用比色度在亮度上的作用更重要。即，由于 在大多数情况中预期亮度作用支配色度作用，可将色度处理部分看 成是亮度处理部分上的第一级微扰。因此将亮度作用(Dm)建模成 屏蔽色度，而不是反过来。
屏蔽的色度对比度金字塔是通过使用亮度通道分母金字塔Dm及 与用于亮度换能器相同函数形式以屏蔽色度平方对比度金字塔而生 成的，对于所有金字塔级m＝0，1，2：
应指出在步骤830中去掉的代数符号通过因子Sum与Svm重新加 上。这一运算产生u*与v*的屏蔽对比度金字塔。定标己确定值ac＝0.15， cc＝0.3，k＝0.7，σc＝1.0及βc＝1.17。此外，将mc设定为值1在所 有定标与预测中己产生足够的性能。
图24展示色度处理部分230的另一实施例的详细方框图。由于 图24的色度处理部分包含许多与图8的色度处理部分类似的级，下 面只对不同的级提供描述。
对于图8与图24的两种感觉量发生器，色度空间与时间滤波是 相同的。然而，图24的感觉量发生器的色度对比度计算是不用平方 运算达到的。即，用图24中的级2400取代级830。
更具体地，在步骤(或级)830中，逐级将对比度金字塔图象除 以7个常量qi(i＝0，…，6)，它们的值是分别通过定标成384、60、 24、6、4、3、3确定的。应指出这些常量与图8的不同。这些常量 类似于亮度处理部分中的量wi(i＝0，…，3)。
接着，计算所有ui与v*对比度的经过剪裁的绝对值[其中 clip(x)＝max(0，x-e)]，其中e＝0.75。再一次保留代数符号及在 以后使用时重新加上。这防止了由于在绝对值运算中的符号丢失的 二义性而在两个不同图象之间记录0 JND的可能性。结果是两个色 度对比度金字塔Cu、Cv。
图8与图24的感觉量发生器之间的另一明显差异是对比度能量 屏蔽的实现。与图8不同，图24的感觉量发生器在两个分开的级中 实现对比度能量屏蔽2410：用于各水平与垂直通道的一个交叉屏蔽 级及一个自屏蔽级(见图24)。自屏蔽降低当前通道内出现信息时 的灵敏度。而交叉屏蔽降低在邻接通道中出现信息时的灵敏度。事 实上，这两个分开的屏蔽级的次序可以颠倒。
利用亮度通道分母金字塔Dm及用于亮度换能器的相同函数形式， 对所有金字塔级m＝0，…，6屏蔽色度对比度金字塔：
并在i＞2时Di为D2的滤波及下抽样的版本。类似地，
注意上面去掉的代数符号己通过因子sum与svm重新加上。这产生 ui与vi的屏蔽的对比度金字塔。定标确定值ac＝1/2，cc＝1/2，βc＝1.4 及mc＝mf＝10/1024。通常，图24的色度处理部分为较佳实施例，而 图8的色度处理部分为替代实施例。
图9展示色度量发生部分250的方框图。再一次可将图9看成是 色度量发生步骤的流程或具有用于执行这些亮度量发生步骤的多个 硬件部件的色度量发生部分的方框图，诸如滤波器、各种电路元件 与/或应用专用的集成电路(ASIC)。色度JND图的构成类似于上面 对图7讨论的亮度JND图的构成。在色度情况中，这一过程作用在 上面的级840生成的所有屏蔽的对比度色度图象(即图象Cu0，Cv0，…， Cu6、Cv6)及从参照序列导出的对应图象上(在图8与9中用上标ref 表示)。
下面过程中的前四个步骤分开作用在上述图象上。在下面的讨论 中X表示从测试序列导出的任何图象，而用Xref表示从参照序列导 出的对应图象。给定这一标记，步骤如下：
在步骤(或级)910中，将图象X分成两个半波整流图象，一个 用于正对比度912及另一个用于负对比度914。在正对比度图象(称 作X+)中，利用来自X对比度(如上面讨论的分开存储的)的符号 对X+中具有负对比度的所有象素赋值0。在负对比度图象X-中发生 相反的操作。
在步骤(或级)920中，通过作用3×3滤波器将图象水平及垂 直地与0.5[1，2，1]的滤波器核卷积，以执行本地汇集操作。
此外，在步骤920中，在各方向上用因子2下抽样得出的图象以 消除从汇集操作中导致的冗余。对对应的参照图象Xref执行与作用 在X上相同的处理。
在步骤(或级)930中，逐个象素计算绝对差图象|X+-X+ref| 及|X--X-ref|。得出的图象为JND图。
在步骤(或级)940中，在J-ND图上执行核化操作。即将所有小 于阈值tc的值设定为零。在较佳实施例中，tc的默认值为0.5。
在步骤(或级)950中，确定这些图象的第Q次幂。在较佳实施 例中，Q为默认值为2的正整数。
对所有的X，Xref对完成了这一过程之后，通过重复地上抽样、 滤波及将所有图象加在一起到所要求的级上来确定概括测量。这是 如下进行的：
在步骤(或级)960中，在从Cu6、Cu6ref、Cv6、Cv6ref导出的级6 图象上作用上抽样及滤波以导出级5图象。
在下一步骤(或级)中，将上抽样及滤波作用在来自具有从Cu5、 Cu5ref、Cv5、Cv5ref导出的级5图象的步骤960的级5图象之和上。这 一过程继续进行到级0。
类似于亮度处理，应指出在最后的处理步骤963之前，得出的图 象的分辨率是原始图象的一半。类似地，应指出这一处理部分中的 各金字塔级下标是指它原来从其导出的金字塔级而言，它是与滤波/ 下抽样后的级关联的分辨率的两倍。
应指出上面重复上抽样、滤波及加法过程所生成的所有图象为第 Q次幂JND图象。以两种方式使用级0图象，在路径964上直接送 给概括处理，或者在步骤963中上抽样及滤波到原始图象分辨率供 显示用。
如上面讨论的，传递给输出概括步骤的亮度及色度JND图为第Q 次幂JND图象，并且是在原始图象的半分辨率上表示的。这利用了 在各屏蔽对比度级上执行汇集中固有的冗余性。通过用Minkowski 加法求所有象素的平均值能将这些半分辨率图象中的每个减少到单 个JND性能测量：
NP为各个JND图中的象素数目，JNDluminance及JNDchrominance为概括 测量，而LJNDQ与CJNDQ为分别来自亮度及色度图构造的半分辨率图。 在各情况中，该总和是在图象中的所有象素。如上所述，Minkowski 指数Q的值默认为2。
从亮度与色度概括测量中，用Minkowski加法计算场的单一性能 测量，即
其中Q再次默认为2。
通过再一次在Minkowski意义上将各场的JND值相加得出视频序 列的N个场的单一性能测量JNDfield。Q默认为2。
图25展示色度量发生部分250的另一实施例的详细方框图。因 为图25的色度量发生包含许多与图9的色度量发生类似的级，下面 只对不同的级提供描述。
更具体地，用保持通道输出的运行和与运行最大值的多个求最大 值及求和级取代“核化”级940及“升高到第Q次幂”级950。由 于直到级930图25与图9中所示的过程相同，现在从己确定了绝对 差图象|X+-X+ref|及|X--X-ref|的点上开始描述图25的过程。
接着，为所有的X，Xref对完成了处理之后，在级2540中初始化 运行和以包含从Cu6、Cu6ref、Cv6及Cv6ref导出的级6图象之和。类似 地，在级2542中将运行最大值图象初始化为这些相同图象的逐点最 大值。
接着，用级2540a及2542a分别上抽样及滤波运行和及运行最大 值图象，以构成两个级5图象。然后级2544通过将其加到从Cu5、 Cu5ref、Cv5及Cv5ref导出的级5图象更新运行和图象。类似地，级2546 通过将其与从Cu5、Cu5ref、Cv5及Cv5ref导出的级5图象比较而更新运 行最大值图象。这一过程向下重复到金字塔级0。
最后，执行了上述步骤之后，执行运行和与运行最大值图象的逐 点线性组合以产生色度JND图：
JNDC(i，j)＝kCRunning_Max(i，j)+(1-kC)Running_Sum(i，j)， (30a)
其中kc＝0.836。kc的值是通过逼近Minkowski Q-norm确定的。 给定Q的值及要集在一起的图象的数目N，值kc＝[N-NI/Q]/[N- 1]保证近似测量在所有比较项(象素上)相同时并且在只有一个非 零项时，完全与Q-norm匹配。在本例中，N＝28(通道数)及Q＝2。
和在亮度处理中一样，这些操作之后得出的图象在分辨率上是原 始图象的一半。应指出这一过程中的各金字塔级下标是指从其原始 导出的金字塔级而言，它是与滤波/下抽样后的级关联的分辨率的两 倍。
还应指出可在上面的重复上抽样/滤波与加法/求最大值过程所生 成的所有图象上加上权重kc与1-kc以产生JND图象。以两种方式使 用级0图象，将其直接送给概括处理或上抽样到原始图象分辨率及 滤波供显示用。
通常，图25的色度量发生部分是较佳实施例，而图9的亮度量 发生部分为替代实施例。一种原因是最大值-和方法在计算上较便 宜。从而，如果希望以整数实现的动态范围，则图25的色度量发生 部分较佳。否则，如采用浮点处理器，则图9的亮度量发生部分能 同样使用。
半高度色度处理
如果直接传递半高度图象而不填充零到真实图象高度，则上面的 色度处理部分230必须加以修改以反映固有的垂直分辨率只是固有 的水平分辨率的一半。图26与27为用于处理半高度图象的色度处 理部分及色度量发生部分的方框图。
这些图(图26与27)与用于全高度交错的对应的图(图24与25) 之间的比较揭示许多级是相同的。因此，下面对图26与27的描述 限于两种实现之间的差别。
首先，消除最高分辨率色度通道u0*与v0*。由于在高空间频率 上色度灵敏度通常是低的，损失这些通道并不重要。
第二，为了产生次最高分辨率色度图象u1*与v1*，垂直(即沿 列)作用具有权重(1/8，3/4，1/8)的核的低通“Kell”滤波器2600。 这一操作对应于假设的去交错滤波器连同全高度实施例的3×3滤波 器的垂直分量所执行的滤波的联合滤波。然后用具有权重0.25(1，2， 1)的核的1×3滤波器2610水平滤波得出的垂直滤波的图象。u*与 v*图象的这一滤波使半高度图象的分辨率各向同性。这一分辨率具 有全高度金字塔级1。
图27展示用于处理半高度图象的色度量发生部分。首先，0级 不存在。这样，修改了运行最大值与运行和的各种参数及“通路”。 例如，将确定k的值N从28改变到24。相同的k＝0.836用于全 高与半高度处理并且是从上面给出的公式中计算出的全高与半高度 常量的平均值。
由于在色度实施例中，最大值与和流是完全累积在金字塔级1上 的，概括测量的色度JND图只是全部累积的亮度图的一关大小(在 水平与垂直方向上)。从而，在组合色度与亮度图来产生总的JND 图之前，必须首先将色度图变成与亮度图相同的分辨率。为了达到 这一目的，执行上抽样后随3×3滤波器2705，以产生概括测量的 色度JND图。
如在全高度实施例中，在显示以前必须将概括测量的色度图变成 全图象分辨率。为了与亮度图中的类似操作一致，在级2710中通过 上抽样及后随1×3滤波(核0.5[1，2，1])将色度图在水平方向 上变成全分辨率。在垂直方向上，在级2720中执行行加倍。
JND输出概要
如上面讨论的，传递给输出概要步骤的亮度与色度JND图为JND 图象，并且是在原始图象的半分辨率上表示的。这利用己执行汇集 的各屏蔽的对比度级中固有的冗余性。
接着，将亮度与色度JND图JNDL与JNDC组合成总视场JND图JNDT。 这一组合是用近似Minkowski加法进行的，与通道组合来产生图JNDL 与JNDC相似：
JNDT(i，j)＝kTmax[JNDL(i，j)，JNDC(i，j)] (30b)
+(1-kT)[JNDL(i，j)+JNDC(i，j)]
其中kT＝0.586。kT的选择是通过逼近Minkowski Q-norm确定 的。在本例中，max/sum中有两项，而Q＝2。
依次，通过下述直方图过程将各半分辨率JND图象(各场三个： 亮度、色度与总视场)减少到称作JAM的单一JND性能测量：
首先，制作JND值的直方图(1/8 JND)，但不包含小于阈值级 tc＝1/2的值。将大于100JND的所有的值作为100JND记录。
第二，采用JND作为来自上面的缩略的直方图的JND点数的第90 个百分点。以这一方式为分别对应于JNDL、JNDC及JNDT的概括测量 计算三个值JAMluma、JAMchroma及JAMtotal。这是为视频序列中的各场 进行的。
从视频序列中的N个单视场JAMfield值中，取决于序列的长度， 以两种方式之一计算单一的性能测量。
对于N＞10：
JAMN等于JAMfield值的直方图的第90个百分点。
对于N≤10：
用于N增加时提供连续度的下述过程确定JAMN。更具体地，首先 制作JAMfield值的直方图。第二，用具有与真实直方图相同的最小值、 最大值及平均值的“人造直方图”逼近直方图，该人造直方图是由 在最小或最大值之一上的单一仑峰值的常量构成的。
第三，采用N场JAM作为来自上述人造直方图的JAMfield点数的 第90个百分点。
应指出主观额定数据对于短视频序列(如小于1/2秒或15帧) 是有噪声及不可靠的。从而JAM估计与短序列的主观额定值的相关 是低劣的。
图象边界处理
在本感觉量发生器中，己观察到各级上的边界反射能将赝象传播 到亮度与色度JND图中，从而需要修剪来使这些JND图不受这些赝 象污染。为了解决这一临界性，己研究出一种方法用无限大小但以 每边不超过6个象素增加实际图象大小进行操作的灰色遮光板来取 代屏幕边界。这一“虚拟遮光板”的使用消除了修剪JND来避免边 界赝象的要求。无限的灰色遮光板模仿观看条件并因此可认为不是 人工的。用这一解释，整个JND图是不受赝象污染的。并能用画面 质量分析器显示。
在下面的描述中，将己在所有边上用6个象素填衬的的图象称作 “填衬图象”，而将未填衬的图象或其填衬图象内的部位称作“图 象本体”。
由于图象操作是本地的，能高效地实现虚拟无限遮光板。在图象 本体外侧充分远处，无限遮光板在任何给定级上得出一组相同的常 量值。可事先计算在这一常量区上所执行的诸如滤波等图象操作的 效果。从而，窄的边界(本实现中为6个象素)能提供从图象本体 到无限遮光板的适当过渡。
在输入端上，给予遮光板值Y’＝90，U’＝V’＝0。(Y’＝90的值对应于 最大屏幕亮度的15％的Rec 500背景值的一半)。然而，直到前端 处理完成为止遮光板是不需要的，由于在这一级完成之前不会出现 延伸到图象边界以外的空间交互作用。在亮度通道中，在亮度压缩 完成之前没有边界(并因而没有遮光板值)附加在图象上。在色度 通道中，前端处理之后加上边界。
在高度通道中，亮度压缩后的第一遮光板值是
在u*与v*通道中，第一遮光板值均为0。
这些值以三种方式传播通过后面的处理级：
1)逐个象素的函数在老遮光板值上运算以产生新遮光板值。例 如，从1.4次幂函数得出的遮光板值为：
bezel_out＝(bezel_in)1.4 (30d)
2)其行与列之和为P的3×3空间滤波器将输出bezel值设定 为输入bezel乘P。
3)对比度函数计数器与四视场时间滤波器(具有零抽头和)将 输出遮光板值设定为0。
在对比度级上及以后，在亮度与色度通道中给予遮光板值0，即 在空间常量阵列上用零和线性核运算的逻辑结果。
用于生成虚拟遮光板的方法公开在1997年11月23日提交的名 为“生成图象金字塔边界的方法”的美国专利申请08/997,267中。 通过引用将该美国专利申请08/997,267包含在此。
集成图象及遮光板
从模型的金字塔级开始，必须提供边界。在N×M输入图象上的 第一边界操作是用具有适当的遮光板值(对于压缩的亮度图象的 first luma bezel及对于u*与v*图象的0)的6个象素(所有边上) 填充图象。填充后的图象具有尺度(N+12)×(M+12)。对于第k个金 字塔级(其中k的范围为0至7)填充后的图象具有尺度([N/2k]+12) ×([M/2k]+12)，其中“[x]”表示x中的最大整数。
所有金字塔级上的图象都互相登记在图象本体的左上角上。图象 本体的记号在0≤y≤高度，0≤x≤宽度上进行。图象本体的左上角 永远具有记号(0，0)。遮光板象素取小于0的高度与宽度值。例如， 左上遮光板象素为(-6，-6)。如果从宽度为w的图象(图象加遮光 板宽度w+12)的左边开始沿x方向看，遮光板象素是用x＝(-6，- 5，…，-1)标记的，实际图象标记为(0，1，…，w-1)而右边遮光板 标记则为(w，w+1，…，w+5)。
给定填充后的图象，取决于以后的处理级，能发生四件事情。在 描述下面的操作中，我们用单一图象行来概括空间处理(理解类似 的事件发生在垂直方向上)。
(a)对于逐个象素操作。当下一个操作是逐个象素操作时(如具 有非线性)，简单地将填充后的图象传递通过该操作，并且输出图 象尺度与输入图象尺度相同。当操作是在不同的场或不同的色带中 的对应象素之间时，出现相同的情况。
(b)对于3×3空间滤波器。假定(在一个尺度上)未填充的输 入图象具有尺度Nk+12。则填充后的输入图象具有尺度Nk+12，而填 充后的输出图象同样具有尺度Nk+12。首先计算输出遮光板值及写入 至少尚未被以后的图象操作填充的遮光板象素中。然后从离开填充 后的输入图象左边1个象素开始，3×3核开始对输入图象运算及改 写输出图象的遮光板值，停止在距图象右(或底)边一个象素处(这 里存在原始遮光板值)。事先写入的遮光板值使核运算没有必要进 行到原始(填充后的)图象外面去计算这些值。
(c)对于在REDUCE中的滤波及下抽样。给定具有尺度Nk+12的 输入填充后的图象，分配给输出阵列尺度[Nk/2]+12。将遮光板值写 入至少后面的滤波器与下抽样操作不填充的遮光板象素中。然后， 按照上面的(b)滤波输入图象，滤波器作用在象素-4，-2，0，2，4 上直到穷尽了输入图象为止，并将输出值写入连续的象素-2，-1，0， 1，2，…中，直到输出图象中再也没有它们的位置为止。注意新图 象中象素0的位置距新图象左端7个象素。如果Nk为奇数，滤波器 的最后象素应用取输入象素Nk+3以输出象素[Nk/2]+12，而如果Nk 为偶数它取输入象素Nk+4以输出象素[Nk/2]+12。(这里我们称滤波 器的输入象素为对应于3象素核的中心的象素)。
亮度定标与预测
心理物理学数据用于两种目的：1)定标亮度处理部分(即为某些 处理参数确定值)，及2)一旦定标以后，确认亮度处理部分的预测 值。在所有情况中，将激励作为紧接在亮度处理前面的Y值图象注 入感觉量发生器中。
定标
亮度处理部分220能用两组数据重复地定标。一组数据用于调节 亮度处理部分中的步骤640、642与650中的预屏蔽常量(wi，te及 tl)。另一组数据用于调节亮度处理部分的步骤660中的屏蔽级常 量σ、β、a与c。由于JND值永远是在步骤660后面估算的，用第 二组数据对步骤660中的常量的调节要求用第一组数据对步骤640、 642与650常量的重新调节。继续这些常量的重新调节直到从一次 迭代到下一次迭代观察不到进一步的改变为止。应指出虽然上面的 迭代过程通过将未屏蔽的对比度的单位值(步骤640、642与650) 解释为视觉输出的一个JND出发，屏蔽过程还是微扰这一解释。下 面的小节中描述调节的细节。
对比度正规化常量的调节(步骤640、642及650)
将屏蔽以前感觉量发生器对空间与时间对比度灵敏度的预测与 Koenderink及Van Doorn(1979)提出的正弦波的对比度灵敏度数据 匹配。为了生成基于感觉量发生器的曲线上的点，提供低幅值正弦 波作为对感觉量发生器的测试图象(空间或时间中的)，并估计1JND 输出的对比度阈值。在各情况中参照图象隐含地具有与测试场相同 的平均亮度的均匀场。
在感觉量发生器的步骤640、642与650中将空间对比度灵敏度 对数据的拟合(见图10的最后拟合)用于调节对比度金字塔灵敏度 参数w0、w1及w2。图10中的虚线表示构成总灵敏度(实线)的分 开的金字塔通道的灵敏度。应指出与图10符合的空间模型不延伸超 过15个周期/度，与上面讨论的观察距离限制符合：四个屏蔽高度 的观察距离。可执行w0、w1及w2的类似调节以容纳略为不同的观 察距离；更大的观察距离可能要求较低的分辨率金字塔级，这些可 在低计算费用上容易地体现。
使用时间对比度灵敏度对数据的拟合(见图11的最后拟合)调 节时间滤波器抽头参数te及tl以及对比度金字塔灵敏度参数w3。用 来拟合这些参数的方法类似于空间对比度定标。将各种时间频率上 的Van Doorn与Koenderink的最低空间频率数据与为空间均匀的时 间正弦波计算的灵敏度匹配。在各情况中，视觉模型场速率在50与 60Hz抽样时间正弦波，而这产生上面指出的不同参数值。
屏蔽常量的调节(步骤660)
屏蔽参数值σ、β、a与c(感觉量发生器的步骤660中)是通 过比较屏蔽的对比度分辨的预测与Carlson及Cohen(1978)获得的 数据拟合的。图12中示出最后拟合比较的结果。从Carlson-Cohen 研究中，选择服从代表性标准并且具有足够数据点的单个观察者的 数据。在这一情况中，感觉量发生器激励包含测试与参照场两者中 给定的基准对比度的空间正弦波，及附加测试场正弦波的对比度增 量。达到1JND所必需的对比度增量是从感觉量发生器中为各对比 度基准值确定的，然后标出在图12中。
预测
感觉量发生器定标之后，将感觉量发生器预测与来自并非正弦波 的激励的检测与分辨数据进行比较。这是为了检验正弦波结果到更 一般的激励的可移植性而进行的。从图13、14与15中可见，预测 不能应用在具有10个周期/度以上的标准空间频率的图形上。这些 图形在15个周期/度以上的空间频率上己具有可觉察的能量，并己 与象素抽样率混淆(每度30个样本，见上面的讨论)。
在第一研究中(图13)，相对于均匀的参照场检测测试场中的 低对比度圆盘。实验数据来自Blackwell与Blackwell(1971)。在 为这一特定研究运行感觉量发生器时，必须用最大值取代空间Q-norm 概括测量。否则JND结果是对圆盘的背景的大小(即对图象大小) 敏感的。
在第二研究中(图14)，低幅方格盘的检测，数据是在Sarnoff 的未公布的研究中采集的。
第三研究(来自Carlson与Cohen的数据，1980)与前两个有些 不同。在参照图象中提供用erf(ax)给出的弄模糊的边，并对照测 试图象中用erf(a’x)给出的边试图分辨。这里，x为以视觉度表示 的视网膜距离，a＝πf/[ln(2)]0.5，a’＝π(f+Δf)/[ln(2)]0.5， 而f是以周期/度表示的。这里，Δf为一个JND所需的f的改变。 图15中的曲线为Δf/f相对f。
能看出对于在4个屏幕高度视距上的显示的空间频率特征的范 围，感觉量发生器预测与数据很好地拟合。
色度定标
如在亮度参数定标中，利用心理物理学数据来定标色度参数(即 为最佳模型拟合调节它们的值)。在所有情况中，激励是四个相等 的场，它们是紧靠在转换到CIELOV之前作为CIE X、Y与Z中的图 象引入感觉量发生器中的。
对比度正规化常量的调节(步骤830)。
将屏蔽前的色度对比度灵敏度的感觉量发生器预测与 Mullen(1985)提供的对比度灵敏度数据匹配。所用的测试序列为四 个相等的场，各具有作为(X，Y，Z)值引入的水平变化的空间正弦 波额定值。用于定标的数据来自Mullen的图6，对应于它，各测试 图象为红一绿等照度正弦波。在象素i上，测试图象正弦波具有下 式给出的三色值
X(i)＝(Yo/2){(xr/yr+xg/yg)+cos(2πfai)Δm(xr/yr-xg/yg)}
Y(i)＝Yo， (31)
Z(i)＝(Yo/2){(zr/yr+zg/yg)+cos(2πfai)Δm(zr/yr-zg/yg)}
这里Δm为阈值增量分辨对比度，(xr，yr)＝(.636，.364)为红 色干扰滤波器(在602nm上)的色度，(xg，yg)＝(.122，.832)为 绿色干扰滤波器(在526nm上)的色度，zr＝1-xr-yr，zg＝1- xg-yg， 而a＝.03度/象素。参照图象为用式(28)表示的均匀 场但Δm＝0。为了感觉量发生器的目的，设定Y0＝1己足够。
为了生成基于模型的曲线上的点，在各种f值上提供上述激励， 及评估1JND输出的对比度阈值Δm。利用建模的色度对比度灵敏度 对数据的拟合(见图16的最后拟合)来调节感觉量发生器中的参数 qi(i＝0，…，6)。
屏蔽常量的调节(步骤840)
将用于色度屏蔽的感觉量发生器预测与Hwitkes等人(1988)提 供的数据匹配。使用的测试序列为四个相等的场，各具有作为(X，Y， Z)值引入的水平变化的空间正弦波额定值。为了与该工作(色度的 色度屏蔽)的图4对应，在象素I上，测试图象正弦波具有下式给 出的三色值
X(i)＝(Yo/2){(xr/yr+xg/yg)+cos(2πfai)[(m+Δm)(xr/yr-xg/yg)]}
Y(i)＝Yo (32)
Z(i)＝(Yo/2){(zr/yr+zg/yg)+cos(2πfai)[(m+Δm)(zr/yr-zg/yg)]}
其中Δm为阈值增量分辨对比度，(xr，yr)＝(.580，.362)为红 色荧光体的色度，(xg，yg)＝(.301，.589)为绿色荧光体的色度，zr ＝1-xr-yr，zg＝1-xg-yg，及fa＝2c/deg*.03deg/pixel＝.06。 参照图象正弦波与测试图象正弦波相同，但Δm＝0。为了感觉量发 生器的目的，设定Y0＝1己足够。
为了生成基于模型的曲线上的点，在屏蔽对比度m的各种值上提 供上述激励，及估计1JND输出的对比度阈值Δm。利用建模的色度 对比度灵敏度对数据的拟合(见图17的最后拟合)来调节感觉量发 生器中的参数σc、βc、ac、cc及k。
与额定值数据比较
使用各带有不同程度的畸变的四个图象序列来将本感觉量发生器 与DSCQS额定值数据比较。结果描绘在图18中，并揭示感觉量发生 器与数据之间的相关性0.9474。对于各该序列，感觉量发生器处理 30个场(与用于测试前面发布的四个场不同)。
从曲线上去掉了若干数据点，但在前面的发布中是存在的。为了 两个原因删除这些点：(1)删除了对应于所有主题的“热身(warm- up)”测试的五个点。Rec 500荐议应删除序列中的前五个点，因 为它们表示主题的判断的稳定化。
(2)对于“Gwen”序列之一，即使在测试与参照之间前景是完全 对准时，相对于出现在背景中的树的图象之间的参照序列，测试序 列也存在小的移动。分开为测试与参照引入兰色屏幕视频，在这一 特定情况中具有时间标准误差。
JND图解释
JND图是以适合于以后的处理确定任何空间或时间窗口内的JND 的形式的。如上面指出的，图中的值是以上升到第Q次幂的JND为 单位的，而不是以简单的JND为单位的。为了获得视频流的任何时 空区的单一JND值，只须求出来自该区中的JND图的值之和，然后 取第Q次根即可。
若干实例将澄清这一处理。为了检索各象素的1 JND值(可能是 最典型的想要的输出)，取JND图中各象素的第Q次根。
然而，对于典型的MPEG-2编码器分析应用，具有各16×16个象 素的宏块而不是各象素的单个JND值可能是有用的。为了获得每一 宏块一个JND，首先求和各宏块内的所有JND图输出，然后取第Q 次根。其结果将是JND值的宏块分辨率图。
金字塔构造：图象大小及边界要求
如果较大图象尺度N与较小图象尺度M满足下述条件，金字塔法 的当前实现不会遇到图象尺度问题。
1)M必须至少128
2)在它追朔到小于64的商以前，M必须是多达P次中每次都能 被2除尽的。
3)N也必须是P次被2除尽的。
感觉量发生器将任何不满足之些条件的图象识别为非法的。作为 这些规则如何工作的实例，考虑图象尺度N＝720，M＝480。条件(a) 满足，因为M＞128。条件(b)满足因为M能被2除3次并在除法3(从 而P＝3)上遇到小于64的标准。最后，条件(c)满足，因为N也能 被2除3次得出整数。
交错考虑
以下讨论的目的为澄清本感觉量发生器中的场交错(更具体地， 行间空间)处理。行间空间是人类观察显示看不见的，但如果它们 用黑色值建模，它们的确在感觉量发生器中产生明显的影响。作为 感觉量发生器对行的可视性的结果，高频行结构屏蔽了任何空间频 率上的垂直图象畸变。此外，当将交错序列与非交错序列比较时， 行结构的可视性会是JND赝象的主要原因。
对这一关键问题的解决方法为将显示模型改变成包含在显示本身 中发生的空间与时间中的已知平均。这一平均使行间空间较看不见。 第一步为定义这些效果的幅度来确定适当的模型。
由于荧光体具有有限的衰减时间，时间平均发生在显示中。因此 在来自场N的偶数行的最初发射的时间上永远存在着来自场N-1的 奇数行的衰减的残余。然而，与场间间隔(16500微秒)相比，荧 光体衰减时间通常是相当短的，例如对于兰色荧光体的70微秒，对 于绿色荧光体的100微秒及对于红色荧光体的700微秒。因此，显 示模型中的时间平均对行间平滑并无明显影响。
显示中发生空间平均，因为来自一个象素的发射散布超出正常的 象素边界。在交错显示中，电子束斑结构是与交错结构联合设计的。 结果，将象素散布在垂直方向上设计成更明显，以便填充行间空间 并从而使它们较看不见。在高束电流上散布特别明显，这些电流对 应于高亮度值并从而对应于图象的最明显部分。因此，从显示的角 度，空间平均是用于行间平滑的良好物理模型。
作为替代，可用某些时间平均来实现行间平滑。视觉系统本身呈 现为执行足够的时间平均来使行间空间看不见。然而，如从下面讨 论中将弄清楚的，当前的感觉量发生器中缺少眼睛移动己使得感觉 量发生器偏离本应存在的时间平均表现。
己观察到人类视觉是受到具有两种不同的时空响应级的机制促进 的：具有高空间但低时间分辨率的“持续的”，及具有高时间但低 空间分辨率的“瞬时的”。
这一感觉量发生器的一种实现采用可分开的空间/时间滤波器来 整形两个通道的响应。这一建模选择的直接结果便是在持续通道上 的与显示的典型的60Hz时间抽样率相比在时间上相当低通的时间 滤波器。甚至瞬时响应对60Hz抽样率也是不敏感的。然而，并未 进入持续/瞬时模型的一个因素便是眼睛移动的效果，并且特别是眼 睛跟踪图象中移动物体的能力。这一跟踪以忠实于具有受限制的激 励的心理物理学实验的感觉量发生器滤波器不能捕捉的方式增进对 注意的物体的细节的视觉灵敏度。
图象序列中畸变侧度上的运动效应是可观的。如果眼睛不跟踪图 象中的运动物体，从持续的时间响应得出的图象中的模糊将精确地 反映在具有一个通道中许多时间平均的感觉量发生器中。然而，眼 睛确实跟踪移动物体，因此图象不是运动弄模糊的。没有跟踪运动 物体的能力，意在量化时间视觉响应的感觉量发生器应呈现运动模 糊。然而，这种模糊阻碍精确的JND图的生成。
为了解决没有跟踪模型的难题，作出了下述折衷，作为在最后的 场上而不是在一些场的时间平均上的操作表示空间通道(它由于对 空间细节灵敏而扮演“持续的”通道的角色)。作为这一方法的结 果，空间通道表现聚焦良好的JND图，这是眼睛跟踪图象序列中注 意的物体的运动的情况。
在保持上述折衷的精神中，仍可放松空间通道的“似是而非的存 在”性质，因此它在两个场上从而在一帧上求平均值。这一措施会 降低交错场中空行的可视性，并且比“似是而非的存在”解决方法 在物理学与心理物理学上更合理。然而，在两个场的时间平均中存 在一种赝象，这便是本应是平滑的移动边处出现“梳状”。
为了理解为何在具有两个场平均的模型中出现梳状，只要观看在 偶数场(称之为场N)与奇数场(称之为场N+1)之间的时间间隔中 移动的物体便己足够。假定该物体具有在场之间水平移动5个象素 的一条垂直边。还假定该物体边在场N上的偶数行的象素n上。则 这边将显示在场N+1的奇数行的象素n+5上。如果在特定场的光栅 行之间没有“填充”，则平均场N与场N+1产生不再是垂直的而是 在象素n与n+5之间交错的边。这便是“梳状”效应。
为了理解视觉系统为何看不见这一梳状效应，设想该物体令人感 兴趣得使眼睛紧跟踪它。这意味着物体是在视网膜上静止的，因为 视网膜预见物体到下一场中的运动。如果物体的边是在场N的偶数 行的象素N上，它也将在场N+1的奇数行的象素n上，只是因为对 物体的眼睛跟踪己几乎完美无缺。
为了避免梳状及其它交错赝象，感觉量发生器可在显示中的各场 的行之间执行空间填充。这一垂直平均避免了梳状效应，因为它提 供了瞬时空间边的表现(这是任何时间平均所不能的)。并且，垂 直平均以与电子束斑结构的已知空间散布相一致的方式解决了交错 行结构的可视性的原始问题。
从而己展示及描述了为改进图象保真度及视觉任务应用而估计两 个输入图象序列之间的差异的可视性的新颖的方法与装置。然而， 熟悉本技术的人员在考虑了本说明书及公开其实施例的附图之后， 本主题发明的许多改变、修正、变型及其它用途与应用对他们将是 显而易见的。
本申请要求1997年4月4日提交的60/043,050及1998年2月 2日提交的60/073,435号美国临时申请的权益，通过引用将它们结 合在此。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 用于模拟色觉缺陷条件并展示色盲补偿眼镜有效性的照明系统 | 2020-05-16 | 970 |
| LED像素器件、LED显示屏及显示方法 | 2020-05-14 | 410 |
| 打印机以及扫描仪配置文件制作方法 | 2020-05-08 | 822 |
| 一种美术作品数字化展示的颜色控制方法 | 2020-05-11 | 714 |
| 照明灯具及方法 | 2020-05-12 | 541 |
| 一种非均匀照明彩色图像增强方法 | 2020-05-15 | 324 |
| 极端天气条件下低质图像增强方法 | 2020-05-08 | 184 |
| 基于自适应混沌粒子群优化的低照度彩色图像增强方法 | 2020-05-11 | 356 |
| 量子点以及包括其的电致发光器件和电子器件 | 2020-05-13 | 838 |
| 一种基于RGB单目图像的浅浮雕物体识别处理方法 | 2020-05-14 | 1060 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈