相关申请

本申请涉及美国专利申请号____，该申请于____提交，名为 “Compose Rate Reduction For Display”，并转让给英特尔公司。

背景

个人电脑(PC)显示器一般显示一叠对应于用户可能正在执行的 不同类型工作(例如，文字处理、电子邮件、电子数据表、视频等) 的窗口，当前激活的应用窗口位于叠层的顶部，这样看上去离用户最 近。当用户从一个作业改变成另一个作业时，这些窗口重新组合成新 的桌面图像，将新的应用窗口带到最前面。

未来的PC产品计划使用三维(3D)动画技术合成应用窗口，为用 户提供更丰富的可视体验，其中动画平滑移动。为使动画平滑移动， 它们必须没有跳跃(如果没有足够快地合成桌面图像将发生跳跃)。遗 憾的是，以足够高的速度合成PC桌面图像需要极大的图形存储器带 宽，这使成本增加到在面向移动和低成本PC市场的产品中所不能接收 的程度。

按照惯例，为处理不合适的计算或存储器资源，帧只是被停止。 因为放弃了表示原始内容的图像信息，结果通常是外观上跳跃的动 画，类似于如今个人电脑上经常看到的动画视频。这种帧跳跃可以导 致视频帧频降低到感觉平滑移动所需的帧频以下。因此，低比特率视 频可能时常给用户呈现跳跃。

附图简述

图1示出了包括图形显示系统的计算机系统的实施例的框图。

图2示出了正在执行文字处理应用程序的窗口。

图3是时空平均的实施例的示意图。

图4是时空平均的一个实施例的流程图。

发明详述

本申请涉及美国专利申请号____，于____提交，且名为“Compose Rate Reduction For Displays”，其中运动模糊用于在窗口转换过程 中产生低帧频显示。本发明的实施例采用空间模糊以进一步减少所需 的图形存储器带宽。本发明通过将一定量的时间平均与较低代价的空 间平均进行交换减少了运动模糊的计算代价。

本发明中，窗口的局部区域被一起平均，在和先前和以后时间生 成的类似产生的图像做进一步平均之前，空间平滑化窗口图像。这在 减少的帧频下使用减少的计算工作量产生了平滑的外观。例如，当窗 口移向观察者或远离观察者时，通过空间和时间平均的组合可以产生 运动模糊效果。空间平均与时间平均相结合使用以减少合成图像(包 括桌面图像)所必须的频率。空间平均减少了处理量，否则这些处理 量将贡献于时间平均处理。运动模糊在3D动画过程中保持感觉上是平 滑的运动，既便它们以低频合成和显示，但仍呈现出满意的外观。这 减少了所需的图形存储器带宽，由此减少了PC的制造成本。

在详细的说明书中，提出众多特定细节以提供对本发明彻底的理 解。然而，本领域技术人员应当理解的是，本发明可以不以这些特性 细节实现。在其它实例中，为不混淆本发明，详细描述了已知的方法、 步骤、元件和电路。

下面详述的一些部分以计算机中的数据位或二进制信号操作的算 法和符号表示的方式呈现。这些算法描述和表达是数据处理领域中技 术人员使用的方法，以向本领域的其他技术人员传达他们工作实质。 这里一般将算法考虑成通向所需结果的自相一致的步骤序列。这些步 骤包括物理量的物理操作。通常，但并不必要，这些量具有能够被保 存、传输、合成、比较或其它操作的电学或磁学信号的形式。已经证 明：原则上用于一般使用的原因，把这些信号归类成位、值、元件、 符号、字符、术语、数字等是方便的。然而应当理解所有这些和类似 的术语与合适的物理量相关，且仅是这些量的方便的标记。除非特别 声明，否则当在下面的讨论中出现时，应当理解的是在整个说明书中， 使用诸如“处理”或“用计算机计算”或“计算”或“确定”等这样 术语的讨论，指计算机或计算系统或类似的电子计算装置的动作和处 理，这些计算装置对计算系统的寄存器和/或存储器中的以物理(电 子)量表征的数据进行操作，并将其转换成其它数据，这些其它数据 类似地以计算系统的存储器、寄存器或其它信息存储、转换和显示装 置中的物理量表征。

本发明的实施例可以以硬件或以软件(微代码)的方式执行，或 结合它们二者执行。然而，本发明的实施例可以以在可编程系统上执 行的计算机程序执行，该可编程系统包括至少一个处理器、数据存储 系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入 装置以及至少一个输出装置。程序代码可以应用到输入数据以执行这 里描述的功能和产生输出信息。输出信息可以以已知的方式应用到一 个或多个输出装置。出于本申请的目的，处理系统包括任何具有处理 器(例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC) 或微处理器)的系统。

本发明的所述实施例的上述描述并不是穷举性的或并不将本发明 限制成所公开的特定形式。这里描述本发明的特定实施例和实例用于 示例性目的，相关领域的技术人员将意识到可以在本发明的范围内进 行各种等效修改。可以根据上述描述对本发明做出修改。下面权利要 求书中使用的术语不应理解成将本发明限制成说明书和权利要求书中 公开的特定实施例。而是，本发明的范围完全由下面的权利要求书确 定，权利要求书将理解成与权利要求解释制订的条款一致。

图1示出了一种计算机系统的实施例100的图示，该计算机系统 包括一个3D显示处理器102，用于使用空间和时间平均产生运动模 糊。为方便起见，省略了对理解本发明不必要的计算机系统的元件。 尽管显示处理器102以存储控制器104的一部分示出，显示处理器102 还可以配置成独立的装置。显示处理器102还可以配置成单独芯片装 置或片上系统、多芯片模块或插入电路板的一部分。显示处理器102 可以被包括在任何各种类型的系统中，包括计算机系统、网络PC、英 特网设备、电视机(包括HDTV系统和交互式电视系统)、个人数字助 理(PDA)、穿戴式电脑以及其它显示2D和或3D图像表示的装置。

如图所示，计算机系统包括与存储控制器104通信的主处理器 106，存储控制器104包括显示处理器102。显示处理器102还与存储 器108通信。主处理器106可以包括一个或多个各种类型的处理器， 例如微处理器、多处理器和CPU。存储器108可以包括不同类型的存储 器子系统，包括随机访问存储器(例如DDR、SDRAM、RDRAM等)和大 容量存储装置的任何组合。显示装置110可以耦合到显示处理器102。 显示装置110可以是任何各种类型的显示监视器或装置，包括但不限 于下例装置：视频监视器、阴极射线管(CRT)、液晶显示器(LCD)、 反射型硅基液晶(LCOS)或气体等离子体显示器。系统可以执行应用 软件以在显示装置110上显示图形和视频对象。

各种输入装置(未示出)可以与计算机系统相连，包括键盘和/或 指针控制装置。指针控制装置允许用户选择各种命令模式、修改图形 数据和输入其它数据。更具体而言，输入装置允许用户通过在表面移 动指针控制装置而选择性地放置指针在显示器上的任何所需位置(例 如窗口图标)。应当理解本发明可以使用各种已知的输入装置，包括其 它控制装置，例如机械鼠标、跟踪球等。

图2示出了显示环境的屏幕截图(screen shot)的实施例200 的图示。该屏幕截图示出了当窗口202和观察者之间的视距(apparent distance)增大或减小时本发明的执行方案怎样产生模糊运动感觉的 实例。“窗口”一般可以是显示数据的显示器上的传统矩形区域，以及 较小的子区域，例如弹出、下拉或其它菜单、图标、符号或其它显示 元件以及对象。这种环境中，操作系统(例如Windows、Linux、OS/2 或Macintosh)提供用户界面以及一个或多个与当前运行的应用程序 相关的窗口。一般的执行方案中，可以在一个窗口中运行英特网浏览 器应用程序，可以在操作系统桌面上的第二窗口中运行文字处理器应 用程序。

在视窗显示系统的一个实施例中，用户点击图标202并激活移动 到前面的窗口204，以允许在该窗口中对数据进行操作。在诸如矩形窗 口、菜单或子菜单这样的对象中，这些对象中显示的数据可以包括字 母数字和/或图形数据。因此，应当理解本发明的设备和方法应用到显 示器上显示的任何对象，而不管在任何特殊计算机显示系统中的对象 的形状、大小或功能。

进一步参考图2，中间窗口208和210被空间模糊，就像使用没有 对焦的透镜拍摄它们对应的全速帧的照片时将要发生的一样。通过对 显示器上的对象的各个帧使用空间模糊，这种方法可以以平滑的方式 使用较小数目的中间帧(和在没有空间模糊的情况下所需的数目相 比)转换对象。如图所示，窗口的文本清晰可见，且当它以整幅状态 出现时适于被用户操作。相反，当它没有处于整幅状态时，窗口文本 对于用户是模糊的。当窗口从图标变成整幅状态时文本变得更加详 细。

小图标可以包括缩略图方式的窗口内容的表示。例如，图标包括 尺寸增大的标题，看上去就像它从远远的薄雾中出来，像动画一样平 滑。当点击和打开一个窗口图标时，它可以以多种方式呈现。一个执 行方案中，窗口自动打开以显示整幅内容，如图2所示。另一个实例 中，窗口随时间逐渐变大成整幅大小，随后填充内容。另一个实施例 中，当窗口转换成整幅大小时它可以旋转。

根据本发明的实施例，帧首先经历局部空间模糊，然后在特定时 间平滑地混合，以在减少的帧频条件下产生平滑的动画。使用运动模 糊以在这些3D动画过程中保持运动的感知，低合成速度下呈现合意的 外观，这导致节省图形存储器带宽之后的探寻。

如上所述，时间平均可以用于减少图像(包括桌面图像)合成的 频率。根据本发明的实施例，空间平均和时间平均相结合使用以减少 与运动模糊有关的计算负担。这样，空间平均减少了处理量，否则这 些处理量将在严格的时间平均处理中需要。在一个典型的执行方案 中，动画用户影响是短周期的，一般为0.25～0.5秒。只要动画导致 受影响的对象平滑地移动，眼睛一般不能觉察以平均的方式完成的微 小差异。可以使用空间模糊以产生一般与运动中的项目相关的模糊图 像。

图3的图示进一步示出了在窗口转换302期间对帧的时空平均的 实施例300，该窗口转换以第一帧304开始以第n帧306结束。本发 明的典型实施例对在时间上间隔巨大的帧执行空间平均308，和缺少空 间平均的所需处理相比，后续处理需要较少的代价。本领域技术人员 应当理解也可使用其它配置。帧302可以是大量公共格式中的任意一 种。

空间模糊序列308的较宽间距是因为和原始内容相比该帧具有较 低的空间分辨率。当帧经历空间平均时在转换过程中需要较少的输出 帧。空间和时间模糊的同时使用开拓了一般在现代显示处理器产品中 可获得的多处理能力。

分辨率减小的帧可以保存在存储器中。一旦需要显示帧，可以以 合适的分辨率构建每个帧，但是更有效的是提前构建帧并把它保存在 存储器中，以在一旦需要显示窗口转换时进行快速检索。因为帧可以 以各种分辨率示出，可以构建和保存帧的多个不同版本以用于后来的 检索。因为能够选择具有不同分辨率的帧，从存储器获取仅实际需要 的数据量。

帧的每个版本可以以它的分辨率数标识。以最高分辨率版本开 始，每个版本逐渐地具有比前面一个更低的分辨率预滤波表达。每个 不同大小的版本具有不同的细节程度。典型的执行方案中，每个连续 的帧具有它前一帧的一半的分辨率。形成一组相同窗口的不同大小的 版本，例如全分辨率、1/2分辨率、1/4分辨率、1/8分辨率等等。

每个帧可以以适合它在显示平面上的外观大小和运动程度的特定 分辨率处理。示意性地，最大的帧(分辨率0)可以对应于显示器的全 分辨率图像(例如1024×768)以允许观看具有内容的窗口，例如电 子邮件/网页。分辨率-1可以是分辨率0的一半大小，而分辨率-2 可以是分辨率-1的一半大小，以此类推。每个连续的帧可以具有前一 帧的一半的水平和垂直尺寸。

在窗口移动过程中，使用表示具有不同程度分辨率的窗口的帧。 当窗口到观察者的察觉距离增加时，可以看见的细节减少，可以使用 较低的分辨率版本，这在本领域中已众所周知。例如，当窗口被旋转 或收缩或后退到一定距离时，帧分辨率可以从级别-2切换到-3，具 有1/4到1/8的行或列。这减小到原始数据量的1/16或1/64，这样 允许额外节省存储器带宽。

当窗口远离或接近观察者移动时，可以通过各种方法模拟运动模 糊，包括但不限于使用减少的分辨率(更负的分辨率数)。本发明的实 施例平衡了空间和时间平均的合适量，以获得平滑的移动效果。尤其 是，本发明的实施例以空间模糊来和时间模糊“交易”。通过起始于图 像产生的较低频率，可以对具有较低级别细节的图像进行时间平均计 算，这样使用较少的数据。

在计算机产生的成象中使用模拟的运动模糊以减轻源自于取样离 散属性的视觉上讨厌的假象。运动模糊模拟能够实现真实世界视频快 门的短周期曝光间隔的再造。一般地，第一和第二位置之间的对象移 动的显示是真实世界运动模糊的模拟。如下面详细描述的，该过程依 赖于所选帧的时空平均的计算。

当窗口远离或靠近观察者移动时，可以通过空间和时间平均310、 312的组合完成运动模糊。尤其是，在输出帧时间之前或之后，时空平 均被用来混合图像信息一个预定/简短的间隔，以略模糊的形式保留所 有的图像信息。在保留相关图像信息之后，可以放弃帧以减少输出频 率同时保留足够的信息以再现平滑移动的动画序列314。

图4是时空平均方法的实施例400的流程图。通过使用具有不同 分辨率的窗口帧计算时间和空间平均来执行帧的运动模糊。

在步骤402，产生并保存一系列窗口帧，每个帧具有不同的分辨 率。如上所述，因为窗口可以以不同尺寸示出，构建并存储多个不同 分辨率版本的窗口用于后来的检索。从最大分辨率版本开始，每个这 些版本是前面一个渐低分辨率的预滤波表达。每个不同尺寸的版本具 有不同程度的细节。在一个典型的执行方案中，每个连续的帧具有它 前一帧的一半的分辨率。形成一组相同窗口的不同尺寸的版本，例如 全分辨率、1/2分辨率、1/4分辨率、1/8分辨率等等。

在步骤404，帧的子集被组合以表示窗口所需的路径和外观。例 如，当窗口被旋转或收缩或后退到一定距离时，帧选择可以从级别0 切换到-1到-2到-3等等。相应地，当帧旋转或从图标放大到全分 辨率图像时，帧选择可以从分辨率-3切换到-2到-1到0。

在步骤406，为每组低分辨率帧计算时间平均。和不使用变化的分 辨率帧的方法相比，输入序列的较宽间隔(由于表示原始内容的具有 不同分辨率的帧)表示需要较少的输入帧来一起空间平均。

在步骤408，为显示产生空间和时间平均的帧以形成过渡效应。结 果是平滑地动画窗口过渡效应。可以使用选择子集的很多基数 (base)。这些基数包括上述任意基数、上述基数的任何组合和/或其 变型。在本发明的范围内，子集大小没有限制，各组之间可能不同。

在典型的执行方案中，小图标具有缩略图方式的窗口内容。该窗 口可以包括诸如标题之类的内容。当包括标题的窗口尺寸增大时，它 看上去以雾状、平滑、模糊的方式呈现。窗口以小状态出发产生连续 的中间状态。每个状态看上去比另一个更大，且在所选点产生时间平 均以产生帧。例如，在多个帧放大之后，基于这些帧计算另一个时间 平均以产生下一个帧，直到所有的帧都被处理为止。动画变换一般很 短，可能仅需要5-6个加权平均以产生完全连续移动的外观。当播放 低频帧时，操作系统希望的窗口动画将看上去自然而平滑。

最后的窗口变换帧包括所有时空平均的帧的组合。例如，从图标 到整幅窗口的路径是模糊的。本领域技术人员应当意识到，帧可以以 任何多种方法使用或处理，例如，以视频图像表示的正向序列方式， 或以反向或杂乱的方式。

本发明所述实施例的上述描述并不是穷举性的或并不将本发明限 制成所公开的具体形式。这里描述本发明的特定实施例和实例用于示 例性目的，相关领域的技术人员将意识到可以在本发明的范围内进行 各种等价修改。可以根据上述说明书对本发明做出修改。下面权利要 求书中使用的术语不应理解成将本发明限制成说明书和权利要求书中 公开的特定实施例。而是，本发明的范围完全由下面的权利要求书限 定，权利要求书将理解成与权利要求解释制订的条款一致。