本发明的图像重新灌录方法提供一种同时获得分辨率增强和噪声减少的解决 方案。该方法规定图像空间分辨率可通过时间图像处理增强。由于该方法应用在 大多数有效方法中，处理要求原始形式的所有图像细节被保持。对于源自胶片的 图像，基本单元是胶片颗粒。众所周知，如抽样定理所规定的，如果空间抽样网 格满足尼奎斯特抽样频率，也就是图像内容的空间频率极限的两倍，所有信息可 被保持。当扫描摄像机底片时，相当于使用不大于6μm的像素间距，以便捕获 下至胶片颗粒级的图像细节。对于35毫米胶片上的以0.825”*0.602”的学会标 准片格窗(academy aperture)拍摄的图像帧，要求至少3500*2550像素的扫描 分辨率。
当每个图像帧首先使用空间内插数字放大时，空间分辨率增强更有效。空间 内插不能改善空间分辨率，但是扩展了频域的图像频谱，以致额外空间对于将被 添加到图像的附加的高频细节是可利用的。该分辨率增强概念如图1所示。附加 图像细节可通过时间滤波处理恢复。在运动序列中，场景中的一个对象在连续帧 中捕获，每个帧包含对象的一个类似但不同的版本。关于在当前帧不明确的对象 的某些图像细节可在它的相邻帧中捕获。通过从相邻帧收集关于对象的所有信息 来改善当前帧，当前帧的合成的对象可显示未在原始形式中显示的改善的细节。 这种概念可通过时间滤波方法来实现，在该时间滤波方法中，来自许多帧的信息 被分析并组合，以致附加图像细节可从运动序列的每一帧中恢复。各种时间滤波 方法也可用于减少时间不相关噪声，比如感知的图像序列中的胶片颗粒度。通过 MTF测量的增强来改善图像清晰度的新方法也被描述。
时间处理方法要求计算量很大的运动估算算法。一种方法是开发一种高效率 实现本发明的计算系统，以致重新灌录一部完整的电影可在相对短的时间内完 成。本发明描述了一个具有智能中央控制器的并行分布计算系统，上述智能中央 控制器以最大效率管理图像重放处理。智能中央控制器使用各种最优化方案自动 操作图像数据增强处理。计算系统有一个可缩放到任何吞吐量要求的独特的结 构。
另一种实现方法是定义一个提供满足高质量电影重新灌录作品的大范围需求 功能的处理过程。在本发明中，重新灌录操作的整个处理过程包括各种阶段和处 理模块。处理的核心部分可用自动模式实现，但是也允许用户输入和交互的最大 灵活性。基于统计分析的用于最佳参数估计和自动质量估计的一组初始算法在本 发明中进行了描述，这些算法被智能中央控制器管理，传递最大质量结果。
在本发明中描述的处理和系统被设计成满足最严格的作品要求，包括原始发 行的新电影重新灌录格式的同时发行。该应用要求重新灌录处理方法和系统能精 确可靠的跟踪流水线中的每个操作的状态，以及每个图像数据片断的数据流的状 态。本发明描述的系统结构允许智能中央控制器跟踪整个处理中每个设备的状 态，包括遥控定位的设备。智能中央控制器也提供最新的状态报告并且响应用户 特定询问。这些特性已经证实对于满足电影重新灌录方案的严格制作时间表非常 重要。
附图说明
本发明的教导可以通过下面的详细描述和附图更容易理解，附图为：
图1：描述了频域的空间分辨率增强的概念；
图2：是描述电影和其他运动图像的数字重新灌录处理的处理流程图；
图3：描述了用于电影重新灌录的图像增强系统的数据处理阶段的系统结构；
图4：是预处理模块的处理流程图；
图5：是重放模块的处理流程图；
图6：描述了重放参数的自动预测算法；
图7：描述了重放客户机的流水线；
图8：描述了典型的具有时间窗口的时间滤波器方案；
图9：描述了用于噪声减少的三个时间滤波器方案；
图10：描述了用于重放工作分配的三个方案；
图11：是验证模块的处理流程图；
图12：是后处理模块的处理流程图；
图13：示出了被智能控制器跟踪的制作信息的类型的例子。

本发明描述了一种从原始格式到选择格式或者增强图像质量的原始格式数字 重新灌录电影或任何电影序列的处理和方法，和一种该处理的执行系统。数字图 像重新灌录处理在图2中描述，处理的执行系统在图3中描述。如在图2中的描 述，数字图像重新灌录处理包括四个阶段：格式转换100，数据处理110，图像 输出120，图像认可130。该处理被中央控制系统140控制，中央控制的核心是 智能控制器141。智能控制器141通过硬件和软件的组合实现其控制和监控从跟 踪物理数据流到控制实际任务执行的处理的每一方面。
在第一阶段格式转换100，电影图像或任何运动图像被转换为可被数据处理 110阶段处理的数字格式。大多数电影来自胶片(底片或者中间胶片)，需要通过 称为胶片扫描器的设备转换为数字格式(SMPTE Journal，1994年3月，第3号， 第103卷，Glenn Kennel的“数字胶片扫描和记录：技术和实践”)。胶片扫描 器是取样设备，转换每个图像取样从胶片密度到表示的红，绿，蓝(RGB)色成 分的二进制位。扫描的数据需要有足够的比特深度，以便保持胶片上图像的全部 动态范围。在本发明的一个实施例中，每个图像帧以不大于6μm的像素间距取 样，每个取样量化到具有10比特比特深度的RGB通道。扫描的数据随后压缩为 DPX(数字运动图像交换)格式(SMPTE 268M)或者更早的Cineon格式的文件格式。 对于源自除了胶片的非数字形式的图像，数字处理需要支持保持原始图像所有信 息的取样率和量化电平。由于电影日益以数字形式制作和发行，可利用的数字数 据可以通过数字转换处理102直接从原始格式转换为任何其他格式。在本发明的 一个实施例中，希望的格式是10比特DPX格式或者Cineon格式。格式转换处理 102包括操作比如色空间转换，压缩/解压缩和位组合，本领域技术人员能够很容 易使描述的处理适应于任何数据格式。转换的图像数据必须通过数据检查处理 103检查是正确的，以致转换处理中胶片扫描器的错误设置和其他故障导致的图 像数据中的错误被识别。数据检查103的另一个功能是确保转换后的图像数据满 足一系列预定义质量标准，上述质量标准包括动态范围和图像细节的保持。包含 错误或者不满足质量标准的图像数据被拒绝，要重新扫描或重新转换。
在图像数据格式转换阶段100转换的图像数据称为原始图像数据。在下一个 数据处理阶段110，原始图像数据通过图像增强处理增强分辨率和视觉质量。图 像增强处理包括四个处理模块，它们是预处理模块111，重放模块112，验证模 块113，后处理模块114。
预处理模块111包括取决于用户决定的处理，比如镜头分离，再成帧，彩色 校正和场景分类。也包括识别和消除原始图像数据中的假象的处理。在本发明的 一个实施例中，所有要求做出决定的操作通过特殊用途软件和允许用户交互的用 户工作站的组合来实现。用户的决定被智能控制器141收集，随后命令用户工作 站将相应的预处理操作应用于原始图像数据。在本发明的另一个实施例中，目前 的预处理操作在下面的重放模块中执行，作为重放客户机流水线的一部分，那些 操作全部由智能控制器141基于用户决定地控制。在本发明的另一个实施例中， 彩色校正和假象识别的决定由图像分析算法作出，以致这些操作可以以完全自动 模式执行而不需要人干涉。
重放模块112负责图像数据分辨率和视觉质量的增强。重放模块112的系统 实现是硬件和软件的组合，达到高吞吐量和高计算效率。在本发明的一个实施例 中，重放模块主要对图像数据执行三种增强操作：分辨率增强，噪声减少，锐化。 在本发明的另一个实施例中，重放模块也执行额外预处理操作，包括彩色校正， 再成帧，假象消除。为了达到高吞吐量，重放系统实现采用具有由智能控制器141 控制的多个计算重放客户机的并行计算结构。
智能控制器141负责最大化重放效率和传送最佳图像质量。通过使用智能算 法计算最佳分辨率来实现。在本发明的一个实施例中，重放模块112的操作是完 全自动化的。智能控制器确定在可利用的客户机中如何分配图像数据来达到最大 效率。也确定用于获得最佳重放质量的重放指令的最好设置。智能控制器不断监 视重放操作的执行并且修改它的指令。在本发明的实施例中，允许用户输入他们 的首选项到智能控制器，用于做出重放决定，甚至覆盖自动化方案做出的决定。 在本发明的另一个实施例中，用户根据他们的经验和观察发布重放指令，并且基 于统计性能分析不断改变指令。在本发明的两个实施例中，增强图像数据的质量 在验证模块113中被视觉验证，以确保它们满足预定义质量和分辨率标准。
在验证模块113，不满足预定义质量和分辨率标准的增强图像数据被拒绝， 返回到重放模块112用一组修改后的指令重放，或者如果问题涉及预处理决定， 则返回到预处理模块111。在本发明的一个实施例中，智能控制器141基于在重 放模块112计算的某些统计质量标志决定如何修改重放指令。在本发明的另一个 实施例中，用户根据那些统计质量标志的帮助修改决定。通常，直到满足预定义 质量和分辨率标准，图像数据才通过验证模块。在特殊情况下，也就是图像数据 包含可在后处理模块114确定的某些假象时，在被返回到验证模块113作最终估 算之前，图像数据被发送到后处理模块114用于确定。
后处理模块114执行某些最终问题确定操作。在被发送到图像输出阶段120 之前，满足所有质量标准的图像数据被组织。在某些情况下，图像数据可能需要 被转换为胶片输出处理121或者数字输出处理122指定的格式。增强图像数据也 被写入到永久数据存储器，比如数据磁带或者光盘，用于数据传送或者文件备份。
图像输出120是电影的增强图像数据被记录成选择胶片格式或者为数字显示 而重新格式的阶段。在胶片输出121的情况下，胶片记录器可用于传送图像数据 到胶片，记录后的胶片用标准实验室处理来处理。具有正确同步(correct timing) 的印片用胶片(print film)使用光学印刷机(optical printer)制作。在胶片 输出121的情况下，图像数据必须被转换为适于数字显示的格式，转换处理中涉 及的操作可以要求调整大小，色空间转换，再成帧和压缩。本领域技术人员很容 易将描述的数据转换成任何输出数据格式。
最终阶段是图像认可130，通过人检查想要发行格式的电影执行。在胶片格 式的情况下，印片用胶片(print film)在表示计划发行电影的电影院的观看环境 中投影。可对电影分段执行或者整体执行认可处理。那些被拒绝的图像段将被发 送到处理的适当的更早阶段，重新处理。在数字显示的情况下，类似的投影处理 通过典型的数字显示系统执行。认可的图像成为最终重新灌录的图像作品。
在本发明中，数字重新灌录处理的每个阶段必需的物理设备不必位于邻近的 位置。在本发明的一个实施例中，每个阶段的设备位于分离地理位置。不同位置 之间的图像数据和其他信息的交换可以通过电子数据传送和信使服务很容易实 现。
图3描述了在单独位置实现的数据处理阶段110的系统结构。该结构可分成 两个功能部件。第一个部件是操作系统150，支持预处理模块111，验证模块113 和后处理模块114中的所有功能。操作系统150包括数据文件服务器151，具有 足够磁盘空间的中央数据存储器152，配备用于用户交互操作的特殊用途软件工 具的多个工作站153，在文件服务器和工作站之间提供高带宽连接的网络开关， 作为数据输入和输出设备的多个磁带驱动器(tape driver)155。
第二个部件是重放系统160，支持重放模块112中的所有操作。重放系统160 包括智能控制器服务器161，支持服务器的控制器数据存储器162，多个成簇配 置的重放客户机计算设备163。考虑到每个图像帧所需的处理时间，每个簇所允 许的重放客户机的数目被簇网络开关165的带宽所限制。中心开关164提供高带 宽连接到所有的簇网络开关165，系统支持的簇的数目被中心开关164的带宽所 限制。操作系统150和重放系统160之间的数据传送通过数据文件服务器151和 智能控制器服务器161之间的高带宽连接实现。图3中描述的系统具有模块设计， 完全可从特定重新灌录方案缩放到日常吞吐量要求。
在本发明的一个实施例中，智能控制器服务器也用作数据文件服务器，并且 两个数据存储设备组合成一个中央数据存储器。但是，本发明的优选实施例是图 3中描述的双服务器结构。当智能控制器服务器161必须关闭电源进行维护时或 者当重放系统160发生系统故障时，操作系统150与重放系统160的分离允许用 户交互操作继续。类似的，操作系统150的维护或者数据文件服务器151的故障 不对重放系统160的操作发生影响。在图3描述的结构中，中央数据存储器152 存储预处理，验证和后处理需要的所有图像数据。控制器数据存储器162存储智 能控制器跟踪的所有信息和数据，作为作品数据库。也提供在传送到中央数据存 储器152之前由重放客户机产生的临时存储器。
智能控制器服务器161和控制器数据存储器162是用于智能控制器141的基 本硬件设备，上述智能控制器141控制数据处理阶段110中的所有操作。智能控 制器还监视数据处理阶段的处理状态，并且收集来自可能位于远程位置的其他阶 段的信息数据。访问来自智能控制器141的数据的任何设备或处理被作为智能控 制器服务器的客户机。这允许智能控制器对整个重新灌录处理提供集中控制，跟 踪每个设备的所有操作的状态，并且跟踪所有图像数据流。通过软件和硬件的结 合，智能控制器141执行下述功能：
·资源管理-考虑到项目进度，自动计算最小日常吞吐量，管理可利用的 资源来满足要求。
·质量最优化-自动确定每个重放作业最好结果时的重放参数的最佳设 置。也使用统计方法自动操作质量估算处理，来确定重放结果是否可以接 受。
·计算效率最优化-管理作业队列，利用可利用的计算资源，以最有效的 方式调度和分配每个作业到重放客户机。基于可利用的存储资源，提供中 间数据和处理状态的自动化系统范围超高速缓存，来最小化必要的重新重 放作业必需的时间。
·作品管理-跟踪和更新涉及重放处理的所有信息和来自处理的每个阶 段的图像数据流，并将数据组织成一个数据库。产生产品处理中各个方面 的最新的报告，通过查询构造器回答用户查询。
·系统管理-管理所有重放客户机和监视他们的状态，并且监视系统性能 和诊断问题。
·用户交互-接受用户决定，并且允许用户覆盖自动化方案的决定。还根 据用户指定的用途优选做出决定
数据处理阶段的四个处理模块的细节在下文中详细描述。
预处理模块111设计为用户交互处理，以致通过使用专门设计的软件预览图 像数据，用户可以做出独创的决定。特别当从胶片扫描时，原始图像数据通常是 场景变化时没有中断的长图像序列形式。预处理模块的主要任务是将数据分离成 镜头，每个镜头代表某些镜头特性的连续性，比如运动或照明。每个镜头用开始 和结束帧数标记，并分配一个唯一的镜头数。在本发明的一个实施例中，这些镜 头进一步分组成更小数目的场景，使得属于相同场景的所有镜头共享某些共同的 特性。场景分组使得可以用相同参数来处理属于同一场景的所有镜头。镜头分离 决定由技术人员产生，但是也可以由软件通过场景分析自动产生。
另一个需要用户产生的关键决定是再成帧。重新灌录方案通常需要该操作是 因为以下两个原因：第一，扫描的数据通常包括图像数据之外的空白电影区域， 为了最终发行必须剪掉；第二，重新灌录电影可以以与最初想要的不同的宽高比 发行。再成帧决定可由技术人员产生。如果再成帧决定在一个镜头中帧到帧变化， 摇镜头&扫描操作必须作为再成帧处理的一部分。本领域技术人员能够很容易执 行描述的操作来满足任何再成帧决定。
图4描述了预处理模块的典型处理。用户决定可以基于原始图像数据的直接 预览产生，或者可以选择预览原始图像数据的代替版本，以便减少图像数据的数 量和缩短数据加载时间，同时增加每个加载的运行时间。在本发明的一个实施例 中，代替版本通过代替产生模块200产生，该模块包括缩小，比特深度减少和彩 色校正。代替版本的大小必须适合用户作出预处理决定，而小到足够确保软件预 览的高效率。在本发明的另一个实施例中，使用标准压缩技术对代替版本施事合 适的数据压缩，进一步增加视觉预览效果，而不影响观看质量。通过预览图像序 列的替代版本，用户可以根据镜头编辑201(具有镜头数的每个连续场景的开始 和结束帧)，再成帧202(基于预确定的宽高比的剪切和摇镜头&扫描)，彩色校正 参数204产生快速和关键的决定。用户也可以从每个镜头选择少数关键帧203， 将在下一个重放模块用于场景分析。预处理还包括假象识别处理205，其中污垢， 胶片划痕，胶片老化，化学污点产生的假象，以及在数字作用阶段引入的假象可 被识别，并随后消除。用户确定的这些决定和数据被智能控制器141收集，该智 能控制器应用适当的图像处理软件工具到原始图像数据，基于镜头剪辑，将其分 离成场景内容，为重放操作做准备。在本发明的一个实施例中，图像处理工具包 括镜头分离和文件重命名207，图像剪辑208，彩色校正209，图像调整大小210， 假象消除211。
原始图像的代替版本也用于场景分类206。场景分类处理的目的是将复杂的 场景分组为相对小的类，以致属于相同类的图像共享某些使他们不同于其他类的 图像的唯一特性。场景分类使得可以应用不同的图像处理方法和/或不同的重放 参数到每个类，以致获得最好结果。场景分类的一个例子包括：快动作场景，慢 动作场景，静止摄像镜头，黑暗场景，明亮场景，具有大部分天空的场景，面部 特写镜头，广角镜头，自然场景，等等。在本发明的一个实施例中，用户执行场 景分类206。在本发明的另一个实施例中，场景分类由自动算法基于场景分析执 行。每个图像用一个特征矢量表示，该特征矢量可以由一长列成分，包括彩色直 方图，梯度直方图，方向边缘，运动等等。当由特征矢量表示时，图像作为多维 特征空间的取样。标准统计分组方法可用于分组取样为初步的类。关预缩略图的 第二运动类似分析可以确保具有连续运动的取样保持在同一个类中。可通过图6 中描述的重放参数预测220对每一类确定一组特定重放参数。
假象消除211对于要求高图像质量的重新灌录方案是必要的。对于从胶片扫 描的原始图像数据，由胶片上的污垢，灰尘和划痕产生的假象是不可避免的。由 于胶片老化和洗印室化学处理产生假象也发生，特别是对于更旧的库存电影胶 片。对于原始数据形式的可利用的原始图像数据，可能在数字效果处理中存在不 完整的假象。在本发明的一个实施例中，假象通过自动化处理消除。特殊搜索算 法应用到包括当前帧的帧范围，来识别具有已知唯一特性的假象。识别为由污垢， 灰尘产生的假象的像素显示与周围正常像素不同的亮度值，这些像素与相邻帧没 有时间相关性。周围正常像素的运动估算被计算。由于污垢和灰尘假象被识别， 他们被基于周围正常像素的运动估算计算的预测像素值替代。识别为由胶片划痕 产生的假象的像素显示与周围正常像素不同的亮度值，并且这些像素通常形成细 的垂直或者水平线(取决于胶片格式)。这些胶片划痕像素可以与相邻帧有很强 的时间相关性。由于胶片划痕假象被识别，他们可被基于周围正常像素的内插算 法计算的预测像素值替代。当假象的唯一特性可以清楚定义时，自动化方法有效。 在本发明的另一个实施例中，假象通过半自动方法消除。在该方法中，用户只需 要通过专门设计的软件205识别图像数据中包含一个或者多个假象的小的图像区 域，那些图像区域的位置发送到智能控制器141。接着，将搜索算法应用到这些 假象所位于的识别的小区域，把不正常的象素定位到小区域中的不规则像素。由 于假象像素定位，这些像素用预测像素值替代，与上文描述的本发明的自动化实 施例相同的方式相同。由于运动估算限制在识别的小区域，搜索和消除算法可在 很短时间内完成。对于那些不能用任何方法消除的假象，将由用户使用标准修正 软件修正。
在本发明的一个实施例中，假象消除210同时在预处理模块111和后处理模 块114中执行，并且大多数假象在后处理模块中消除。在本发明的另一个实施例 中，假象消除只在后处理模块中执行。在后一种情况，如果一个镜头在认可阶段 130被拒绝，并且需要发送返回到重放模块112重放，则假象消除操作必须被重 复。如果使用手动和半自动方法，这将降低操作效率。
已被分离成镜头的图像数据的增强，发生在重放模块112。重放模块的操作 被智能控制器141控制，并且完全自动化。图5描述了重放模块的处理流程图。 重放模块的硬件实现是重放系统160，具有多个配置到簇的计算客户机163(如 图3所示)。每个计算客户机是标准计算设备。在本发明的一个实施例中，每个 计算客户机是在Linux操作系统下运行的奔腾处理器计算机。当图像镜头序列或 者镜头正在经历重放客户机的一系列图像增强操作时，称为重放作业或者作业。 作业可被分配到单个重放客户机或者许多重放客户机。每个图像增强操作提供一 个或者多个参数，上述参数可被调整来获得希望的结果。来自每个增强操作的所 有参数的收集形成重放参数设置，确定重放结果的性能和质量。对于具有不同特 征的图像镜头，重放参数设置必须被调整，以致获得可能最好的视觉质量。
重放参数设置包括决定重放客户机223的处理的参数，这些参数包括用于运 动估算(支持的匹配区域，分层运动模型中的数目层，搜索范围，决定校正匹配 的阈值等等)，时间滤波(时间窗口大小，滤波器系数等等)，锐化的参数。这些 参数可用多种方式确定。在本发明的一个实施例中，参数设置由经验丰富的用户 基于每个图像镜头的视觉检查来预测。只有用户的决定一致并且可靠时，该方法 才有效。在本发明的另一个实施例中，重放参数设置通过基于图像分析220的预 测算法估算。
重放参数预测的算法在图6中描述。为了减少计算，对从一个镜头序列中选 出图像帧的取样执行图像分析。这些取样帧称为关键帧，由用户在预处理阶段的 关键帧识别处理步骤203选择。在本发明的另一个实施例中，关键帧也可通过算 法300确定，该算法计算镜头中每一帧的直方图，并且根据直方图一致性确定最 具代表性的帧。
一系列图像分析操作应用到选择的关键帧。在本发明的一个实施例中，这些 操作是为了初始运动估算设置301的估算，包括：
·图像噪声分布粒度的估算302；
·基于估算噪声粒度的支持匹配区域(MRS)的估算303；
·通过计算关键帧之间的平均绝对运动的整体运动的估算304；
·基于估算整体运动的搜索范围的估算305。
使用估算的支持匹配区域和估算的搜索范围，运动估算算法可应用到关键帧， 从关键帧306计算运动估算。多种运动估算算法可应用到该应用程序中，这些算 法在下面的出版物中描述：IEEE信号处理杂志，1999年7月，第16卷，第4号， Christoph Stiller和Janusz Konrad的“估算图像序列中的运动”。在本发明的 一个实施例中，基于分层运动模型的运动估算算法的像素被实现。
基于多个分辨率层的计算运动矢量，根据图像时间特性计算一些关键统计测 量307，包括：
·瞬时信噪比(TSNR)308-TSNR测量关键帧之间的时间不相关噪声的电 平。在运动估算后计算TSNR，通过基于运动矢量弯曲一个关键帧到其他 帧，随后计算MSE(均方误差)的倒数。TSNR用dB测度，类似于用于信 号分析的传统SNR。如果TSNR很大，则瞬时噪声小，反之亦然。
·运动309-镜头中的运动量用两种方式测量。在本发明的一个实施例中， 运动由在关键帧之间可靠跟踪的所有像素的运动矢量的平均绝对大小来 测量。在本发明的另一个实施例中，运动根据特征点的平均运动测量。特 征点通常比平均像素提供更可靠的运动估算。但是特征点的运动估算要求 一种不同的算法，并且处理必须与基于像素运动估算分开实现。
·快速匹配分布(FMD)310-FMD是两个关键帧之间的直接像素匹配(快 速匹配)的百分比分布对匹配阈值。当在预定义小搜索区域存在匹配时， 两个帧之间的像素直接匹配发生。FMD是运动估计量的性能的标志。对于 一个给定FMD，有一组传递希望性能的相应阈值。
预测算法311基于FMD，TSNR和运动预测重放参数。在本发明的一个实施例 中，预测以一组相应于给定FMD的匹配阈值开始。当TSNR大或者运动大时，那 组阈值加权减小，当TSNR小或者运动小时，那组阈值加权增大。
重放参数预测器220的操作被智能控制器141控制。用户输入可以反馈到参 数预测器311，来根据用户首选修改预测器。预测器220也允许用户用首选重放 参数来重写预测。
回到图5，一旦一个图像镜头的重放参数设置确定，可以提交给重放队列221， 作为一个重放作业。智能控制器141检查提交的有效性，将作业添加到作业队列 221。随后发送作业提交到一个或多个可利用的重放客户机，根据预先确定的作 业分布方案222进行处理。重放客户机223根据指令和计算统计质量标志323处 理数据。客户机也频繁向智能控制器141报告它们的当前情况和状态。一旦作业 完成，智能控制器收集来自相应客户机的分布的结果，临时存储在控制器数据存 储器162。随后检查数据的完整性和作业的完整性225。如果智能控制器141发 现某些帧丢失或者某些帧不完整，则要求重放客户机重新处理那些帧。如果作业 完成的满意，执行估算226，来测量重放质量。如果要求的质量未达到，控制器 尝试修改重放参数设置230，发送作业返回到作业队列。在特殊情况下，要求某 些时间滤波选项(参见图7和图9)被指定231。对于每个作业重新提交，作业 的版本通过版本控制方案232更新。如果智能控制器满意重放结果，发送图像数 据到中央数据存储器152，并且发送验证通知227到数据文件服务器151。
每个重放客户机223对图像镜头数据执行的处理由图7描述的一系列图像处 理操作组成。主要操作包括时间滤波322，调整大小326和锐化327。重放客户 机也计算统计质量标志323，该统计质量标志323包括像素匹配率(PMR)和绝对 静止率(ASR)。这些质量标志用于在图3的质量估算阶段226估算重放质量。另 外，建立增强图像镜头的代替版本，用于图2的验证模块113的视觉检查。一旦 作业完成，重放客户机通知智能控制器141，它将在控制器数据存储器162存储 结果并释放重放客户机。重放客户机的处理流水线中的步骤在下文中讨论。不是 所有的步骤必须用在每个应用中。图7描述了一个实施例中处理步骤的优选顺序。
时间滤波322是重放客户机处理流水线实现的计算量最大的操作。提供两个 功能：分辨率增强340和噪声减少341。分辨率增强的概念是基于来自感光胶片 的图像开发的，但是基于该概念开发的方法不限于基于胶片的图像应用。实际上， 本发明描述的分辨率增强方法应用到使用光学设备捕获的任何图像序列，比如光 电检测器，电子传感器和已传送为上述媒体的计算产生的图像。
感光胶片包括对弱光敏感的卤化银晶体。当胶片被显影时，这些晶体变成微 小的金属银细丝。在彩色胶片中，显影处理中微小的着色块与银一起形成。随后 银从胶片化学消除，只留下着色图像。这些小着色微粒形成胶片颗粒。胶片颗粒 的大小和形状可以改变，并且随机分布。但是随机分布的胶片颗粒实际上是在胶 片上形成图像的基础建筑块。
包含在单帧图像中的信息可通过它的频域内容完全描述。当图像帧被数字化 时，保持在数字版本中的信息受抽样理论限制。用调整大小方法数字放大数字图 像帧不增加更多的信息，但是构成频率空间，以致附加图像细节可被添加到图像 帧，如果这些细节可用其他方法恢复。分辨率增强的概念在图1中描述。图1(A) 示出了以尼奎斯特频率Fs≥Fmax取样的频带限制图像信号的频率响应；图1(B) 示出了具有从分辨率增强处理恢复的附加高频成分的同一图像信号的频率响应。 图像信号以Fs’≥Fmax，可以添加从其他图像帧恢复的高频细节。增强图像信号的 空间分辨率现在变成Fmax’＞Fmax。
在本发明的一个实施例中，通过时间滤波从相邻帧恢复附加图像细节。在时 间滤波中，图像帧的内容通过数学算法增强，该数学算法使用来自相邻图像帧的 信息，如图8所述。在时间滤波器中使用的相邻帧的数目(包括当前帧)称为“时 间窗口”。例如，图8中时间滤波器400使用的时间窗口401的大小是2N+1。通 过移动时间窗口401，连续图像帧被时间滤波器400增强。
本发明描述的分辨率增强方法340由三个主要步骤组成：运动估算，运动场 调整，细节恢复。具有足够精确性和稳定性的运动估算算法是第一个基本步骤。 摄影图象中不同大小和形状的随机胶片颗粒的存在向任何运动估算算法挑战。运 动估算算法必须可以从随机胶片颗粒细节中识别真实图像内容。众所周知的运动 估算算法可用于该应用，大多数算法在下面的出版物中描述：IEEE信号处理杂 志，1999年7月，第16卷，第4号，Christoph Stiller和Janusz Konrad的 “估算图像序列中的运动”。在本发明的一个实施例中，基于分层运动模型的算 法用于达到可靠性和精确性。在该方法中，运动以多个细节程度模型化，可以首 先发现主要运动特性，并且随后改进估算。在分层运动模型中，每个图像帧用多 级数据结构表示，每个表示图像细节的特定级。电影胶片细节通常用最低分层级 表示。在最高分层级计算的运动估算表示真实图像内容。在每个分层级，每个像 素的运动估算用对于一个时间窗口内所有帧的可变大小块匹配算法计算。在块匹 配中使用的搜索策略不同于穷举搜索和次优快速搜索。在穷举搜索中，在预定义 搜索范围内的所有候选被检查，最佳匹配是最小化预测误差的一个。在快速搜索 中，“最佳匹配”标准用“第一次匹配”标准代替，该“第一次匹配”标准将具 有在某组域值标准之下的预测误差的第一个候选作为估算。在最高级获得的“粗 略”运动估算被计算作为所有候选中的最佳匹配。该运动估算连续改进随后的分 层级。该分层搜索策略限制在每一级相对更小的范围内搜索，以致计算复杂性明 显减少。在最底层，胶片颗粒结构变得明显，必须应用对胶片颗粒变化加强的搜 索策略。由于胶片颗粒大小根据生胶片，照明条件，洗印车间处理等等改变，支 持的匹配区域必须充分大于最大胶片颗粒大小。
运动场调整是必需的，因为运动估算是一个不适当的问题，并且多个解决办 法存在给定一组搜索标准。大部分估算误差发生在图像的平滑区域，可能的解空 间的大小急剧增加。该方法使用高频特性，平滑性和质量测量限制解空间。高频 特性是“视觉有效”图像特性，可通过特性分析识别，他们表示像素亮度，像素 彩色或者像素运动的显著改变。从表示高频特性的像素获得的运动估算比从平滑 区域像素获得的运动估算更可靠和更精确。平滑性限制状态，平滑区域的相邻像 素很可能分享相似的运动估算。对于高频特性，平滑性应该应用到特性取向的方 向。每个运动估算被分配一个指示估算可靠性的可靠性测量。运动估算的可靠性 测量与估算相关的解空间大小成反比。对于具有低可靠性测量值的像素，应考虑 运动场调整，应该对解空间施加更多限制，以致减少估算误差。
为了在给定帧间隔获得子像素精确性，通过基于相应的运动估算，映射每个 相邻帧到当前帧间隔构造一组合成帧。计算每个合成帧和当前帧之间的误差映 射。对于那些具有大估算误差的像素，它们的运动估算被修改，直到误差最小化。 估算精确性的进一步改进可以使用更复杂的运动模型获得，比如六参数仿射模型 或者八参数射影线性模型。根据修改后的运动估算重建合成帧，并在细节恢复步 骤使用。
分辨率增强图像403通过在时间窗口401内合成帧的自适应时间内插构造。 FIR(有限脉冲响应)结构的自适应时间滤波器400应用到每个像素位置。滤波 器系数基于每个像素相关的运动估算可靠性测量确定。如果运动估算非常可靠， 滤波器系数与每个帧间隔的可靠性测量成比例加权。另一方面，如果运动估算不 可靠，滤波器系数更侧重对当前帧加权。
尽管前面描述的时间滤波基于摄影图像，也同样应用到使用某些光学设备捕 获的图像，包括光电检测器和电子传感器，以及已被传送到上述媒体的计算产生 的图像。
分辨率增强340的直接结果是，增强图像序列403中“沸腾”胶片颗粒的视 觉减少。如前所述，胶片颗粒大小和形状不同，在空间和时间上随机分布。当图 像被运动观看时，该随机图案产生“沸腾”颗粒现象。在宽幅电影中，观众通 常比在常规电影院坐的更靠近屏幕，以致图像覆盖视场的更宽部分。这导致“沸 腾”胶片颗粒变得显然讨厌的，被感知为不希望的噪声。时间滤波方法400抑制 “沸腾”胶片颗粒噪声，因为它改进序列中相邻图像帧之间的时间相关性。进一 步的，作为增强空间分辨率的结果，胶片颗粒也被减少。
由于每个输出帧可独立计算，图8中描述的单通时间滤波算法可用并行处理 模式实现。对于大多数图像镜头，单通时间滤波在噪声减少方面非常有效。但是， 对于特别躁杂的图像，或者对于噪声级是主要关注的作业，可应用其他噪声减少 算法341。在本发明的一个实施例中，噪声减少341用图9中描述的三种多通时 间滤波方法之一实现。为了描述清楚，实际时间滤波设备400在图9中省略，本 领域技术人员很容易实现描述的这些算法。
图9(A)描述了多通时间滤波算法410。多通算法基本上重复单通方案多次。 图6中描述的重放参数预测在每个通道之前应用。多通时间滤波在特别躁杂的图 像中对抑制噪声是有效的。
图9(B)描述了基于时间锥形的多通算法411。在第一通道“时间”取样是 粗略的，时间窗口内每N个帧被使用。对于下一个通道的时间取样率增加，直到 时间窗口内的每个相邻帧在最终通道中使用。时间锥形滤波有助于减少图9(A) 描述的方案所要求的计算量。
图9(C)描述了连续时间滤波算法412，可作为迭代处理实现。先前处理的 帧立即用于处理下一个帧。自图9中描述的算法通常在噪声减少方面执行得更好， 但是与图8的单通道算法相比，他们易于减少图像细节。在时间滤波选项处理231 (如图5所示)中，某些标准可被定义，基于在处理308计算的TSNR表示的图 像噪声级，为时间滤波选择最合适的选项。
图5示出重放质量估算处理226被实现，基于在时间滤波323期间由重放客 户机计算的统计质量标志来估算重放性能。在本发明的一个实施例中，质量估算 算法基于PMR(像素匹配率)和ASR(绝对静止率)。PMR和ASR测量对每个图像 帧执行的实际时间滤波操作的影响，他们是正常范围之外的重放参数预测的有益 的标志。PMR和ASR用于预测获得更好结果所要求的重放参数修改。
PMR测量在时间窗口的帧范围内被可靠估算的像素的百分比。在时间滤波中， 不是每个像素可以在时间窗口内的每一帧找到对应。一些像素只能在少数帧被跟 踪，一些像素根本不能被跟踪。PMR是可被跟踪的帧范围内每种类型像素的百分 比的分布。到达最高点(更多的帧)的PMR指示在整个时间窗口内大多数像素被 可靠跟踪。另一方面，到达最低点(较少的帧)的PMR指示运动估算算法在跟踪 图像时有问题。高PMR分布暗示当前图像帧相对干净，但是也可以指示不适当的 重放参数设置(例如匹配阈值太高，MSR太小)。低PMR分布可能暗示真正的噪声 图像，但是也可以指示不正确的参数设置(例如低匹配阈值，MSR太大)。
ASR测量帧范围内没有重大搜索努力而易被跟踪的像素分布。在时间窗口的 全部范围内那些保持在相同位置的像素被称为“绝对静止像素”。在本发明的另 一个实施例中，绝对静止像素包括那些在他们的位置有很小改变的像素。对于很 少运动的图像，ASR的峰值很高，对于具有明显运动量的图像，ASR的峰值很低。 如果对于具有合理运动量的图像，ASR的峰值很高，它可以指示重放参数(阈值 太高，搜索范围太小等等)的不适当设置。
在本发明的一个实施例中，重放质量估算处理226是一个自动化的处理。对 于在场景分类处理206确定的每一类场景，PMR分布的标准分布被预先确定，该 标准分布表示相同类中场景的平均PMR分布。类似的，ASR的标准分布也被确定。 估算算法226比较当前作业的PMR和ASR与那些标准分布，确定应用到作业的时 间重放是否在正常范围内。如果与标准分布相比，当前作业有不同的PtR或ASR 分布，则作业被拒绝，并且发送回同一重放客户机，用一组修改后的重放参数来 重新重放。
参数预测器220估算的重放参数对于图像特征的局部变化可能不是最佳的。 一个例子是噪声分布。众所周知，胶片颗粒有不均匀的分布和胶片密度。胶片颗 粒在印刷的中间影调最明显，表示大约0.6到0.9的密度范围。当摄像机曝光减 少时，胶片颗粒也易于增加。类似的不均匀存在于使用电子摄像机捕获的图像中， 其中在暗色区域噪声级易于很高。噪声分布的不均匀也可以是在文件格式变换中 普通使用的非线性变换(对数，伽马等等)的结果。
回到图7，为了有效抑制暗色区域的噪声，同时不影响其它区域的图像质量， 对图像应用噪声均衡算法321，在时间滤波前保持噪声分布均匀。算法包括以下 步骤。第一步是计算噪声直方图。用一组相对大的阈值对从关键帧选择的一对帧 执行全搜索运动估算。随后对每个像素计算块匹配误差。对于那些具有低块匹配 误差的像素，计算直方图，并与标准直方图比较。噪声直方图是噪声和像素亮度 关系的有效表示。计算噪声直方图和均匀分布直方图之间的MSE。如果MSE值很 大，图像的噪声分布被认为不均匀。找到一个可以均衡噪声直方图的变换(以查 找表的形式)，并且确保也有一个反变换。最后，在时间滤波前将变换应用于图 像。在时间滤波后，反变换324必须应用到图像，以便保持它的原始彩色。
运动估算算法的加下划线假设是，相邻帧之间没有突然的彩色改变。当场景 中有照明改变时，比如闪电，闪烁营火，移动阴影等等，该假设打破。如果没有 适当的补偿，时间滤波322的效果将被减少。在本发明的一个实施例中，照明补 偿算法320以选择最亮的帧作为参考开始，随后设法找到对于每一帧的变换，来 匹配参考。那些变换包括伽马曲线，直方图拉伸或者其他单调非线性变换。变换 可通过匹配一帧的直方图与最亮帧的直方图建立。为了保持帧之间的平滑转变， 必须对时间滤波器应用变换，以确保时间一致性。一旦建立对于每一帧的变换被 建立，在时间滤波前将其应用到每个帧，随后将反变换325应用到增强数据，以 保持它们的原始彩色。该方法对于具有频繁但是相对小照明改变的序列是适当 的。
在本发明的另一个实施例中，照明改变补偿也可作为时间滤波322的自适应 机制实现。在该方法中，时间窗口内每一帧的直方图与相邻帧的直方图比较。随 后所有相邻帧相对作为参考的当前帧以类似方法补偿，如前面的段落所述。由于 算法总是使用当前帧作为参考帧，该自适应照明补偿算法不需要反变换。该方法 对于包含强照明改变稀少但是强烈的场景是适当的。
如果对于重放作业，噪声均衡321和照明改变补偿320都是需要的，照明改 变补偿320应在噪声均衡321之前应用。在本发明的另一个实施例中，两个阶段 的变换被合成为一个变换，以致可以只被应用一次。
锐化327是重放客户机流水线的最后步骤，它强调图像的高频成分。由于来 自分辨率增强的恢复图像细节主要是高频成分，锐化可以明显改进图像质量。锐 化也可被模型化为一个处理，来恢复图像形成处理中的MTF丢失。MTF表示调制 变换函数，它用于分析图像系统的质量。例如，在胶片上形成的图像质量可被模 型化为处理中单个设备的MTF的乘法。这些设备可以包括摄象机光学器件，底片， 印片用胶片，印刷机和扫描仪光学器件。由于大多数设备具有低通MTF，图像形 成处理的合成MTF必须具有低通MTF。因此，希望的锐化算法应显示高通MTF特 征，以便修正图像质量的降低。
标准钝化掩模滤波器是这样一种锐化算法，可以被描述为
y(x，y)＝f(x，y)+g(x，y)·[f(x，y)-LP(f(x，y))]    (1)
其中，LP(f(x，y))是低通滤波器。项f(x，y)-LP(f(x，y))示出了高通特征， 钝化掩模滤波器通过乘以一个锐化增益g(x，y)来提高它。提高的高频成分添加到 原始图像f(x，y)。滤波器增益g(x，y)通常是常数，但是它可以基于局部特征变 成自适应的。在平滑区域，应选择小的滤波器增益，以致不希望的特征，比如胶 片颗粒，不被强调。
标准钝化掩模滤波器的一个问题是，被强调的高频成分的范围，被等式(1) 中低通滤波器的内核尺寸限制。通过改变低通滤波器的内核尺寸，图像细节的不 同级，对应于MTF曲线的不同部分，可被选择性强调。对于通常包含相对大范围 的图像细节的电影图像，锐化在相对宽范围的细节级中改进系统MTF是很重要的。 为了达到上述目的，本发明推广了等式(1)中的钝化掩模滤波器，通过下面的 描述来支持细节的多个级：
$y(x,y)=f(x,y)+\frac{1}{k}\left\{\underset{k}{\Sigma }{g}_k(x,y)\right[f(x,y)-{\mathrm{LP}}_k\left(f(x,y)\right)\}---\left(2\right)$
在等式(2)中，第K个细节级的锐化增益值gk可被选择来补偿在该特定细节 级的MTF降低。在本发明的一个实施例中，在等式(2)中使用高斯低通滤波器， 一直到内核尺寸的六个级被开发。本领域技术人员将认识到本发明不限于高斯低 通滤波器和六个细节级。遵循本发明教导的其他类型的低通滤波器和多个细节级 是可能的。
图5描述的重放模块是为获得要求时间操作的图像处理任务的高效率而专门 设计的。智能控制器141管理重放任务分配，并且基于预先确定的负载平衡方案 将作业分布到专门的重放客户机。如果有多个可利用的候选，智能控制器检查重 放客户机簇163中的网络通信负载分布，并且从一个簇(或多个簇)选择一个具 有最低通信负载的重放客户机(或者多个重放客户机)。对于队列中的每一个作 业，可以分配到单个重放客户机，特别是当在队列中等待的作业多余可利用的重 放客户机的数目时，或者可能分配一个作业到多个重放客户机时，特别是当作业 需要尽可能快地完成时。在本发明的一个实施例中，作业分配处理222按照图10 描述的三个方案之一。
在方案A 420中，每个镜头分配给单个重放客户机，它将被发送到具有最短 等待时间的一个重放客户机。例如，如果两个重放客户机是可利用的，作业将被 分配给在等待处理的具有更少帧的重放客户机。如果两个重放客户机具有相同的 等待时间，作业将被发送给簇有最少负载的重放客户机。在方案B 421中，单个 镜头被分成许多片断，每个片断至少包括最小数目的帧。每个片断被分配给一个 重放客户机，遵循同样的“最短等待时间和最少负载”标准。片断之间应该有足 够的帧重叠，以致每一个片断被时间滤波器正确重放。需要的重叠帧的数目由时 间窗口大小确定。智能控制器141必须总是知道在时间滤波中使用的当前时间窗 口大小，并且计算要求的重叠帧。在方案C 420中，每个帧进一步分成多个区域， 每个区域分配给一个重放客户机。由于运动估算的特性，每个区域必须允许足够 的重叠行和列，以便适应运动估算算法开发的搜索策略。本领域技术人员将认识 到本发明不限于图10描述的三种方案，遵循本发明教导的其他作业分配方案也 是可能的。
一旦被指示运行一个作业，每个重放客户机负责从中央数据存储器152采集 要求的所有图像数据，对每个帧运行必需的操作，将增强图像数据送到控制器数 据存储器的临时位置。对于分配到多个重放客户机的一个作业，智能控制器负责 汇编224来自重放客户机的重放片断，使其成为一个连续的镜头。智能控制器也 检查汇编数据的完整性225，检查镜头中临时丢失的帧或者不完全的帧。如果临 时丢失的帧或者不完全的帧被发现，智能控制器发送请求到相同重放客户机，重 放那些帧。智能控制器和重放客户机之间的通信对于重放效率是决定性的。智能 控制器跟踪每个重放客户机的当前状态，并且不断监视可利用的处理器。在重放 客户机发生故障时，智能控制器发出修理警报。它改道发送作业到其他可利用的 客户机处理。诊断处理确保传送中没有数据丢失。如果智能控制器服务器遇到故 障，故障之前系统的状态被保存。在本发明的一个实施例中，智能控制器服务器 重新启动，取消正在重放客户机运行的所有处理，并且重新分配作业到每个重放 客户机。在本发明的另一个实施例中，智能控制器探询重放客户机他们的状态， 找到它们的当前状态，并且恢复控制。这是一个更复杂的重新启动方案，但是不 需要数据的重新重放。
如前面章节所述，重放操作的性能通过估算统计质量标识来估算，比如PMR 和ASR，由重放客户机计算。但是，标准PMR或者ASR测量不能保证最佳视觉质 量。需要通过人类视觉检查来确保最终视觉质量，该处理由验证模块113实现， 图11所述。增强图像的代替版本，在重放客户机流水线(图7)的代替产生处理 328产生，用于视觉检查。代替图像的大小应足够用户发现存在的重放问题，但 是小到足够确保软件观看效率。通过观看专用软件实时显示的代替版本，用户可 以确定图像质量。
在本发明的一个实施例中，用户首先检查每个作业是否完成240。重放模块 中的自动化完整性检查处理225不捕获所有重放问题，那些被完整性检查225遗 漏的帧将在该阶段被捕获。那些发现问题的帧被重新提交到原始重放客户机进行 处理。一旦一个作业被认为完成，用户将检查下面的用户最关心的质量方面：
·验证是否全部图像和局部区域的噪声电平是可接受的244；
·验证是否视觉清晰度是适当的245；
·验证是否足够图像细节被保持和增强246；
·验证是否再成帧决定是正确的247；
·验证是否进一步的彩色校正是必需的248；
·验证是否存在必须被消除的假象249；
·验证是否镜头中的运动导致观看不舒适250。
图像细节的检查要求用户以高分辨率观看图像。在这种情况下，增强图像数 据和原始参考对用户都是可利用的。在本发明的一个实施例中，专用软件在相同 观看窗口显示两个图像数据，以致用户可以用数字擦功能比较两个图像。
如果用户发现作业的噪声电平太高，或者作业的视觉清晰度不适当，或者存 在不能接受的图像细节丢失，作业将重新提交到具有用修改后的重放参数的重放 模块251。在本发明的一个实施例中，用户与测量的统计质量标志协商作出决定。 智能控制器141通过专用软件在工作站153向用户提供那些统计测量 (PMR，ASR，TSNR，运动等等)的图形化显示。基于可利用的统计数据，用户作出 必需的参数修改的决定。在本发明的另一个实施例中，自动化算法在处理251中 执行，基于相同统计测量，计算重放参数的必需的修改。
如果用户发现再成帧的问题，图像镜头应被发送回预处理模块，获得新的再 成帧决定。关于彩色248，假象249和运动校正250的问题，用户作出校正决定 252，发送图像数据到后处理以修正，并且没有通过标志。具有可接受图像质量 的每个图像镜头从智能控制器获得一个通过标志254，并且也被发送到下一个后 处理模块，用于数据输出。
如图12所示，在后处理模块中，要求修正的图像镜头被发送，用于假象消除 265，或者彩色校正266，或者运动校正267。假象消除和彩色校正的方法与预处 理模块111中的处理非常类似。修正镜头被发送回验证113，获得通过标志254。 没有通过标志的任何图像镜头不允许通过检查点260。认可的图像镜头以与电影 中相同的顺序组织261，并且在被发送到图像输出阶段120之前转变为要求的输 出格式。后处理阶段的所有这些操作被智能控制器141控制和跟踪。
运动校正267是专用于宽幅投影要求的处理。当传统电影在宽幅电影院放映 时，其中在该宽幅电影院中，图像覆盖了观众视场的更大部分，电影中的运动感 觉也被放大。对于包含快速摄像机运动(fast camera motion)或者严格对象运 动(rigorous object motion)的场景，放大的运动感觉可能导致某些观众观看不 舒服。运动校正是一种通过减少角运动来减少与运动有关的观看不舒服的方法。
在本发明的一个实施例中，运动校正方法减少两种运动问题：运动选通 (motion strobing)和极度摄像机抖动(extreme camera shaking)。运动选通 是修正的投影帧速率导致感觉的运动不连续。减少运动选通的方法是对图像增加 运动模糊，同时不增加投影帧速率。运动模糊可通过在运动像素的运动方向上应 用定向低通滤波器产生。运动方向可从已在时间滤波处理322计算的运动估算得 到。
极度摄像机抖动可通过局部摄像机稳定减少。摄像机的运动可通过跟踪位于 图像背景的多个特征点计算得到。从很多特征开始，例如几千，跟踪算法排除大 部分特征，直到只有最可靠的特征被留下。接着在后来的帧中重复处理，直到镜 头结束。这样，大部分普通特征在整个序列中找到。对于每个特征，相邻帧之间 的运动矢量被定义。统计分组方法被用于将特征分组为规则运动特征和不规则运 动特征。全局摄像机运动曲线通过平均所有规则运动特征计算得到。摄像机稳定 通过基于跟踪特征减少全局运动曲线和计算全部场景获得。运动减少量是减少观 看不舒服和保持电影制片者最初想要的相同运动感觉之间的折衷结果。
在本发明的一个重要方面是，智能控制器141提供作品管理的功能，该功能 对于动画重新灌录方案的成功是非常重要的。由于访问来自智能控制器141的数 据的每个设备和处理被作为一个客户机，客户机-服务器结构允许智能控制器管 理整个重新灌录方案的进行，并且跟踪处理的每个阶段的每个操作的状态。
在本发明的一个实施例中，被智能控制器141跟踪的信息的类型在图13中列 出。被跟踪的作品数据的例子包括；
·原始图像数据的状态；
·场景/镜头列表和将来的修改；
·每个镜头的预处理决定；
·处理的不同阶段的每个镜头的状态；
·应用到处理的每个阶段的每个镜头的操作；
·用于每个镜头的重放操作的参数；
·每个镜头的版本状态；
·每个镜头的验证决定；
·每个镜头的图像输出处理的状态；
·与每个镜头相关的用户首选和用户决定；
·与每个镜头的处理相关的用户通知；
·每个镜头的认可决定，等等。
基于上述信息，智能控制器提供关于作品状态的最新报告。报告的形式是用 户指定的。报告的例子包括：
·扫描和接收的胶片百分比；
·多少镜头已被处理；
·基于当前吞吐量的方案完成日期估算；
·已被认可的镜头百分比；
·用特定参数重放后的镜头列表；
·每个镜头有多少版本；
·每日，每周，每月吞吐量报告；
·系统利用报告，等等。
智能控制器也允许用户通过询问系统创立他们自己的报告。询问系统支持的 信息的例子包括：
·镜头数目；
·镜头长度；
·镜头版本；
·重放参数；
·验证状态；和
·认可状态，等等。
前述提供了用于举例说明、解释和描述本发明的实施例。对这些实施例的进 一步的修改和改编对本领域技术人员是显而易见的，可在不脱离本发明的范围或 者精神的情况下作出。
                        相关申请
本申请要求在2002年3月13日申请的，发明名称为“用于包括宽幅投影的 选择格式或者其他目的的数字重新灌录或修改电影或其他图像序列数据的系统 和方法”的美国临时申请No.60/365,021的优先权，该申请的全部内容在此引作 参考。