在例如用于电影或电视行业的后期制作领域，操作视频编辑器 的人可控制视频内容的色彩以便为了艺术目的而允许导演预期的特 效。例如，可通过加亮视频内容的色彩以便描绘“柔和”效果或者 通过色彩变暗来描绘“砂质”色彩效果来修改视频内容。
当修改视频内容的色彩时，可能难以让这类变更从编辑装置保 持到用来显示装置内容的装置、如视频监视器或电影放映机。或者， 如果视频内容在编辑工作流程中经过多个装置，则这类装置可能没 有相互通信的部件来有效地表明对视频内容的色彩进行了什么变 更，因为不同的装置具有处理色彩校正的不同能力。

以上所述的问题以及先有技术的其它相关问题通过本发明来解 决。
根据本发明的一个方面，涉及用于传送和使用元数据的方法， 所述元数据涉及要对于表示图像序列的图像数据执行的色彩校正操 作的顺序以及将对这类图像数据执行的这类操作的数量。
结合附图，参照以下对优选实施例的详细说明，本发明的这些 以及其它方面、特征和优点将变得非常明显。
附图简介
图1是简图，说明可视信息获取及编辑系统的一个示范实施例；
图2是简图，说明色彩校正操作；
图3是示意图，说明对图像数据的不同序列执行的各种色彩校 正操作的操作；
图4是用于色彩校正操作的示例升力曲线；
图5是用于色彩校正操作的示例增益曲线；
图6是用于色彩校正操作的示例伽玛曲线；以及
图7是简图，说明对能够作为图像序列呈现的数据应用色彩校 正操作的方法的一个实施例。

本发明的一个示范实施例针对用来创建、编辑和显示视频内容 的视频获取/编辑工作流程。如图1所示，系统100是采用获取装置 105来获取视频内容的示范可视信息获取/编辑工作流程。获取装置 105是诸如摄影机、电影摄影机、电影数字化仪、视频捕捉装置之类 的装置或者能够存储稍后可能在视觉上采取视频段的形式再现的可 视信息的其它类型的装置。术语“视频段”表示沿时间线的图像序 列的任何时间、空间或时空分段。术语“可视信息”(或图像数据)是 能够表示图像的任何类型的信息。在本发明的优选实施例中，可视 信息是用于生成作为视频序列提供或者作为一系列帧在电影上显示 的图像序列(运动图像)的信息。
获取装置105可在例如胶片、计算机存储器、闪存卡、硬盘驱 动器、数字视频光盘(DVD)、计算机磁盘、数字存储装置、档案存储 磁带等的存储媒体上存储获取的可视信息。当这类可视信息通常以 数字形式存储时，获取装置使所存储可视信息经过定义所存储视频 信息的色彩属性、称作色彩空间的变换。不同类型的色彩空间在本 领域是已知的，例如由国际照明协会(CIE 1931，L*a*b*)国际电信联 盟(ITU REC 601)、红蓝绿等所定义。这些标准在本领域中定义可视 信息存储时的色彩属性，以及再现这类可视信息(以视频或电影的形 式)。
来自获取装置105的可视信息要由可采取非线性编辑器、计算 机等的形式的编辑装置110进行修改。在本发明的一个优选实施例 中，编辑装置110用于色彩管理，其中来自获取装置105的已存储 可视信息被检索(扫描、从存储装置中读取、通过网络连接传送等)， 并且是诸如2k DA VINCI和DISCREET LUSTRE 4k之类的软件可修 改的，其中色彩修改表示由例如着色师或导演之类的人进行的创造 性选择。
可选地，色彩修改表示其中可视信息经过修改以便适应装置的 特征的自动操作。例如，由获取装置105存储的可视信息可具有与 编辑装置110所使用的不同的色彩空间。因此，系统经过配置，使 得经由查找表、色彩变换信息、软件转换等将可视信息修改为用于 编辑装置110的色彩空间。
应当注意，虽然本发明的获取/编辑工作流程系统相对于获取装 置105和编辑装置110来论述，但是大家要理解，其它装置可用于 视频编辑工作流程。例如，获取装置105可能表示由家庭用户使用 的摄影机，以及编辑装置110可能表示运行数字视频(DV)编辑软件 的家用计算机及其它装置。另外，编辑装置110可选地表示一系列 装置，其中各装置用于编辑可视信息。例如，一个编辑装置110可 能由导演控制以便进行某些初始色彩修改选择，以及第二编辑装置 可能由操作员控制以便在这类可视信息通过呈现装置115作为图像 帧序列印制到生胶片之前对其进行色彩校正。
呈现装置115用于呈现可视信息，用于采用诸如监视器、电影 放映机、数字光线处理(DLP)、液晶显示器、印片机之类的装置进行 显示，或者作为用来最终以可视形式呈现可视信息的胶片、CD- ROM、DVD、计算机磁带、闪存卡等呈现这类信息。优选地，可视 信息将作为用于形成诸如视频序列(用于录像带、DVD流播视频等) 的内容的运动图像序列以及胶片上的图像帧来组成。
申请人注意到，下面将要说明的本发明的原理也适用于消费者 电子设备，其中广播者或内容生产者(用作获取装置705的代理)提供 表示图像序列的图像数据。广播者可对于具体类型的装置(例如对于 特定类型的显示装置)规定：一种色彩校正技术应用于一种类型的装 置(等离子体显示装置)以及第二色彩校正应用于第二类型的装置(阴 极射线管显示装置)。根据本发明的原理可指定其它显示装置。本发 明的原理还可用来校准编辑设备以便在执行色彩校正操作时获得一 致结果。
如本申请先前所述，装置可利用不同的色彩空间，或者已经对 可视信息的色彩进行了修改。本申请提供生成元数据的系统，元数 据表示其中所进行的色彩修改可在不同装置和厂商使用和/或提供的 软件之间传送的构架。这种元数据优选地基于具有图像序列的XML 方案关联色彩校正元数据。本发明采纳其中色彩校正元数据可在时 间上与图像序列关联的前提，其中对于两个时间周期之间使用两个 不同集合的色彩校正元数据。
另外，本发明还采纳其中不同色彩校正器可用于可视数据的前 提。不同类型的色彩校正器和色彩校正操作是本领域已知的，例如 采用具有红绿蓝(RGB)输出的一系列三个一维查找表(参见图2)、利 用亮度和色度(YcrCb)的一系列三个一维查找表、三维查找表、预先 计算的矩阵变换、升力增益伽玛函数规范等。色彩校正器的应用则 可对于不同的时间周期以不同顺序来排序。
例如，对于图像序列的一个时间周期，图像首先经过基于RGB 的色彩校正，然后再经过受到升力增益伽玛色彩校正操作影响的彩 色校正。对于第二时间周期，图像的第二序列经过三维查找表，然 后再经过基于RGB的色彩校正操作。根据本发明的原理可采用其它 色彩校正过程。
表1表示用于对图像序列执行色彩校正操作的描述工具的一个 示范实施例。这些操作可在配有图像序列的元数据中得到反映。色 彩校正算子的所述方面利用定义为运动图像专家小组(MPEG-7)可视 标准(ISO/IEC 15938-3：2002)的一部分的术语。
 描述工具集   功能性  色彩校正   描述一个、两个或三个色彩校正器的级联应用。  色彩校正器   描述单个色彩校正器的规范。色彩校正器的示例类   型包括：   三个一维查找表   三维查找表   预先计算的矩阵变换   升力增益伽玛函数规范。  色彩工具   描述色彩成分及其量化。  时间同步工具   描述媒体时间和时长与胶片边缘代码和胶片长度的   同步。  结构描述工具(来自  MPEG-7)   描述相对于所应用色彩校正的视频的结构。结构描   述包括多媒体内容的空间、时间或时空段。
表1
色彩校正器的应用可应用于系统100中的任何位置，其中可对 于特定装置或者对于视频图像序列在不同时间进行多个色彩校正 器。图3说明可执行不同色彩校正过程的时间和位置的一个示范实 施例。对于作为视频序列300提供的图像序列，序列分解为一系列 三个时间段T1、T2和T3。对于T1，视频序列分为两个不同的视频段 V10和V11，其中对V10执行一个色彩校正操作C10，以及对V11执 行第二色彩校正操作C11。
时间T2表示色彩校正器C20和C22的应用之间存在时间间隙的 情况。如图所示，视频序列V20和V22分别经过C20和C22。V21 不经过色彩校正操作。时间T3表示当视频序列V32经过色彩校正器 C32时、视频序列V30经过色彩校正器C30的情况。同样明显的是， 对于视频序列V31，两种色彩校正操作C30和C32均应用于视频序列， 以便在它们的应用时间中重叠。
表2表示用于生成以色彩判定列表的形式来表明色彩校正元数 据的元数据的XML方案的一个示范实施例。

表2
表3表示用于生成表明用于对图像段进行色彩校正的色彩校正 处理的元数据的XML方案的一个示范实施例。

表3
表4表示用于生成表明用于对图像段进行色彩校正的特定色彩 校正操作的具体细节的元数据的XML方案的一个示范实施例。
  XML术语  成分  描述   ColorCorrectorBaseTy   pe(色彩校正器基类   型)  对于具体的色彩校正器，与色彩校正器  关联的元数据的一般格式(位于表3中)  InputColorSpace  (输入色彩空间)  色彩校正器的输入色彩空间。可用色彩  空间的类型优选地如同MPEG-7中那样  对于色彩空间数据类型(RGB、YCbCr、  HSV、HMMD、参考RGB的线性变换  矩阵、单色)来定义  OutputColorSpace  (输出色彩空间)  色彩校正器的输出色彩空间。可用色彩  空间的类型优选地如同MPEG-7中那样  对于色彩空间数据类型(RGB、YCbCr、  HSV、HMMD、参考RGB的线性变换  矩阵、单色)来定义  InputColorQuantiz  ation  (输入色彩量化)  色彩校正器的输入色彩量化。这个变量  指定要量化的色彩成分，从而允许这些  成分以任意顺序被量化。各色彩空间的  允许色彩成分组合为R、G、B、Y、Cb、  Cr、H、S、V和算子Max、Min、Diff  及Sum。这个参数基于来自MPEG-7的  ColorQuantization(色彩量化)描述符，但  是这个参数的值从12位的值扩展到32  位。  OutputColorQuanti  zation  (输出色彩量化)  色彩校正器的输出色彩量化。这个变量  指定要量化的色彩成分，从而允许这些  成分以任意顺序被量化。各色彩空间的  允许色彩成分组合为R、G、B、Y、Cb、  Cr、H、S、V和算子Max、Min、Diff  及Sum。这个参数基于来自MPEG-7的  ColorQuantization(色彩量化)描述符，但  是这个参数的值从12位的值扩展到32  位。
表4
以上所述的ColorLookup1D(色彩查找1D)色彩校正操作优选地 由各色彩成分的三个一维查找表组成。输入色彩空间的量化通常等 于查找表中的条目数量。在这种情况下，不需要内插。但能够让一 维色彩查找表包含比输入色彩空间更少的条目。例如，考虑对于各 色彩成分具有6位色彩量化和16条目查找表的RGB输入色彩空间。 输入值的值可能经过缩减以便采用本领域已知的内插技术来匹配有 限数量的输出值。
ColorLookup3D(色彩查找3D)色彩校正器采用三维色彩查找表来 执行色彩空间之间的变换。例如，具有RGB输入和输出色彩空间的 三维查找表取输入RGB三元组，并经由内插将它映射到输出R’G’B’ 三元组，其中具有各RGB输入三元组的可能唯一的输出值。对于精 确表示，采用各色彩成分作为查找表维把输入色彩空间中的色彩成 分的各组合映射到输出色彩成分。例如，对于10位RGB输入和输 出色彩，可创建具有1024×1024×1024(或者超过十亿个条目)的三维 立方体。因此，为了使用这种类型的色彩校正，优选的是采用某种 类型的内插、如三线性或四线性内插，其中具有某些限制(参见 Kasson、Nin、Plouffe、Hafner的“采用三维内插来执行色彩空间转 换”(Journal of Electronic Imaging，1995年7月，Vol.4(4))，以获得 更多资料)
ColorLookupPrecomputedMatrx(色彩查找预先计算的矩阵)色彩校 正器采用以下形式的线性矩阵变换：
$\left[\begin{array}{c}{R}^{\prime }\\ G^{\prime }\\ B^{\prime }\end{array}\right]=\left[\begin{array}{ccc}{a}_{\mathrm{RR}}& a_{\mathrm{RG}}& a_{\mathrm{RB}}\\ a_{\mathrm{GR}}& a_{\mathrm{GG}}& a_{\mathrm{GB}}\\ a_{\mathrm{BR}}& a_{\mathrm{BG}}& a_{\mathrm{BB}}\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$
ColorLookupPrecomputedMatrix操作则计算3×3变换矩阵中的 各系数的查找值的列表。对于各输出值(R’、G’或B’)，处理包括三 个查找操作(R、G和B的各一个)，之后跟随两个加法。总共需要九 个一维查找表(L′xx)：
$\left\{\begin{array}{c}{R}^{\prime }=L_{\mathrm{RR}}^{\prime }\left(R\right)+L_{\mathrm{RG}}^{\prime }\left(G\right)+L_{\mathrm{RB}}^{\prime }\left(B\right)\\ G^{\prime }=L_{\mathrm{GR}}^{\prime }\left(R\right)+L_{\mathrm{GG}}^{\prime }\left(G\right)+L_{\mathrm{GB}}^{\prime }\left(B\right)\\ B^{\prime }=L_{\mathrm{BR}}^{\prime }\left(R\right)+L_{\mathrm{BG}}^{\prime }\left(G\right)+L_{\mathrm{BB}}^{\prime }\left(B\right)\end{array}\right.$
ColorFunctionLGG(色彩函数LGG)色彩校正器使用从模拟视 频处理中得到的控件来进行，即改变各色彩成分的输入输出传递特 性的升力(称作黑色电平、消隐电平或建立)、增益及伽玛。色彩校正 器提供指定色彩校正函数而不是枚举查找值的能力。升力、增益和 伽玛鉴于信号色彩成分R来分配。
升力提高输入输出传递特性的y截取，其中
R′＝R+L
其中L∈[-1，1]
输出值R’由规范化输出区间[0，1]限制，参见图4的具有升力＝ ±25的示例升力曲线
对于增益：
增益(G)换算输出值。
R′＝GR    0≤G＜∞
或者等效地
G＝tan(θG) 0≤θG≤90°
其中 $\left\{\begin{array}{c}G\in [0,\infty )\\ {\theta }_G\in [0,\frac{\pi }{2}]\end{array}\right.$
输出值R’由规范化输出区间[0，1]限制。
参见图5或示例增益曲线，其中，
对于伽玛：
伽玛(γ)是基于乘幂对色彩成分的非线性校正。
R′＝Rγ
其中γ∈(0，1]
输出值R’由规范化输出区间[0，1]限制。
参见图6，其中，y＝333，以及y-1＝3.0
以上列出的函数的应用以升力、增益然后伽玛的顺序。或者： R′＝[G(R+L)]y优选地，对于图像的各序列(视频段)，应当通过表明色彩 校正器的应用(或者非应用)的媒体时间(启动时间、瞬间和时长)来描 述。MPEG-7MDS小节6.4提供多个不同的元数据集来描述媒体时 间。时间描述优选地基于国际标准化组织(ISO 8601)标准的词汇表示 的有限集合。另外也可使用图像序列的时间的其它表示，例如运动 图像电视工程师协会(SMPTE)时间代码、采用MediaTimePoint函数 的格式的值以及采用MediaTimeDuration函数的格式的值(两种函数 均在MPEG-7中定义)等。
应当注意，虽然针对视频图像序列描述了本发明的原理，但是 本发明支持对于图像序列的不同区域的色彩校正的应用。视频段分 解工具(如MPEG-7MDS ISO/IEC 15938-5(11.4.9)中所述)描述如何把 一系列视频帧分解为相应的空间和时间值。或者可从图像序列中获 得某个图像，并把这种图像分解为矩形或多边形子区域(参见MPEG- 7MDS ISO/IEC 15938-5(11.4))。色彩校规范化可应用于各图像的每 个子区域。
如果特定区域在帧上移动，则可应用MPEG-7MDS ISO/IEC 15938-5(11.4)和MPEG-7 Visual 15938-3(5.6，9.4，和10.3)的原理。通 过使用MPEG-7工具移动区域，色彩校正可应用于其轮廓由矩形、 椭圆或任意多边形的列表所定义的一个或多个移动区域。区域的形 状可能是固定或者是不固定的(例如随时间相互间移动的多边形顶 点)。区域的运动可通过模型参数的顶点的线性或正交时间内插来建 模(例如两个速度参数用于固定转换，四个参数用于旋转和缩放，六 个参数用于仿射变换等)。
图7提供根据以上所述原理、鉴于校正元数据的接收用于执行 色彩校正的方法的一个示范实施例。在步骤705，呈现装置115接收 表示可在视觉上呈现为运动图像序列的信息的数据。在步骤710，呈 现装置115确定是否接收到色彩校正元数据，上述色彩校正元数据 表明表示要在视觉上呈现的信息的数据是否应当进行色彩校正。在 这个步骤中，进行关于多少不同的色彩校正操作应当被执行以及以 什么顺序执行的确定。待执行的不同色彩操作的数量优选地为三。
可选地在步骤710，存在包含具有表明应当进行特定色彩校正操 作的时间的元数据的时间信息，如上所述。或者可能存在表明图像 序列的某个区域(从可视信息中生成)应当采用特定技术在特定时间长 度进行色彩校正的元数据。根据本发明的原理，其它图像序列或图 像区域可经过相同或不同的色彩校正操作。
步骤715让呈现装置115根据所接收元数据来执行色彩校正操 作。如果色彩校正元数据表明情况是这样，则可执行若干不同的色 彩校正操作。另外，元数据可控制应当通过所选色彩校正操作影响 可视信息多长时间和/或什么部分。在步骤720，色彩校正数据作为输 出到显示装置、在印片机上印制或者能够在色彩校正操作方面呈现 可视信息(图像数据)的其它任何类型的装置的一系列图像来呈现。应 当注意，系统100中的任何装置、包括获取装置105和编辑装置110 在内均可执行以上所述的步骤。另外，生成表明待执行的色彩校正 操作的数量、待执行的具体色彩操作以及这类操作的顺序的元数据 的方面可通过系统100的任何装置、通过应用图7所示的反方法步 骤来执行。
还要理解，本发明可通过各种形式的硬件、软件、固件、专用 处理器或者它们的组合来实现。本发明优选地以硬件和软件的组合 形式来实现。此外，软件优选地以程序存储装置上包含的应用程序 的形式来实现。应用程序可上载到包括任何适当体系结构的机器上 并由其执行。该机器优选地在具有诸如一个或多个中央处理器 (CPU)、随机存取存储器(RAM)以及输入/输出(I/O)接口之类的硬件的 计算机平台上实现。计算机平台还可包括操作系统和微指令代码。 本文所述的各种过程和功能可能是微指令代码的组成部分或者是经 由操作系统运行的应用程序的组成部分(或者它们的组合)。另外，其 它各种外部设备、如附加的数据存储装置以及打印装置可连接到计 算机平台。
虽然本文结合附图描述了说明性实施例，但是要理解，本发明 不限于那些明确的实施例，本领域的技术人员可以对其进行其它各 种变更和修改，而没有违反本发明的范围或精神。所有这些变更和 修改均包含在如权利要求书所定义的本发明的范围之内。
相关申请的交叉引用
本申请要求2004年9月29日提交的美国临时申请No.60/614110 的优先权。