众所周知，传统的压缩视频内容保护方案包括将视频内容打包，并 在传送的时候将打包后的数据包加密以保护该视频内容，或将已存储的 压缩视频内容加密以保护它们。
然而，该保护方案的缺点是解密被加密的压缩视频内容时的计算复 杂度高。而且，该方案对可伸缩视频编码内容中的各层的所有数据都进 行加密，从而增加了低效率的计算复杂度。

本发明旨在提供用于保护可伸缩视频编码内容的方法与装置，该方 法和装置通过仅仅从时域、空域、SNR可伸缩性方面对每个编码层的可 伸缩视频编码内容的数据进行加密而能够降低加密与解密的计算复杂 度，进而提供对受保护的可伸缩视频编码内容的服务，该方法和装置还 能够根据内容消费者的级别而产生和分配用于加密和解密的密钥以保护 内容。
本发明的一方面提供了用于保护可伸缩视频编码内容提供系统中的 可伸缩视频内容的方法，所述可伸缩视频编码内容提供系统加密并提供 由可伸缩视频用户终端所请求的可伸缩视频内容，所述方法包括：接收 被请求的可伸缩视频内容；将所接收的可伸缩视频内容存储在可伸缩视 频内容存档中，并控制验证的执行以及要发送给用户的密钥的产生；执 行验证并产生密钥；响应所述请求以使可伸缩视频成像，并对所成像的 可伸缩视频内容进行编码；使用所产生的密钥加密已编码的可伸缩视频 内容；产生用于已加密的可伸缩视频编码内容的加密信息元数据；以及 通过网络或存储介质将已加密的可伸缩视频编码内容与所产生的加密信 息元数据发送至可伸缩视频用户终端。
本发明的另一方面提供了用于保护在可伸缩视频用户终端中的可伸 缩视频编码内容的方法，所述的可伸缩视频用户终端对从可伸缩视频编 码内容提供系统所接收的加密可伸缩视频编码内容和加密信息元数据进 行解密和解码，所述方法包括：解析已接收的加密信息元数据以获得密 钥和加密信息；使用密钥和加密信息解密已接收的加密可伸缩视频编码 内容；解码并重现已解密的可伸缩视频内容。
本发明的另一方面提供了用于保护由可伸缩视频用户终端所请求的 可伸缩视频内容的可伸缩视频编码内容提供系统，该系统包括：用户内 容请求信息接收单元，其用于接收被请求的可伸缩视频内容；可伸缩视 频内容服务控制单元，其用于将已接收的可伸缩视频内容存储在可伸缩 视频内容存档中，并控制验证的执行以及将要发送给用户的密钥的产生； 用户验证与密钥控制单元，其用于执行验证并产生密钥；成像单元，其 用于响应于请求以使可伸缩视频成像；可伸缩视频编码单元，其用于对 已成像的可伸缩视频内容进行编码；可伸缩视频编码数据加密单元，其 使用所产生的密钥加密已编码的可伸缩视频内容；加密信息元数据产生 单元，其产生用于已加密的可伸缩视频编码内容的加密信息元数据；以 及加密可伸缩视频编码内容与加密信息元数据传送单元，其用于通过网 络将已加密的可伸缩视频编码内容与所产生的加密信息元数据传送至可 伸缩视频用户终端。
本发明的另一方面提供了通过解密并解码已加密的可伸缩视频编码 内容与加密信息元数据以保护该内容与元数据的可伸缩视频用户终端， 该终端包括：加密可伸缩视频元数据解析单元，其用于解析已接收的加 密信息元数据以得到密钥和加密信息；可伸缩加密视频解密单元，其使 用密钥和加密信息对所接收的已加密可伸缩视频编码内容进行解密；可 伸缩视频解码单元，其用于对已解密的可伸缩视频内容进行解码；以及 可伸缩解码视频渲染单元，其用于渲染和重现已解码的可伸缩视频内容。
本发明的另一方面提供了用于保护可伸缩视频编码内容的装置，该 装置包括：输入单元，其用于将响应于视频用户终端的请求而获取的输 入视频内容分解和输入至时域、空域、SNR可伸缩性层的至少一层中； 编码单元，其用于对时域、空域、SNR可伸缩性层的至少一层的输入视 频数据进行编码；加密单元，其用于对已编码的时域、空域、SNR可伸 缩性层的视频数据进行加密；产生单元，其产生用于已加密的时域、空 域、SNR可伸缩性层的视频数据的元数据；以及存储单元，其用于合并 和存储时域、空域、SNR可伸缩性层的已加密编码数据和所产生的元数 据。
本发明的另一方面提供了用于保护可伸缩视频编码内容的方法，该 方法包括：将响应于视频用户终端的请求而获取的输入视频数据分解和 输入至时域、空域、SNR可伸缩性层的至少一层中；对时域、空域、SNR 可伸缩性层的至少一层的输入视频数据进行编码；对已编码的时域、空 域、SNR可伸缩性层的视频数据进行加密；产生用于已加密的时域、空 域、SNR可伸缩性层的视频数据的元数据；合并和存储时域、空域、SNR 可伸缩性层的已加密编码数据和所产生的元数据。
本发明的另一方面提供了用于保护可伸缩视频编码内容的方法，该 方法包括：将输入视频数据分解到时域、空域、SNR可伸缩性层的至少 一层中；对时域、空域、SNR可伸缩性层的至少一层的输入视频数据进 行编码；将用于已编码的时域、空域、SNR可伸缩性层的输入视频数据 的比特流分组为时域、空域、SNR可伸缩性层的至少一层的组合以形成 层级；对所形成的层级的一级或多级进行加密；并产生用于已加密层级 的加密信息作为元数据。同时，输入视频数据可以一层或多层输入，而 不是以三个可伸缩层输入。
所述方法还可包括将已加密层级或初始层级与用于层级保护的元数 据进行合并，并将该合并结果存储为一个文件或单独数据。同时，对一 个或多个已形成层级的加密可包括保护所有层级或有选择地加密对应于 层级中的特定可伸缩性组合的比特流数据。
本发明的另一方面提供了其中存储有用于执行保护可伸缩视频编码 内容的方法的程序的计算机可读记录介质。即，根据本发明的用于保护 可伸缩视频编码内容的方法可通过计算机可读记录介质中的计算机代码 实现。计算机可读记录介质包括任何类型的用于存储可由计算机系统读 取的数据的记录装置。
例如，计算机可读记录介质包括只读存储器(ROM)、随机存取存储 器(RAM)、只读存储光盘(CD-ROM)、磁带、硬盘、软盘、移动存储装置、 非易失性存储器(例如闪存)以及光学数据存储装置。记录介质还可由诸如 载波(例如基于因特网的传输)的传输介质实现。
附图说明
通过参照附图详细地描述本发明的优选的示例性实施例，本领域的 普通技术人员会更加明白本发明的上述和其它目的、特征以及优点，在 附图中：
图1表示根据本发明的按时域分解和组装的可伸缩视频帧；
图2表示MPEG-4可伸缩视频编码(AVC)块；
图3表示根据本发明的用于可伸缩视频编码内容保护的时域/空域可 伸缩性结构；
图4表示根据本发明的用于保护MPEG-4可伸缩视频编码内容的装置 的精细颗粒可伸缩性(FGS)块；
图5是表示根据本发明的用于保护可伸缩视频编码内容的框图；
图6表示本发明的分层的可伸缩比特流典型结构的示例；
图7表示根据本发明的用于可伸缩比特流保护的文件格式箱结构；
图8表示根据本发明的用于可伸缩比特流保护的文件格式箱结构。

在下文中，将详细描述本发明的示例性实施例。本发明不是局限于 以下所公布的实施例，而是可以以各种形式实施。描述以下实施例是为 了使本领域的普通技术人员可以实施和实践本发明。
图1a和图1b图示了根据本发明的按时域分解和组装的可伸缩视频 帧。图1a表示按时域分解的可伸缩视频帧，图1b表示按时域组装的可伸 缩视频帧。
首先，参照图1a，连续的视频帧被分解成各个帧(画面)组。在每个画 面组中，分别具有1/2时间分辨率的低通滤波画面和高通滤波画面通过时 域滤波形成一层。该层在更低层上被分解成各具有1/2时间分辨率的低通 滤波画面和高通滤波画面。换言之，按时域分解的过程一直持续到在最 低层仅剩一个低通滤波画面为止。
接下来，参照图1b，按时域组装可伸缩视频帧的过程是上述分解过 程的逆过程，并包括：使用下个较高层的高通滤波画面，从在分解过程 中所获得的最低层的低通滤波画面获得在相同层上的低通滤波画面。该 过程一直执行到获得初始图像的分辨率为止。
换言之，当传送按时域分解的可伸缩视频内容时，最低层的低通滤 波画面被首先传送，然后依次传送下个较高层的高通滤波画面。这里， 可通过仅加密用于可伸缩视频保护的最低层的低通滤波画面而保护所有 较高层的低通滤波画面。根据所允许的时间分辨率对较高层的高通滤波 画面的加密可获得仅较低层的画面的时间分辨率。
图2表示MPEG-4可伸缩视频编码(AVC)块。初始图像画面的空间分辨 率通过下采样或滤波被降低，且具有被降低的空间分辨率的画面被输入 至对应层的编码块。最低层根据MPEG-4AVC或H.264视频编码方案进行 编码，所述最低层中的具有最小空间分辨率的画面被编码，并且每个较 高层上的输入画面使用对较低层进行编码的运动矢量、纹理、残留信号 等进行编码。该编码结构称为粗糙颗粒可伸缩性。同时，每个编码层可 由精细颗粒可伸缩性进行编码，所述精细颗粒可伸缩性可执行将图像品 质分解成次等级的编码。
图3表示根据本发明的用于可伸缩视频编码内容保护的时域/空域可 伸缩性结构。
参照图3，到④表示较低层n的画面，而⑤到⑨表示较高层n+1的画 面。这里，较低层n的画面通过时间分解进行编码，较高层n+1的画面通 过与较低层n的画面相同的时间分解结构进行编码。一经编码，较高层n+1 的画面就使用来自较低层n的对应画面的运动矢量、纹理、残留信号等进 行编码。
例如，使用在编码较低层n的画面②时所使用的运动矢量、纹理、残 留信号等并使用画面⑤和⑨，对较高层n+1的画面⑦进行编码。因此，当 画面和④被加密用于可伸缩视频内容保护时，所有的画面①、②和③和 画面⑤到⑨在不解密画面和④的情况下都不能重现。这对于可伸缩视频 内容保护非常有效。
图4表示根据本发明用于保护MPEG-4可伸缩视频编码内容的装置中 的精细颗粒可伸缩性(FGS，Fine Granular Scalability)块。
FGS的基本层通过转换、伸缩、量化过程对输入图像进行编码，并 通过逆过程对已编码图像进行解码以得到带有初始图像的残留信号。 FGS的增强层接收来自FGS的基本层的残留信号，执行转换和伸缩过程并 对残留信号进行比FGS的基本层更精细的量化，并对结果进行熵编码 (entropy-code)。
同时，从经增强层解码的图像和经基本层解码的图像可以得到另外 的残留信号。此结果仅用作下个增强层的输入。该过程在所期望的FGS 层被继续执行。就FGS内容保护而言，当由较低层得到的残留信号被加 密时，在未解密该残留信号的情况下，解码过程在下个增强层中不能正 确执行。
将参照图1a描述考虑了图1、图2、图3和图4中的所有时域、空域以 及SNR可伸缩性的可伸缩视频编码内容保护。
在图1a中，基本层的最低层上的低通滤波画面L3是最基本的画面。 当画面L3被加密时，在未成功解密画面L3的情况下，一个完整的画面组 (GoP)不会重现。由于基本层的画面组不能被全部解码，较高层的画面也 不能被全部解码。
当在基本层上的L3画面未加密而其它经过高通滤波的H3画面被加密 时，一个画面组中仅L3画面可被解码。因此，即使对应于基本层的最低 层画面L3的增强层中的最低层画面L3可被解码。当增强层的对应画面L3 需要进行保护，同时仅允许对基本层的画面L3进行解码时，只有增强层 的L3画面编码数据受保护，从而较高增强层的画面L3在未进行解密的情 况下不能被解码。
类似地，仅对画面L2以上的画面的保护仅需要加密高通滤波画面H2， 而仅对画面L1以上的画面的保护仅需要加密高通滤波画面H1。
基本层的时间分辨率层上的低通滤波画面L3和高通滤波画面H3、H2 和H1使用不同密钥进行加密，且密钥的公开根据不同用户组和经营模式 而加以限制，此限制使得用户组以不同的可伸缩性等级而消费相同的可 伸缩视频内容。
图5是根据本发明的用于保护可伸缩视频编码内容的装置的框图。
可伸缩视频编码内容提供系统100包括作为视频获取装置的相机 101、视频获取块102、可伸缩视频编码块103、可伸缩视频内容服务控制 块104、用户验证与密钥控制块105、可伸缩视频编码数据加密块106、加 密信息元数据产生块107、加密信息元数据存档108、可伸缩视频内容存 档109、内容获取块110、加密可伸缩视频编码内容与加密信息元数据传 送块111以及用户内容请求信息接收块112。
可伸缩视频用户终端200可是有线终端(例如带有网络访问单元的计 算机)或无线终端(例如蜂窝电话、个人通信系统(PCS)、个人数字助手 (PDA)、IMT-2000、PDA电话或智能电话)。可伸缩视频用户终端200包括 加密可伸缩视频编码内容与加密信息元数据接收块201、加密可伸缩视频 元数据解析块202、可伸缩加密视频解密块203、可伸缩视频解码块204、 可伸缩解码视频渲染块205、用户界面块206以及可伸缩视频请求与响应 接收块207。
以下将更详细地描述根据本发明的用于保护可伸缩视频编码内容的 装置的操作。
参照图5，可伸缩视频用户终端200中的用户界面块206通过网络300 请求来自于可伸缩视频编码内容提供系统100的可伸缩视频内容。
可伸缩视频编码内容提供系统100通过用户内容请求信息接收块112 接收由用户请求的可伸缩视频内容，并将该可伸缩视频内容输入给可伸 缩视频内容服务控制块104。
可伸缩视频内容服务控制块104接收可伸缩视频内容，将该可伸缩视 频内容存储在可伸缩视频内容存档109中，控制用户验证和密钥控制块 105执行验证并产生要提供给用户的密钥。
在此情况下，相机101在可伸缩视频内容服务控制块104的控制下使 视频成像以产生被请求的可伸缩视频内容。视频获取块102获取所产生的 可伸缩视频内容并将其提供给可伸缩视频编码块103。
可伸缩视频编码块103对所提供的可伸缩视频内容进行编码并将其 提供给可伸缩视频编码数据加密块106。
可伸缩视频编码数据加密块106对已编码的可伸缩视频内容执行用 户验证，使用来自于密钥控制块105的密钥将该内容加密，并将所加密的 内容提供给加密可伸缩视频编码内容和加密信息元数据传送块111和加 密信息元数据产生块107。
在此情况下，加密信息元数据产生块107产生用于由可伸缩视频编码 数据加密块106所提供的已加密可伸缩视频编码内容的加密信息元数据， 将该加密信息元数据存储在加密信息元数据存档108中，并将加密信息元 数据输入给加密可伸缩视频编码内容和加密信息元数据传送块111。
加密可伸缩视频编码内容和加密信息元数据传送块111接收来自于 可伸缩视频编码数据加密块106的已加密可伸缩视频编码内容以及由加 密信息元数据产生块107所产生的加密信息元数据，并通过网络300将该 已加密可伸缩视频编码内容与加密信息元数据发送至可伸缩视频用户终 端200。
同时，参照图5，可伸缩视频用户终端200中的加密可伸缩视频编码 内容和加密信息元数据接收块201通过网络300接收已加密可伸缩视频编 码内容和加密信息元数据。在此情况下，加密可伸缩视频元数据解析块 202解析加密信息元数据以得到密钥和相关的加密信息，并将该密钥和加 密信息发送到可伸缩加密视频解密块203。
可伸缩加密视频解密块203使用来自于加密可伸缩视频元数据解析 块202的密钥和相关的加密信息，对来自于加密可伸缩视频编码内容和加 密信息元数据接收块201的已加密可伸缩视频编码内容进行解密，并将已 解密的内容提供给可伸缩视频解码块204。
可伸缩视频解码块204对已解密的可伸缩视频内容进行解码，并将该 可伸缩视频内容提供给可伸缩解码视频渲染块205。
可伸缩解码视频渲染块205对已解码的可伸缩视频内容进行渲染，并 通过用户界面块206输出该内容，从而输出单元(未示出)重现该内容。
图6表示本发明的分层可伸缩比特流典型结构的示例。层级是用于将 一个或多个SVC比特流约束成一个组的单元。如图6所示，基本层级约束 基本层的比特流。这里示出了三种可伸缩性等级的组合(时域可伸缩性等 级、空域可伸缩性等级与粗糙SNR可伸缩性等级)，即示出了层级1{(T0， S1，B0)，(T1，S1，B0)，(T1，S0，B0)}、层级2{(T0，S1，B0)，(T2， S0，B0)}、层级3{(T0，S2，B0)，(T1，S2，B0)，(T2，S2，B0)}。
这里，当基本层级受到保护(加密)时，在未解密基本层级的情况下， 依赖于基本层级的层级1、层级2和层级3不能得到恢复，这就保护了所有 层级。如果层级1{(T1，S1，B0)}受到保护(加密)，依赖于层级1{(T1，S1， B0)}的层级3{(T1，S2，B0)，(T2，S2，B0)}和层级2{(T0，S1，B0)}在 未加密的情况下可以受到保护。
图7表示根据本发明的用于可伸缩比特流保护的文件格式箱结构。图 7的文件格式结构包括文件类型箱(FTYP)、moov箱(MOOV)、MDAT箱 (MDAT)。文件类型箱(FTYP)表示文件类型(例如SVC类型)信息，moov箱 (MOOV)包括视频流信息(例如SVC流)，MDAT箱(MDAT)被定义为用于存 储实际数据(例如SVC流)的箱。moov箱(MOOV)递归地包括轨迹箱 (TRAK)、MDIA箱(MDIA)以及采样表箱(STBL)。moov箱(MOOV)在采样 表箱(STBL)中具有用于指定采样组的采样-组(SBGP)箱以及用于记录 采样组信息的采样组描述(SGPD)箱。
图8表示根据本发明的用于可伸缩比特流保护的文件格式箱结构，所 述文件格式箱结构例如是采样表箱(STBL)的采样组描述(SGPD)箱结构。 这里，该结构包括用于层级保护的ProtectionSchemeInfoBox()数据结构。该 ProtectionSchemeInfoBox()数据结构如下：
Aligned(8)class ProtectionSchemeInfoBox(fmt)extends Box(′sinf′){
OrigianlFormatBox(fmt)original_format；//optional
IPMPInfoBox IPMP_descriptors；//optional
//IPMPInfoBox is used for MPEG-4IPMP/IPMPX
//For SVC layed protection，SchemeTypeBox and SchemeInfomationBox is used.
SchemeTypeBox    scheme_type_box；//optional
SchemeInfomationBox  info；//optional
}
同时，SVCOperatingPointBox通过使用各层中的temporal_level、dependency_id以 及quality_level信息表示时域、空域以及SNR可伸缩性信息从而表示层级之 间的依赖关系。SVCOperatingPointBox的数据结构如下：
class SVCOperatingPointBox extends Box(′svop′){
unsigned int(2)reserved＝0；
unsigned int(6)simple_priority_id；
unsigned int(3)temporal_level；
unsigned int(3)dependency_id；
unsigned int(2)quality_level；
unsigned int(2)progressive_refinement；
unsigned int(2)discardable；
unsigned int(4)reserved＝0；
}
于是，通过使用图7和图8所示的文件格式结构中的分层依赖性，本 发明提供了可伸缩视频比特流的非常有效的分层依赖保护。
根据本发明，通过仅仅从时域、空域以及SNR可伸缩性方面对每个 编码层的可伸缩视频编码内容的数据进行加密，可以降低计算的复杂度， 从而可以提供用于保护可伸缩视频编码内容的服务。而且，可通过根据 内容消费者的等级产生和分配用于加密和解密的密钥而对内容加以保 护。于是，已加密的压缩视频内容可以以减少的计算复杂度被解密，从 而可以解决由于加密可伸缩视频编码内容的所有层的所有数据所导致的 低效率的计算复杂度增加的现有问题。
尽管参照某些示例性实施例图示和描述了本发明，但本领域的技术 人员应当明白，在不脱离所附权利要求书的精神和范围的情况下，可以 做出各种形式或细节上的改变和变化。