本发明涉及在编码的信号中嵌入补充数据的方法和电路。所述方 法包括以下步骤：按照给定的编码方法对所述信号进行编码，而所述 编码过程又包括反馈已编码的信号以便控制编码过程的步骤；以及修 改已编码的信号来代表所述补充数据。本发明还涉及一种从这样编码 的信号中提取补充数据的方法和电路。

把水印装入音频和视频信号中的必要性日益增长。水印是嵌入、 最好用感知上不可见的方法嵌入多媒体资产中的补充数据信息。它们 包括，例如，关于文件和音像程序的来源或版权状态的信息。它们可 以用来提供版权拥有者的法律证据，并允许跟踪盗版行为，并支持知 识产权的保护。

开篇中定义的视频信号加水印的一种已知的方法是在F.Hartung 和B.Giros：“给原视频信号或压缩的视频信号加数字水印”,SPIE Vol.2952,pp.205-212一文中公开的。这里加水印是通过修改活动图象 专家组2(MPEG2)编码器输出位流中选定的离散余弦变换(DCT)系 数，包括预测编码(P或B)图象的DCT系数来实现的。预测编码器包 括用来控制编码过程的反馈回路。对预测误差(输入信号与其预测的差 值)编码，而不是对输入信号本身编码。预测信号是通过在本机对编码 信号进行译码而获得的。

在先有技术的方法中，水印是在传统的编码过程之后插入的。因 此，可以用来对编码信号加水印的能力看来是有限的。

本发明的一个目的是提供在编码的音频或视频信号中嵌入补充 数据的方法，它允许在对感知质量基本上不发生影响的情况下改变较 多的编码信号位。

为此目的，按照本发明的方法具有以下特征：在所述修改所述编 码信号的步骤之后进行反馈所述编码信号的步骤。现在所述修改编码 信号的步骤是在编码器的反馈回路内部进行的。因此，为形成水印而 对编码信号所作的任何修改都被反馈，并将在随后的编码操作中得到 补偿。于是，这样嵌入的水印以与在发射机中影响编码过程的方式类 似的方式在接收机中影响译码过程。在发射机中补偿过程的结果是， 接收机产生好得多的输入信号复制品。信噪比明显提高，或者在给定 的信噪比下可以嵌入更多的水印数据。

本发明对于在一位编码的信号中嵌入补充数据特别有用。一位编 码的信号对加水印是非常脆弱的。每一个编码步骤编码器产生一个一 位输出样值。为加水印而修改编码信号的输出样值与、例如、仅仅改 变多位样值的值相比，一般都比较激烈。

一位编码器的实例是delta调制器、sigma-delta调制器及噪音波 形编码器。它们也属于具有反馈回路的编码器一类。sigma-delta调制 器是为在数字万用光盘(DVD)音频版本上利用2822400Hz(64*44100) 采样频率记录高质量音频信号而设计的，并具有115dB信噪比。水印 是通过，例如，用数字水印位组合的位来代替输出位流的选定位而插 入的。若这是用先有技术所教导的方法，亦即在传统的编码之后完成 的，则水印位的插入会明显地引起量化噪音。例如，每100位sigma- delta调制的音频信号中的1位用一个水印位代替，将引起-60dB的量 化噪音。相比之下，本发明可以以仅仅增加1dB量化噪声的代价每100 位sigma-delta调制的音频信号改变1位。这相当于约每秒28000位的 水印位率。

图1表示按照本发明在编码音频或视频信号中嵌入补充数据用的 电路。

图2表示按照本发明在delta调制的音频信号中嵌入补充数据用的 电路。

图3-5表示举例说明图2所示的电路操作的信号波形。

图6表示按照本发明在sigma-delta调制的音频信号中嵌入补充数 据用的电路。

图7-9表示举例说明图6所示的电路操作的波形。

图10表示用来从用图2或图6所示电路编码的信号中抽取嵌入的 水印的电路。

图11表示用来从用图1所示电路编码的信号中抽取嵌入的水印的 电路。

图12表示从(sigma-)delta调制的信号中抽取水印用的另一个实施 例。

图13表示举例说明图12所示的实施例的操作的信号波形。

图1表示按照本发明在已编码的音频或视频信号中嵌入补充数据 用的电路示意图。所述电路包括预测编码器1和修改电路2。预测编 码器1接收(模拟或数字)输入信号x，并包括减法器11，用来从输入 信号x减去预测信号 。这样得到的预测误差信号e加在编码级12上。 预测编码器还包括获得预测信号 用的反馈通路，包括译码级13、加 法器14和延时单元15。预测编码器1可以采取先有技术已知的不同 形式，诸如delta调制器、微分脉码调制器，或离散余弦变换(DCT)编 码器。

修改电路2接收编码的预测误差y，并被安排来根据给定的水印 w修改这个信号。这种修改电路的一些实例是现有技术已知的。在前 面讨论过的Hartung等人的参考文献中，对水印信号w的8*8块作离 散余弦变换(DCT)，并将这样获得的DCT系数加到变换编码的预测误 差信号的选定的DCT系数上。另一个实例是在I.J.Cox,J.Kilian, T.Leighton及T.Shamoon：“多媒体用的可靠的不可感知的但在感知上 突出的扩频水印”，Conference Record of Southcon 96,June25- 27,1996,pp.192-197中公开的。在这篇参考文献中，通过给除DC系数 以外的最高阶转换系数加实数序列来给视频信号加水印。

按照本发明，修改电路2位于编码级12和译码级13之间，亦即 在预测编码器的回路内部。于是预测信号 是由经过修改的编码信号z 而不是未经修改编码信号y中得出的。当把对信号加水印的步骤看作 等价于在编码信号y中故意引入误差时，其作用便变得明显了。在先 有技术的系统中，所述”误差”插入发送的信号中。正如在预测编码领 域已知的，这样的误差在整个译码过程中在接收机中传播，并使信号 质量严重恶化。但是，在这里误差被引入预测回路内部。现在由修改 级2引入的任何”误差”都会通过译码级13反馈到减法器11，致使预 测误差随后以一种其影响得到补充的方式编码。结果，给定的信噪比 下允许的”误差率”显著提高，和/或感知质量显著改善。

如图1所示对来自编码器的编码信号进行译码的接收机一般与编 码器的预测回路相同，因此不再单独示出。

现将参照图2给出更详细的实例，图2表示对模拟或PCM编码 的音频信号进行编码用的delta调制器。所述电路包括减法器21，用 来从输入信号x减去预测信号 。预测误差e加到极性检测器22上， 后者以由采样频率fs确定的速率在 时产生输出样值+1，而在 时产生输出样值-1。反馈回路包括译码滤波器23(累加器或积分器)， 以便获得预测信号。按照本发明，修改电路24连接在极性检测器22 和滤波器23之间。在这个实施例中，修改电路是一个多路开关转换 器，后者响应选择信号s用水印的位组合w代替极性检测器输出信号 的选定位(例如，每隔99位)。嵌入水印的另一个实例是把编码信号选 定的样值倒置，水印数据用相继的倒置的样值之间的位周期数来代 表。

图3-5示出举例说明图2所示电路操作的不同信号波形。在这些 图中，标号30表示输入信号x。

为了参考，图3示出无水印设施情况下的传统delta调制器的波 形。在该图中，标号31表示预测信号 ，或等效地表示接收器的输出 信号(去除过高的频率分量用的低通滤波器操作除外)。标号32表示传 统delta调制器的输出位流。

图4阐明用先有技术所教导的方法对编码信号加水印的效果。标 号34表示分别用-1,-1及+1，相当于数字水印位组合w=‘001’分别代 替位流32(图3)的第6、第16及第26位而得到的位流。标号33表示 接收这种位流的接收机的输出信号。可以清楚地看到信噪比明显降 低。

图5表示按照本发明嵌入水印的效果。标号35表示预测信号 标号36表示所述电路的输出位流。与图4所示类似，水印位组合 w=‘001’装在位流36的第6、第16及第26位的位置上，但现在位的 修改是在编码信号反馈之前进行的。嵌入的水印的第一位51与所述采 样周期内所述极性检测器产生的样值-1并无差别。相应地，预测信号 电平54与图3所示的预测信号电平37相同。水印第二位52与极性检 测器产生的值+1不同。因为现在这个”差错”位通过预测回路反馈，所 以预测信号变为电平55,delta调制器通过产生随后的不同的位来对 其加以补偿。结果预测信号35在几个采样周期之后已经与输入信号再 次相交。类似地，水印第三位53使电路产生+1的样值，而不然的话 电路本来会在所述采样周期内产生(而且极性检测器则真的会产生)-1 的值。它还是只用了几个采样周期就补偿了”差错”的预测电平56。

图5中的标号35也表示接收机的输出信号。比较波形33和55 就会看出，信噪比得到了明显改善。

图6表示按照本发明的sigma-delta调制器。sigma-delta调制器是 为把高质量的音频信号记录在数字万用光盘(DVD)的音频版本上而设 计的。它与delta调制器的差别在于，编码之前，输入信号用与delta 调制器反馈回路中的滤波器相同的滤波器滤波。然后输入通路和反馈 通路中的滤波器用编码回路的正向通路的单一滤波器代替。因此，图6 所示的sigma-delta调制器与图2所示的delta调制器的差别在于：滤波 器23已经从反馈通路移到了正向通路上。

图7表示没有加水印设施的传统的sigma-delta调制器。标号70 表示输入信号x，而标号71表示编码后的输出信号。随着输入信号变 得比较大，sigma-delta调制器产生较多的正样值。如图7所示，输入 电压-0.5V被编码成3个-1伏脉冲和一个+1伏脉冲的序列，输入电压 0V被编码成-1伏和+1伏的交替模式，而输入电压+0.5V被编码成3 个+1伏脉冲和1个-1伏脉冲的序列。信号在接收端通过对接收的脉冲 进行再整形并令其通过低通滤波器来进行译码。在图7中，信号通过 对13个样值的位流取平均来解调。标号72表示重构后的信号，取平 均的操作引起的时间延迟除外。因而重构后的信号在时间上是与输入 信号对齐的。

图8表示按照先有技术，亦即在传统的sigma-delta调制之后对编 码信号加水印的效果。在所述实施例中，传统的sigma-delta调制器的 -1样值73(图7)被+1样值74代替。这一代替不影响编码过程，并使余 下的编码输出信号75保持不变。标号76表示接收端的重构信号。与 图7中的重构信号72的差在77处显现出来(在所述图中由于信号的时 间对齐而在时间上较早)，并在整个余下的译码过程起波纹。这里可以 再次看到信噪比显著降低。

图9表示按照本发明嵌入同样的水印样值74的效果。现在这个水 印的作用被反馈到输入端，并在水印插入后通过对输入信号的不同编 码而得到补偿。现在重构信号明显更好地类似于输入信号。

图6所示的以2822400(64*44100)Hz的采样频率f对高质量音频 信号进行编码用的sigma-delta调制器的一个实际例子具有115dB的信 噪比。已经发现，每100个样值替换1个样值会使量化噪音增大1dB。 这相当于28000位/秒的水印位速率。

图10表示从图2所示电路产生的delta调制信号或从图6所示电 路产生的sigma-delta调制信号中提取嵌入的水印用的电路。已修改的 编码信号z加在以选择信号s作为时钟脉冲的寄存器100的数据输入 端。寄存器100的输出是水印的位组合w。选择信号s确定位流中的 哪一位是水印位。这种选择信号是由除法器级101产生的，后者用给 定的的数目N、例如100除采样频率。假定所述信号与发射机中的相 应的采样信号s同步。可以通过在水印信号w中提供预定的同步位组 合来实现同步。在这样的实施例中，同步检测器102检测所述位组合， 并改变除法器级101的相位直至检测到所述同步位组合为止。

图11表示一种用于提取嵌入的水印的电路，若在接收机端可以得 到原来的输入信号x，则可采用所述电路。所述电路包括与图1所示 的相应的发射机相同的编码器1。但是，现在反馈回路接收水印信号 z。因此，重构的预测信号 与发射机端产生的相同。本机编码信号y 和所接收的信号z加到提取电路3上，后者完成与图1修改电路2相 反的操作。例如，若水印信号是加到MPEG编码器的DCT系数上的 实数序列，则提取电路就是减法器。

图12是用于从(sigma-)delta调制信号中提取水印的具体的实施 例。在所述图中，标号21-23构成与图2中所示相同的delta调制器。 提取电路3包括“异”门301，后者检测加了水印的信号z的位与编 码信号y的对应位是否相等。若它们不相等，则已经检测到水印信号z 带有倒置的位的位周期。把所述检测到的信号加在以采样频率f作时 钟的计数器302上，而且若两个相继的倒置的位之间的位周期个数是 第一给定数(例如75)，则产生二进制”0”。而若位周期的所述个数是第 二给定数(例如125)，则产生二进制”1”。

图13表示举例说明这一实施例的操作的信号波形。标号130表示 原来的输入信号x，标号131表示所接收的加有水印的信号z，而标 号132表示通过对加有水印的信号进行译码而获得的预测信号 。标 号133表示本机极性检测器22(图12)的输出信号。在所述图中很容易 看出，本机极性检测器产生-1’(表示为134)的输出，而所接收的信号z 包括+1(表示为135)。这一差异由“异”门301(图12)检测出来。用类 似的方法，所述“异”门检测出表示为136和137的水印位的出现。 计数器302(图12)对检测到的水印位之间的位周期的个数进行计数。在 本(简化的)实施例中，15个位周期的距离代表水印位组合的”0”，而7 个位周期的距离代表水印位组合的”1”。

总而言之，描述了一种在由具有反馈回路的编码器，例如， sigma-delta调制器(21,22,23)编码的信号中嵌入水印的方法。通过用水 印位组合的样值修改编码信号(y)的选定样值(例如，每隔99位代替一 次)把数字水印位组合(w)嵌入信号(y)中。修改样值用的电路(24)处于所 述编码器的回路内。这样，加水印的效应在随后的编码过程中被补偿， 而信噪比仅仅略受影响。