技术领域

本发明涉及可以有效保护数字信号版权的信号处理装置与信号处理方 法。

技术背景

由于因特网等的发展，例如，可以通过网络从Web(万维网)网点将音乐 作品发布到不定数目的用户的的计算机；因此，侵犯音乐作品版权成为问题。

图22示出用于解释音乐作品的版权是如何被侵犯的示意图。

如图22所示，在网络1上的Web网点(服务器)2，利用CD播放器4，对 需要保护版权的CD(压缩光盘)3进行再现并将通过此再现过程获得的音频数 据S4a按MPEG一层3(运动图象专家组)(以下简称“MP3”)标准进行压缩以产 生MP3文件S5a。

接着，不定数目的计算机71至7n通过网络1访问位于Web网点2的计算 机6，并且与CD3有关的MP3文件S5a被下载到不定数目的计算机71至7n。

接着，用户将MP3文件5a分别从计算机71至7n输出到MP3记录设备81 至8n。

如图23所示，将MP3文件5a输入到MP3记录设备81至8n每个的各端子 10，然后通过端子13和开关14写入MP3播放器151至15n中对应之一的半导 体存储器16，如：EEPROM(电可擦除可编程只读存储器)。

然后，利用MP3解码器17，对从MP3播放器17的半导体存储器16中读 出的MP3文件S5a进行解码，然后，根据解码结果从耳机18输出声音。在这 点上，从耳机18输出的声音的质量几乎与利用CD播放器4再现CD3获得的 质量相同。

此外，如图23所示，MP3记录设备81至8n每个具有解码器11，并且， 当通过端子9将CD播放器再现的未压缩音频信号输入MP3解码器11时，MP3 解码器11以MP3标准对音频信号S9进行压缩以产生MP3文件S11。然后， 例如，为了通过端子12和开关14仅将由音频信号S9产生的一代MP3文件 S11写入半导体存储器16，MP3解码器8m利用SCMS(串行复制管理系统)来控 制复制。

如上所述，根据SCMS，图22和图23所示的MP3解码器81至8n具有保护 从CD再现的未压缩音频数据S9的版权的功能。然而，由于通过网络1输入 的MP3文件被无条件地写入MP3播放器151至15n的半导体存储器16，所以， 就产生了用户可能侵犯版权的问题。

通过网络发布(distribute)压缩之后的视频信号时，会发生同样问题。

发明公开

本发明是鉴于现有技术的上述问题完成的，并且目的在于提供一种信号 处理装置和信号处理方法，利用这种装置和方法可以检测数字信号是否被压 缩而且可以有效抑制对如通过网络发布到不定数目用户的的压缩数字信号侵 犯版权。

为了解决现有技术的上述问题并达到上述目的，根据本发明第一方面的 信号处理装置检测数字信号是否被进行了压缩处理，并且该装置的特征在于 包括：存储装置，用于存储第一信息量，第一信息量被用作检测具有嵌入到 其内的电子水印信息的数字信号是否已被压缩处理的基准，该第一信息量为 电子水印信息量；提取装置，用于提取包含在待检测的数字信号中的电子水 印信息；以及检测装置，用于检测第二信息量并将第一信息量与第二信息量 进行比较以检测是否对待检测的数字信号进行了压缩处理，该第二信息量是 所提取的电子水印信息的信息量。

在根据本发明的信号处理装置中，首先，提取电路提取包含在待检测的 数字信号中的电子水印信息。

然后，检测电路检测作为提取的电子水印信息量的第二信息量并将第二 信息量与从存储装置读出的第一信息量进行比较，以根据比较结果检测是否 对待检测的数字信号进行了压缩处理。

如果对数字信号进行了压缩处理，那么，由于在压缩处理期间产生量化 误差，所以，至少一部分嵌入到数字信号中的电子水印信息的信息量被丢失。 因此，通过将作为从待检测的数字信号中提取的电子数字水印信息的信息量 的第二信息量与用作检测在其内嵌入了数字水印信息的数字信号是否被进行 了压缩处理的基准的第一信息量进行比较，可以检测是否对待处理的数字信 号进行了压缩处理，该第一信息量为电子水印信息的信息量。

或者，根据本发明的信号处理装置检测是否对数字信号进行了压缩处 理，并且，该信号处理装置的特征在于包括：比较装置，用于根据数字信号 频域的转换因数确定预定频率分量的电平和极性；存储装置，用于存储第三 阈值，第三阈值被用作检测数字信号是否被进行了压缩处理的基准；以及检 测装置，用于根据比较装置的结果以及第三阈值，检测是否对数字信号进行 了压缩处理。

或者，根据转换因数，比较装置检测预定第一频率分量和在频率轴上偏 移第一频率分量一预定距离获得的第二频率分量的多个组之一，其中至少有 一个频率分量具有会由于压缩处理而丢失的电平。比较装置将所检测的组的 第一频率分量的极性与其相应的第二频率分量的极性进行比较。根据由比较 装置获得的结果，检测装置将具有与第三阈值一致的极性的各组的比率进行 比较。以检测数字信号是否已被压缩处理。

或者，存储装置存储第四阈值，第四阈值被用作检测在数字信号内是否 嵌入了电子水印信息的基准。根据转换因数，比较装置检测预定第一频率分 量和在频率轴上将第一频率分量偏移预定距离获得的第二频率分量的多个组 之一，其中两个频率分量均具有这样的电平，即它们不会由于压缩处理而被 丢失。比较装置将检测的组的第一频率分量的极性与其相应的第二频率分量 的极性进行比较，然后，根据比较装置获得的结果，检测装置将具有和第四 阈值一致的极性的各组的比率进行比较以检测在数字信号内是否嵌入了数字 水印信息。

在根据本发明第二方面的信号处理装置中，电子水印信息检测电路进行 的处理与信号处理装置进行的处理相似。为了保护版权，如果未对数字信号 进行压缩处理，则允许将数字信号写入再现装置的存储器，否则，就禁止将 数字信号存储到再现装置的存储装置。

或者，根据本发明第三方面的信号处理装置将电子水印信息嵌入数字信 号，该信号处理装置具有信号嵌入电路，用于将电子水印信息嵌入到数字信 号中，以在压缩时使预定信息量或更大信息量从电子水印信息中丢失。

附图的简要说明

图1示出根据本发明第一实施例的音乐发布系统的方框图；

图2示出用于解释另一种形式的MP3解码器的示意图；

图3示出图1所示的电子水印信息嵌入装置的方框图；

图4示出图3所示的音频信号和电子水印信息信号的频谱图；

图5示出图1所示的MP3编码器的方框图；

图6示出图1所示的MP3记录装置和MP3播放器的方框图；

图7示出图6所示的用于处理音频信号的电子水印信息检测电路的方框 图；

图8示出用于解释由图7所示的电子水印信息检测电路完成的处理过程 的示意图；

图9示出图7所示的检测电路完成的处理过程的流程图；

图10示出图6所示的用于处理MP3文件的电子水印信息检测电路的方框 图。

图11示出图10所示的检测电路的处理过程的流程图；

图12示出图6所示的MP3播放器的MP3解码器17的方框图；

图13示出根据本发明第二实施例的音乐发布系统的方框图；

图14示出图13所示的电子水印信息嵌入装置的方框图；

图15示出用于解释由图14所示的电子水印信息嵌入装置完成的处理过 程的示意图；

图16示出用于解释图14所示的电子水印信息嵌入装置所使用的频率掩 蔽标识符的示意图；

图17示出图13所示的MP3记录装置的方框图；

图18示出图17所示的用于处理音频信号的电子水印信息检测电路的方 框图；

图19示出图17所示的用于处理MP3文件的电子水印信息检测电路的方 框图；

图20示出用于解释图18和图19所示的根据本发明的第二实施例的变型 实施例1的检测电路完成的处理过程的示意图；

图21示出用于解释根据本发明的第二实施例的其它变型实施例的示意 图；

图22示出传统音乐发布系统的方框图；

图23示出图22所示的MP3记录装置和MP3播放器的方框图；

实现本发明的最佳方式

根据本发明实施例的音乐发布系统。 第一实施例

图1示出根据此实施例的音乐发布系统的方框图。

如图1所示，在音乐发布系统30中，在Web网点2的计算机6通过网络 1连接到用户321至32n的计算机71至7n。n为任意整数。 音乐发布系统30的简要说明

在图1所示的音乐发布系统中，CD 33所具有的电子水印信息是由电子 水印信息嵌入装置31以这样的方式嵌入到音频信号的电子水印信息，即依赖 于音频信号的声音的听觉不会象如下所述那样变差或易被消除。此外，以下 将说明，当利用电子水印信息嵌入装置31嵌入音频信号的电子水印信息例如 被以MP3标准压缩时，约有50％的信息量被丢失而保留剩余的50％。

因此，当利用CD播放器对在Web网点2销售的CD 33进行再现产生音频 信号S4，然后，MP3编码器5对音频信号S4进行解码产生MP3文件S5时， 保留在MP3文件S5内的电子水印信息的比率约为50％。

通过计算机6将MP3文件S5下载到不定数目的用户321至32n的任意计 算机71至7n。

当用户321至32n试图利用MP3记录装置381至38n将下载的MP3文件存储 到MP3播放器151至15n时，在MP3记录装置381至38n完成以下处理过程。

MP3记录装置381至38n检测到包含在从计算机71至7n输入的MP3文件 S5中的电子水印信息的比率约为50％，为了保护版权，不将MP3文件S5存 储到MP3播放器151至15n。另一方面，如果包含在从计算机71至7n输入的 MP3文件S5内的电子水印信息的剩余比率约为0％，那么，将MP3文件S5 存储到MP播放器151至15n。

如果MP3压缩音频信号起初没有电子水印信息嵌入到其内，那么，电子 水印信息的剩余比率约为0％；这种情况下，认为不是必须进行复制控制来 保护版权。

此外，如果包含在输入音频信号内的电子水印信息的剩余比率约为100 ％，那么，根据SCMS，MP3记录装置381至38n以MP3标准仅压缩一代音频信 号，然后，将它们存储到MP3播放器151至15n。

在这种情况下，例如，如图2所示，如果由CD播放器4再现的音频信号 S4被直接输入到MP3记录装置381值38n，那么电子水印信息的剩余比率为 100％。

以下将详细说明图1所示的音乐发布系统30的各单元。 电子水印信息嵌入装置31

图3示出电子水印信息嵌入装置的方框图。

如图3所示，电子水印信息嵌入装置包括端子51和端子52、FFT(快速 傅立叶变换)处理电路53、乘法电路54、变频滤波电路55以及加法电路56。

端子51将输入的音频信号S51输出到FFT处理电路53和加法电路56。

端子52将输入的电子水印信息S52输出到乘法电路54。

FFT处理电路53将音频信号S51由时域转换到频域以产生频谱S53。然 后，将频谱S53输出到变频滤波电路55。

乘法电路54将电子水印信息S52乘以小幅值的PN(伪噪声)序列信号S57 以在宽频率范围内扩展电子水印信息S52的频谱，从而产生超低电平电子水 印信息信号S54。然后，将电子水印信息信号S54输出到变频滤波电路55。

变频滤波电路55利用依赖于频谱S53的滤波特性对电子水印信息信号 S54进行滤波，以产生电子水印信息信号S55，然后，输出到加法电路56。

在这方面，如图4所示，电子水印信息信号S55的频谱61的形状与音频 信号S51的频谱60的形状相似。

加法电路56将端子51输出的音频信号S51与变频滤波电路55输出的电 子水印信息信号S55相加以产生在其内嵌入了电子水印信息的音频信号 S31。如图1所示，加法电路56将音频信号S31记录到CD33。

此时，将电子水印信息信号S55嵌入音频信号S51，用作每个包括构成 音频信号S51的采样的预定采样数的单元、模块。可以部分地或贯穿整个音 频信号S51将电子水印信息信号S55嵌入。

在这方面，然而，还可以嵌入电子水印信息信号以便在利用解码技术 如：MP3进行压缩时，约50％的信息量被丢失而保留剩余信息量。

CD播放器4

CD播放器4是通用的，当利用光学头读取记录在CD 33记录表面的音频 信号时，CD播放机4旋转CD 33，然后将读取的音频信号S4输出到MP3编码 器5。 MP3编码器5

图5示出MP3编码器5的方框图。

如图5所示，MP3编码器5包括32子带分割电路62、MDCT处理电路63、 比例系数提取电路64、FFT处理电路65、掩蔽计算电路66、非线性量化霍夫 曼编码电路67以及帧打包(packing)电路68以产生MP3文件S5。在MP3文 件S5中，在音频信号S4中的信息量被压缩到约十分之一。

32子带分割电路62将从图1所示的CD播放器4输入的音频信号S4分 割为32个频带，然后，作为音频信号S62输出到MDCT处理电路63。

MDCT处理电路63进行用于减少块失真的MDCT(改进型离散余弦变换)以 从包含在音频信号S62的512个采样值中获得256个MDCT系数，并将MDCT 系数S63输出到比例系数提取电路64。

比例系数提取电路64将256个MDCT系数进行归一化，例如使它们的最 大值为1，并将此比例系数作为比例系数S64输出到非线性量化霍夫曼编码 电路67。

利用作为一个单元的1024个采样值，FFT处理电路65对音频信号S4进 行FFT处理以产生FFT变换系数S65，然后，将它输出到掩蔽计算电路66。

根据FFT变换系数S65，掩蔽计算电路66利用听觉掩蔽特性计算掩蔽曲 线并将计算结果S66输出到非线性量化霍夫曼编码电路67。

非线性量化霍夫曼编码电路67利用比例系数S64和掩蔽曲线的计算结 果S66对MDCT系数S63进行非线性量化和霍夫曼编码处理以产生编码数据 S67，编码数据S67被输出到帧打包电路68。

在这种情况下，当对MDCT系数S63进行非线性量化时，由于在量化中 产生误差，所以有关音频信号S4的每个频率分量的电平信息被丢失。

帧打包电路68将帧头部信息和位分配信息附加到编码数据S67以产生 MP3文件S5，然后，将MP3文件S5输出到图1所示的计算机6。 计算机6

通过网络从计算机71至7n接收请求信号后，计算机6将MP3文件S5通 过网络1发送到已发送请求信号的计算机71至7n。 计算机71至7n

计算机71至7n每个将请求信号通过网络1发送到计算机6并根据请求信 号通过网络1从计算机6接收(下载)MP3文件S5。 MP3记录装置38m

图6示出MP3记录装置38m的方框图。m为1≤m≤n的任意整数。

如图6所示，MP3记录装置38m包括MP3编码器11、电子水印检测电路 45和46、开关47以及切换电路48。

实际上，MP3编码器11与图5所示的上述MP3编码器5的结构相同。

MP3编码器11对从端子49输入的未压缩音频信号S49进行压缩并将获 得的MP3文件S11输出到端子42。

图7示出电子水印信息检测电路45的方框图。

如图7所示，例如，电子水印信息检测电路45包括FFT处理电路70、 变频滤波电路71、乘法电路72、存储电路73以及检测电路74。

FFT处理电路70将从图6所示的端子48输入的音频信号S49由时间域 转换为频域以产生频谱S70，然后，将频谱S70输出到变频滤波电路71。

变频滤波电路71利用依赖于频谱S70的滤波特性对包含在音频信号S49 内的电子水印信息信号S71进行滤波，以提取并输出电子水印信息信号S71。

乘法电路72将电子水印信息信号S71乘以PN序列信号S57，PN序列信 号S57与如图3所示在写入电子水印信息时使用的PN序列信号相同，因此， 通过从其内去除PN序列码可以产生源电子水印信息信号S72。乘法电路72 将电子水印信息信号S72输出到检测电路74。

存储电路73存储如图8A所示并对应于利用电子水印信息嵌入装置31 嵌入的电子水印信息信号中的信息量的基准值Ref以及图8B所示的阈值Th1 和Th2。

图9示出由检测电路完成的处理过程的流程图。

图9所示的检测电路74利用图8B所示的阈值Th1和Th2完成以下处理 过程。

步骤S1：检测电路74检测从图7所示的乘法电路72输入的电子水印信 息信号S72的信息量。

步骤S2：检测电路74将在步骤S1检测的信息量除以从存储电路73输 出的基准值Ref以获得剩余比率。

步骤S3：检测电路74确定在步骤S2计算的剩余比率是否大于80％，即 确定由电子水印信息信号S72指示的电子水印信息的剩余比率是否大于阈值 Th1，如图8C所示。如果检测电路74确定该比率大于80％，那么，就进行 步骤S5的处理过程，否则，就进行步骤S4的处理过程。

步骤S4：检测电路74确定在步骤S2计算的剩余比率是否小于20％，即 确定由电子水印信息是S72指示的电子水印信息的剩余比率是否小于阈值 Th2，如图8D所示。如果检测电路74确定此剩余比率小于20％，那么，就 进行步骤S5的处理过程，否则，就进行步骤S6的处理过程。

步骤S5：检测电路74将指示允许进行复制的检测信号S45输出到图6 所示的切换电路48。

如果电子水印信息信号S72的剩余比率大于80％(如图8B所示)或小于 20％(如图8D所示)，则进行步骤5的处理过程。如果电子水印信息信号S72 的剩余比率大于80％，就可以确定还没有以MP3等标准对图6所示的音频信 号S49进行压缩，而是，例如通过利用图2所示的CD播放器4再现CD获得 音频信号S49。这样，即使音频信号S49被压缩并记录到MP3播放器15m的半 导体存储器16，不大可能非法侵犯版权。换句话说，如果电子水印信息信号 S72的剩余比率小于20％，则可以确定音频信号S49起初不含有电子水印信 息，而且，即使音频信号S49被压缩并记录到MP3播放器15m的半导体存储 器16，不大可能非法侵犯版权。

步骤S6：检测电路74将指示不允许进行复制的检测信号S45输出到图6 所示的切换电路48。

如果嵌入的音频信号S49的电子水印信息信号S72的剩余比率等于或大 于20％和等于或小于80％(如图8C所示)时，进行步骤S6的处理过程。在这 种情况下，可以确定已对音频信号S49进行了MP3压缩处理。因此，如果音 频信号S49被记录在MP3播放器15m的半导体存储器16，就有可能非法侵犯 版权。

如上所述，电子水印信息信号S72的剩余比率是因为，如果音频信号S49 被压缩，则会由于在压缩处理期间进行的量化处理过程中产生量化误差使得 至少部分电子水印信息被丢失，因此，增加了误差率，以防止电子水印信息 被完全解码。

图10示出电子水印信息检测电路46的方框图。

如图10所示，例如，电子水印信息检测电路45包括FFT处理电路70、 变频滤波电路71、乘法电路72、存储电路73、MP3解码器75以及检测电路 76。

在图10中，与图7中的相同标号表示的单元与用相同标号表示的电子 水印检测电路45的单元相同。

即，电子水印信息检测电路46与电子水印检测电路45的不同之处在于 在FFT处理电路70之前增加了MP3解码器75以及检测电路76具有不同的处 理内容。

在电子水印检测电路46中，MP3解码器75解压缩从图6所示的端子50 输入的MP3文件S50以产生音频信号S75，然后将音频信号S75输出到FFT 处理电路70。

FFT处理电路70、变频滤波电路71以及乘法电路72根据音频信号S75 完成的处理过程与上述电子水印信息检测电路45完成的过程相同。

下面将说明检测电路76完成的处理过程、

步骤S11：检测电路76检测从图10所示的乘法电路72输入的电子水印 信号S72的信息量。

步骤S12：检测电路76将在步骤S11检测的信息量除以从存储电路73 读取的基准值Ref以计算剩余比率。

步骤S13：检测电路76确定在步骤S12计算的剩余比率是否小于20％， 即确定电子水印信息信号S72指出的电子水印信息的剩余量是否小于阈值 Th2，如图8D所示。如果检测电路76确定剩余比率低于20％，那么，就进 行步骤S14的处理过程，否则就进行步骤S15的处理过程。

步骤S14：检测电路76将指示允许进行复制的检测信号S46输出到图6 所示的切换电路48。

即，如果电子水印信息信号S72的剩余比率小于20％，就可以确定MP3 文件S50(S5)起初没有电子水印信息嵌入在其内。因此，即使MP3文件S50 被压缩并被存储到MP3播放器15m的半导体存储器16，仍不会非法侵犯版权。

步骤S15：检测电路76将指示不允许复制的检测信号S46输出到图6所 示的切换电路48。

这是因为如果电子水印信息信号S72的剩余比率大于20％，MP3文件S50 将具有嵌入在其内的电子水印信息。

根据切换电路48提供的转换控制，开关47进入三种状态之一，即连接 到端子42、连接到端子43以及不与端子42和端子43相连。

如图6所示，切换电路48接收由图7所示的电子水印检测电路45输入 的检测信号S45和从图10所示的电子水印信息检测电路46输入的检测信号 S46，并且，如果检测信号S5指示允许复制，则控制开关47连接到端子42， 如果检测信号S46指示允许复制，则控制开关47连接到端子43。否则，切 换电路48控制开关47即不连接到端子42也不连接到端子43。 MP3播放器151至15m

图6示出MP播放器15m的方框图。

如图6所示，MP3播放器15m具有半导体存储器16和MP3解码器17。

MP3播放器15m可以可地连接到MP3记录装置38m，并且，例如，当通过 网络1下载的MP3文件等被写入半导体存储器16时或当利用CD播放器4再 现的音频信号S4被压缩并被写入图2所示的半导体存储器16时，实现这种 连接。将MP3记录装置38m输出的MP3文件写入半导体存储器16后，MP3播 放器15m就与MP3记录装置38m断开，然后，用作便携式播放器。

例如，半导体存储器16为EEPROM(电可擦除可编程只读存储器)，例如： 存储容量为32MB到64MB)并存储从MP3记录装置38m输入的MP3文件S11和 MP3文件S50(S5)。

在此实施例中，半导体存储器被作为存储电路进行了说明，但是，也可 以使用其它存储电路或诸如MD(迷你盘)的记录介质。

图12示出MP3解码器17的方框图。

如图12所示，MP3解码器17具有帧分解电路80、霍夫曼解码电路81、 逆量化电路82、逆MDCT电路83以及子带合成电路。

帧分解电路80将从半导体存储器16读取的MP3文件S16进行分解以获 得编码数据S80，然后，将解码数据S80输出到霍夫曼解码电路81。

霍夫曼解码电路81对编码数据S80进行霍夫曼解码以产生数据S81，然 后，将数据S81输出到逆量化电路82。

逆量化电路82对数据S81进行逆量化以获得MDCT系数S82，然后，将 MDCT系数S82输出到逆MDCT电路83。

逆MDCT电路83对MDCT系数S82进行逆MDCT处理以获得音频信号S83， 然后，将音频信号S83输出到子带合成电路84。

子带合成电路84对音频信号S83进行子带合成以产生并再现音频信号 S15m，然后，将音频信号S15m输出到耳机18。 耳机18

耳机18输出与音频信号S15m对应的声音。

以下将说明图1所示的音乐发布系统30的一般操作方式。

第一种操作方式

在音乐发布系统30中，例如，根据作者的要求，CD33的制造商利用图3 所示的电子水印信息嵌入装置31将电子水印信息信号S55嵌入音频信号S51 以产生音频信号S31，这样就可以制造在其上记录了音频信号S31的CD33。

在这种情况下，当以MP3标准压缩时，从电子水印信息信号S55中约丢 失50％的信息量，保留的剩余信息量为50％。

例如，CD33被Web网点2的所有人装运然后销售。

在Web网点2，利用CD播放器4再现CD33以产生音频信号S4，然后， 图5所示的MP3编码器以MP3标准对音频信号S4进行压缩以产生MP3文件 S5。

在这种情况下，保留在MP3文件S5内的电子水印信息的剩余比率约为 50％。

然后，通过计算机6将MP3文件S5下载到属于不定数目的用户31m的任 意计算机71至7n。

当用户32m试图利用图6所示的MP3记录装置38m将下载的MP3文件S5 存储到MP3播放器15m时，MP3记录装置38m执行下列处理过程。

根据图11所示的流程图，MP3记录装置38m利用图6和图10所示的电子 水印信息检测电路46检测包含在MP3文件S5中的电子水印信息的剩余比 率。由于剩余比率等于或大于20％，MP3记录装置38m确定文件具有嵌入在 其内的电子水印信息并且已被压缩，然后，将检测信号S46输出到切换电路 48指示禁止复制。

结果，图6所示的切换电路48不连接到端子43，因此，防止将MP3文 件S5从MP3记录装置38m写入MP3播放器15m。

因此，即使在其内嵌入电子水印信息的音频信号被压缩为MP3文件S5， 然后，通过网络1将MP3文件S5发布到不定数目的用户的计算机7m，用户 32m仍不能在MP3播放器15m中使用MP3文件S5。结果，就可以有效抑止侵犯 版权。

如果利用MP3编码器5将在其内没有嵌入电子水印信息的音频信号压缩 为MP3文件S5，然后，通过网络1从Web网点2上的计算机7(6)发布到计算 机7m，那么，图6和图10所示的电子水印信息检测电路46的检测电路76 确定电子水印信息信号S72的剩余比率小于20％，并将检测信号S46输出到 切换电路48指示允许复制(图11所示)，使开关47连接到端子43。因此， 可以将MP3文件S5从MP3记录装置38m写入MP3播放器15m的半导体存储器 16。 第二种操作方式

例如，如图2所示，如果用户将CD播放器4连接到图6所示的MP3记录 装置38m的端子49以将利用CD播放器4再现的音频信号S4(S49)输入到MP3 记录装置38m，MP3记录装置38m进行以下处理过程。

根据图9所示的流程图，因为，电子水印信息的剩余比率大于80％，所 以，MP3记录装置38m利用图6和图7所示的电子水印信息检测电路45确定 音频信号在其内嵌入了电子水印信息但未被压缩。然后，如果根据SCMS只 复制了一代，那么，MP3记录装置38m将开关47连接到端子43。

然后，MP3记录装置38m将通过利用MP3编码器压缩音频信号S4产生的 MP3文件S11写入半导体存储器16。

以这种方式，如果根据SCMS只复制了一代，那么，MP3记录装置38m可 以将由CD播放器4再现而且未被压缩的音频信号写入MP3播放器15m的半导 体存储器16。

如上所述，根据本实施例的音乐发布系统30，电子水印信息信号所具有 的形式是可以用于确定电子水印信息的存在并确定数字信号是否被压缩。或 者，通过将音频信号使用控制信息加到此电子水印信息，可以将上述形式的 电子水印信息信号用来确定电子水印信息的存在，并确定数字信号是否已被 压缩，并且用来识别使用控制信息。通过允许音频信号被复制预定次数(复制 控制)、允许音频信号只在预定期间内被再现(再现控制)，或允许音频信号被 无限制使用，该使用控制信息对音频信号的使用进行控制。不仅如此，待附 加到音频信号的电子水印信息可以包括关于音频信号的信息，如作者的 ID(识别符)或作品的ID。根据本实施例的发布系统以音频信号为例进行了说 明，但是本发明并不局限于此而可以应用于任何内容，例如：动画图象、静 止图象以及游戏等。

第二实施例

图13示出根据此实施例的音乐发布系统100的方框图。

如图13所示，除了电子水印信息嵌入装置91和MP3记录装置1381到138 n之外，音乐发布系统100与图1所示的上述音乐发布系统30具有相同的配 置。

即在图13中CD33、CD播放器4、MP3编码器5、计算机6、网络1、计 算机71至7n以及MP3播放器151至15n与图1中具有相同标号的单元相同。

以下将详细说明电子水印信息嵌入装置91和MP3记录装置1381至138n。 电子水印信息嵌入装置91

图14示出用于本实施例的电子水印信息嵌入装置91的方框图。

如图14所示，电子水印信息嵌入装置91具有MDCT处理电路92、系数 移位与衰减电路93、加法电路94以及I(逆)MDCT电路95。

MDCT处理电路92利用作为一个单元的1024个采样值的数据对从端子 101输入的音频信号S51进行MDCT处理。因此，MDCT处理电路92产生1024 个频率分量的MDCT系数，并将它输出到系数移位与衰减电路93和加法电路 94。

根据电子水印信息S52，系数移位与衰减电路93对1024个频率分量中 的多个预定的一个嵌入电子水印信息。

即根据固定比例，系数移位与衰减电路93衰减要将电子水印信息嵌入 其中的频率分量，然后，利用MDCT系数S92在频率增加方向进行如移位四个 频率分量的移位处理。系数移位与衰减电路93衰减通过上述处理获得的新 MDCT系数S93，然后，将其输出到加法电路94。

加法电路94将MDCT处理电路92输出的MDCT系数S92与系数移位与衰 减电路93输出的MDCT系数S93相加以产生MDCT系数S94，然后，将系数S94 输出到IMDCT电路95。

IMDCT电路95对从加法电路输出的MDCT系数S94进行IMDCT转换，以 产生时间域的音频信号S91。

电子水印信息嵌入电路91将音频信号S91记录到CD 33。

图15示出用于解释由系数移位与衰减电路93和加法电路94完成的处理 过程的示意图。

例如，如图15A所示，为了对预定第一频率分量f1和f2嵌入电子水印信 息，系数移位与衰减电路93利用MDCT系数S92沿频率从频率分量f1和f2增 加的方向对频率电平(level)进行移位四个频率分量的移位处理，通过以固定 比例衰减第一频率分量f1和f2的电平获得其频率电平。因此，系数移位与衰 减电路93产生MDCT系数S93。

加法电路94利用MDCT系数S92和S93对通过移位图15A和图15B所示 的第二频率分量f3和f4获得的电平进行加法处理。因此，将电子水印信息S52 嵌入音频信号S51，并在图15C示出第二频率分量f3和f4的电平。

在这种情况下，在电子水印信息被嵌入之前，第一和第二频率分量f1和 f3为异极性，而在电子水印信息嵌入之后就为同极性(正极性)。第一和第二 频率分量f2和f4在电子水印信息嵌入之前和之后就为同极性(负极性)。

当以固定比例衰减获得频率电平时，已确定在其内嵌入了电子水印信息 的第一频率分量的电平与将第一频率分量偏移四个频率分量获得的第二频率 分量的电平相加，那么，在电子水印信息嵌入后，第一和第二频率分量的电 平很可能会变成同极性。以下将说明电子水印信息检测电路利用这一点来检 测电子水印信息。此外，根据固定比例对第一频率f1和f2的电平进行衰减， 然后，与第二频率分量f3和f4相加，并且，在这种情况下，第一和第二频率 分量在相加之后具有预定电平或更低，以致在某个衰减比例时，由于，在压 缩期间存在量化误差，所以，电平会等于或接近于0。即，根据此实施例， 最好是，在频率分量被移位后，第一和第二频率分量为同极性具有更高概率， 并且最好在压缩之后等于或小于预定电平的频率分量被丢失。此外，如下所 述，根据由于在压缩期间的量化误差使得电平等于或接近0的事实，电子水 印信息检测电路确定具有预定电平或低于该电平的那些第一和第二频率分量 是否已被压缩。在上述描述中，以固定的比率衰减第一频率分量，但是，在 同极性和压缩后，只要求通过移位获得的某些第一和第二频率分量几乎变成 0，并且，并不特别要求固定比率。也就是说，可以对各频率分量提供任意不 同的衰减率。

例如，将电子水印信息嵌入1024个频率分量的约100个第二频率分量。

此外，如上所述，此实施例说明了在频率轴上将通过衰减第一频率分量 的电平获得的频率电平与将第一频率分量偏移四个频率分量获得的第二频率 分量的电平相加以嵌入电子水印信息。然而，频率轴上第一频率分量与第二 频率分量之间的距离不局限于4。

此外，将电子水印信息信号S52嵌入用作包括构成音频信号S51的采样 的预定采样数的单元、模块的音频信号S51。可以部分地或贯穿整个音频信 号S51将电子水印信息信号S52嵌入。

如上所述，在嵌入电子水印信息时，最好将掩蔽效应考虑在内。

例如，掩蔽效应是这样的，如图16所示，如果频率在对数标度的横轴 上标出，同时，声压大小在纵坐标轴上标出，那么，人类的听觉对掩蔽曲线 110以下的声音没有反应。在这种情况下，如同从图16所示的掩蔽曲线看到 的那样，人类的听觉对邻近某个高音的100Hz带宽的临界频带区域内的小的 声音没有反应。因此，当将电子水印信息嵌入临界带域内的频率分量，同时 控制上述系数移位与衰减电路93用来衰减第一频率分量的电平所使用的比 例以使声压大小低于掩蔽曲线110时，就可以避免由嵌入电子水印信息引起 的音频信号质量的变差。

此外，如上所述，在嵌入电子水印信息时，最好将电子水印信息对由图 13所示的MP3编码器5执行的信号压缩的耐受度(tolerance)考虑在内。

即，如上所述，MP3编码器5中的非线性量化霍夫曼编码电路67进行量 化，并且由于在量化处理中包括的比特缩减处理期间的量化误差，可能会引 起具有小的声压大小的频率分量丢失。

因此，为了在音频信号中嵌入足以耐受压缩的电子水印信息，最好对上 述系数移位与衰减电路93为了衰减第一频率分量电平所使用的比例进行控 制，以使可以将电子水印信息嵌入在掩蔽曲线110指示的声压大小范围内具 有尽可能高的声压大小的音频信号中。 MP3记录装置1381至138n

图17示出图13所示的MP3记录装置138m的方框图。

如图17所示，MP3记录装置138m具有MP3编码器11、开关47、切换电 路48以及电子水印信息检测电路125和126。

如图17所示，除了电子水印信息检测电路125和126的配置不同外，MP3 记录装置138m与图6所示的MP3记录装置38m具有相同的配置。

图18示出电子水印检测电路125的方框图。

如图18所示，电子水印信息检测电路125具有MDCT处理电路120、系 数移位电路121、极性比较电路122、存储电路123以及检测电路124。

MDCT处理电路120利用作为一个单元的1024个采样值的数据对从图17 所示的端子49输入的音频信号S49进行MDCT处理。因此，MDCT处理电路120 产生1024个频率分量的MDCT系数以将此MDCT系数120输出到系数移位电路 121和极性比较电路122。

系数移位电路121利用MDCT系数120在频率增加的方向对其中要检测电 子水印信息的预定第一频率分量移位四个频率分量以获得MDCT系数S121， 然后，将MDCT系数S121输出到极性比较电路122。

根据从MDCT处理电路120输入的MDCT系数S120和从系数移位电路121 输入的MDCT系数S121，极性比较电路122将其中要检测电子水印信息的预 定第一频率分量与沿频率增加的方向将第一频率分量偏移四个频率分量获得 的第二频率分量进行比较，以产生指示比较结果的比较信号S122。

在这种情况下，极性比较电路122利用MDCT系数S120和S121来确定第 一频率分量和第二频率分量的电平以检测第一频率分量和与第一频率分量对 应的第二频率分量的组之一，其中，第一频率分量和第二频率分量均具有这 样的电平以致即使在图13所示的MP3编码器5进行压缩处理期间存在量化误 差它们也不会被丢失。极性比较电路122将该组的第一频率分量与其相应的 第二频率分量进行极性的比较，以产生比较信号S122a。

此外，极性比较电路122检测第一频率分量和对应于第一频率分量的第 二频率分量的组之一，其中至少第一频率分量和第二频率分量之一具有这样 的电平以致它会由于在图13所示的MP3编码器5进行压缩处理期间存在量化 误差而被丢失。极性比较电路122将该组的第一频率分量的极性与其相应的 第二频率分量的极性进行比较以产生比较信号S122b。

如上所述，存储电路123存储第一基准累积值和第二基准累积值，第一 基准累积值被用作确定电子水印信息是否已嵌入音频信号的基准，第二基准 累积值被用作确定音频信号是否已被压缩的基准。

第一基准累积值对应于例如80％的在其内嵌入电子水印信息并且具有 这样的电平以致即使进行了压缩处理它们仍不会被丢失的那些频率分量的数 目。第二基准累积值对应于例如20％的在其内嵌入电子水印信息并且具有这 样的电平以致由于进行了压缩处理它们被丢失的那些频率分量的数目。

对于其中第一和第二频率分量都具有这样的电平以致即使在利用MP3编 码器5进行压缩处理期间存在量化误差也不会被丢失的第一频率分量和第二 频率分量组，检测电路124根据比较信号S122a计算指示第一频率分量和第 二频率分量为同极性的组的数目的第一累积值。

如果第一累积值等于或大于从存储电路123读出的第一基准累积值，那 么，检测电路124确定电子水印信息已被嵌入到音频信号S49。

或者，对于其中至少一个频率分量具有这样的电平以致在利用MP3编码 器5进行压缩处理期间存在量化误差会被丢失的第一频率分量和第二频率分 量组，检测电路124根据比较信号S122b计算指出第一频率分量和第二频率 分量为同极性的组的数目的第二累积值。

如果第二累积值等于或小于从存储电路123读出的第二基准累积值，则 检测电路124确定音频信号S49已被压缩。

在这种情况下，由于如果音频信号S49已被压缩，说明频率分量被丢失， 所以，第二累积值基本为0。

确定音频信号S49具有嵌入在其内的电子水印信息并已被压缩后，检测 电路124将指示禁止复制的检测信号S125输出到图17所示的切换电路48。

或者，当确定音频信号S49未被压缩和/或没有嵌入其内的电子水印信 息时，检测电路124将指示允许复制的检测信号S125输出到图17所示的切 换电路48。

切换电路48根据检测信号S125执行的处理与上述第一实施例的相同。

图19示出电子水印信息检测电路126的方框图。

如图19所示，电子水印信息检测电路126具有霍夫曼解码器135、逆量 化电路130、系数移位电路131以及检测电路134。

霍夫曼解码器135对从图17所示的端子50输入的MP3文件S50(S5)进 行霍夫曼解码以产生解码数据S135，然后，将解码数据S135输出到逆量化 电路130。

逆量化电路130对解码数据S135进行逆量化以利用作为一个单元的 1024个频率分量产生MDCT系数S130，然后，将MDCT系数S130输出到系数 移位电路131和极性比较电路132。

系数移位电路131利用MDCT系数S130将检测到电子水印信息的预定第 一频率分量在频率增加的方向移位例如四个频率分量以获得MDCT系数 S131，然后，将MDCT系数S131输出到极性比较电路132。

根据从MDCT处理电路130输入的MDCT系数S130和从系数移位电路131 输入的MDCT系数S131，极性比较电路132将要检测电子水印信息的预定第 一频率分量与由第一频率分量在频率增加的方向偏移四个频率分量获得的第 二频率分量进行比较，以产生指示比较结果的比较信号S132。

存储电路133存储第一基准累积值，第一基准累积值被用作确定电子水 印信息是否嵌入音频信号的基准。如上所述，例如，第一基准累积值对应于 80％的在其内嵌入了电子水印信息并具有这样的电平以致即使进行了压缩处 理它们仍不被丢失的那些频率分量的数目。

对于其中第一和第二频率分量具有这样的电平以致即使在利用MP3编码 器5进行压缩处理期间存在量化误差也不会被丢失的第一频率分量和第二频 率分量组，检测电路134根据比较信号S132计算指示第一频率分量和第二频 率分量为同极性的组的数目的第一累积值。

如果第一累积值等于或大于从存储电路133读出的第一基准累积值，那 么，检测电路134确定电子水印信息被嵌入到音频信号S50(S5)。

切换电路48根据检测信号S126执行的处理与上述第一实施例的相同。

除了上述由电子水印信息嵌入电路91和MP3记录装置138m执行的处理 之外，音乐发布系统100的操作方式与根据上述实施例1的音乐发布系统的 操作方式相同。

音乐发布系统100的效果与根据上述第一实施例的音乐发布系统的效果 相同。 第二实施例的变型实施例

上述第二实施例说明了包含在图13所示的电子水印信息嵌入装置91中 并示于图14的系数移位与衰减电路93利用MDCT系数M92以固定比例对已确 定在其内嵌入了电子水印信息的频率分量进行相应的衰减处理，然后将衰减 的频率分量在频率增加的方向移位例如四个频率分量的情况。

相反，根据本变型实施例，系数移位与衰减电路93将通过衰减或放大 多个第一频率分量电平获得的频率电平与由相应的第一频率分量在频率轴上 偏移四个频率分量分别获得的第二频率分量相加。

在这种情况下，对于第一频率分量的预定第三频率分量，系数移位与衰 减电路93确定这样的每个第三频率分量要被衰减或放大的比例，以使相应的 第二频率分量的电平在相加之后变为等于或小于图20A所示的阈值Th3并等 于或大于图20B所示的阈值Th4。

在这种情况下，即使图13所示的MP3编码器5进行压缩处理期间存在量 化误差，仍可以防止电平等于或大于阈值Th4的频率分量被丢失。另一方面， 电平小于阈值Th4的频率分量会由于图13所示的MP3编码器5进行压缩处理 期间存在量化误差而被丢失。

对于第一频率分量的预定第四频率分量，系数移位与衰减电路93确定 每个第四频率分量被衰减或放大的比例以使相应的第二频率分量的电平在相 加之后变为等于或小于图20A所示的阈值Th3并小于图20B所示的阈值Th4。

具有高压缩耐受度的电子水印信息被嵌入第三频率分量所对应的第二 频率分量组部分，而具有具有低压缩耐受度的电子水印信息被嵌入第四频率 分量所对应的第二频率分量组部分。

在图20所示的实例中，第三频率分量和第四频率分量在频率轴上混合 在一起。

另一方面，在图17所示的电子水印信息检测电路125和126中，如果比 较信号S122a和S132指示一致极性，当图18所示的检测电路124和图19 所示的检测电路134分别对在其内嵌入了具有高压缩耐受度的电子水印信息 的第三频率分量的初始值设置为“0”并通过将“1”加到该初始值计算累积 值时，由于即使如图20B和20C那样进行压缩，具有高压缩耐受度的电子水 印信息仍不会被丢失，所以，累积值等于或大于预定值，而与音频信号是否 被压缩无关。因此，通过确定第三频率分量的累积值，可以检测音频信号是 否具有嵌入其内的电子水印信息。

此外，在图17所示的电子水印信息检测电路125中，如果比较信号S122b 指示一致极性，当图18所示的检测电路124将具有低压缩耐受度的电子水印 信息嵌入在其内的第四频率分量的初始值设置为“0”并通过将“1”加到该 初始值计算累积值时，如果音频信号已被压缩，那么，累积值等于或接近于 0；而如果该信号未被压缩，由于如图20C所示的那样进行压缩，具有低压缩 耐受度的电子水印信息被丢失，所以累积值等于或大于预定值。因此，通过 确定第四频率分量的累积值，可以检测音频信号S49是否被压缩。

如果电子水印信息检测电路125和126的检测电路124和134确定音频 信号具有嵌入其内的电子水印信息并被压缩，那么检测电路124和134将指 示禁止复制的检测信号S125和S126输出到图17所示的切换电路48。否则， 检测电路124和134将检测信号S125和S126输出到切换电路48指示禁止复 制。

在另一个变型实施例中，如图21A所示，示于图14包含在图13所示的 电子水印信息嵌入电路91中的系数移位与衰减电路93可以将频率fA或更低 的频率赋予具有高压缩耐受度的第三频率分量，并将高于频率fA的频率赋予 具有低压缩耐受度的第三频率分量。

在这种情况下，如果音频信号S49和MP3文件S50未被压缩，那么，第 三频率分量和第四频率分量均保持图21B所示的图形。然而，如果音频信号 S49和MP3文件S50已被压缩，则只有被赋予频率fA或更低频率、具有高压 缩耐受度的第三频率分量保持图21C所示的图形。据此，示于图17的电子水 印信息检测电路125可以确定音频信号是否具有嵌入在其内的电子水印信息 以及是否被压缩，同时，电子水印信息检测电路126可以确定音频信号是否 具有嵌入在其内的电子水印信息。

为了嵌套(nest)第三频率分量与第四频率分量，可以嵌入电子水印信 息。或者，在上述第二实施例及其变型实施例中，正如第一实施例所述的那 样，可以将音频信号使用控制信息和/或音频信号信息附加到电子水印信息。

本发明并不局限于此上述实施例。

例如，在利用图20和图21说明的上述实例中，电子水印信息嵌入装置 91衰减或放大第一频率分量的电平并将衰减或放大的电平附加到第二频率 分量以产生多个第三频率分量和第四频率分量，所产生的多个第三频率分量 具有这样的电平即使进行压缩处理它们也不会被丢失，所产生的第四频率分 量具有这样的电平它们会由于存在压缩处理而被丢失。然而，在电子水印信 息嵌入之前，第一频率分量的预定电平被这样的电平所取代，该电平即使进 行压缩处理频率分量也不会被丢失，而第二频率分量的预定电平被这样的电 平所取代，使频率分量会由于进行压缩处理而被丢失。

此外，在上述实施例中，MP3是作为压缩数字信号的方法被说明的，然 而，也可以使用MPEG AAC(高级音频编码)、ATRAC3(商标：自适应变换声编 码)等；不对数字信号的压缩方法作特定限制。此外，在上述实施例中，取音 频信号作为实例，但是本发明可以处理静止图象信号或动画图象信号或其它 数字信号。

如上所述，根据本发明的信号处理装置和方法，可以确定具有嵌入在其 内的电子水印信息的数字信号是否已被压缩。

如上所述，根据本发明的信号处理装置和方法，如果具有嵌入在其内的 电子水印信息的数字信号被压缩，那么，可以禁止该数字信号被记录到再现 装置的存储器，因此，可以允许避免侵犯版权。

此外，根据本发明的信号处理装置和方法，可以将电子水印信息嵌入数 字信号以检测具有嵌入到其内的电子水印信息的数字信号是否已被压缩。

工业实用性

本发明涉及一种数字信号系统可以有效保护版权，并可以应用于如通过 网络用于发布音乐作品的音乐发布系统或用于发布静止图象或动画图象的视 频发布系统的电子水印装置。

标号说明

1…网络，4…CD播放器，5…MP3编码器，6…计算机， 71至7n…计算机，151至15n…MP3播放器，381至38n…MP3记录装置， 30…音乐发布系统，31…电子水印信息嵌入装置