获得信号的时间样本的目标表示
阅读：500发布：2020-05-08
专利汇可以提供获得信号的时间样本的目标表示专利检索，专利查询，专利分析的服务。并且获得第一组数据元素(310)中的第一数据元素(311)的第一值，所述第一组数据元素基于 信号 的第一时间样本。获得第二组数据元素(320)中的第二数据元素(321)的第二值，所述第二组数据元素基于信号的第二、稍后的时间样本。获得第一值和第二值之间的相似性度量。基于获得的度量，确定可用于基于信号的第一时间样本对数据进行量化的量化参数。使用量化参数生成输出数据。，下面是获得信号的时间样本的目标表示专利的具体信息内容。
1.一种在获得信号的第一时间样本的目标表示中使用的方法，所述信号根据具有多个质量等级的分层结构来处理，所述方法包括：
将第一熵与第二熵进行比较，所述第一熵与第一重建数据相关联，所述第一重建数据用于解码器设备利用第一处理模式获得所述目标表示，所述第二熵与第二重建数据相关联，所述第二重建数据用于所述解码器设备利用不同于所述第一处理模式的第二处理模式获得所述目标表示，所述目标表示处于所述分层结构中的第一质量等级；
基于比较结果，确定所述解码器设备利用所述第一处理模式还是所述第二处理模式来获得所述目标表示，其中，当所述比较结果表征所述第一熵低于所述第二熵时，则使用所述第一处理模式，而当所述比较结果表征所述第二熵低于所述第一熵时，则使用所述第二处理模式；并且
输出数据，所述数据用于表征所述解码器设备使用所述第一处理模式还是使用所述第二处理模式来获得所述目标表示；
其中，使用所述第一处理模式来获得所述目标表示，包括所述解码器设备处理所述第一重建数据和所述信号的第一时间样本的另一表示，所述另一表示在所述分层结构中处于较低的第二质量等级，并且
其中，使用所述第二处理模式来获得所述目标表示，包括所述解码器设备处理所述第二重建数据和所述信号的不同于所述第一时间样本的第二时间样本的表示。
2.根据权利要求1所述的方法，其中，所述目标表示和所述第二时间样本的所述表示在所述分层结构中彼此处于相同的质量等级。
3.根据权利要求1或2所述的方法，所述方法包括接收用于表征所述第一熵的数据。
4.根据权利要求1或2所述的方法，所述方法包括确定所述第一熵。
5.根据权利要求4所述的方法，其中，确定所述第一熵包括获得所述第一重建数据。
6.根据权利要求4或5所述的方法，其中，确定所述第一熵包括：
对所述另一表示执行上采样操作，以获得所述信号的所述第一时间样本的初步表示，所述初步表示处于所述第一质量等级；并且
使用所述初步表示获得所述第一重建数据。
7.根据权利要求1至6中任一项所述的方法，其中，所述第一重建数据包括帧内残差数据，所述帧内残差数据用于所述解码器设备利用所述另一表示来获得所述目标表示。
8.根据权利要求1至7中任一项所述的方法，所述方法包括：响应于确定使用所述第一处理模式，输出基于所述第一重建数据的数据。
9.根据权利要求1至8中任一项所述的方法，所述方法包括接收用于表征所述第二熵的数据。
10.根据权利要求1至8中任一项所述的方法，所述方法包括确定所述第二熵。
11.根据权利要求10所述的方法，其中，确定所述第二熵包括获得所述第二重建数据。
12.根据权利要求1至11中任一项所述的方法，其中，所述第二重建数据包括帧间处理数据，所述帧间处理数据与所述第一时间样本和所述第二时间样本相关，所述帧间处理数据用于所述解码器设备利用所述第二时间样本的所述表示来获得所述目标表示。
13.根据权利要求12所述的方法，其中，所述帧间处理数据包括运动补偿数据，所述运动补偿数据与所述第二时间样本的所述表示和所述目标表示之间的一个或多个项目的运动相关。
14.根据权利要求13所述的方法，其中，所述帧间处理数据包括基于所述信号的所述第一时间样本的预测表示和所述目标表示之间的比较而获得的帧间残差数据，所述预测表示处于所述第一质量等级。
15.根据权利要求1至14中任一项所述的方法，所述方法包括：响应于确定使用所述第二处理模式，输出基于所述第二重建数据的数据。
16.根据权利要求1至15中任一项所述的方法，其中，所述第二时间样本是所述信号中比所述第一时间样本更早的时间样本。
17.根据权利要求1至16中任一项所述的方法，所述方法包括：
确定所述解码器设备使用所述第一处理模式和所述第二处理模式中的一个来获得所述目标表示；并且
确定所述解码器设备使用所述第一处理模式和所述第二处理模式中的另一个来获得所述信号的所述第一时间样本的第一另一目标表示，所述第一另一目标表示在所述分层结构中所处于质量等级高于所述第一质量等级。
18.根据权利要求17所述的方法，所述方法包括确定所述解码器设备使用所述第一处理模式和所述第二处理模式中的一个来获得所述信号的所述第一时间样本的第二另一目标表示，所述第二另一目标表示在所述分层结构中所处的质量等级高于所述第一另一目标表示的质量等级。
19.根据权利要求1至18中任一项所述的方法，其中，所述输出数据，所述数据用于表征使用所述第一处理模式还是使用所述第二处理模式，包括：输出传输到所述解码器设备的所述数据。
20.根据权利要求1至19中任一项所述的方法，
其中，所述第一熵表征与所述第一重建数据相关联的编码效率；并且
其中，所述第二熵表征与所述第二重建数据相关联的编码效率。
21.根据权利要求1至20中任一项所述的方法，其中，所述信号包括视频信号。
22.根据权利要求1至21中任一项所述的方法，其中，所述方法由包括编码器设备的装置执行。
23.一种装置，用于执行根据权利要求1至22中任一项所述的方法。
24.一种计算机程序，包括指令，所述指令在被执行时使得装置执行根据权利要求1至
22中任一项所述的方法。
25.一种计算机可读介质，包括根据权利要求24所述的计算机程序。
26.一种在获得信号的第一时间样本的目标表示中使用的方法，所述信号根据具有多个质量等级的分层结构来处理，所述方法包括：
基于接收的数据，确定使用第一处理模式还是使用不同于所述第一处理模式的第二处理模式来获得所述目标表示，所述目标表示处于所述分层结构中的第一质量等级；并且解码器设备基于确定的结果使用所述第一处理模式或所述第二处理模式获得所述目标表示，
其中，使用所述第一处理模式来获得所述目标表示，包括所述解码器设备处理第一重建数据和所述信号的所述第一时间样本的另一表示，所述另一表示处于所述分层结构中较低的第二质量等级，并且
其中，使用所述第二处理模式来获得所述目标表示，包括所述解码器设备处理第二重建数据和所述信号的不同于所述第一时间样本的第二时间样本的表示，并且其中，当与所述第一重建数据相关联的第一熵低于与所述第二重建数据相关联的第二熵时，所述解码器设备使用所述第一处理模式，而当所述第二熵低于所述第一熵时，所述解码器设备使用所述第二处理模式。
27.根据权利要求26所述的方法，其中，所述目标表示和所述第二时间样本的所述表示在所述分层结构中彼此处于相同的质量等级。
28.根据权利要求26或27所述的方法，其中，所述第一重建数据包括帧内残差数据，所述帧内残差数据用于使用所述另一表示来重建所述目标表示。
29.根据权利要求26至28中任一项所述的方法，其中，所述解码器设备使用所述第一处理模式包括：
所述解码器设备对所述另一表示执行上采样操作，以获得所述信号的所述第一时间样本的初步表示，所述初步表示处于所述第一质量等级；并且，
所述解码器设备使用所述第一重建数据和所述初步表示来获得所述目标表示。
30.根据权利要求26至29中任一项所述的方法，其中，所述接收的数据包括用于获得所述第一重建数据的数据。
31.根据权利要求26至30中任一项所述的方法，其中，所述第二数据包括帧间处理数据，所述帧间处理数据用于所述解码器设备利用所述第二时间样本的所述表示来重建所述目标表示，并且其中，所述帧间处理数据与所述第一时间样本和所述第二时间样本相关。
32.根据权利要求31所述的方法，其中，所述帧间处理数据包括运动补偿数据，所述运动补偿数据与所述第二时间样本的所述表示和所述目标表示之间的一个或多个项目的运动相关。
33.根据权利要求26至32中任一项所述的方法，其中，所述解码器设备使用所述第二处理模式，包括所述解码器设备使用所述第二重建数据来获得所述信号的所述第一时间样本的预测表示，所述预测表示处于所述第一质量等级。
34.根据权利要求33所述的方法，其中，所述第二重建数据包括基于所述预测表示和所述目标表示之间的比较而获得的帧间残差数据。
35.根据权利要求26至34中任一项所述的方法，其中，所述接收的数据包括用于获得所述第二重建数据的数据。
36.根据权利要求26至35中任一项所述的方法，其中，所述第二时间样本是所述信号中比所述第一时间样本更早的时间样本。
37.根据权利要求26至36中任一项所述的方法，所述方法包括：
确定使用所述第一处理模式和所述第二处理模式中的一个来获得所述目标表示；并且确定使用所述第一处理模式和所述第二处理模式中的另一个来获得所述信号的所述第一时间样本的第一另一目标表示，所述第一另一目标表示在所述分层结构中所处的质量等级高于所述第一质量等级。
38.根据权利要求37所述的方法，所述方法包括确定使用所述第一处理模式和所述第二处理模式中的一个来获得所述信号的所述第一时间样本的第二另一目标表示，所述第二另一目标表示在所述分层结构中所处的质量等级高于所述第一另一目标表示的质量等级。
39.根据权利要求26至38中任一项所述的方法，其中，所述接收的数据用于表征所述解码器设备使用所述第一处理模式还是使用所述第二处理模式来获得所述目标表示。
40.根据权利要求26至39中任一项所述的方法，
其中，所述第一熵表征与所述第一重建数据相关联的编码效率；并且
其中，所述第二熵表征与所述第二重建数据相关联的编码效率。
41.根据权利要求26至40中任一项所述的方法，其中，所述信号包括视频信号。
42.根据权利要求26至41中任一项所述的方法，其中，所述方法由包括所述解码器设备的装置执行。
43.一种装置，用于执行根据权利要求26至42中任一项所述的方法。
44.一种计算机程序，包括指令，所述指令在被执行时使得装置执行根据权利要求26至
42中任一项所述的方法。
45.一种计算机可读介质，包括根据权利要求44所述的计算机程序。
46.一种编码器设备，用于：
识别以下两者中的较低者：
帧内处理数据的第一熵，所述帧内处理数据由解码器设备使用以基于信号的第一表示获得所述信号的目标表示，其中所述第一表示和所述目标表示是所述信号的相同时间样本的一部分；并且
帧间处理数据的第二熵，所述帧间处理数据由所述解码器设备使用以基于所述信号的不同于所述第一表示的第二表示获得所述信号的所述目标表示，其中所述第二表示是所述信号的较早时间样本的一部分；并且
为了传输到所述解码器设备，输出：
数据，用于：响应于所述第一熵被识别为所述第一熵和所述第二熵中的较低者，表征所述解码器设备使用所述帧内处理数据来获得所述信号的所述目标表示；或者数据，用于：响应于所述第二熵被识别为所述第一熵和所述第二熵中的较低者，表征所述解码器设备使用所述帧间处理数据来获得所述信号的所述目标表示。
47.一种解码器设备，用于：
接收数据，所述数据用于表征所述解码器设备使用帧内处理数据还是帧间处理数据来获得信号的目标表示；
基于所接收的数据，确定所述解码器设备使用所述帧内处理数据还是所述帧间处理数据来获得所述信号的所述目标表示；并且
通过以下方式获得所述信号的所述目标表示：
响应于确定表征所述解码器设备使用所述帧内处理数据来获得所述信号的所述目标表示，基于所述信号的第一表示并利用所述帧内处理数据，其中所述第一表示和所述目标表示是信号的相同时间样本的一部分；或者
响应于确定表征所述解码器设备使用所述帧间处理数据来获得所述信号的所述目标表示，基于所述信号的不同于所述第一表示的第二表示并利用所述帧间处理数据，其中所述第二表示是所述信号的较早时间样本的一部分。
获得信号的时间样本的目标表示
技术领域
背景技术
[0002] 在许多已知的系统中，信号的压缩和解压缩是一个考虑因素。许多类型的信号(例如，视频、音频或体积信号)可以被压缩和编码，以例如通过数据通信网络传输。当解码这样的信号时，可希望提高信号的质量等级和/或尽可能多地恢复包含在原始信号中的信息。
[0003] 一些已知的系统利用可伸缩编码技术。可伸缩编码操作包括将信号与信息一起编码，以允许例如根据解码器的能力和可用带宽，重建一个或多个不同的质量等级的信号。用于执行这种重建的信息的量可以变化，例如，根据重建信号的期望质量等级和/或重建中使用的数据的性质而变化。因此，特别是随着更高质量、更高清晰度视频的使用变得更加普遍，可以存储和/或传输较大量的信息。
发明内容
[0004] 根据本发明的第一方面，提供了一种用于获得信号的第一时间样本的目标表示的方法，所述信号根据具有多个质量等级的分层结构来处理，所述方法包括：
[0005] 将第一熵与第二熵进行比较，所述第一熵与第一重建数据相关联，所述第一重建数据可由解码器设备使用以利用第一处理模式获得目标表示，所述第二熵与第二重建数据相关联，所述第二重建数据可由解码器设备使用以利用不同于第一处理模式的第二处理模式获得目标表示，所述目标表示处于分层结构中的第一质量等级；
[0006] 基于比较结果，确定通过所述解码器设备需要利用第一处理模式还是第二处理模式来获得目标表示，其中，当比较结果表征第一熵低于第二熵时，则需要使用第一处理模式，而当比较结果表征第二熵低于第一熵时，则需要使用第二处理模式；并且[0007] 输出数据，该数据用于表征通过所述解码器设备需要利用第一处理模式还是第二处理模式来获得目标表示，
[0008] 其中，使用第一处理模式来获得目标表示，包括解码器设备处理第一重建数据和信号的第一时间样本的另一表示，所述另一表示在分层结构中处于较低的第二质量等级，并且
[0009] 其中，使用第二处理模式来获得目标表示，包括解码器设备处理第二重建数据和信号的不同的第二时间样本的表示。
[0010] 根据本发明的第二方面，提供了一种装置，所述装置用于执行用于获得信号的第一时间样本的目标表示的方法，所述信号根据具有多个质量等级的分层结构来处理，所述方法包括：
[0011] 将第一熵与第二熵进行比较，所述第一熵与第一重建数据相关联，所述第一重建数据可由解码器设备使用以利用第一处理模式获得目标表示，所述第二熵与第二重建数据相关联，所述第二重建数据可由解码器设备使用以利用不同于第一处理模式的第二处理模式获得目标表示，所述目标表示处于分层结构中的第一质量等级；
[0012] 基于比较结果，确定通过所述解码器设备需要利用第一处理模式还是第二处理模式来获得目标表示，其中，当比较结果表征第一熵低于第二熵时，需要使用第一处理模式，而当比较结果表征第二熵低于第一熵时，需要使用第二处理模式；并且
[0013] 输出数据，该数据用于表征通过所述解码器设备需要利用第一处理模式还是第二处理模式来获得目标表示，
[0014] 其中，使用第一处理模式来获得目标表示，包括解码器设备处理第一重建数据和信号的第一时间样本的另一表示，所述另一表示在分层结构中处于较低的第二质量等级，并且
[0015] 其中，使用第二处理模式来获得目标表示，包括解码器设备处理第二重建数据和信号的不同的第二时间样本的表示。
[0016] 根据本发明的第三方面，提供了一种包括指令的计算机程序，所述指令在被执行时使得装置执行用于获得信号的第一时间样本的目标表示的方法，所述信号根据具有多个质量等级的分层结构来处理，所述方法包括：
[0017] 将第一熵与第二熵进行比较，所述第一熵与第一重建数据相关联，所述第一重建数据可由解码器设备使用以利用第一处理模式获得目标表示，所述第二熵与第二重建数据相关联，所述第二重建数据可由解码器设备使用以利用不同于第一处理模式的第二处理模式获得目标表示，所述目标表示处于分层结构中的第一质量等级；
[0018] 基于比较结果，确定通过所述解码器设备需要利用第一处理模式还是第二处理模式来获得目标表示，其中，当比较结果表征第一熵低于第二熵时，需要使用第一处理模式，而当比较结果表征第二熵低于第一熵时，需要使用第二处理模式；并且
[0019] 输出数据，该数据用于表征通过所述解码器设备需要利用第一处理模式还是第二处理模式来获得目标表示，
[0020] 其中，使用第一处理模式来获得目标表示，包括解码器设备处理第一重建数据和信号的第一时间样本的另一表示，所述另一表示在分层结构中处于较低的第二质量等级，并且
[0021] 其中，使用第二处理模式来获得目标表示，包括解码器设备处理第二重建数据和信号的不同的第二时间样本的表示。
[0022] 根据本发明的第四方面，提供了一种包括计算机程序的计算机可读介质，所述计算机程序包括指令，所述指令在被执行时使得装置执行用于获得信号的第一时间样本的目标表示的方法，所述信号根据具有多个质量等级的分层结构来处理，所述方法包括：
[0023] 将第一熵与第二熵进行比较，所述第一熵与第一重建数据相关联，所述第一重建数据可由解码器设备使用以利用第一处理模式获得目标表示，所述第二熵与第二重建数据相关联，所述第二重建数据可由解码器设备使用以利用不同于第一处理模式的第二处理模式获得目标表示，所述目标表示处于分层结构中的第一质量等级；
[0024] 基于比较结果，确定通过所述解码器设备需要利用第一处理模式还是第二处理模式来获得目标表示，其中，当比较结果表征第一熵低于第二熵时，需要使用第一处理模式，而当比较结果表征第二熵低于第一熵时，需要使用第二处理模式；并且
[0025] 输出数据，该数据用于表征通过所述解码器设备需要利用第一处理模式还是第二处理模式来获得目标表示，
[0026] 其中，使用第一处理模式来获得目标表示，包括解码器设备处理第一重建数据和信号的第一时间样本的另一表示，所述另一表示在分层结构中处于较低的第二质量等级，并且
[0027] 其中，使用第二处理模式来获得目标表示，包括解码器设备处理第二重建数据和信号的不同的第二时间样本的表示。
[0028] 根据本发明的第五方面，提供了一种获得信号的第一时间样本的目标表示的方法，所述信号根据具有多个质量等级的分层结构来处理，所述方法包括：
[0029] 基于接收的数据，确定需要使用第一处理模式还是不同于第一处理模式的第二处理模式来获得目标表示，所述目标表示处于分层结构中的第一质量等级；并且[0030] 解码器设备基于确定结果使用第一处理模式或第二处理模式获得目标表示，[0031] 其中，使用第一处理模式来获得目标表示，包括所述解码器设备处理第一重建数据和信号的第一时间样本的另一表示，所述另一表示处于分层结构中较低的第二质量等级，并且
[0032] 其中，使用第二处理模式来获得目标表示，包括所述解码器设备处理第二重建数据和信号的不同的第二时间样本的表示，并且
[0033] 其中，当与第一重建数据相关联的第一熵低于与第二重建数据相关联的第二熵时，所述解码器设备需要使用第一处理模式，而当第二熵低于第一熵时，所述解码器设备需要使用第二处理模式。
[0034] 根据本发明的第六方面，提供了一种装置，所述装置用于执行用于获得信号的第一时间样本的目标表示的方法，所述信号根据具有多个质量等级的分层结构来处理，所述方法包括：
[0035] 基于接收的数据，确定需要使用第一处理模式还是不同于第一处理模式的第二处理模式来获得目标表示，所述目标表示处于分层结构中的第一质量等级；并且[0036] 解码器设备基于确定结果使用第一处理模式或第二处理模式获得目标表示，[0037] 其中，使用第一处理模式来获得目标表示，包括所述解码器设备处理第一重建数据和信号的第一时间样本的另一表示，所述另一表示处于分层结构中较低的第二质量等级，并且
[0038] 其中，使用第二处理模式来获得目标表示，包括所述解码器设备处理第二重建数据和信号的不同的第二时间样本的表示，并且
[0039] 其中，当与第一重建数据相关联的第一熵低于与第二重建数据相关联的第二熵时，所述解码器设备需要使用第一处理模式，而当第二熵低于第一熵时，所述解码器设备需要使用第二处理模式。
[0040] 根据本发明的第七方面，提供了一种包括指令的计算机程序，所述指令在被执行时使得装置执行用于获得信号的第一时间样本的目标表示的方法，所述信号根据具有多个质量等级的分层结构来处理，所述方法包括：
[0041] 基于接收的数据，确定需要使用第一处理模式还是不同于第一处理模式的第二处理模式来获得目标表示，所述目标表示处于分层结构中的第一质量等级；并且[0042] 解码器设备基于确定结果使用第一处理模式或第二处理模式获得目标表示，[0043] 其中，使用第一处理模式来获得目标表示，包括所述解码器设备处理第一重建数据和信号的第一时间样本的另一表示，所述另一表示处于分层结构中较低的第二质量等级，并且
[0044] 其中，使用第二处理模式来获得目标表示，包括所述解码器设备处理第二重建数据和信号的不同的第二时间样本的表示，并且
[0045] 其中，当与第一重建数据相关联的第一熵低于与第二重建数据相关联的第二熵时，所述解码器设备需要使用第一处理模式，而当第二熵低于第一熵时，所述解码器设备需要使用第二处理模式。
[0046] 根据本发明的第八方面，提供了一种包括计算机程序的计算机可读介质，所述计算机程序包括指令，所述指令在被执行时使得装置执行用于获得信号的第一时间样本的目标表示的方法，所述信号根据具有多个质量等级的分层结构来处理，所述方法包括：
[0047] 基于接收的数据，确定需要使用第一处理模式还是不同于第一处理模式的第二处理模式来获得目标表示，所述目标表示处于分层结构中的第一质量等级；并且[0048] 解码器设备基于确定结果使用第一处理模式或第二处理模式获得目标表示，[0049] 其中，使用第一处理模式来获得目标表示，包括所述解码器设备处理第一重建数据和信号的第一时间样本的另一表示，所述另一表示处于分层结构中较低的第二质量等级，并且
[0050] 其中，使用第二处理模式来获得目标表示，包括所述解码器设备处理第二重建数据和信号的不同的第二时间样本的表示，并且
[0051] 其中，当与第一重建数据相关联的第一熵低于与第二重建数据相关联的第二熵时，所述解码器设备需要使用第一处理模式，而当第二熵低于第一熵时，所述解码器设备需要使用第二处理模式。
[0052] 根据本发明的第九方面，提供了一种编码器设备，其用于：
[0053] 识别以下两者中的较低者：
[0055] 帧间处理数据的第二熵，所述帧间处理数据由解码器设备使用以基于信号的不同于第一表示的第二表示获得信号的目标表示，其中所述第二表示是信号的较早时间样本的一部分；并且
[0056] 为了传输到解码器设备，输出：
[0057] 数据，所述数据用于表征解码器设备需要使用帧内处理数据来获得信号的目标表示，以响应第一熵被识别为第一和第二熵中的较低者；或者
[0058] 数据，所述数据用于表征解码器设备需要使用帧间处理数据来获得信号的目标表示，以响应第二熵被识别为第一和第二熵中的较低者。
[0059] 根据本发明的第十方面，提供了一种解码器设备，其用于：
[0060] 接收数据，所述数据用于表征解码器设备需要使用帧内处理数据还是帧间处理数据来获得信号的目标表示；
[0061] 基于所接收的数据，确定解码器设备需要使用帧内处理数据还是帧间处理数据来获得信号的目标表示；并且
[0062] 通过以下方式获得信号的目标表示：
[0063] 基于信号的第一表示并利用帧内处理数据，以响应：确定表征解码器设备需要使用帧内处理数据来获得信号的目标表示，其中所述第一表示和所述目标表示是信号的相同时间样本的一部分；或者
[0064] 基于所述信号的不同于第一表示的第二表示并利用帧间处理数据，以响应：确定表征解码器设备需要使用帧间处理数据来获得信号的目标表示，其中所述第二表示是所述信号的较早时间样本的一部分。
附图说明
[0067] 图2示出了根据本发明实施例的分层信号处理布置的示例的示意图；
[0068] 图3示出了描绘根据本发明实施例的方法的示例的流程图；
[0069] 图4示出了描绘根据本发明实施例的方法的另一示例的流程图；
[0070] 图5示意性地示出了根据本发明实施例的信号的时间样本的表示的示例；
[0071] 图6示出了根据本发明实施例的装置的示例的示意框图。
具体实施方式
[0072] 参考图1，示出了信号处理系统100的示例。信号处理系统100用于处理信号。信号类型的示例包括但不限于视频信号、图像信号、音频信号、如在医学成像、科学成像或全息成像中使用的体积信号或者其他多维信号。
[0073] 信号处理系统100包括第一装置102和第二装置104。第一装置102和第二装置104可以具有客户端-服务器关系，其中，第一装置102执行服务器设备的功能，第二装置104执行客户端设备的功能。信号处理系统100可以包括至少一个额外装置(未示出)。第一装置102和/或第二装置104可以包括一个或多个组件。所述一个或多个组件可以以硬件和/或软件方式实现。在信号处理系统100中，一个或多个组件可以位于同一位置或者彼此远离。装置类型的示例包括但不限于计算机化设备、手持或膝上型计算机、平板电脑、移动设备、游戏控制台、智能电视、机顶盒、增强和/或虚拟现实耳机等。
[0074] 第一装置102经由数据通信网络106与第二装置104通信连接。数据通信网络106的示例包括但不限于因特网、局域网(LAN)和广域网(WAN)。第一102和/或第二装置104可以具有到数据通信网络106的有线和/或无线连接。
[0075] 第一装置102包括编码器设备108。编码器设备108用于对包含在信号中的数据进行编码，该数据在下文中称为“信号数据”。除了对信号数据进行编码之外，编码器设备108还可以执行一个或多个其他功能。编码器设备108可以以各种不同的方式实现。例如，编码器设备108可以用硬件和/或软件来实现。
[0076] 尽管在该示例中，第一装置102包括编码器设备108，但是在其他示例中，第一装置102可与编码器设备108分离。在这样的示例中，第一装置102与编码器设备108通信连接。第一装置102可以实现为一个或多个软件功能和/或硬件模块。
[0077] 第二装置104包括解码器设备110。解码器设备110用于对信号数据进行解码。除了对信号数据进行解码之外，解码器设备110还可以执行一个或多个其他功能。解码器设备110可以以各种不同的方式实现。例如，解码器设备110可以用硬件和/或软件来实现。
[0078] 尽管在该示例中，第二装置104包括解码器设备110，但是在其他示例中，第二装置104可以与解码器设备110分离。在这样的示例中，第二装置104与解码器设备110通信连接。
第二装置104可以实现为一个或多个软件功能和/或硬件模块。
第二装置104可以实现为一个或多个软件功能和/或硬件模块。
[0079] 编码器设备108对信号数据进行编码，并经由数据通信网络106将编码的信号数据传输到解码器设备110。解码器设备110对接收到的编码的信号数据进行解码，并生成解码的信号数据。解码器设备110可以输出解码的信号数据或者使用解码的信号数据获得的数据。例如，解码器设备110可以输出这样的数据以在与第二装置104相关联的一个或多个显示设备上显示。
[0080] 在本文描述的一些示例中，编码器设备108向解码器设备110传输信号的表示以及解码器设备110用于重建信号的另一个表示的信息。这种信息可以称为“重建数据”。在一些示例中，表示的“重建”包括获得表示，该表示不是原始表示的精确副本。该表示与原始表示相同的程度可能取决于各种因素，包括但不限于量化等级。给定质量等级的信号的表示可以被认为是该给定质量等级的信号中包含的数据的再现、版本或描述。在一些示例中，重建数据包括在由编码器设备108编码并传输到解码器设备110的信号数据中。例如，重建数据可以是元数据的形式。在一些示例中，重建数据与信号数据分开编码和传输。
[0081] 在本文描述的一些示例中，编码器设备108向解码器设备110传输给定质量等级的信号的表示以及解码器设备110用来获得一个或多个更高质量等级的信号的表示的信息。
[0082] 解码器设备110用于重建一个或多个更高质量等级的信号的表示的信息可以包括帧内处理数据。帧内处理数据是重建数据的一个示例。“帧内处理数据”是指基于信号的单个时间样本的数据。在本文描述的示例中，帧内处理数据是或包括帧内残差数据，如下文更详细描述的。
[0083] 解码器设备110用于重建一个或多个更高质量等级的信号的表示的信息可以包括帧间处理数据。帧间处理数据是重建数据的另一示例。帧间处理数据是利用信号的不同时间样本之间的时间相关性的数据。“帧间处理”用于指涉及信号的多个时间样本的处理。当信号是视频信号时，信号的给定时间样本可以是图像、帧或字段的全部或部分，所述图像、帧或字段来自组成视频信号的图像序列或帧序列。帧间处理数据可以包括运动补偿数据和/或其他数据。运动补偿数据可以补偿视频信号中的不同图像上的一个或多个项目的运动。运动补偿数据可以表征一个或多个项目如何在视频信号中的不同图像上移动。项目可以是像素、区域、对象、块、特征或信号数据中的任何其他信息。解码器设备110可以将信号的一个时间样本的表示存储在例如存储器中，并且结合帧间处理数据使用该表示来获得信号的另一时间样本的表示。这样，解码器设备110可以使用帧间处理数据来基于信号的一个或多个其他(例如，更早的)时间样本获得信号的给定时间样本的表示。
[0084] 本文描述的一些示例包括从多个不同的处理模式中动态选择一个处理模式。解码器设备110需要使用所选择的处理模式来获得给定质量等级的信号的给定时间样本的目标表示。不同的处理模式可以使用不同量的数据和/或处理，或与不同量的数据和/或处理相关联，来获得目标表示。因此，通过从多个不同的处理模式中选择优选的处理模式，可以减少用于获得目标表示的数据和/或处理的总量。
[0085] 与一些已知技术相比，本文描述的示例允许使用较少量的信息来获得目标表示。这可以减少经由数据通信网络106传输的数据量。例如，可以通过在多种不同类型的重建数据中选择具有最低熵的重建数据来降低与编码重建数据相关联的熵。熵可以被认为表示要传输的数据的最小可实现编码长度。本文提到的“熵”可以涉及香农熵。在信号数据对应于高质量视频数据的情况下，这种节省可能更具相关性，其中，高质量视频数据在已知系统中传输的信息量可能特别高。
[0086] 本文描述的一些示例包括动态选择处理模式，所述处理模式用于处理信号的给定时间样本的表示以获得目标表示。所选择的处理模式使用起来可能比一个或多个未选择的其他处理模式更有效。因此，与一些已知技术相比，可以以更有效的方式执行信号的处理和/或编码。这可以减少用于对信号进行处理和/或编码所需的处理量和/或数据量。
[0087] 与一些已知技术相比，可以以更动态和更明确的方式执行信号的处理和/或编码。可以利用信号的不同时间样本的表示之间的时间相关性的程度以及信号的单个时间样本的表示内的细节和/或复杂程度，以便确定给定信号的质量等级相关的最佳处理模式。
[0088] 参考图2，示意性地示出了分层信号处理布置200的示例。例如，包括编码器设备108或解码器设备110的装置可以处理和/或获得根据分层信号处理布置(例如，分层信号处理布置200)处理的一个或多个信号的表示。这样，分层信号处理布置200可以用于处理和/或获得信号。
[0089] 分层信号处理布置200表示具有多个不同质量等级的分层结构。分层结构中的给定质量等级在下文中称为“LOQ”。质量等级可以涉及与信号相关联的数据的不同质量等级。质量等级可以是与信号相关联的数据的质量的量化度量。在一些示例中，分层信号处理布置200表示视频数据的多个不同质量等级。可以用来确定图像和/或视频数据的质量的一个因素是分辨率。更高的分辨率可能对应于更高的质量等级。分辨率可以是空间和/或时间的。可用于确定图像和/或视频数据的质量的其他因素包括但不限于数据的量化等级、数据的频率滤波等级、数据的峰值信噪比、结构相似性(SSIM)指数等。分层信号处理布置200可以表示数据的不同质量等级，所述数据与信号的给定时间样本相关联。例如，在信号是视频信号的情况下，分层信号处理布置200可以用于获得和/或处理视频信号的给定图像或帧。
[0090] 在该示例中，分层信号处理布置200具有五个不同的层(或‘等级’)，即第一层212、第二层214、第三层216、第四层218和第五层220。然而，分层信号处理布置可以具有不同的层数。第一层212可以被认为是基本层，因为第一层表示基本质量等级，而第二层214、第三层216、第四层218和第五层220可以被认为是增强层，因为它们表示与基本层相关联的质量的增强。这样，质量等级从分层信号处理布置200的底部到顶部增加。
[0092] 可以在不同的LOQ中的一个、一些或所有上处理信号数据。层212、层214、层216、层218、层220中的每一个可以与相应的重建数据相关联，例如，帧内处理数据和/或帧间处理数据。帧内处理数据和/或帧间处理数据可以用于生成给定LOQ的数据，例如，图像和/或视频数据，这将在下面更详细地描述。
[0093] 在一些示例中，处理给定LOQ的信号数据导致信号数据的LOQ变化。例如，信号数据的处理可能导致信号数据的LOQ相对于原始LOQ增加。LOQ的增加可以包括例如对信号数据执行上采样操作。
[0094] 信号数据的处理可以另外或替代地导致信号数据的LOQ相对于原始LOQ降低。LOQ的降低可以包括例如对信号数据执行下采样操作。因此，信号数据的处理可以与分层结构的上升和/或下降相关联。
[0095] 在一些示例中，给定LOQ的信号数据的处理不会导致信号数据的LOQ变化。可以使用多种不同的处理模式，例如，两种不同的处理模式，来获得和/或处理给定LOQ的信号数据，这将在下面更详细地描述。
[0096] 参考图3，示出了用于获得信号的第一时间样本t1的目标表示的方法300的示例。方法300可以由包括编码器设备的装置，例如上述第一装置102来执行。
[0097] 根据具有多个LOQ的分层结构来处理信号，如上所述。目标表示处于第一LOQ。
[0098] 在一些示例中，该装置获得信号的第一时间样本t1的另一表示。另一表示是处于第二LOQ，第二LOQ低于第一LOQ。在一些示例中，该装置获得信号的不同的第二时间样本t2的表示。信号的第二时间样本的表示处于第三LOQ。第三LOQ可以与第一和/或第二LOQ相同或不同。
[0099] 在项目310，识别第一熵。第一熵与第一重建数据(例如，帧内残差数据)相关联，该第一重建数据可由解码器设备用于利用第一处理模式来获得目标表示。第一熵可以对应于效率特性。在一些示例中，第一熵表征与第一重建数据相关联的编码效率。
[0100] 在一些示例中，识别第一熵包括确定第一熵。确定第一熵可以包括获得第一重建数据。
[0101] 确定第一熵包括处理信号的第一时间样本t1的另一表示。在一些示例中，确定第一熵包括对另一表示执行上采样操作，以获得处于第一LOQ的信号的第一时间样本t1的初步表示。在一些示例中，使用第一处理模式，包括执行不同于上采样操作的操作。上采样操作可以产生处于比另一表示的LOQ更高的LOQ的表示。这样，确定第一熵可以包括提升分层结构的至少一部分。
[0102] 可以使用初步表示来获得第一重建数据。在一些示例中，通过将初步表示与目标表示进行比较来获得第一重建数据。第一重建数据可以包括帧内残差数据，所述帧内残差数据可由解码器设备用于使用另一表示获得目标表示。帧内残差数据可以与第一质量等级的初步表示相结合，以获得目标表示，所述初步表示基于另一表示获得。
[0103] 可以使用第一重建数据获得第一熵。例如，第一熵可以表征编码后的第一重建数据的编码效率。
[0104] 在项目320，识别第二熵。第二熵与第二重建数据(例如，帧间处理数据)相关联，该第二重建数据可由解码器设备用于使用第二处理模式来获得目标表示。第二熵可以对应于效率特性。在一些示例中，第二熵表征与第二重建数据相关联的编码效率。
[0105] 在一些示例中，识别第二熵包括确定第二熵。
[0106] 确定第二熵包括处理信号的第二时间样本t2的表示。第一时间样本t1可以是信号中相对于第二时间样本t2的较晚时间样本。
[0107] 在一些示例中，确定第二熵包括获得第二重建数据。第二重建数据可以包括与第一时间样本t1和第二时间样本t2相关的帧间处理数据。解码器设备可使用该帧间处理数据、利用第二时间样本t2的表示来获得目标表示。帧间处理数据包括运动补偿数据。运动补偿数据涉及第二时间样本t2和第一时间样本t1之间的一个或多个项目的运动。这些项目可涉及信号数据。例如，在信号是视频信号并且第二时间样本t2的表示相应地是视频信号的帧的情况下，项目可以是像素、区域、对象、块、特征或包含在第二时间样本t2的表示中的任何其他信息。这样，运动补偿数据可以涉及这样的项目如何在第二时间样本t2的表示和第一时间样本t1的目标表示之间移动。运动补偿数据可以利用第二时间样本t2和第一时间样本t1之间的时间相关性。
[0108] 运动补偿数据可以包括一个或多个运动矢量。所述一个或多个运动向量涉及第二时间样本t2的表示和目标表示之间的一个或多个项目的运动。基于第二时间样本t2处的类似项目的位置，运动向量可用于表示第一时间样本t1处的项目。
[0109] 运动补偿数据可用于获得处于第一LOQ的信号的第一时间样本t1的预测表示。可以基于运动补偿数据获得预测表示。预测表示是目标表示的预测。在一些示例中，帧间处理数据包括帧间残差数据或者与帧间残差数据相关联。基于预测表示和目标表示之间的比较来获得帧间残差数据。帧间残差数据可以基于预测表示和目标表示之间的差异。帧间残差数据可用于调整预测表示，以便获得目标表示。“帧间残差数据”与“帧内残差数据”形成对比，因为帧间残差数据涉及帧间处理，而帧内残差数据涉及帧内处理。帧间残差数据和帧内残差数据都可以确定信号的第一时间样本t1的预测表示和信号的第一时间样本t1的目标表示之间的差异。这样，第二重建数据(即帧间处理数据)可以包括运动补偿数据和帧间残差数据。运动补偿数据和帧间残差数据的组合可用于重建目标表示。
[0110] 可以使用第二重建数据获得第二熵。例如，第二熵可以表征被编码的第二重建数据的编码效率。这样，第二熵可以表征运动补偿数据和帧间残差数据的组合的编码效率。
[0111] 对于信号的不同时间样本，可以识别不同的第一和/或第二熵。在一些示例中，对于处于不同LOQ的表示，识别不同的第一和/或第二熵。在一些示例中，对于给定目标表示中的不同区域或图块，识别不同的第一和/或第二熵。因此，可以动态地确定和使用第一和/或第二熵。
[0112] 在一些示例中，编码器设备从至少一个另一实体接收用于表征第一和/或第二熵的数据。在这样的示例中，编码器设备本身不确定第一和/或第二熵，而是由所述至少一个另一实体通知第一和/或第二熵。
[0113] 在项目330，确定第一熵是否低于第二熵。比较第一熵和第二熵，有助于确定用于获得目标表示的处理模式。该处理模式可以是第一处理模式或第二处理模式。
[0114] 第一熵(例如，与包括帧内残差数据的帧内处理数据相关联)是否低于第二熵(例如，与包括运动补偿数据和帧间残差数据的组合的帧间处理数据相关联)可受到第一时间样本t1和第二时间样本t2之间的项目的运动范围的影响。第一时间样本t1和第二时间样本t2之间的项目的较大的运动范围可以对应于较大的帧间处理数据。帧间处理数据的大小可以影响相对于第一熵的第二熵。
[0115] 在该示例中，如果在项目330确定第一熵低于第二熵，则在项目340确定解码器设备需要使用第一处理模式获得目标表示。
[0116] 在一些示例中，响应于确定解码器设备需要使用第一处理模式来获得目标表示，输出基于第一重建数据的数据，例如，被编码的帧内残差数据。基于第一重建数据的数据可由解码器设备用来获得第一重建数据。基于第一重建数据的数据可以传输到解码器设备。在一些示例中，解码器设备可以基于接收到的数据来确定需要使用第一处理模式来获得目标表示，所述数据基于第一重建数据。
[0117] 如果在项目330确定第二熵低于第一熵，则在项目350确定解码器设备需要使用第二处理模式来获得目标表示。
[0118] 在一些示例中，响应于确定解码器设备需要使用第二处理模式来获得目标表示，输出基于第二重建数据的数据，例如，被编码的运动补偿数据和帧间残差数据。基于第二重建数据的数据可由解码器设备用来获得第二重建数据。基于第二重建数据的数据可以传输到解码器设备。在一些示例中，解码器设备可以基于接收到的数据来确定需要使用第二处理模式来获得目标表示，所述数据基于第二重建数据。
[0119] 这样，在第二处理模式中，装置生成、使用和/或输出帧间处理数据，而不是根据单个时间样本(例如，在第一处理模式中获得的时间样本)来生成、使用和/或输出帧内处理数据。帧内处理数据和帧间处理数据都是重建数据的示例，并且可以用于获得目标表示。然而，与生成、使用和/或输出帧间处理数据相比，生成、使用和/或输出帧内处理数据可能涉及不同的处理量和/或不同的传输的数据量。
[0120] 在一些示例中，帧内处理数据还是帧间处理数据更有效地生成、使用和/或输出，取决于正在被处理的信号的LOQ。例如，在较低的LOQ，生成、使用和/或输出帧间处理数据可比生成、使用和/或输出帧内处理数据更有效。在较低的LOQ，帧间处理数据(例如，包括运动补偿数据和帧间残差数据的组合)可以具有比帧内处理数据(例如，包括帧内残差数据)更低的熵。相反，在较高的LOQ，生成、使用和/或输出帧间处理数据可能不如生成、使用和/或输出帧内处理数据有效。例如，在较高的LOQ，帧内处理数据可以具有比帧间处理数据更低的熵。因此，可以识别一个或多个阈值LOQ，在低于该阈值LOQ的情况下，帧间处理数据具有比帧内处理数据更低的熵，在高于该阈值LOQ情况下，帧内处理数据具有比帧间处理数据更低的熵。因此，当处理处于LOQ的信号时，所述LOQ高于一个或多个阈值LOQ，可以使用利用帧内处理数据的第一处理模式，而当处理处于LOQ的信号时，该LOQ低于一个或多个阈值LOQ，可以使用利用帧间处理数据的第二处理模式。
[0121] 如果确定第一熵等于第二熵，则可以使用第一、第二或另一处理模式。
[0122] 输出用于表征需要使用第一还是第二处理模式的数据，从而，例如，用于传输到至少一个另一实体。例如，这种数据可以由编码器设备输出，以传输到解码器设备并由解码器设备接收，以使解码器设备能够使用所确定的处理模式获得目标表示。在一些示例中，编码器设备获得目标表示。
[0123] 在一些示例中，输出用于表征一个或多个阈值LOQ的数据，从而，例如，传输到至少一个另一实体。例如，这种数据可以由编码器设备输出，以传输到解码器设备并由解码器设备接收。一个或多个阈值LOQ可以被认为是编码器设备确定是使用第一处理模式还是第二处理模式来获得目标表示的伪结果。解码器设备可以使用一个或多个阈值LOQ来确定是使用第一处理模式还是第二处理模式来获得目标表示。
[0124] 在一些示例中，编码器设备确定解码器设备需要使用第一和第二处理模式中的一个(例如，第二处理模式)来获得目标表示，并且确定通过解码器设备需要使用第一和第二处理模式中的另一个(例如，第一处理模式)来获得信号的第一时间样本的第一另一目标表示。第一另一目标表示处于比目标表示的LOQ(即第一LOQ)更高的LOQ。
[0125] 在一些示例中，编码器设备确定解码器设备需要使用第一和第二处理模式中的一个(例如，第二处理模式)来获得信号的第一时间样本的第二另一目标表示。第二另一目标表示处于比第一另一目标表示的LOQ更高的LOQ。这样，可以确定需要使用第二处理模式获得目标表示(处于第一LOQ)，需要使用第一处理模式获得第一另一目标表示(处于第二更高的LOQ)，并且需要使用第二处理模式获得第二另一目标表示(处于第三更高的LOQ)。因此，用于获得给定表示的处理模式可随着分层结构的提升而改变。
[0126] 参考图4，示出了获得信号的第一时间样本t1的目标表示的方法400的示例。方法400可以由包括解码器设备的装置(例如，上述第二装置104)来执行。
[0127] 根据具有多个LOQ的分层结构来处理信号，如上所述。目标表示处于第一LOQ。
[0128] 在一些示例中，该装置获得信号的第一时间样本t1的另一表示。该另一表示处于第二LOQ，第二LOQ低于第一LOQ。在一些示例中，该装置获得信号的不同的第二时间样本t2的表示。信号的第二时间样本的表示处于第三LOQ。第三LOQ可以与第一和/或第二LOQ相同或不同。
[0129] 在项目410，从一个或多个其他实体接收数据，例如，从包括编码器设备的装置，如上述第一装置102接收。接收到的数据可以用于表征解码器设备用于获得目标表示的处理模式。在一些示例中，接收到的数据用于表征用于获得目标表示的重建数据的类型，例如，帧内处理数据或帧间处理数据。例如，如果针对给定的LOQ接收到可用于获得帧内处理数据的数据，则解码器设备可以使用第一处理模式来基于该接收到的数据获得给定LOQ的目标表示。相反，如果针对给定的LOQ接收到可用于获得帧间处理数据的数据，则解码器设备可以使用第二处理模式来基于该接收到的数据获得给定LOQ的目标表示。
[0130] 在项目420，确定是使用第一处理模式还是第二处理模式来获得目标表示。当与第一重建数据相关联的第一熵低于与第二重建数据相关联的第二熵时，解码器设备需要使用第一处理模式。当第二熵低于第一熵时，解码器设备需要使用第二处理模式。
[0131] 使用第一处理模式来获得目标表示，包括解码器设备处理第一重建数据和信号的第一时间样本的另一表示。第一重建数据可以包括帧内处理数据，该帧内处理数据包括帧内残差数据，所述帧内残差数据可用于通过使用另一表示重建目标表示。使用第一处理模式可以包括对另一表示执行上采样操作，以获得处于第一LOQ的信号的第一时间样本t1的初步表示。第一重建数据和初步表示可用于获得目标表示，例如，通过将初步表示与第一重建数据组合来获得目标表示。可用于获得第一重建数据的数据可以包含在接收的数据中。
[0132] 使用第二处理模式来获得目标表示，包括解码器设备处理第二重建数据和信号的第二时间样本t2的表示。第二重建数据可以包括帧间处理数据。帧间处理数据涉及第一时间样本t1和第二时间样本t2。使用第二处理模式可以包括使用帧间处理数据利用信号的第二时间样本t2的表示来重建目标表示。可用于获得第二重建数据的数据可以包含在接收的数据中。帧间处理数据可以包括运动补偿数据。在一些示例中，使用第二处理模式包括解码器设备使用运动补偿数据来获得处于第一LOQ的信号的第一时间样本t1的预测表示。在一些示例中，帧间处理数据还包括基于预测表示和目标表示之间的比较而获得的帧间残差数据。
[0133] 在一些示例中，接收的数据用于表征一个或多个阈值LOQ。一个或多个阈值LOQ可用于确定解码器设备需要使用第一处理模式还是第二处理模式来获得目标表示。在一些示例中，当与目标表示相关联的预定LOQ高于一个或多个阈值LOQ时，需要使用第一处理模式，而当预定LOQ低于一个或多个阈值LOQ时，需要使用第二处理模式。该预定LOQ可以是例如第一LOQ或第二LOQ。
[0134] 在一些示例中，一个或多个阈值LOQ包括多个阈值LOQ。多个阈值LOQ中的每一个可以对应于信号的第一时间样本t1的多个区域中的相应一个。多个阈值LOQ中的每一个可以表征用于获得信号的第一时间样本t1的不同区域的处理模式。例如，可以通过确定使用哪种处理模式来获得信号的第一时间样本t1的给定区域而产生多个阈值LOQ中的每一个。在信号包括视频信号的情况下，信号的第一时间样本t1的不同区域可以对应于视频信号的帧的不同图块或部分。
[0135] 在一些示例中，对于信号的不同时间样本，一个或多个阈值LOQ可以是可变的。因此，可以使用不同的处理模式来获得信号的不同时间样本的相同部分。例如，可以使用第一处理模式获得信号的第一时间样本的给定部分，并且可以使用第二处理模式获得信号的不同的第二时间样本的给定部分。
[0136] 在项目430，基于在项目420做出的判定，解码器设备利用第一处理模式或第二处理模式来获得目标表示。
[0137] 在一些示例中，解码器设备确定需要使用第一和第二处理模式中的一个(例如，第二处理模式)来获得目标表示，并且确定需要使用第一和第二处理模式中的另一个(例如，第一处理模式)来获得信号的第一时间样本的第一另一目标表示。该第一另一目标表示处于比第一LOQ更高的LOQ。
[0138] 在一些示例中，解码器设备确定需要使用第一和第二处理模式中的一个(例如，第一处理模式)来获得信号的第一时间样本的第二另一目标表示。该第二另一目标表示处于比另一第一表示的LOQ更高的LOQ。
[0139] 参考图5，示出了信号500的时间样本的表示的示例。在该示例中，表示500是图像。可以例如从视频数据获得图像500。图像500是信号的第一时间样本t1的目标表示的示例，其中，该信号包括视频信号。图像可以处于具有多个LOQ的分层结构中的第一质量等级。
[0140] 图像500包括多个图块。图块对应于图像的一部分。在该示例中，图像500包括四个图块。应当理解，在其他示例中，可以使用不同数量的图块。不同的图块对应于图像的不同部分。这样，不同的特征、对象和/或项目可以出现在不同的图块中。另外或替代地，不同的图块中可以存在不同的运动量。该运动可以包括视频中不同图像之间的项目的运动。在一些示例中，一个或多个图块可以与图像500中的一个或多个感兴趣区域相关联。图像中的感兴趣区域可以是观看者正在或可能正在观看的区域。例如，观看者可以将他们的目光聚焦在图像中的给定图块上。
[0141] 可以使用不同的处理模式来获得图像500的不同部分。可以基于第一熵和第二熵之间的比较，来确定给定图块的处理模式，其中，第一熵与第一重建数据相关联，第一重建数据可用于使用第一处理模式获得给定图块，第二熵与第二重建数据相关联，第二重建数据可用于使用第二处理模式获得图块。在该示例中，需要使用第一处理模式获得图块520和图块540，并且需要使用第二处理模式获得图块510和图块530。在该示例中，第一处理模式可以称为“帧内处理”，其包括使用视频信号的相同时间样本的表示，该表示与目标表示相比处于不同质量等级。例如，可以使用来自图像的对应图块来获得图块520，该对应图块处于与图像500不同的LOQ，且该对应图块仍然是视频信号的相同时间样本的表示。在该示例中，第二处理模式可以称为“帧间处理”，其包括使用视频信号的不同时间样本的表示。例如，可以使用来自视频信号中的较早或较晚图像的对应图块来获得图块510。
[0142] 参考图6，示出了装置600的示例的示意框图。
[0143] 在一个示例中，装置600包括编码器设备。在另一示例中，装置600包括解码器设备。
[0144] 装置600的示例包括但不限于移动计算机、个人计算机系统、无线设备、基站、电话装置、台式计算机、膝上型计算机、笔记本、上网本计算机、大型计算机系统、手持计算机、工作站、网络计算机、应用服务器、存储设备、消费电子设备(例如，相机)、便携式摄像机、移动设备、视频游戏控制台、手持视频游戏设备，或者通常任何类型的计算或电子设备。
[0145] 在该示例中，装置600包括用于处理信息和/或指令的一个或多个处理器601。所述一个或多个处理器601可以包括中央处理单元(CPU)。所述一个或多个处理器601通过总线602连接。由所述一个或多个处理器601执行的操作可以由硬件和/或软件来执行。所述一个或多个处理器601可以包括多个同一位置的处理器或多个位置分离的处理器。
[0146] 在该示例中，装置600包括计算机可用易失性存储器603，其用于存储信息和/或指令，所述信息和/或指令用于一个或多个处理器601。计算机可用易失性存储器603与总线602连接。计算机可用易失性存储器603可以包括随机存取存储器(RAM)。
[0147] 在该示例中，装置600包括计算机可用非易失性存储器604，其用于存储信息和/或指令，所述信息和/或指令用于一个或多个处理器601。计算机可用非易失性存储器604与总线602连接。计算机可用非易失性存储器604可以包括只读存储器(ROM)。
[0148] 在该示例中，装置600包括用于存储信息和/或指令的一个或多个数据存储单元605。一个或多个数据存储单元605与总线602连接。一个或多个数据存储单元605可以例如包括磁盘或光盘和磁盘驱动器或固态驱动器(SSD)。
[0149] 在该示例中，装置600包括一个或多个输入/输出(I/O)设备606，其用于向一个或多个处理器601传送信息和/或从一个或多个处理器601传送信息。一个或多个I/O设备606与总线602连接。一个或多个I/O设备606可以包括至少一个网络接口。所述至少一个网络接口可以使装置600能够经由一个或多个数据通信网络进行通信。数据通信网络的示例包括但不限于因特网和局域网(LAN)。所述一个或多个I/O设备606可以使用户能够经由一个或多个输入设备(未示出)向装置600提供输入。一个或多个输入设备可以包括例如遥控器、一个或多个物理按钮等。所述一个或多个I/O设备606可以使得信息能够经由一个或多个输出设备(未示出)提供给用户。所述一个或多个输出设备可以例如包括显示屏。
[0150] 为装置600描绘了各种其他实体。例如，当存在时，操作系统607、数据信号处理模块608、一个或多个另一模块609和数据610被示为存在于计算机可用易失性存储器603、计算机可用非易失性存储器604和一个或多个数据存储单元605中的一个或组合中。数据信号处理模块608可以通过计算机程序代码来实现，所述计算机存储代码存储在计算机可用非易失性存储器604内的存储器位置中、一个或多个数据存储单元605内的计算机可读存储介质和/或其他有形计算机可读存储介质中。有形计算机可读存储介质的示例包括但不限于光学介质(例如，CD-ROM、DVD-ROM或蓝光)、闪存卡、软盘或硬盘或任何其他介质，所述任何其他介质能够在至少一个ROM或RAM或可编程ROM(PROM)芯片中或作为专用集成电路(ASIC)存储计算机可读指令(例如，固件或微码)。
[0151] 装置600因此可以包括数据信号处理模块608，该模块可以由一个或多个处理器601执行。数据信号处理模块608可以被配置为包括用于实现本文描述的至少一些操作的指令。在操作期间，一个或多个处理器601启动、运行、执行、解释或以其他方式执行信号处理模块608中的指令。
[0152] 尽管本文参考附图而描述的示例的至少一些方面包括在处理系统或处理器中执行的计算机处理，但是本文描述的示例也扩展到计算机程序，例如，载体上或载体中的计算机程序，所述计算机程序适于将示例付诸实践。载体可以是能够承载程序的任何实体或设备。
[0153] 应当理解，装置600可以包括比图6所示的组件更多、更少的组件和/或与图6所示的组件不同的组件。
[0154] 装置600可以位于单个位置或者可以分布在多个位置。这些位置可以是本地的或远程的。
[0155] 本文描述的技术可以在软件或硬件中实现，或者可以使用软件和硬件的组合来实现。其可以包括将装置配置为执行和/或支持本文描述的任何或所有技术。
[0156] 在一些示例中，确定是使用第一处理模式还是不同于第一处理模式的第二处理模式来获得信号的第一时间样本的目标表示。信号设置在具有多个LOQ的分层结构中，目标表示处于第一LOQ。当第一熵低于第二熵时，需要使用第一处理模式，所述第一熵与第一重建数据相关联，所述第一重建数据可用于通过使用第一处理模式获得目标表示，所述第二熵与第二重建数据相关联，所述第二重建数据可用于使用第二处理模式获得目标表示。当第二熵低于第一熵时，需要使用第二处理模式。使用第一处理模式来获得目标表示，包括处理第一重建数据和信号的第一时间样本的另一表示，所述另一表示处于不同的第二LOQ。使用第二处理模式包括处理第二重建数据和信号的不同的第二时间样本的表示。
[0157] 在一些示例中，编码器设备用于识别以下两者中的较低者：帧内处理数据第一熵，所述帧内处理数据由解码器设备用于基于信号的第一表示获得信号的目标表示；以及帧间处理数据第二熵，所述帧间处理数据由解码器设备用于基于信号的不同于第一表示的第二表示获得信号的目标表示。所述第一表示和所述目标表示是信号的相同时间样本的一部分。所述第二表示是相对于第一表示和目标表示的信号的较早时间样本的一部分。编码器设备用于输出数据，所述数据向解码器设备传输，所述数据用于表征解码器设备需要使用帧内处理数据来获得信号的目标表示，以响应第一熵被识别为第一和第二熵中的较低者。编码器设备用于输出数据，所述数据向解码器设备传输，所述数据用于表征解码器设备需要使用帧间处理数据来获得信号的目标表示，以响应第二熵被识别为第一和第二熵中的较低者。
[0158] 在一些示例中，解码器设备用于接收数据，所述数据用于表征解码器设备需要使用帧内处理数据还是帧间处理数据来获得信号的目标表示。解码器设备用于基于所接收的数据确定解码器设备是使用帧内处理数据还是帧间处理数据来获得信号的目标表示。解码器设备用于基于信号的第一表示并利用帧内处理数据来获得信号的目标表示，以响应：确定表征解码器设备需要使用帧内处理数据来获得信号的目标表示。所述第一表示和所述目标表示是信号的相同时间样本的一部分。解码器设备用于基于信号的不同于第一表示的第二表示并利用帧间处理数据来获得信号的目标表示，以响应：确定表征解码器设备需要使用帧间处理数据来获得信号的目标表示。所述第二表示是相对于目标表示和第一表示的信号的较早时间样本的一部分。
[0159] 在一些示例中，解码器设备使用分层信号处理布置中的动态阈值质量等级来确定用于获得信号的时间样本的目标表示的处理模式。在高于动态阈值质量等级的情况下，使用第一处理模式。第一处理模式包括处理信号的相同时间样本的另一表示，所述另一表示与目标表示相比处于不同的质量等级。在低于动态阈值质量等级情况下，使用第二处理模式。第二处理模式包括处理信号的不同时间样本的表示。
[0160] 上述实施例应被理解为本发明的说明性示例。设想了本发明的其他实施例。
[0161] 在上述示例中，第一时间样本t1和第二时间样本t2都是相同信号的时间样本。在其他示例中，第一时间样本t1和第二时间样本t2是不同信号的时间样本。例如，如果信号是视频信号，则第二时间样本t2可以对应于第一视频的最后一帧，而第一时间样本t1可以对应于后续视频的第一帧。这样，在第二处理模式中，可以至少部分地基于信号的第二时间样本t2的表示来获得信号的第一时间样本t1的目标表示。
[0162] 在上述示例中，第一时间样本t1是比第二时间样本t2更晚的时间样本。在其他示例中，第一时间样本t1是比第二时间样本t2更早的时间样本。
[0163] 在上述示例中，当第一熵低于第二熵时需要使用第一处理模式，当第二熵低于第一熵时需要使用第二处理模式。在其他示例中，当第一熵高于第二熵时需要使用第一处理模式，当第二熵高于第一熵时需要使用第二处理模式。这样，当第一熵低于第二熵时，需要使用第一处理模式和第二处理模式中的一个，当第二熵低于第一熵时，需要使用第一处理模式和第二处理模式中的另一个。
[0164] 在上述示例中，包括解码器设备的装置获得目标表示。在一些示例中，包括解码器设备的装置还确定用于获得目标表示的处理模式。在其他示例中，用于获得目标表示的处理模式由至少另一个实体确定，并被指示给设备。
[0165] 在上述示例中，基于第一和第二熵来确定用于获得目标表示的处理模式。在其他示例中，除了第一和第二熵之外或者作为第一和第二熵的替代，可以使用不同类型的处理特性。处理特性可以涉及第一处理模式和/或第二处理模式的特性。该特性可以是效率特性，例如，编码效率和/或处理效率。
[0166] 提供了各种度量(例如，装置、方法和计算机程序)。将第一熵与第二熵进行比较，所述第一熵与第一重建数据相关联，所述第一重建数据可由解码器设备使用以利用第一处理模式获得信号的第一时间样本的目标表示，所述第二熵与第二重建数据相关联，所述第二重建数据可由解码器使用以利用不同于第一处理模式的第二处理模式获得目标表示。所述信号根据具有多个质量等级的分层结构来处理。所述目标表示处于分层结构中的第一质量等级。基于比较结果，确定所述解码器设备需要使用第一处理模式还是第二处理模式来获得目标表示。当比较结果表征第一熵低于第二熵时，需要使用第一处理模式。当比较结果表征第二熵低于第一熵时，需要使用第二处理模式。输出数据，所述数据用于表征所述解码器设备需要使用第一处理模式还是第二处理模式来获得目标表示。使用第一处理模式来获得目标表示，包括解码器设备处理第一重建数据和信号的第一时间样本的另一表示，所述另一表示处于分层结构中较低的第二质量等级。使用第二处理模式来获得目标表示，包括解码器设备处理第二重建数据和信号的不同的第二时间样本的表示。
[0167] 所述目标表示和所述第二时间样本的表示可以在所述分层结构中彼此处于相同的质量等级。
[0168] 在一些示例中，接收用于表征第一熵的数据。在一些示例中，确定第一熵。确定所述第一熵可以包括获得第一重建数据。在一些示例中，确定所述第一熵包括：对所述另一表示执行上采样操作，以获得信号的第一时间样本的初步表示，所述初步表示处于第一质量等级；并且使用初步表示获得第一重建数据。
[0169] 所述第一重建数据可以包括帧内残差数据，所述帧内残差数据可由所述解码器设备使用以利用所述另一表示来获得目标表示。
[0170] 在一些示例中，输出基于第一重建数据的数据，以响应确定需要使用第一处理模式。
[0171] 在一些示例中，接收用于表征第二熵的数据。在一些示例中，确定第二熵。确定所述第二熵可以包括获得第二重建数据。
[0172] 在一些示例中，所述第二重建数据包括与所述第一时间样本和所述第二时间样本相关的帧间处理数据，所述帧间处理数据可由所述解码器设备使用以利用第二时间样本的表示来获得目标表示。所述帧间处理数据可以包括运动补偿数据，所述运动补偿数据与第二时间样本的表示和目标表示之间的一个或多个项目的运动相关。所述帧间处理数据可以包括帧间残差数据，所述帧间残差数据基于信号的第一时间样本的预测表示和所述目标表示之间的比较而获得，所述预测表示处于第一质量等级。
[0173] 在一些示例中，输出基于第二重建数据的数据，以响应确定需要使用第二处理模式。
[0174] 所述第二时间样本可以是所述信号中相对于第一时间样本更早的时间样本。
[0175] 在一些示例中，确定所述解码器设备需要使用第一和第二处理模式中的一个来获得所述目标表示；并且确定所述解码器设备需要使用第一和第二处理模式中的另一个来获得所述信号的第一时间样本的第一另一目标表示。所述第一另一目标表示在所述分层结构中处于的质量等级高于第一质量等级。
[0176] 在一些示例中，确定所述解码器设备需要使用第一和第二处理模式中的一个来获得所述信号的第一时间样本的第二另一目标表示。所述第二另一目标表示在所述分层结构中处于的质量等级高于所述第一另一目标表示的质量等级。
[0177] 在一些示例中，输出数据，所述数据用于表征需要使用第一处理模式还是第二处理模式，所述输出数据包括输出传输到解码器设备的数据。
[0178] 在一些示例中，所述第一熵表示与第一重建数据相关联的编码效率，并且所述第二熵表示与第二重建数据相关联的编码效率。
[0179] 在一些示例中，信号包括视频信号。
[0180] 提供了各种度量(例如，装置、方法和计算机程序)，其中，编码器设备识别第一熵和第二熵中的较低者。第一熵是帧内处理数据的第一熵，所述帧内处理数据由解码器设备用于基于信号的第一表示获得信号的目标表示，所述第一表示和所述目标表示是信号的相同时间样本的一部分。第二熵是帧间处理数据的第二熵，所述帧间处理数据由解码器设备用于基于信号的不同于第一表示的第二表示获得信号的目标表示，所述第二表示是信号的较早时间样本的一部分。编码器设备输出数据，所述数据用于表征解码器设备需要使用帧内处理数据来获得信号的目标表示，所述数据传输到解码器设备，以响应第一熵被识别为第一和第二熵中的较低者。编码器设备输出被数据，所述数据用于表征解码器设备需要使用帧间处理数据来获得信号的目标表示，所述数据传输到解码器设备，以响应第二熵被识别为第一和第二熵中的较低者。
[0181] 提供了各种度量(例如，装置、方法和计算机程序)，其中，解码器设备接收数据，所述数据用于表征解码器设备是使用帧内处理数据还是帧间处理数据来获得信号的目标表示。解码器设备基于所接收的数据，确定解码器设备是使用帧内处理数据还是帧间处理数据来获得信号的目标表示。解码器设备基于信号的第一表示，并且使用帧内处理数据，获得目标表示，以响应：确定表征解码器设备需要使用帧内处理数据来获得信号的目标表示。所述第一表示和所述目标表示是信号的相同时间样本的一部分。解码器设备基于所述信号的不同于第一表示的第二表示，并且使用帧间处理数据，获得目标表示，以响应确定表针解码器设备需要使用帧间处理数据来获得信号的目标表示。所述第二表示是所述信号的较早时间样本的一部分。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 相机水印的编辑方法和装置 | 2020-05-08 | 580 |
| 偏振膜、偏振片、及偏振膜的制造方法 | 2020-05-08 | 463 |
| 制冷剂和氮气回收 | 2020-05-08 | 339 |
| MEMS麦克风系统 | 2020-05-08 | 346 |
| 用于电机、尤其是机动车辆的电机的转子以及用于制造这种转子的方法 | 2020-05-08 | 821 |
| 热源装置、以及银沸石的使用方法 | 2020-05-11 | 430 |
| 工艺不变电阻器和电容器对 | 2020-05-08 | 155 |
| 电机 | 2020-05-08 | 195 |
| LED制造系统及LED制造方法 | 2020-05-08 | 442 |
| 通过蒸发形成电化电池的元件的方法 | 2020-05-08 | 836 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈