图像处理设备和方法专利检索-运动补偿预测视听技术与设备专利检索查询-专利查询网

图像处理设备和方法

阅读：889发布：2020-10-25

专利汇可以提供图像处理设备和方法专利检索，专利查询，专利分析的服务。并且本公开涉及一种能够抑制编码效率的降低的图像处理设备和方法。该图像处理设备具备：控制器，所述控制器根据运动向量的精度，控制被按照进行运动补偿的帧间预测模式的候选者；运动搜索单元，所述运动搜索单元只按照被控制器允许成为所述候选者的帧间预测模式，进行运动搜索，从而生成运动向量；和运动补偿单元，所述运动补偿单元按照由运动搜索单元分别被按照来生成运动向量的各个候选者中选择的帧间预测模式，来进行运动补偿，从而生成预测图像。本公开可以适用于图像处理设备。，下面是图像处理设备和方法专利的具体信息内容。

权利要求

1.一种图像处理设备，包括：
控制器，所述控制器根据运动向量的精度，控制被按照来进行运动补偿的帧间预测模式的候选者；
运动搜索单元，所述运动搜索单元只按照被控制器允许成为所述候选者的帧间预测模式，来进行运动搜索，从而生成运动向量；和
运动补偿单元，所述运动补偿单元按照从被由运动搜索单元分别按照来生成运动向量的各个候选者中选择的帧间预测模式，来进行运动补偿，从而生成预测图像。
2.按照权利要求1所述的图像处理设备，其中
控制器按照运动向量的精度是整数精度还是分数精度，来控制是否使帧间预测模式成为所述候选者。
3.按照权利要求2所述的图像处理设备，其中
控制器按照运动向量在纵向和横向的精度是整数精度还是分数精度，来控制是否使帧间预测模式成为所述候选者。
4.按照权利要求3所述的图像处理设备，其中
控制器还按照预测模式是单向预测还是双向预测，来控制是否使帧间预测模式成为所述候选者。
5.按照权利要求4所述的图像处理设备，其中
控制器还按照作为预测处理单元的区域的大小，来控制是否使帧间预测模式成为所述候选者。
6.按照权利要求1所述的图像处理设备，其中
控制器按照关于根据运动向量的精度确定的、从存储器的数据读取量的大小的信息是否超过依据资源和用户指示而定的上限，来控制是否使帧间预测模式成为所述候选者。
7.按照权利要求1所述的图像处理设备，还包括：
传输单元，所述传输单元生成并传送传输信息，所述传输信息指示由控制器进行的控制的细节。
8.按照权利要求7所述的图像处理设备，其中
传输单元定义作为传输信息的简档和等级，并把指示所述简档和等级的信息包含在序列参数集中并传送。
9.按照权利要求1所述的图像处理设备，还包括：
成本函数计算单元，所述成本函数计算单元关于被由运动搜索单元按照来生成运动向量的每个候选者，来计算成本函数值；和
模式选择器，所述模式选择器根据成本函数计算单元计算的成本函数值，从各个候选者中选择被按照来进行运动补偿的帧间预测模式，其中
运动补偿单元按照由模式选择器选择的帧间预测模式，来进行运动补偿。
10.一种图像处理设备的图像处理方法，其中
控制器根据运动向量的精度，控制被按照来进行运动补偿的帧间预测模式的候选者，运动搜索单元只按照被允许成为所述候选者的帧间预测模式来进行运动搜索，从而生成运动向量，和
运动补偿单元按照从被分别按照来生成运动向量的各个候选者中选择的帧间预测模式，来进行运动补偿，从而生成预测图像。
11.一种图像处理设备，包括：
获取单元，所述获取单元获得控制信息，该控制信息用于根据运动向量的精度，控制在编码图像数据时的帧间预测中使用的、被按照来进行运动补偿的帧间预测模式的候选者；
判定单元，所述判定单元根据获取单元获得的控制信息，判定对通过编码图像数据而生成的编码数据进行解码的可能性；和
控制器，所述控制器根据判定单元的判定结果，来控制编码数据的解码。
12.按照权利要求11所述的图像处理设备，其中
所述判定单元根据关于由获取单元获得的控制信息指定的、从存储器的数据读取量的大小的信息是否超过依据资源和用户指示而定的上限，来判定所述可能性。
13.按照权利要求12所述的图像处理设备，其中
所述判定单元根据关于由简档和等级定义的、从存储器的数据读取量的大小的信息是否超过依据资源和用户指示而定的上限，来判定所述可能性。
14.按照权利要求11所述的图像处理设备，其中
只有当判定单元判定解码是可能的时，控制器才允许对编码数据进行解码。
15.按照权利要求11所述的图像处理设备，还包括：
错误处理器，其在判定单元判定解码不可能时由控制器控制进行错误处理。
16.一种图像处理设备的图像处理方法，其中
获取单元获得控制信息，该控制信息用于根据运动向量的精度，控制在编码图像数据时的帧间预测中使用的、被按照来进行运动补偿的帧间预测模式的候选者，判定单元根据获得的控制信息，判定对通过编码图像数据而生成的编码数据进行解码的可能性，和
控制器根据判定结果，来控制编码数据的解码。

说明书全文

图像处理设备和方法

技术领域

[0001] 本公开涉及图像处理设备和方法，尤其涉及抑制编码效率降低的图像处理设备和方法。

背景技术

[0002] 近年来，遵守数字处理图像信息，并通过利用图像信息特有的冗余，借助诸如离散余弦变换之类的正交变换和运动补偿压缩图像信息，以便高效地传输和存储所述信息的方案，比如MPEG(运动图像专家组)的设备已在广播台的信息分发和普通家庭的信息接收中得到广泛应用。

[0003] 特别地，被定义为一种通用图像编码方案的MPEG-2(ISO(国际标准化组织)/IEC(国际电工委员会)13818-2)，是覆盖隔行扫描图像和逐行扫描图像两者，以及标准分辨率图像和高清晰度图像的标准，目前已广泛用在各种各样的专业用途和消费用途的应用中。利用MPEG-2，通过分别为具有720×480 像素的标准分辨率隔行扫描图像和具有1920×1088像素的高分辨率的隔行扫描图像，分配4～8Mbps和18～22Mbps的代码量(比特率)，能够实现高压缩比和良好的图像质量。

[0004] MPEG-2的主要目标是适合于广播的高图像质量编码，不过这不满足具有比MEPG-1低的代码量(比特率)，即，具有较高压缩比的编码方案。随着便携式终端的普及，认为今后对这种编码方案的需要会增长，为了适应这种情况，进行了MEPG-4的标准化。就图像编码方案来说，该标准作为ISO/IEC14496-2，在1998年12月被确认为国际标准。

[0005] 此外，近年来，正在进行目标最初是用于视频会议的图像编码的H.26L(ITU-T(国际电信联盟电信标准化部门)Q6/16VCEG(视频编码专家组))标准的标准化工作。已知H.26L实现更高的编码效率，不过与诸如MPEG-2或MPEG-4之类的常规编码方案相比，这需要更多的编码和解码算术运算量。目前，作为MPEG-4活动的一部分，以增强压缩视频编码的联合模型的形式，进行了以H.26L为基础，通过引入H.26L不支持的功能，实现更高编码效率的标准化。

[0006] 按照标准化的时间表，在2003年3月，这以H.264/MPEG-4Part10(高级视频编码，下面称为AVC)之名成为国际标准。

[0007] 此外，作为其扩展，在2005年2月，完成了包括诸如RGB，4:2:2或4:4:4之类为商业应用所必需的编码工具，还包括在MPEG-2中规定的8×8DCT和量化矩阵的FRExt(保真度范围扩展)的标准化，因而，通过利用AVC，这可作为还能够极好地表现包含在电影中的胶片噪声的编码方案，用在诸如蓝光光盘之类各种各样的应用中。

[0008] 不过最近，对具有更高压缩比的编码，比如压缩像素4倍于高清晰度图像的UHD(超高清晰度；4000像素×2000像素)的图像，或者在传输容量有限的环境，比如因特网中分发高清晰度图像的需求增长。于是，上述ITU-T之下的VCEG(视频编码专家组)不断研究编码效率的改善。

[0009] 为了与AVC相比，进一步提高编码效率，正在进行JCTVC(联合合作团队-视频编码)的称为HEVC(高效视频编码)的标准化(例如，参见专利文献1)，JCTVC是ITU-T和ISO/IEC的共同标准化团体。

[0010] 在这种AVC和HEVC中，使用了运动补偿滤波器(MC滤波器)，以致在帧间预测时，可以进行分数精度的运动补偿。作为MC滤波器，在HEVC的情况下，8抽头FIR(有限脉冲响应)滤波器用于亮度分量，4抽头FIR滤波器用于色度分量。

[0011] 在帧间预测中，根据块大小、预测模式、运动向量(MV)等，从帧存储器中取出编码图像，作为参照图像，并根据MV的分数部分，应用MC滤波器，从而生成帧间预测图像。同时，在编码器中利用运动估计，在解码器中根据流信息，获得MV。

[0012] 在小数精度的MV的情况下，用于生成预测图像的MC滤波器的抽头计数变得更大。即，与在其中MV为整数的情况下相比，生成预测图像所需的参照图像的像素数变大。于是，应从帧存储器读取更多的像素数据。

[0013] 为生成预测图像的某个像素而读取的参照图像的像素值也可用于生成该像素周围的另一个像素，以致通常随着要生成的预测图像的大小越大，参照图像的利用效率越高。即，当被转换成预测图像的每一个像素的数目时，随着预测图像的大小越大，生成预测图像所需的参照图像的像素数越小。换句话说，随着预测图像的大小越小，参照图像的利用效率变得越低，生成预测图像的一个像素所需的参照图像的像素数变得越大。

[0014] 此外在双向预测的情况下，与单向预测相比，参照图像的数目变大。

[0015] 这样，当待读取的参照图像的大小变得更大时，必须确保帧存储器和帧间预测单元之间的更大的存储带宽，以维持编码的处理速度，从而负荷变大。

[0016] 于是，在AVC中，能够按照级别限制解码器使用的资源。具体地，可在两个连续宏块中使用的运动向量的数目存在上限。这种限制避免块大小较小的帧间预测的连续发生。具有8×8块大小的宏块的双向预测也被禁止。

[0017] 引文列表

[0018] 非专利文献

[0019] 非专利文献 1：Benjamin Bross，Woo-Jin Han，Jens-Rainer Ohm，Gary J.Sullivan，Thomas Wiegand，“Working Draft4of High-Efficiency Video Coding”，JCTVC-F803_d2,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG116th Meeting:Torino,IT,14-22July,2011。发明内容

[0020] 所解决的技术问题

[0021] 上述限制抑制了对于存储带宽的负荷的过度增大，不过，这种限制会减少可用的预测模式和块大小，以致降低编码效率。

[0022] 然而，按照惯例，在这种控制中不考虑运动向量的精度对负荷的影响。于是，不必要地限制了可用的预测模式和块大小，从而可能不必要地降低编码效率。

[0023] 鉴于这种情况，完成了本公开，本发明的目的是通过不仅考虑块大小和预测模式，而且还考虑运动向量的精度，来限制运动预测，抑制编码效率的不必要降低。

[0024] 技术问题的解决方案

[0025] 本发明的一个方面是一种图像处理设备，包括：控制器，所述控制器根据运动向量的精度，控制被按照来进行运动补偿的帧间预测模式的候选者；运动搜索单元，所述运动搜索单元只按照被控制器允许成为所述候选者的帧间预测模式，来进行运动搜索，从而生成运动向量；和运动补偿单元，所述运动补偿单元按照从被由运动搜索单元分别按照来生成运动向量的各个候选者中选择的帧间预测模式，来进行运动补偿，从而生成预测图像。

[0026] 控制器可按照运动向量的精度是整数精度还是分数精度，来控制是否使帧间预测模式成为所述候选者。

[0027] 控制器可按照运动向量在纵向和横向的精度是整数精度还是分数精度，来控制是否使帧间预测模式成为所述候选者。

[0028] 控制器还可按照预测模式是单向预测还是双向预测，来控制是否使帧间预测模式成为所述候选者。

[0029] 控制器还可按照作为预测处理单元的区域的大小，来控制是否使帧间预测模式成为所述候选者。

[0030] 控制器可按照关于根据运动向量的精度确定的、从存储器的数据读取量的大小的信息是否超过依据资源和用户指示而定的上限，来控制是否使帧间预测模式成为所述候选者。

[0031] 还可设置传输单元，所述传输单元生成并传送传输信息，所述传输信息指示由控制器进行的控制的细节。

[0032] 传输单元可定义作为传输信息的简档(profile)和等级(level)，并把指示所述简档和等级的信息包含在序列参数集中并传送。

[0033] 还可设置成本函数计算单元，所述成本函数计算单元关于被由运动搜索单元按照来生成运动向量的每个候选者，来计算成本函数值；以及模式选择器，所述模式选择器根据成本函数计算单元计算的成本函数值，从各个候选者中选择被按照来进行运动补偿的帧间预测模式，其中运动补偿单元按照由模式选择器选择的帧间预测模式，来进行运动补偿。

[0034] 本公开的一个方面是一种图像处理设备的图像处理方法，其中控制器根据运动向量的精度，控制被按照来进行运动补偿的帧间预测模式的候选者，运动搜索单元只按照被允许成为所述候选者的帧间预测模式来进行运动搜索，从而生成运动向量，和运动补偿单元按照从被分别按照来生成运动向量的各个候选者中选择的帧间预测模式，来进行运动补偿，从而生成预测图像。

[0035] 本公开的另一个方面是一种图像处理设备，包括：获取单元，所述获取单元获得控制信息，该控制信息用于根据运动向量的精度，控制在编码图像数据时的帧间预测中使用的、被按照来进行运动补偿的帧间预测模式的候选者；判定单元，所述判定单元根据获取单元获得的控制信息，判定对通过编码图像数据而生成的编码数据进行解码的可能性；和控制器，所述控制器根据判定单元的判定结果，来控制编码数据的解码。

[0036] 所述判定单元可根据关于由获取单元获得的控制信息指定的、从存储器的数据读取量的大小的信息是否超过依据资源和用户指示而定的上限，来判定所述可能性。

[0037] 所述判定单元可根据关于由简档和等级定义的、从存储器的数据读取量的大小的信息是否超过依据资源和用户指示而定的上限，来判定所述可能性。

[0038] 只有当判定单元判定解码是可能的时，控制器才允许对编码数据进行解码[0039] 还可设置错误处理器，其在判定单元判定解码不可能时由控制器控制进行错误处理。

[0040] 本公开的另一个方面是一种图像处理设备的图像处理方法，其中获取单元获得控制信息，该控制信息用于根据运动向量的精度，控制在编码图像数据时的帧间预测中使用的、被按照来进行运动补偿的帧间预测模式的候选者，判定单元根据获得的控制信息，判定对通过编码图像数据而生成的编码数据进行解码的可能性，和控制器根据判定结果，来控制编码数据的解码。

[0041] 按照本公开的一个方面，根据运动向量的精度，控制被按照来进行运动补偿的帧间预测模式的候选者，只按照被允许成为所述候选者的帧间预测模式进行运动搜索，和按照从被分别按照来生成运动向量的各个候选者中选择的帧间预测模式，来进行运动补偿，从而生成预测图像。

[0042] 按照本公开的另一个方面，获得根据运动向量的精度，控制在编码图像数据时的帧间预测中使用的进行运动补偿的帧间预测模式的候选者的控制信息，判定通过对图像数据编码而生成的编码数据的解码是否可能，和依据判定结果，控制编码数据的解码。

[0043] 本发明的技术效果

[0044] 按照本公开，能够处理图像。特别地，能够抑制编码效率的降低。附图说明

[0045] 图1是图像编码设备的主要结构例子的方框图。

[0046] 图2是分数精度的运动预测/补偿处理的例子的示图。

[0047] 图3是图解说明编码单位的结构例子的示图。

[0048] 图4是预测模式、块大小、预测精度和参照图像的像素数之间的关系的示图。

[0049] 图5是预测模式、块大小、预测精度和参照图像的像素数之间的关系的示图。

[0050] 图6是运动预测/补偿单元和运动向量控制器的主要结构例子的方框图。

[0051] 图7是图解说明编码处理的流程的例子的流程图。

[0052] 图8是图解说明运动向量控制处理的流程的例子的流程图。

[0053] 图9是图解说明帧间运动预测处理的流程的例子的流程图。

[0054] 图10是运动预测/补偿单元和运动向量控制器的另一个结构例子的方框图。

[0055] 图11是限制信息的例子的示图。

[0056] 图12是限制信息的另一个例子的示图。

[0057] 图13是图解说明运动向量控制处理的流程的另一个例子的流程图。

[0058] 图14是图像解码设备的主要结构例子的方框图。

[0059] 图15是解码控制器的主要结构例子的方框图。

[0060] 图16是图解说明解码处理的流程的例子的流程图。

[0061] 图17是图解说明解码控制处理的流程的例子的流程图。

[0062] 图18是解码控制器的另一个结构例子的方框图。

[0063] 图19是图解说明解码控制处理的流程的另一个例子的流程图。

[0064] 图20是计算机的主要结构例子的方框图。

[0065] 图21是电视机的主要结构例子的方框图。

[0066] 图22是移动终端的主要结构例子的方框图。

[0067] 图23是记录/再现设备的主要结构例子的方框图。

[0068] 图24是成像设备的主要结构例子的方框图。

具体实施方式

[0069] 下面，说明实现本公开的方式(下面称为实施例)。注意，将按以下顺序进行说明。

[0070] 1.第一实施例(图像编码设备)

[0071] 2.第二实施例(图像解码设备)

[0072] 3.第三实施例(计算机)

[0073] 4.第四实施例(电视接收机)

[0074] 5.第五实施例(移动电话机)

[0075] 6.第六实施例(记录/再现设备)

[0076] 7.第七实施例(成像设备)

[0077] <1.第一实施例>

[0078] [图像编码设备]

[0079] 图1是作为本技术适用于的图像处理设备的图像编码设备的主要结构例子的方框图。

[0080] 图1中图解所示的图像编码设备100通过利用HEVC(高效视频编码)和H.264/MPEG(运动图像专家组)-4第10部分(AVC(高级视频编码))，对运动图像的图像数据编码。

[0081] 如图1中图解所示，图像编码设备100包括A/D转换器101、屏幕重排缓冲器102、算术单元103、正交变换单元104、量化单元105、无损编码单元106和累积缓冲器107。图像编码设备100还包括逆量化单元108、逆正交变换单元109、算术单元110、循环滤波器111、帧存储器112、选择器113、帧内预测单元114、运动预测/补偿单元115、预测图像选择器116和速率控制器117。

[0082] 图像编码设备100还包括运动向量控制器121。

[0083] A/D转换器101对输入的图像数据进行A/D转换，把转换后的图像数据(数字数据)提供给屏幕重排缓冲器102，以便保存。

[0084] 屏幕重排缓冲器102按照GOP(图像组)，把按照保存的显示顺序的各帧图像重排成用于编码的各帧的顺序，并把其中各帧的顺序被重排的图像提供给算术单元103。屏幕重排缓冲器102为作为编码处理的处理单位(编码单位)的每个预定部分区域，把每帧图像提供给算术单元103。屏幕重排缓冲器102还按照类似的方式，为每个部分区域，把其中各帧的顺序被重排的图像提供给帧内预测单元114和运动预测/补偿单元115。

[0085] 算术单元103从读取自屏幕重排缓冲器102的图像中，减去通过预测图像选择器116，从帧内预测单元114或运动预测/补偿单元115供给的预测图像，并把差分信息输出给正交变换单元104。例如，就对其进行帧内编码的图像来说，算术单元103从读取自屏幕重排缓冲器102的图像中，减去从帧内预测单元114供给的预测图像。另外，就对其进行帧间编码的图像来说，算术单元103从读取自屏幕重排缓冲器102的图像中，减去从运动预测/补偿单元115供给的预测图像。

[0086] 正交变换单元104对从算术单元103供给的差分信息进行正交变换，比如离散余弦变换和Karhunen-Loeve变换。同时，可以用任意方法进行所述正交变换。正交变换单元104把利用正交变换获得的变换系数提供给量化单元105。

[0087] 量化单元105量化从正交变换单元104供给的变换系数。量化单元105把量化的变换系数提供给无损编码单元106。

[0088] 无损编码单元106利用任意编码方案，对量化单元105量化的变换系数编码，从而生成编码数据(比特流)。系数数据是在速率控制器117的控制下被量化的，以致编码数据的代码量达到速率控制器117设定的目标值(或者近似于所述目标值)。

[0089] 无损编码单元106还从帧内预测单元114获得包括指示帧内预测模式的信息等的帧内预测信息，并从运动预测/补偿单元115获得包括指示帧间预测模式的信息等的帧间预测信息。

[0090] 此外，无损编码单元106获得从运动向量控制器121供给的关于运动预测的限制的信息(传输信息)。

[0091] 无损编码单元106通过利用任意编码方案，对各项信息编码，以便添加到编码数据(比特流)中(与编码数据(比特流)复用)。

[0092] 无损编码单元106把按照这种方式生成的编码数据提供给累积缓冲器107，以便累积。无损编码单元106的编码方案包括变长编码，算术编码等。变长编码例如包括在H.264/AVC中定义的CAVLC(上下文自适应变长编码)等。算术编码例如包括CABAC(上下文自适应二进制算术编码)等。

[0093] 累积缓冲器107临时保存从无损编码单元106供给的编码数据。累积缓冲器107以预定定时，以比特流的形式，把保存的编码数据输出给下一级的未例示的记录设备(记录介质)和传输路径。即，编码的各项信息被提供给由对图像编码设备10对图像数据编码而获得的编码数据解码的设备(下面也称为解码侧设备)。

[0094] 由量化单元105量化的变换系数还被提供给逆量化单元108。逆量化单元108用与量化单元105的量化对应的方法，对量化的变换系数进行逆量化。逆量化单元108把获得的变换系数提供给逆正交变换单元109。

[0095] 逆正交变换单元109用与正交变换单元104的正交变换对应的方法，对从逆量化单元108供给的变换系数进行逆正交变换。逆正交变换的输出(局部恢复的差分信息)被提供给算术单元110。

[0096] 算术单元110将通过预测图像选择器116，从帧内预测单元114或运动预测/补偿单元115供给的预测图像，和从逆正交变换单元109供给的逆正交变换的结果(即，局部恢复的差分信息)相加，从而获得局部重构的图像(下面称为重构图像)。重构图像被提供给循环滤波器111或帧存储器112。

[0097] 包括解块滤波器、自适应循环滤波器等的循环滤波器111恰当地对从算术单元110供给的解码图像进行滤波处理。例如，循环滤波器111通过对解码图像进行解块滤波处理，除去解码图像的块失真。例如，循环滤波器111通过利用Wiener滤波器，对解块滤波处理的结果(除去块失真的解码图像)进行循环滤波处理，改善图像质量。

[0098] 同时，循环滤波器111也可对解码图像进行任意滤波处理。循环滤波器111还可把诸如在滤波处理中使用的滤波系数之类的信息提供给无损编码单元106，以便酌情对其编码。循环滤波器111把滤波处理的结果(下面称为解码图像)提供给帧存储器112。

[0099] 帧存储器112保存从算术单元110供给的重构图像和从循环滤波器111供给的解码图像。帧存储器112在预定定时，或者依据来自帧内预测单元114等的外部请求，把保存的重构图像通过选择器113提供给帧内预测单元114。帧存储器112还在预定定时，或者依据来自运动预测/补偿单元115等的外部请求，把保存的解码图像通过选择器113提供给运动预测/补偿单元115。

[0100] 选择器113指示从帧存储器112输出的图像被提供给的目的地。例如，在帧内预测的情况下，选择器113从帧存储器112读取未对其进行滤波处理的图像(重构图像)，并把该图像作为周边像素，提供给帧内预测单元114。

[0101] 例如，在帧间预测的情况下，选择器113从帧存储器112读取对其进行滤波处理的图像(解码图像)，并把该图像作为参照图像，提供给运动预测/补偿单元115。

[0102] 当帧内预测单元114从帧存储器112获得位于当前区域周围的周边区域的图像(周边图像)时，帧内预测单元114通过利用周边图像的像素值，进行帧内预测(屏内预测)，以基本上通过使预测单元成为处理单位生成预测图像。帧内预测单元114按预先准备的多种模式(帧内预测模式)，进行帧内预测。

[0103] 帧内预测单元114按所有候选的帧内预测模式生成预测图像，并通过利用从屏幕重排缓冲器102供给的输入图像，评估每个预测图像的成本函数值，以选择最佳模式。当帧内预测单元114选择最佳帧内预测模式时，它把按该最佳模式生成的预测图像提供给预测图像选择器116。

[0104] 帧内预测单元114把包括关于帧内预测的信息，比如最佳帧内预测模式的帧内预测信息，恰当地提供给无损编码单元106，以便编码。

[0105] 运动预测/补偿单元115通过利用从屏幕重排缓冲器102供给的输入图像和从帧存储器112供给的参照图像，通过基本上使PU成为处理单位，进行运动预测(帧间预测)，并按照检测的运动向量进行补偿处理，以生成预测图像(帧间预测图像信息)。运动预测/补偿单元115按照预先准备的多种模式(帧间预测模式)，进行这种帧间预测。

[0106] 同时，运动预测/补偿单元115按照运动向量控制器121的控制，只按允许的模式进行运动预测。即，利用运动向量控制器121，可限制候选帧间预测模式。

[0107] 运动预测/补偿单元115按所有的候选帧间预测模式生成预测图像，并评估每个预测图像的成本函数值，以选择最佳模式。当运动预测/补偿单元115选择最佳帧间预测模式时，它把按最佳模式生成的预测图像提供给预测图像选择器116。

[0108] 运动预测/补偿单元115恰当地把包括关于帧间预测的信息，比如最佳帧间预测模式的帧间预测信息提供给无损编码单元106，以便编码。

[0109] 预测图像选择器116选择将其从向算术单元103和算术单元110供给预测图像的来源。例如，在帧内编码的情况下，预测图像选择器116选择帧内预测单元114，作为供给预测图像的来源，并把从帧内预测单元114供给的预测图像提供给算术单元103和算术单元110。例如，在帧间编码的情况下，预测图像选择器116选择运动预测/补偿单元115，作为供给预测图像的来源，并把从运动预测/补偿单元115供给的预测图像提供给算术单元103和算术单元110。

[0110] 速率控制器117根据累积在累积缓冲器107中的编码数据的代码量，控制量化单元105的量化操作的速率，以致不会发生上溢或下溢。

[0111] 运动向量控制器121控制运动预测/补偿单元115的运动预测的模式，以确保和运动预测/补偿单元115进行的参照图像的读取有关的资源。即，运动向量控制器121恰当地限制运动向量的生成，以致不会为读取参照图像而不必要地占用帧存储器112的存储带宽。此时，运动向量控制器121不仅考虑到块大小和预测模式(预测方向)，而且考虑到生成的运动向量的精度，进行限制。

[0112] 运动向量控制器121把指示这样的限制细节的控制信息提供给运动预测/补偿单元115。运动预测/补偿单元115按照供给的控制信息，进行运动预测。据此，运动预测/补偿单元115按照其中还考虑了运动向量的精度的限制，进行运动预测。

[0113] 同时，运动向量控制器121把关于所述限制的信息作为待传输的信息提供给无损编码单元106。

[0114] [1/4像素精度运动预测]

[0115] 图2是图解说明在AVC中定义的1/4像素精度运动预测/补偿处理的状态的例子的示图。在图2中，每个正方形代表像素。其中，A指示保存在帧存储器中的整数精度像素的位置，b、c和d指示1/2像素精度的位置，e1、e2和e3指示1/4像素精度的位置。

[0116] 下面，用下式(1)定义函数Clip1()。

[0117] Clip1(a)＝

[0118] 0；if(a<0)

[0119] a；otherwise

[0120] max_pix；if(a>max_pix)…(1)

[0121] 例如，当输入图像为8比特精度时，式(1)中的max-pix的值为255。

[0122] 通过利用6抽头FIR滤波器，用下式(2)和(3)生成在位置b和d的像素值。

[0123] F＝A-2-5·A-1+20·A0+20·A1-5·A2+A3…(2)

[0124] b,d＝Clip1((F+16)>>5)…(3)

[0125] 通过沿着横向和纵向，应用6抽头FIR滤波器，用下式(4)-(6)生成在位置c的像素值。

[0126] F＝b-2-5·b-1+20·b0+20·b1-5·b2+b3…(4)

[0127] 或

[0128] F＝d-2-5·d-1+20·d0+20·d1-5·d2+d3…(5)

[0129] c＝Clip1((F+512)>>10)…(6)

[0130] 同时，在进行横向和纵向的积-和处理(product-sum process)之后，最后只进行一次Clip处理。

[0131] 如下面的式(7)-(9)中一样，利用线性内插生成e1～e3。

[0132] e1＝(A+b+1)>>1…(7)

[0133] e2＝(b+d+1)>>1…(8)

[0134] e3＝(b+c+1)>>1…(9)

[0135] 当按照这种方式运动向量具有分类精度时，为了生成预测图像，与运动向量具有整数精度的情况相比，需要包括更多像素的参照图像。

[0136] [编码单位]

[0137] 这里，说明在HEVC中定义的编码单位(CU)。

[0138] 也被称为编码树块(CTB)的编码单位(CU)是作用与AVC中的宏块的作用类似的图片单位中的图像的具有多层结构的部分区域。即，CU是编码处理的单位(编码单位)。尽管宏块的大小被固定为16×16像素，不过CU的大小未被固定，是在每个序列中的图像压缩信息中指定的。

[0139] 特别地，大小最大的CU被称为最大编码单位，大小最小的CU被称为最小编码单位(SCU)。即，LCU是最大编码单位，SCU是最小编码单位。例如，尽管各个区域的大小是在包含在图像压缩信息中的序列参数集中指定的，不过，它们局限于具有用2的乘方表示的大小的正方形。即，通过把某一层中的(正方形)CU分成4部分(2×2)而获得的每个区域变成下一层中的(正方形)CU。

[0140] 图3是在HEVC中定义的编码单位的例子。在图3中的例子中，LCU的大小为128(2N(N＝64))，并且最大层次深度为5(Depth＝4)。当split_flag的值被设定为1时，大小为2N×2N的CPU被分成下一层中的大小为N×N的CU。

[0141] 此外，CU被分成预测单位(PU)，每个PU是作为帧内预测或帧间预测的处理单位的区域(图像单位中的图像的部分区域)，和被分成变换单位(TU)，每个TU是作为正交变换的处理单位的区域(图像单位中的图像的部分区域)。

[0142] 就帧间预测的PU(帧间预测单位)来说，对于大小为2N×2N的CU，可以设定4种大小，即，2N×2N，2N×N，N×2N和N×N。即，对于一个CU，可以定义大小和CU相同的一个PU，通过纵向或横向地2分CU而获得的2个PU，或者通过纵向并且横向地2分该CU而获得的4个PU。

[0143] 图像编码设备100通过使图像单位中的图像的部分区域成为处理单位，进行关于编码的每个处理。下面，说明其中图像编码设备100使在HEVC中定义的CU成为编码单位的情况。即，LCU是最大编码单位，而SCU是最小编码单位。然而，图像编码设备100进行的编码的每个处理的处理单位并不局限于此，而是任意的。例如，也可使在AVC中定义的宏块和子宏块成为处理单位。

[0144] 同时在下面，“(部分)区域”包括上述各种区域(例如，宏块、子宏块、LCU、CU、SCU、PU、TU等)全部(或者任意之一)。不用说，可以包括除上述单位以外的单位，并恰当地排除视说明而定的不可能单位。

[0145] [参照图像的像素数的限制]

[0146] 如上所述，作为运动预测(运动向量生成)的处理单位的PU可被设定成具有各种大小。通常，随着PU的大小越小，参照图像的使用效率变得越低，并且为生成预测图像的一个像素而需要的参照图像的像素数变得越大。在双向预测的情况下，与单向预测的情况相比，参照图像的数目增大。

[0147] 于是，在AVC中，可按照等级，限制解码器使用的资源。具体地，可在两个连续宏块中使用的运动向量的数目存在上限。这种限制防止块大小较小的帧间预测的连续发生。块大小小于8×8的宏块的双向预测也被禁止。

[0148] 由于少量的可用预测模式和块大小，这种限制会降低编码效率，不过，这是为抑制对存储带宽的负荷的过度增大所必需的。

[0149] [参照图像的所需像素数]

[0150] 这里，更具体地说明为生成预测图像而需要的参照图像的像素数。为了使MC滤波器输出n个像素，必需输入(n+抽头计数-1)个像素。即，当PU的纵向大小被设定为BV，横向大小被设定为BH时，为生成预测图像而需要的参照图像的像素数N可用下式(10)表示。

[0151] N＝(BH+抽头计数-1)×(BV+抽头计数-1)…(10)

[0152] 其中运动向量为整数(其分数部分为0)的情况对应于其中使用1抽头FIR滤波器的情况。即，在式(10)中，抽头计数＝1。在双向预测的情况下，需要L0预测和L1预测，以致为生成预测图像而需要的参照图像的像素数N可用下式(11)表示。

[0153] N＝(L0的对应于式(10)的像素)+(L1的对应于式(10)的像素)…(11)

[0154] 此外，不能进行1个像素单位的对实际存储器的访问，需要以存储器对齐为单位的读取。当横向和纵向的存储器对齐的像素数分别为AH和AV时，为生成预测图像而需要的参照图像的像素数N可用下式(12)表示。

[0155] N＝AH×(1+ROUNDUP(((BH+抽头数-1)-1)/AH)))×AV×(1+ROUNDUP(((BV+抽头数-1)-1)/AV))) …(12)

[0156] 同时，在式(12)中，ROUNDUP(x)代表大于x的最小整数。在双向预测的情况下，为生成预测图像而需要的参照图像的像素数N可用下式(13)表示。

[0157] N＝(L0的对应于式(12)的像素)+(L1的对应于式(12)的像素)…(13)

[0158] 于是，在单向预测的情况下，当为生成预测图像而需要的参照图像的像素数被转换成预测图像的每一个像素的像素数时，像素数N可用下式(14)表示，在双向预测的情况下，像素数N可用下式(15)表示。

[0159] N＝(对应于式(12)的像素数/(BH×BV) …(14)

[0160] N＝(对应于式(13)的像素数/(BH×BV) …(15)

[0161] 如上所述，为生成预测图像而需要的参照图像的预测图像的每一个像素的像素数不仅取决于块大小和预测模式(单向预测或双向预测)，而且取决于抽头计数，即，取决于生成的运动向量的精度是整数精度还是分数精度。

[0162] 在图4和图5中的表格中，示出了当横向的存储器对齐的像素数AH被设定为8，而纵向的存储器对齐的像素数AV被设定为2时，预测模式、PU大小、运动向量精度、和为生成预测图像而需要的参照图像的预测图像的每一个像素的像素数之间的关系。图4是当预测模式是单向预测(Uni)时，PU大小、运动向量精度、和为生成预测图像而需要的参照图像的预测图像的每一个像素的像素数之间的关系，图5是当预测模式是双向预测(Bi)时，PU大小、运动向量精度、和为生成预测图像而需要的参照图像的预测图像的每一个像素的像素数之间的关系。

[0163] 在图4和图5中图解所示的表格中，“Bi/Uni”列中的值指示预测模式(单向预测(Uni)或双向预测(Bi))。

[0164] “BH”列中的数字指示PU的横向大小，“BV”列中的数字指示PU的纵向大小[0165] “Sub pel”列中的值指示运动向量的精度。“integer”指示运动向量在纵向和横向都具有整数精度。“abc”指示运动向量在纵向具有整数精度，在横向具有分数精度。“dhn”指示运动向量在纵向具有分数精度，在横向具有整数精度。“efgijkpqr”指示运动向量在纵向和横向都具有分数精度。

[0166] “输入像素数”列中的数字指示为生成预测图像而需要的参照图像的预测图像的每一个像素的像素数。即，它指示从帧存储器读取的数据量的大小。同时，在AVC的情况下，输入像素数的最大值为“13.5”(限制于“13.5”)。图4和图5中的阴影部分指示其中“输入像素数”的值大于“13.5”(大于AVC的限制)的例子。

[0167] 在诸如AVC之类的常规情况中，仅仅依据预测模式和块大小进行限制，从而小于8×8的块大小，及8×8块大小的所有双向预测都被禁止。

[0168] 然而，如图4和图5中图解所示，存在即使块大小小于8×8，为生成预测图像所需的参照图像的预测图像的每一个像素的像素数仍然小于AVC的上限的情况。即，由于没有考虑运动向量的精度对负荷的影响，因此不必要地限制了帧间预测模式的选择项，从而编码效率可能降低。

[0169] 于是，运动向量控制器121不仅考虑到块大小和预测模式，而且考虑到运动向量的精度，限制运动预测，以便尽可能地抑制编码效率的不必要降低。

[0170] [运动预测/补偿单元，运动向量控制器]

[0171] 图6是图1中的运动预测/补偿单元115和运动向量控制器121的主要结构例子的方框图。

[0172] 如图6中图解所示，运动预测/补偿单元115包括运动搜索单元151、成本函数计算单元152、模式判定单元153、运动补偿单元154和运动信息缓冲器155。

[0173] 运动向量控制器121包括限制信息存储单元161、限制控制器162和传输信息提供单元163。

[0174] 运动预测/补偿单元115的运动搜索单元151通过利用从屏幕重排缓冲器102获得的输入图像像素值，和从帧存储器112获得的参照图像像素值，按所有的候选帧间预测模式，对预测处理单元的每个区域进行运动搜索，以获得运动向量，并且此外获得输入图像和参照图像之间的差分图像(差分像素值)。

[0175] 此时，运动搜索单元151获得从运动向量控制器121的限制控制器162供给的运动向量控制信息，并按照运动向量控制信息指示的限制，进行运动搜索。即，运动搜索单元151只使限制控制器162允许的模式成为候选帧间预测模式，并且只对这些模式进行运动搜索。换句话说，运动搜索单元151不按被限制控制器162禁止的模式进行运动搜索。

[0176] 运动搜索单元151还恰当地从运动信息缓冲器155获得周边运动信息，以进行中值预测、合并模式等的处理，周边运动信息是关于位于关心的PU(当前PU)周围的周边PU的运动向量的信息。

[0177] 运动搜索单元151把按照上述方式获得的关于每种帧间预测模式下的运动的信息(运动信息)提供给成本函数计算单元152。同时，运动搜索单元151还酌情把与运动信息对应的差分像素值提供给成本函数计算单元152。

[0178] 成本函数计算单元152根据从运动搜索单元151供给的信息，对于所有的帧间预测模式计算成本函数值。成本函数计算单元152把计算的每种帧间预测模式的成本函数值，连同运动信息一起提供给模式判定单元153。

[0179] 模式判定单元153把成本函数值最小的帧间预测模式判定为最佳帧间预测模式。模式判定单元153把指示最佳帧间预测模式的最佳预测模式信息，连同最佳帧间预测模式下的运动信息一起提供给运动补偿单元154。

[0180] 运动补偿单元154按最佳帧间预测模式进行运动补偿，从而生成预测图像。运动补偿单元154按照从模式判定单元153获得的运动信息和最佳预测模式信息，按最佳帧间预测模式，从帧存储器112获得与运动信息对应的参照图像像素值。同时，当最佳帧间预测模式是其中不从模式判定单元153供给运动向量的模式，比如MV竞争模式和合并模式时，运动补偿单元154从运动信息缓冲器155，获得周边PU的运动信息(周边运动信息)。

[0181] 如上所述，在运动搜索单元151中，只使限制控制器162允许的预测模式成为候选帧间预测模式，并且只对这些模式进行运动搜索。于是，成为最佳帧间预测模式的模式也是限制控制器162允许的模式之一。即，运动补偿单元154按限制控制器162允许的帧间预测模式，进行运动补偿。

[0182] 运动补偿单元154还把生成的预测图像像素值提供给预测图像选择器116，并允许算术单元103从输入图像中减去生成的预测图像像素值，或者允许算术单元110将生成的预测图像像素值和差分图像相加。

[0183] 运动补偿单元154把最佳预测模式信息和运动信息提供给无损编码单元106，以便编码。此外，运动补偿单元154把运动信息提供给运动信息缓冲器155，以便保存。

[0184] 运动信息缓冲器155获得并保存从运动补偿单元154供给的运动信息。运动信息缓冲器155把保存的运动信息作为周边运动信息，提供给运动搜索单元151和运动补偿单元154。

[0185] 运动向量控制器121的限制信息存储单元161预先保存限制信息，所述限制信息是关于帧间预测模式的限制的信息，并在预定定时，或者依据来自另一个处理器(比如限制控制器162)的请求，把所述限制信息提供给限制控制器162。

[0186] 限制信息是允许运动向量控制信息至少包括依据运动向量的精度的限制(依据图4和5中的“Sub pel”列的限制)的信息，比如“在L0预测或L1预测中，禁止4×4块大小，在双向预测中，禁止4×4、8×4、4×8和8×8‘efgijkpqr’”。换句话说，任何信息可以用作限制信息，只要它提供这样的限制。具体限制的模式(预测模式(单向预测和双向预测)、块大小和运动向量的精度的组合)是任意的。即，在图4和图5中的例子的情况下，表中的任意行可被禁止。

[0187] 当限制控制器162从限制信息存储单元161获得限制信息时，限制控制器162生成向运动搜索单元151通知与限制信息相应的限制细节的运动向量控制信息，并把生成的运动向量控制信息提供给运动搜索单元151。运动搜索单元151通过按照运动向量控制信息的限制，进行运动搜索，只按限制信息允许的模式进行运动搜索。

[0188] 这样，运动补偿单元154还可按限制信息允许的模式，进行运动补偿。即，运动向量控制器121(限制控制器162)可依据运动向量的精度，限制运动预测。于是，运动向量控制器121(限制控制器162)可在抑制编码图像的编码效率的降低的同时，抑制负荷的增大。于是，图像编码设备100可降低编码效率的抑制。

[0189] 限制控制器162把控制信息提供给传输信息提供单元163，控制信息指令传送指示限制细节的信息。控制信息还包括依据限制信息的限制细节。传输信息提供单元163按照供给的控制信息，生成指示依据限制信息的限制细节的传输信息，并把传输信息提供给无损编码单元106，以便传送。

[0190] 任何信息可用作所述传输信息，只要该信息是指示限制信息的限制细节的信息。例如，限制信息可被包含在传输信息中，限制细节可被包含传输信息中，或者与限制细节等同的信息可被包含在传输信息中。

[0191] 如上所述，任何信息可以用作依据运动向量控制信息的限制，只要它包括依据运动向量的精度的限制。例如，当在图4和图5中的表格中，“输入像素数”的上限被设定成与AVC的上限(13.5)相当时，在单向预测中，4×4块大小的“abc”、“dhn”和“efgijkpqr”，以及8×8块大小的“efgijkpqr”被禁止，除它们以外的被允许，而在双向预测中，4×4、8×4和4×8块大小的所有Sub pel，以及8×8块大小的“dhn”和“efgijkpqr”被禁止，除它们以外的被允许。

[0192] 借助这样的限制，按照惯例在仅仅依据块大小和预测模式进行限制的方法中被禁止的模式(例如，单向预测的4×4块大小的“integer”，及8×4块大小和4×8块大小的“integer”、“abc”和“dhn”，和双向预测中的8×8块大小的“integer”和“abc”)被允许。于是，图像编码设备100可抑制候选预测模式的数目的不必要减少，从而这可降低编码效率的抑制。

[0193] 同时，除依据运动向量的精度的限制以外的限制是任意的，在依据运动向量控制信息的限制中，可以包括除预测模式和块大小以外的限制，或者可以省略依据预测模式和块大小的限制。传输信息可包括依据运动向量控制信息的限制细节。

[0194] 此外，任何信息可以用作限制信息，只要在运动向量控制信息和传输信息中包括依据运动向量的精度的限制。

[0195] [编码处理的流程]

[0196] 下面，说明由上述图像编码设备100执行的各个处理的流程。首先参考图7中的流程图，说明编码处理的流程的例子。

[0197] 在步骤S101，A/D转换器101对输入图像进行A/D转换。在步骤S102，屏幕重排缓冲器102保存A/D转换后的图像，并把按显示顺序的图像重排成编码用顺序。

[0198] 在步骤S103，帧内预测单元114进行帧内预测模式的帧内预测处理。

[0199] 在步骤S104，运动向量控制器121进行运动向量控制处理，以限制运动预测/补偿处理的运动向量生成。

[0200] 在步骤S105，运动预测/补偿单元115按照在步骤S104的运动向量的限制，进行帧间运动预测处理，以进行帧间预测模式的运动预测和运动补偿。

[0201] 在步骤S106，预测图像选择器116根据从帧内预测单元114和运动预测/补偿单元115输出的各个成本函数值，决定最佳预测模式。即，预测图像选择器116选择由帧内预测单元114生成的预测图像和和由运动预测/补偿单元115生成的预测图像任意之一。

[0202] 在步骤S107，算术单元103进行利用步骤S102的处理重排的图像和利用步骤S106的处理选择的预测图像之间的差分的算术运算。差分数据的数据量小于原始图像数据的数据量。于是，与直接对图像编码的情况相比，能够压缩数据量。

[0203] 在步骤S108，正交变换单元104正交变换利用步骤S107的处理生成的差分信息。具体地，进行诸如离散余弦变换和Karhunen-Loeve变换之类的正交变换，并输出变换系数。

[0204] 在步骤S109，量化单元105量化利用步骤S108的处理获得的正交变换系数。

[0205] 按照以下方式，局部解码利用步骤S108的处理量化的差分信息。即，在步骤S110，逆量化单元108利用与步骤S109的量化对应的方法，逆量化利用步骤S109的处理量化的正交变换系数。在步骤S111，逆正交变换单元109利用与步骤S108的处理对应的方法，逆正交变换利用步骤S110的处理获得的正交变换系数。

[0206] 在步骤S112，算术单元110将预测图像和局部解码的差分信息相加，从而生成局部解码的图像(与给算术单元103的输入对应的图像)。在步骤S113，循环滤波器111对利用步骤S112的处理生成的图像进行循环滤波处理。据此，块失真等被除去，从而图像质量得到改善。

[0207] 在步骤S114，帧存储器112保存利用步骤S113的处理，从中除去块失真的图像。同时，未对其进行滤波处理的图像也被保存在帧存储器112中。保存在帧存储器112中的图像被用在步骤S103的处理和步骤S105的处理中。

[0208] 在步骤S115，无损编码单元106对利用步骤S109的处理量化的变换系数编码，从而生成编码数据。即，对差分图像(在帧间预测的情况下，二次差分图像)进行诸如变长编码和算术编码之类的无损编码。

[0209] 同时，无损编码单元106对关于利用步骤S106的处理选择的预测图像的预测模式的信息编码，并把该编码信息加入通过对差分图像编码而获得的编码数据中。例如，当选择帧内预测模式时，无损编码单元106对帧内预测模式信息编码。例如，当选择帧间预测模式时，无损编码单元106对帧间预测模式信息编码。该信息作为报头信息等被添加到编码数据中(与编码数据复用)。

[0210] 在步骤S116，累积缓冲器107累积由步骤S115的处理生成的编码数据。累积在累积缓冲器107中的编码数据被恰当读取，以便通过任意传输路径(不仅包括通信路径，而且包括存储介质等)，被传送给解码侧设备。

[0211] 在步骤S117，速率控制器117根据由步骤S116的处理而累积在累积缓冲器107中的压缩图像，控制量化单元105的量化操作的速率，以致不会发生上溢或下溢。

[0212] 当完成步骤S117的处理时，结束编码处理。

[0213] [运动向量控制处理的流程]

[0214] 下面参考图8中的流程图，说明在图7的步骤S104执行的运动向量控制处理的流程的例子。

[0215] 当开始运动向量控制处理时，在步骤S131，运动向量控制器121的限制控制器162根据从限制信息存储单元161读取的限制信息，决定其使用被禁止的运动向量。

[0216] 在步骤S132，限制控制器162生成指示在步骤S131决定的运动向量的使用限制的细节的运动向量控制信息，并把所述运动向量控制信息提供给运动搜索单元151。

[0217] 在步骤S133，传输信息提供单元163生成指示在步骤S131决定的运动向量的使用限制的细节的传输用传输信息，并把该信息提供给无损编码单元106，以便传送。

[0218] 当完成步骤S133的处理时，传输信息提供单元163结束运动向量控制处理，使处理返回图7。

[0219] [帧间运动预测处理的流程]

[0220] 下面参考图9中的流程图，说明在图7的步骤S105执行的帧间运动预测处理的流程的例子。

[0221] 当开始帧间运动预测处理时，在步骤S151，运动搜索单元151按照在利用步骤S132的处理生成的运动向量控制信息中指示的限制细节，对于每种允许的候选帧间预测模式进行运动搜索，从而生成运动信息和差分像素值。

[0222] 在步骤S152，成本函数计算单元152根据利用步骤S151的处理获得的运动信息和差分像素值，对于每种允许的候选帧间预测模式，计算成本函数值。

[0223] 在步骤S153，模式判定单元153把在步骤S152计算的成本函数值最小的模式决定为最佳帧间预测模式。

[0224] 在步骤S154，运动补偿单元154按利用步骤S153的处理决定的最佳帧间预测模式，进行运动补偿，从而生成预测图像。最佳帧间预测模式是依据利用步骤S132的处理生成的运动向量控制信息而被允许使用的模式。

[0225] 在步骤S155，运动补偿单元154把利用步骤S154的处理生成的预测图像提供给预测图像选择器116，以便生成差分图像信息和解码图像信息。在步骤S156，运动补偿单元154把关于最佳帧间预测模式的信息(最佳预测模式信息和运动信息)提供给无损编码单元106，以便被编码。

[0226] 在步骤S157，运动信息缓冲器155保存最佳帧间预测模式的运动信息。

[0227] 当完成步骤S157的处理时，运动信息缓冲器155结束最佳帧间预测模式，使处理返回图7。

[0228] 通过按照上述方式进行各个处理，图像编码设备100可降低编码效率的抑制。

[0229] [简档和等级]

[0230] 当生成流时，图像编码设备100还可提供与简档和等级相应的限制。为编码器提供与简档和等级相应的限制，以便考虑到解码器的可用资源。这里，术语“资源”意图意味吞吐量、存储带宽等。所述简档决定可用的编码工具。确定所述等级，以便在所述简档中可用的工具内进一步进行限制。

[0231] 如果在标准中，具体确定了简档和等级的限制细节，那么能够确保根据所述标准生成的流可由遵守该标准的解码器再现。

[0232] 例如，当利用简档和等级，定义关于运动补偿(MC)处理的存储带宽的上限时，通过不超过所述上限地生成比特流，编码器可确保解码器进行的解码。

[0233] [简档和等级的转发]

[0234] 这种情况下，传输信息提供单元163把指示图像编码设备100根据其生成比特流的简档和等级的信息包含在传输信息中。通常，关于简档和等级的信息被添加到比特流的报头信息中(与所述报头信息复用)，比特流的报头信息被称为序列参数集(SPS)。

[0235] 解码器可读取包含在比特流中的关于简档和等级的信息，并推测出为解码该比特流而需要的资源。

[0236] [具体例子]

[0237] 下面更具体地说明。图像编码设备100限制待生成的流。此时，图像编码设备100按照假定的图像解码设备的可用资源，进行限制。其中可以使用P切片(slice)的简档被称为BP(基本简档)，其中可以使用P切片和B切片的简档被称为HP(高简档)。

[0238] 图像编码设备100考虑图像解码设备是否可以处理B切片，当不能处理B切片时，图像编码设备100根据BP的限制生成流，并把指示所述流是依据BP的限制生成的信息包含在所述流中。相反，当图像解码设备可以处理B切片时，或者当不考虑图像解码设备的能力时，图像编码设备100根据HP的限制，生成流，并把指示所述流是依据HP生成的信息包含在所述流中。

[0239] 图像编码设备100还按照等级进一步进行限制。例如，在存储带宽中，在图4和图5中的表格中，把输入像素数限制成小于18的等级被设定成等级＝1，而把输入像素数限制成小于14的等级被设定成等级＝2。

[0240] 图像编码设备100考虑到在图4和5的表格中图像解码设备的存储带宽的上限是等于或大于18，还是等于或大于14，来确定所述等级。当生成流时，图像编码设备100把指示依据其生成所述流的等级的信息，包含在所述流中。

[0241] 在编码图像时，图像编码设备100在它自己决定的简档和等级所允许的范围内生成流。就存储带宽而论，通过根据块的预测模式，纵向和横向的块大小和MV，利用使图4和5的表格中，为生成一个像素而读取的输入像素的数目不大于等级的要求的存储带宽对图像编码。

[0242] [运动向量控制器的另一个例子]

[0243] 同时，限制信息是任意的，并不局限于上述例子。例如，也可包括多个候选限制，并且按照各种条件，从所述多个候选限制中选择要采用的限制。

[0244] 图10是这种情况下的运动向量控制器121的主要结构例子的方框图。就图10中图解所示的例子来说，运动向量控制器121包括代替图6中的限制控制器162的限制控制器172。图10中的运动向量控制器121还包括条件获取单元171。

[0245] 条件获取单元171获得关于运动向量生成的各种条件，并把所述各种条件作为条件信息，通知给限制控制器172。所述条件是任意的，并且可以是任意信息。例如，其可以是用户等允许的运动向量及限制的指定，关于诸如可用存储带宽之类资源的信息，或者关于由编码标准定义的限制的信息。

[0246] 限制控制器172根据这样的条件信息，和从限制信息存储单元161读取的限制信息，决定运动向量的限制细节。

[0247] 这种情况下，在限制信息中准备限制细节的多种模式，并且设定成限制控制器172可按照条件信息，选择所述多种模式任意之一。例如，限制信息还可至少包括关于运动向量的精度的多个条件，比如如上所述的“在L0预测或L1预测中，禁止4×4块大小，在双向预测中，禁止4×4、8×4、4×8和8×8‘efgijkpqr’”。这种情况下，限制控制器172可通过按照条件信息，选择任何限制细节，决定与条件信息相应的限制细节。

[0248] 限制信息还可包括预定的算术表达式，依据所述算术表达式，可按照条件，获得多个算术结果。这种情况下，限制控制器172可通过按照条件信息，决定算术表达式的系数的值，并利用该值进行算术运算，决定与条件信息相应的限制细节。

[0249] 此外，限制信息可包括在图4和图5中图解所示的表格信息。这种情况下，限制控制器172可通过按照条件信息决定作为上限的“输入像素的数目”，来决定与条件信息相应的限制细节。

[0250] 同时，尽管在图4和图5中的例子中，存储器对齐被固定，不过，限制信息也可包括关于每种存储器对齐的模式有关的这种表格信息。在这种情况下，限制控制器172可通过按照条件信息，指定(决定)存储器对齐，选择要应用的表格，还可通过按照条件信息，决定作为上限的“输入像素的数目”，决定与条件信息相应的限制细节。

[0251] 如在图11和图12中图解所示的例子中那样，限制信息也可包括其中预先判定图4和图5中的表格中的每一行是“被允许”还是“被禁止”的表格。即，就该例子来说，预先判定预测模式、块大小和运动向量的精度的组合是被允许还是被禁止。于是，仅仅通过按照条件信息，指定(决定)存储器对齐，限制控制器172就可决定与条件信息相应的限制细节。

[0252] 另外在这种情况下，除利用运动向量的精度的限制以外的限制是任意的。在利用运动向量控制信息的限制中，可以包括除预测模式和块大小以外的限制，或者可以忽略利用预测模式和块大小的限制。传输信息可包括利用运动向量控制信息的限制细节。此外，任何信息可用作限制信息和条件，只要利用运动向量的精度的限制被包含在运动向量控制信息和传输信息中。

[0253] [运动向量控制处理的流程]

[0254] 下面参考图13中的流程图，说明这种情况下的运动向量控制处理的流程的另一个例子。

[0255] 当开始运动向量控制处理时，运动向量控制器121的条件获取单元171在步骤S171获得关于运动向量的限制的条件。

[0256] 在步骤S172，限制控制器172根据在步骤S171获得的条件和从限制信息存储单元161读取的限制信息，决定其使用被禁止的运动向量。

[0257] 在步骤S173，限制控制器172生成指示在步骤S172决定的运动向量的使用限制的细节的运动向量控制信息，并把该信息提供给运动搜索单元151。

[0258] 在步骤S174，传输信息提供单元163生成指示在步骤S172决定的运动向量的使用限制的细节的传输用传输信息，并把该信息提供给无损编码单元106，以便传送。

[0259] 当完成步骤S174的处理时，传输信息提供单元163结束运动向量控制处理，使处理返回图7。

[0260] 通过按照上述方式进行处理，图像编码设备100可降低编码效率的抑制。

[0261] <2.第二实施例>

[0262] [图像解码设备]

[0263] 在图像编码设备100按上述方式生成的编码数据(比特流)中，只有使用的运动向量被限制，以致遵守与图像编码设备100的编码标准类似的编码标准的常规图像解码设备，可用常规方法解码编码数据(比特流)。

[0264] 然而，图像解码设备也可通过分析作为简档、等级等，由图像编码设备100添加到编码数据(与编码数据复用)的传输信息，判定是否可安全并且正确地对编码数据解码。当判定图像解码设备不能解码该编码数据时，图像解码设备可停止解码处理。这样，能够更确实、安全和正确地解码编码数据，而不存在起因于上溢和下溢的不必要延迟。

[0265] 下面说明这种图像解码设备。

[0266] 图14是作为本技术适用于的图像处理设备的图像解码设备的主要结构例子的方框图。图14中图解所示的对应于上述图像编码设备100的图像解码设备200正确地解码通过利用图像编码设备100编码图像数据而生成的比特流(编码数据)，从而生成解码图像。

[0267] 如图14中图解所示，图像解码设备200包括累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、算术单元205、循环滤波器206、屏幕重排缓冲器207和D/A转换器208。图像解码设备200还包括帧存储器209、选择器210、帧间预测单元211、运动预测/补偿单元212和选择器213。

[0268] 图像解码设备200还包括解码控制器221。

[0269] 累积缓冲器201累积传送的编码数据，并在预定定时，把编码数据传送给无损解码单元202。

[0270] 无损解码单元202利用与无损编码单元106的编码方案对应的方案，对从累积缓冲器201供给的由图1中的无损编码单元106编码的信息解码。无损解码单元202把通过解码获得的差分图像的量化系数数据提供给逆量化单元203。

[0271] 无损解码单元202还参照关于通过对编码数据解码而获得的最佳预测模式的信息，并判定是帧内预测模式还是帧间预测模式被选为最佳预测模式。即，无损解码单元202判定在传送的编码数据中采用的预测模式是帧内预测还是帧间预测。

[0272] 无损解码单元202根据判定结果，把关于预测模式的信息提供给帧内预测单元211或运动预测/补偿单元212。例如，当帧内预测模式被选为图像编码设备100中的最佳预测模式时，无损解码单元202把帧内预测信息提供给帧内预测单元211，帧内预测信息是关于从编码侧提供的所选帧内预测模式的信息。例如，当帧间预测模式被选为图像编码设备100中的最佳预测模式时，无损解码单元202把帧间预测信息提供给运动预测/补偿单元212，帧间预测信息是关于从编码侧提供的所选帧间预测模式的信息。

[0273] 此外，无损解码单元202把添加到编码数据中(与编码数据复用)的传输信息，即，关于运动向量的限制细节的信息，提供给解码控制器221。例如，无损解码单元202把在序列参数集等中记述的简档、等级等的信息，提供给解码控制器221。

[0274] 同时，当根据传输信息，解码控制器221指令无损解码单元202停止解码处理时，无损解码单元202停止它自己的处理和另一个处理器的处理，从而强制退出解码处理。

[0275] 逆量化单元203按与图1中的量化单元105的量化方案对应的方案(与逆量化单元108的方案类似的方案)逆量化利用无损解码单元202的解码而获得的量化系数数据。逆量化单元203把逆量化的系数数据提供给逆正交变换单元204。

[0276] 逆正交变换单元204按与图1中的正交变换单元104的正交变换方案对应的方案，对从逆量化单元203供给的系数数据进行逆正交变换。利用该逆正交变换处理，逆正交变换单元204获得与图像编码设备100的正交变换之前的差分图像对应的差分图像。

[0277] 利用逆正交变换获得的差分图像被提供给算术单元205。预测图像从帧内预测单元211或运动预测/补偿单元212，通过选择器213被提供给算术单元205。

[0278] 算术单元205将差分图像和预测图像相加，从而获得与在利用图像编码设备100的算术单元103，减去预测图像之前的图像对应的重构图像。算术单元205把重构图像提供给循环滤波器206。

[0279] 循环滤波器206对供给的重构图像，恰当地进行包括解块滤波处理、自适应循环滤波处理等的循环滤波处理，从而生成解码图像。例如，循环滤波器206通过对重构图像进行解块滤波处理，消除块失真。例如，循环滤波器206通过利用Wiener滤波器，对解块滤波处理的结果(从中除去块失真的重构图像)进行循环滤波处理，改善图像质量。

[0280] 同时，循环滤波器206可以进行任意类型的滤波处理，也可进行除上述之外的滤波处理。循环滤波器206可利用从图1中的图像编码设备100供给的滤波系数，进行滤波处理。

[0281] 循环滤波器206把作为滤波处理结果的解码图像提供给屏幕重排缓冲器207和帧存储器209。同时，循环滤波器206的滤波处理可被省略。即，算术单元205的输出也可不经滤波处理地被保存在帧存储器209中。例如，帧内预测单元211利用包含在图像中的像素的像素值，作为周边像素的像素值。

[0282] 屏幕重排缓冲器207重排供给的解码图像。即，由图1中的屏幕重排缓冲器102重排成编码顺序的各帧被重排成原始的显示顺序。D/A转换器208对从屏幕重排缓冲器207供给的解码图像进行D/A转换，并把转换后的解码图像输出给未例示的显示器，以便显示。

[0283] 帧存储器209保存供给的重构图像和解码图像。帧存储器209在预定定时，或者依据帧内预测单元211、运动预测/补偿单元212等的外部请求，把保存的重构图像和解码图像通过选择器210，提供给帧内预测单元211和运动预测/补偿单元212。

[0284] 此时，由于在图像编码设备100的编码处理中，如上所述限制运动向量的使用，因此与常规情况相比，由于从帧存储器209调用参照图像而引起的负荷的增大(即，要使用的存储带宽的增大)也受到抑制。

[0285] 帧内预测单元211根据从无损解码单元202供给的帧内预测信息，进行帧内预测，从而生成预测图像。此时，帧内预测单元211根据从无损解码单元202供给的预测信息，只对其中在编码时利用帧内预测生成预测图像的区域，以与图1中的帧内预测单元114进行的处理的模式类似的模式进行帧内预测。

[0286] 运动预测/补偿单元212根据从无损解码单元202供给的帧间预测信息，进行帧间预测，从而生成预测图像。此时，运动预测/补偿单元212根据从无损解码单元202供给的预测信息，只对其中在编码时，进行帧间预测的区域，以与图1中的运动预测/补偿单元115进行的处理的模式类似的模式，进行帧间预测。

[0287] 帧内预测单元211或运动预测/补偿单元212对于预测处理单元的每个预定区域，把生成的预测图像通过选择器213提供给算术单元205。选择器213把从帧内预测单元211供给的预测图像，或从运动预测/补偿单元212供给的预测图像提供给算术单元205。

[0288] 解码控制器221根据从无损解码单元202供给的传输信息，控制是否对编码数据解码。

[0289] 这样，图像解码设备200可更确实地解码其中编码效率的降低受到抑制的编码数据，从而可更确实地实现编码效率的降低的抑制。

[0290] [解码控制器]

[0291] 图15是图14中的解码控制器221的主要结构例子的方框图。

[0292] 如图15中图解所示，解码控制器221包括传输信息获取单元251、限制信息存储单元252、可能性判定单元253、控制器254和错误处理器255。

[0293] 传输信息获取单元251获得从无损解码单元202供给的传输信息。任何信息可以用作传输信息；它可以是直接指示运动向量的限制细节的信息，或者指定简档和等级的信息。传输信息获取单元251把获得的传输信息提供给可能性判定单元253。

[0294] 限制信息存储单元252保存限制可用运动向量的限制信息。限制信息用于抑制由于从帧存储器209读取参照图像而占用存储带宽的程度。限制信息至少可包括能够在可能性判定单元253中，依据运动向量的精度进行实质性限制的信息。

[0295] 可能性判定单元253根据从限制信息存储单元252读取的限制信息，和从传输信息获取单元251供给的传输信息，判定图像解码设备200是否可以安全并且正确地对编码数据解码。

[0296] 传输信息包括关于以编码数据中的运动向量的精度为基础的限制的信息。于是，可能性判定单元253可从传输信息中，推测出对编码数据解码所需的存储带宽。可能性判定单元253还可从包含在限制信息中的基于运动向量的精度的限制，推测出可用存储带宽的上限。即，可能性判定单元253通过比较所需的存储带宽和可用存储带宽的上限，判定编码数据是否可被解码。

[0297] 即，当对编码数据解码所需的存储带宽不大于可用存储带宽的上限时，可能性判定单元253判定编码数据可被解码。相反，当对编码数据解码所需的存储带宽大于可用存储带宽的上限时，可能性判定单元253判定编码数据不能被解码。同时，可能性判定单元253可比较实质上对应于存储带宽的信息，比如预测模式、块大小、运动向量的精度等的信息，而不直接比较存储带宽。

[0298] 可能性判定单元253把这种可能性判定的结果提供给控制器254。控制器254根据供给的可能性判定结果，控制解码处理。例如，当编码数据可被解码时，控制器254向无损解码单元202供给控制信息，以指令无损解码单元202进行解码。无损解码单元202按照控制信息进行解码。另一个处理器也可执行关于解码的各个单元的处理。

[0299] 当编码数据不能被解码时，控制器254向错误处理器255供给控制信息，以指令错误处理器255执行错误处理。错误处理器255控制所述控制信息，进行诸如把解码处理的停止通知用户之类的错误处理。此外，控制器254向无损解码单元202供给控制信息，以指令无损解码单元202停止解码。无损解码单元202按照该控制信息，停止解码处理。另一个处理器也可停止关于解码的各个单元的处理。

[0300] 如上所述，解码控制器221可通过利用依据运动向量的精度的限制，控制解码处理。于是，解码控制器221可强制退出不能被解码的编码数据的解码处理。于是，解码控制器221可更确实地解码其中编码效率的降低受到抑制的编码数据。于是，图像解码设备200可更确实地实现编码效率的降低的抑制。

[0301] [解码处理的流程]

[0302] 下面说明由上述图像解码设备200进行的各个处理的流程。首先参考图16中的流程图，说明解码处理的流程的例子。

[0303] 当开始解码处理时，在步骤S201，累积缓冲器201累积传送的编码数据。在步骤S202，无损解码单元202对从累积缓冲器201供给的编码数据解码。即，用图1中的无损编码单元106编码的I图像、P图像和B图像被解码。

[0304] 此时，诸如参照帧信息、预测模式信息(帧内预测模式或帧间预测模式)和传输信息之类的信息也被解码。

[0305] 在步骤S203，解码控制器221根据利用步骤S202的处理解码的传输信息，进行解码控制处理。当在解码控制处理中，决定强制退出解码处理时，在步骤S203结束解码处理。当在解码控制处理中，决定执行解码处理时，执行步骤S204之后的处理。

[0306] 在步骤S204，逆量化单元203逆量化利用步骤S202的处理获得的量化的正交变换系数。

[0307] 在步骤S205，逆正交变换单元204利用与图1中的正交变换单元104的方法对应的方法，逆正交变换利用步骤S203的逆量化而获得的正交变换系数。因此，与图1中的正交变换单元104的输入(算术单元103的输出)对应的差分信息被解码。

[0308] 在步骤S206，帧内预测单元211或运动预测/补偿单元212进行与从无损解码单元202供给的预测模式信息对应的图像的预测处理。即，在从无损解码单元202供给帧内预测模式信息的情况下，帧内预测单元211进行帧内预测模式的帧内预测处理。当从无损解码单元202供给帧间预测模式信息时，运动预测/补偿单元212通过利用由步骤S203的处理获得的关于单元大小的各项信息，进行帧间预测处理(包括运动预测和运动补偿)。

[0309] 此时，在编码数据中，要使用的运动向量受运动向量的精度限制，结果，从帧存储器209读取参照图像的负荷受到限制。

[0310] 在步骤S207，算术单元205将利用步骤S206的处理获得的预测图像和利用步骤S205的处理获得的差分信息相加。据此，原始图像数据被解码(获得重构图像)。

[0311] 在步骤S208，循环滤波器206进行循环滤波处理。借助该处理，对利用步骤S207的处理获得的重构图像恰当地进行循环滤波处理。此时，循环滤波处理是按照和参考图7的流程图说明的循环滤波处理基本相同的方式进行的。

[0312] 在步骤S209，屏幕重排缓冲器207重排利用步骤S208的处理，对其进行循环滤波处理的解码图像的各帧。即，解码图像数据的由图像编码设备100(图1)的屏幕重排缓冲器102为编码而重排的各帧被重排成原始的显示顺序。

[0313] 在步骤S210，D/A转换器208对其中各帧由步骤S209的处理重排的解码图像数据进行D/A转换。解码的图像数据被输出给未例示的显示器，从而图像被显示。

[0314] 在步骤S211，帧存储器209保存利用步骤S208的处理，对其进行循环滤波处理的解码图像数据。

[0315] [解码控制处理的流程]

[0316] 下面参考图17中的流程图，说明在图16的步骤S203进行的解码控制处理的流程的例子。

[0317] 当开始解码控制处理时，在步骤S231，传输信息获取单元251获得从无损解码单元202供给的传输信息。

[0318] 在步骤S232，可能性判定单元253根据控制信息和传输信息，判定提供给无损解码单元202的编码数据是否能够被解码。在步骤S233，控制器254根据判定结果，选择处理。即，当判定所述编码数据可被解码时，控制器254结束解码控制处理，使处理返回图16，从而执行步骤S204之后的处理。

[0319] 当判定所述编码数据不能被解码时，在步骤S233，控制器254使处理转到步骤S234。在步骤S234，错误处理器255进行预定的错误处理。在步骤S235，控制器254通过控制无损解码单元202等，强制退出解码处理。当完成步骤S235的处理时，控制器254结束解码控制处理。

[0320] 通过按照上述方式进行各个处理，图像解码设备200可更确实地解码其中编码效率的降低受到抑制的编码数据。于是，图像解码设备200可更确实地实现编码效率的降低的抑制。

[0321] [解码控制器的另一个例子]

[0322] 同时，限制信息是任意的，并不局限于上述例子。例如，也可包括多个候选限制，并且按照各种条件，从所述多个候选限制中选择要采用的限制。

[0323] 图18是这种情况下的解码控制器221的主要结构例子的方框图。就图18中图解所示的例子来说，解码控制器221包括代替图15中的可能性判定单元253的可能性判定单元273。图18中的解码控制器221还包括条件获取单元271。

[0324] 条件获取单元271获得关于运动向量生成的各种条件，并把所述各种条件作为条件信息，通知给可能性判定单元273。所述条件是任意的，并且可以是任意信息。例如，可以是用户等允许的运动向量及限制的指定，关于诸如可用存储带宽之类资源的信息，或者关于由编码标准定义的限制的信息。

[0325] 可能性判定单元273根据这样的条件信息和从限制信息存储单元252读取的限制信息，决定运动向量的限制细节。

[0326] 这种情况下，在限制信息中准备限制细节的多种模式，并且设定成可能性判定单元273可按照条件信息，选择所述多种模式任意之一。例如，限制信息还可至少包括关于运动向量的精度的多个条件，比如如上所述的“在L0预测或L1预测中，禁止4×4块大小，在双向预测中，禁止4×4、8×4、4×8和8×8‘efgijkpqr’”。

[0327] 这种情况下，可能性判定单元273可通过按照条件信息，选择任何限制细节，决定与条件信息相应的限制细节。

[0328] 限制信息还可包括预定的算术表达式，依据所述算术表达式，可按照条件，获得多个算术结果。这种情况下，可能性判定单元273可通过按照条件信息，决定算术表达式的系数的值，并利用该值进行算术运算，决定与条件信息相应的限制细节。

[0329] 此外，限制信息可包括在图4和图5中图解所示的表格信息。这种情况下，可能性判定单元273可通过按照条件信息，决定作为上限的“输入像素的数目”，决定与条件信息相应的限制细节。

[0330] 同时，尽管在图4和图5中的例子中，存储器对齐被固定，不过，限制信息也可包括关于每种存储器对齐的模式有关的这种表格信息。在这种情况下，可能性判定单元273可通过按照条件信息，指定(决定)存储器对齐，选择要应用的表格，并且可通过按照条件信息决定作为上限的“输入像素的数目”，来决定与条件信息相应的限制细节。

[0331] 如在图11和图12中图解所示的例子中那样，限制信息也可包括其中预先判定图4和图5中的表格中的每一行是“被允许”还是“被禁止”的表格。即，就该例子来说，预先判定预测模式、块大小和运动向量的精度的组合是被允许还是被禁止。于是，仅仅通过按照条件信息，指定(决定)存储器对齐，限制控制器172就可决定与条件信息相应的限制细节。

[0332] 另外在这种情况下，除依据运动向量的精度的限制以外的限制是任意的。在依据运动向量控制信息的限制中，可以包括除预测模式和块大小以外的限制，或者可以忽略依据预测模式和块大小的限制。任何信息可用作限制信息和条件，只要依据运动向量的精度的限制被包含在运动向量控制信息和传输信息中。

[0333] 可能性判定单元273比较按照这种方式获得的限制和如图15的情况中一样的传输信息(例如，可以比较诸如预测模式、块大小和运动向量的精度之类的各项信息，或者可把它们转换成存储带宽，以便比较)，从而判定解码处理是否可能。可能性判定单元273把判定结果提供给控制器254。控制器254根据判定结果，如图15的情况中一样地控制解码处理。

[0334] 在这种情况下，解码控制器221还通过利用依据运动向量的精度的限制，控制解码处理。于是，解码控制器221可强制退出不能被解码的编码数据的解码处理。于是，解码控制器221可更确实地解码其中编码效率的降低受到抑制的编码数据。于是，图像解码设备200可更确实地实现编码效率的降低的抑制。

[0335] [解码控制处理的流程]

[0336] 下面参考图19中的流程图，说明这种情况下的解码控制处理的流程的例子。

[0337] 当开始解码控制处理时，在步骤S251，条件获取单元271获得条件。在步骤S252，传输信息获取单元251获得从无损解码单元202供给的传输信息。

[0338] 在步骤S253，可能性判定单元273根据在步骤S251获得的条件，从限制信息存储单元252读取的控制信息和在步骤S252获得的传输信息，判定提供给无损解码单元202的编码数据是否可被解码。在步骤S254，控制器254根据判定结果选择处理。即，当判定所述编码数据可被解码时，控制器254结束解码控制处理，使处理返回图16，从而执行步骤S204之后的处理。

[0339] 当判定不能进行解码时，在步骤S254，控制器254使处理转到步骤S255。在步骤S255，错误处理器255进行预定的错误处理。在步骤S256，控制器254控制无损解码单元202等强制退出解码处理。当完成步骤S256的处理时，控制器254结束解码控制处理。

[0340] 通过按照上述方式进行各个处理，图像解码设备200可更确实地解码其中编码效率的降低受到抑制的编码数据。于是，图像解码设备200可更确实地实现编码效率的降低的抑制。

[0341] <3.第三实施例>

[0342] [计算机]

[0343] 上述一系列处理可用硬件执行，或者可用软件执行。在这种情况下，例如可被配置成图29中图解所示的计算机。

[0344] 在图20中，计算机700的CPU(中央处理器)701按照保存在ROM(只读存储器)702中的程序，或者从存储单元713加载到RAM(随机存取存储器)703上的程序，执行各种处理。为CPU701执行各种处理所需的数据也被适当地保存在RAM703中。

[0345] CPU701、ROM702和RAM703通过总线704互连。输入/输出接口710也连接到总线704。

[0346] 由键盘、鼠标、触摸面板、输入终端等形成的输入单元711，由诸如由CRT(阴极射线管)、LCD(液晶显示器)、OLED(有机电致发光显示器)等形成的显示器，和显示器之类的任意输出装置，输出终端等形成的输出单元172，由诸如硬盘和闪存之类的任意存储介质，控制存储介质的输入和输出的控制器等构成的存储单元713，和由诸如调制解调器、LAN接口、USB(通用串行总线)和蓝牙(注册商标)之类的任意有线或无线通信装置形成的通信单元714连接到输入/输出接口710。通信单元714通过包括因特网在内的网络，与另一个通信装置进行通信处理。

[0347] 驱动器715被酌情连接到输入/输出接口710。诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质721被恰当地安装在驱动器715上。在CPU701的控制下，驱动器715从装在其上的可移除介质721中，读取计算机程序、数据等。读取的数据和计算机程序被提供给RAM703。从可移除介质721读取的计算机程序被酌情安装在存储单元713上。

[0348] 当用软件执行上述一系列处理时，从网络或记录介质安装构成所述软件的程序。

[0349] 如图20中图解所示，记录介质不仅由与设备主体分离地分发给用户，以便分发程序的其中记录程序的可移除介质721，包括磁盘(包括软盘)、光盘(包括CD-ROM(光盘-只读存储器)和DVD(数字通用光盘))、磁光盘(包括MD(小型光盘))和半导体存储器构成，而且由预先嵌入设备主体中地分发给用户的其中记录程序的ROM702，和包含在存储单元713中的硬盘构成。

[0350] 同时，计算机执行的程序可以是按照在本说明书中说明的顺序，时序地进行其处理的程序，或者可以是并行地，或在需要的时刻，比如当被调用时进行其处理的程序。

[0351] 另外，在本说明书中，描述记录在记录介质中的程序的步骤不仅包括按照说明的顺序，时序地进行的处理，而且包括并行地或者单独地，而不一定时序地进行的处理。

[0352] 另外，在本说明书中，系统意味包括多个装置(设备)的整个设备。

[0353] 也可把上面描述成一个设备(或处理器)的结构分成多个设备(或处理器)。相反地，也可把上面描述成多个设备(或处理器)的结构合并起来，作为一个设备(或处理器)。不用说可以向每个设备(或每个处理器)的结构中增加除上述结构外的结构。此外，也可把某个设备(或处理器)的结构的一部分加入另一个设备(或另一个处理器)的结构中，只要作为整个系统的结构和操作实质相同。即，本技术的实施例并不局限于上述实施例，可以作出各种修改，而不脱离本技术的精神。

[0354] 按照上述实施例的图像编码设备100(图1)和图像解码设备200(图14)可应用于各种电子装置，比如卫星广播、诸如有线电视之类的有线广播、因特网上的分发、相对于终端的利用蜂窝通信的分发等中的传输器或接收器，把图像记录在诸如光盘、磁盘和闪存之类的介质上的记录设备，或者从存储介质再现图像的再现设备。下面说明4种应用。

[0355] <4.第四实施例>

[0356] [电视机]

[0357] 图21图解说明上述实施例适用于的电视机的示意结构的例子。电视机900包括天线901、调谐器902、分用器903、解码器904、视频信号处理器905、显示单元906、语音信号处理器907、扬声器908、外部接口909、控制器910、用户接口911和总线912。

[0358] 调谐器902从通过天线901接收的广播信号中提取所需频道的信号，并解调提取的信号。随后，调谐器902把通过解调获得的编码比特流输出给分用器903。即，调谐器902充当电视机900中的接收其中图像被编码的编码流的传输单元。

[0359] 分用器903从编码比特流中分离出待观看的节目的视频流和语音流，并把各个分离出的流输出给解码器904。另外，分用器903从编码比特流中提取辅助数据，比如EPG(电子节目指南)，并把提取的数据提供给控制器910。同时，当编码比特流被加扰时，分用器903可进行解扰。

[0360] 解码器904解码从分用器903输入的视频流和语音流。随后，解码器904把由解码处理产生的视频数据输出给视频信号处理器905。另外，解码器904把由解码处理产生的语音数据输出给语音信号处理器907。

[0361] 视频信号处理器905再现从解码器904输入的视频数据，允许显示单元906显示视频。视频信号处理器905还允许显示单元906显示通过网络提供的应用屏幕。视频信号处理器905还按照设定，对视频数据执行诸如噪声消除之类的附加处理。此外，视频信号处理器905可生成GUI(图形用户界面)图像，比如菜单、按钮和光标，并把生成的图像叠加在输出图像上。

[0362] 显示单元906由从视频信号处理器905供给的驱动信号驱动，以在在显示装置(例如液晶显示器、等离子体显示器、OELD(有机电致发光显示器)(有机EL显示器)等)的视频屏幕上，显示视频或图像。

[0363] 语音信号处理器907对从解码器904输入的语音数据进行诸如D/A转换和放大之类的再现处理，允许扬声器908输出语音。语音信号处理器907还可对语音数据进行诸如噪声消除之类的附加处理。

[0364] 外部接口909是连接电视机900与外部装置或网络的接口。例如，通过外部接口909接收的视频流或语音流可由解码器904解码。即，外部接口909也充当电视机900中的接收其中图像被编码的编码流的传输单元。

[0365] 控制器910包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存由CPU执行的程序，程序数据，EPG数据，通过网络获得的数据等。在启动电视机900时，保存在存储器中的程序由CPU读取，以便执行。通过执行所述程序，CPU按照从用户接口911输入的操作信号，控制电视机900的操作。

[0366] 用户接口911连接到控制器910。用户接口911包括供用户操纵电视机900的按钮和开关，遥控信号的接收器，等等。用户接口911通过各个组件，检测用户的操作，从而生成操作信号，并把生成的操作信号输出给控制器910。

[0367] 总线912互连调谐器902、分用器903、解码器904、视频信号处理器905、语音信号处理器907、外部接口909和控制器910。

[0368] 在按照这种方式构成的电视机900中，解码器904具有作为按照上述实施例的图像解码设备200(图14)的功能。于是，可以设定成解码器904只解码利用其中在运动预测的限制中，考虑运动向量的精度的编码生成的编码数据。于是，解码器904可以更确实地解码其中编码效率的降低受到抑制的编码数据。于是，电视机900可以更确实地实现编码效率的降低的抑制。

[0369] <5.第五实施例>

[0370] [移动电话机]

[0371] 图22图解说明上述实施例适用于的移动电话机的示意结构的例子。移动电话机920具备天线921、通信单元922、语音编解码器923、扬声器924、麦克风925、相机单元926、图像处理器927、复用/分离单元928、记录/再现单元929、显示单元930、控制器931、操作单元932和总线933。

[0372] 天线921连接到通信单元922。扬声器924和麦克风925连接到语音编解码器923。操作单元932连接到控制器931。总线933互连通信单元922、语音编解码器923、相机单元926、图像处理器927、复用/分离单元928、记录/再现单元929、显示单元930和控制器931。

[0373] 移动电话机920按各种操作模式，包括语音通信模式、数据通信模式、成像模式和电视电话模式进行诸如语音信号的传输/接收、电子邮件或图像数据的传输/接收、图像拍摄和数据的记录之类的处理。

[0374] 在语音通信模式下，麦克风925产生的模拟语音信号被提供给语音编解码器923。语音编解码器923将模拟语音信号转换成语音数据，并对转换后的语音数据进行A/D转换，以便压缩。随后，语音编解码器923把压缩的语音数据输出给通信单元922。通信单元922编码和调制语音数据，从而生成传输信号。随后，通信单元922把生成的传输信号通过天线
921传送给基站(未例示)。另外，通信单元922放大通过天线921接收的无线信号，并对其进行频率转换，从而获得接收信号。随后，通信单元922通过解调和解码接收信号，生成语音数据，并把生成的语音数据输出给语音编解码器923。语音编解码器923解压缩语音数据，并对其进行D/A转换，从而生成模拟语音信号。随后，语音编解码器923把生成的语音信号输出给扬声器924，从而允许扬声器924输出语音。

[0375] 在数据通信模式下，控制器931按照用户通过操作单元932的操作，生成组成电子邮件的字符数据。另外，控制器931允许显示单元930显示字符。控制器931按照通过操作单元932，来自用户的传输指令生成电子邮件数据，并把生成的电子邮件数据输出给通信单元922。通信单元922编码和调制电子邮件数据，从而产生传输信号。随后，通信单元922把生成的传输信号通过天线921传送给至基站(未例示)。另外，通信单元922放大通过天线921接收的无线信号，并对其进行频率转换，从而获得接收信号。随后，通信单元922解调和解码接收信号，从而恢复电子邮件数据，并把恢复的电子邮件数据输出给控制器931。控制器931允许显示单元930显示电子邮件数据的内容，并允许记录/再现单元929的存储介质保存电子邮件数据。

[0376] 记录/再现单元929包括任意的可读/可写存储介质。例如，存储介质可以是内置存储介质，比如RAM和闪存，可以是外部安装的存储介质，比如硬盘、磁盘、磁光盘、光盘、USB存储器和存储卡。

[0377] 在成像模式下，例如，相机单元926拍摄被摄物体的图像，从而生成图像数据，并把生成的图像数据输出给图像处理器927。图像处理器927对从相机单元926输入的图像数据编码，并把编码流保存在记录/再现单元929的存储介质中。

[0378] 另外，在电视电话模式下，例如，复用/分离单元928复用由图像处理器927编码的视频流和从语音编解码器923输入的语音流，并把复用流输出给通信单元922。通信单元922编码和调制所述流，从而生成传输信号。随后，通信单元922把生成的传输信号通过天线921传送给基站(未例示)。另外，通信单元922放大通过天线921接收的无线信号，并对其进行频率转换，从而获得接收信号。传输信号和接收信号可包括编码比特流。然后，通信单元922通过解调和解码接收信号，恢复所述流，并把恢复的流输出给复用/分离单元928。复用/分离单元928从输入流中分离出视频流和语音流，并把视频流和语音流分别输出给图像处理器927和语音编解码器923。图像处理器927解码视频流，从而生成视频数据。视频数据被提供给显示单元930，由显示单元930显示一系列图像。语音编解码器923解压缩语音流，并对其进行D/A转换，从而生成模拟语音信号。随后，语音编解码器923把生成的视频信号输出给扬声器924，以允许扬声器924输出语音。

[0379] 在按照这种方式构成的移动电话机920中，图像处理器927具有按照上述实施例的图像编码设备100(图1)的功能。于是，图像处理器927可考虑到运动向量的精度，限制运动预测。于是，图像处理器927可抑制负荷的增大，同时抑制编码效率的降低，对图像进行编码。于是，移动电话机920可降低编码效率的抑制。

[0380] 同时，图像处理器927还具有按照上述实施例的图像解码设备200(图14)的功能。于是，可以设定成图像处理器927只解码利用其中在运动预测的限制中，考虑运动向量的精度的编码生成的编码数据。于是，图像处理器927可以更确实地解码其中编码效率的降低受到抑制的编码数据。于是，移动电话机920可以更确实地实现编码效率的降低的抑制。

[0381] 尽管在上面被描述成移动电话机920，不过，和移动电话机920的情况一样，本技术适用于的图像编码设备和图像解码设备可应用于具有与移动电话机920类似的成像功能和通信功能的任何设备，比如PDA(个人数字助手)、智能电话机、UMPC(超级移动个人计算机)、上网本和笔记本计算机。

[0382] <6.第六实施例>

[0383] [记录/再现设备]

[0384] 图23图解说明上述实施例适用于的记录/再现设备的示意结构的例子。记录/再现设备940对接收的广播节目的语音数据和视频数据编码，以记录在记录介质上。另外，记录/再现设备940可对例如从另一个设备获得的语音数据和视频数据编码，以记录在记录介质上。另外，记录/再现设备940按照用户的指令，利用监视器和扬声器再现记录在记录介质上的数据。此时，记录/再现设备940解码语音数据和视频数据。

[0385] 记录/再现设备940具备调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、光盘驱动器945、选择器946、解码器947、OSD(屏上显示器)948、控制器949和用户接口950。

[0386] 调谐器941从通过天线(未例示)接收的广播信号中提取所需频道的信号，并解调提取的信号。随后，调谐器941把通过解调获得的编码比特流输出给选择器946。即，调谐器941充当记录/再现设备940中的传输单元。

[0387] 外部接口942是连接记录/再现设备940和外部装置或网络的接口。外部接口942可以是例如IEEE1394接口、网络接口、USB接口或闪存接口等。例如，通过外部接口942接收的视频数据和语音数据被输入编码器943。即，外部接口942充当记录/再现设备940中的传输单元。

[0388] 当从外部接口942输入的视频数据和语音数据未被编码时，编码器943对视频数据和语音数据编码。随后，编码器943把编码比特流输出给选择器946。

[0389] HDD944把其中诸如视频和语音之类的数据被压缩的编码比特流、各种程序和其它数据记录在内部硬盘上。当再现视频和语音时，HDD944从硬盘上读取这些数据。

[0390] 光盘驱动器945把数据记录在安装的记录介质上，和从安装的记录介质读取数据。安装在光盘驱动器945上的记录介质可以是例如DVD光盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、蓝光(注册商标)光盘，等等。

[0391] 当记录视频和语音时，选择器946选择从调谐器941或编码器943输入的编码比特流，并把选择的编码比特流输出给HDD944或光盘驱动器945。另外，当再现视频和语音时，选择器946把从HDD944或光盘驱动器945输入的编码比特流输出给解码器947。

[0392] 解码器947解码编码比特流，从而生成视频数据和语音数据。随后，解码器947把生成的视频数据输出给OSD948。另外，解码器904把生成的语音数据输出给外部扬声器。

[0393] OSD948再现从解码器947输入的视频数据，以显示视频。OSD948还可把诸如菜单、按钮和光标之类的GUI图像叠加在显示的视频上。

[0394] 控制器949包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存由CPU执行的程序、程序数据等。在记录/再现设备940启动时，保存在存储器中的程序由CPU读取，以便执行。通过执行程序，CPU按照从用户接口950输入的操作信号，控制记录/再现设备940的操作。

[0395] 用户接口950连接到控制器949。用户接口950包括供用户操作记录/再现设备940的按钮和开关，和遥控信号的接收器。用户接口950通过各个组件检测用户的操作，从而生成操作信号，并把生成的操作信号输出给控制器949。

[0396] 在按照这种方式构成的记录/再现设备940中，编码器943具有按照上述实施例的图像编码设备100(图1)的功能。于是，编码器943可考虑到运动向量的精度，限制运动预测。于是，编码器943可抑制负荷的增大，同时抑制编码效率的降低，对图像进行编码。于是，记录/再现设备940可降低编码效率的抑制。

[0397] 在按照这种方式构成的的记录/再现设备940中，解码器947具有按照上述实施例的图像解码设备200(图14)的功能。于是，可以设定成解码器947只解码利用其中在运动预测的限制中，考虑运动向量的精度的编码生成的编码数据。于是，解码器947可以更确实地解码其中编码效率的降低受到抑制的编码数据。于是，记录/再现设备940可以更确实地实现编码效率的降低的抑制。

[0398] <7.第七实施例>

[0399] [成像设备]

[0400] 图24图解说明上述实施例适用于的成像设备的示意结构的例子。成像设备960拍摄被摄物体的图像，从而生成图像，对图像数据编码，并把编码的图像数据记录在记录介质上。

[0401] 成像设备960具备光学部件961、成像单元962、信号处理器963、图像处理器964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD969、控制器970、用户接口971和总线972。

[0402] 光学部件961连接到成像单元962。成像单元962连接到信号处理器963。显示单元965连接到图像处理器964。用户接口971连接到控制器970。总线972互连图像处理器964、外部接口966、存储器967、介质驱动器968、OSD969和控制器970。

[0403] 光学组件961包括聚焦透镜、光圈等。光学部件961在成像单元962的像面上形成被摄物体的光学图像。成像单元962包括诸如CCD和CMOS之类的图像传感器，并借助光电转换，把在像面上形成的光学图像转换成作为电信号的图像信号。随后，成像单元962把图像信号输出给信号处理器963。

[0404] 信号处理器963对从成像单元962输入的图像信号进行各种相机信号处理，比如拐点校正、γ校正和颜色校正。信号处理器963把相机信号处理之后的图像数据输出给图像处理器964。

[0405] 图像处理器964编码从信号处理器963输入的图像数据，从而生成编码数据。图像处理器964把生成的编码数据输出给外部接口966或介质驱动器968。另外，图像处理器964还解码从外部接口966或介质驱动器968输入的编码数据，从而生成图像数据。随后，图像处理器964把生成的图像数据输出给显示单元965。图像处理器964还可把从信号处理器963输入的图像数据输出给显示单元965，以显示图像。图像处理器964还可在输出给显示单元965的图像上叠加从OSD969获得的显示用数据。

[0406] OSD969生成诸如菜单、按钮和光标之类的GUI图像，并把生成的图像输出给图像处理器964。

[0407] 外部接口966由例如USB输入/输出端口构成。例如，当打印图像时，外部接口966连接成像设备960和打印机。此外，驱动器被酌情连接到外部接口966。可移除介质，比如磁盘或光盘被安装在驱动器上，从可移除介质读取的程序可被安装在成像设备960上。此外，外部接口966可以是连接到网络，比如LAN和因特网的网络接口。即，外部接口966充当成像设备960中的传输单元。

[0408] 安装在介质驱动器968上的记录介质可以是任何可读/可写的可移除介质，比如磁盘、磁光盘、光盘和半导体存储器。记录介质也可以固定地安装在介质驱动器968上，以构成不可移植的存储单元，比如内置硬盘驱动器或SSD(固态驱动器)。

[0409] 控制器970包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存由CPU执行的程序，程序数据等。在启动成像设备960时，保存在存储器中的程序被CPU读取，以便执行。通过执行程序，CPU按照从用户接口971输入的操作信号，控制成像设备960的操作。

[0410] 用户接口971连接到控制器970。用户接口971包括供用户操作成像设备960的按钮、开关等。用户接口971通过各个组件，检测用户的操作，从而生成操作信号，并把生成的操作信号输出给控制器970。

[0411] 在按照这种方式构成的的成像设备960中，图像处理器964具有按照上述实施例的图像编码设备100(图1)的功能。于是，图像处理器964可考虑到运动向量的精度，限制运动预测。于是，图像处理器964可抑制负荷的增大，同时抑制编码效率的降低，对图像进行编码。于是，成像设备960可降低编码效率的抑制。

[0412] 同时，图像处理器964还具有按照上述实施例的图像解码设备200(图14)的功能。于是，可以设定成图像处理器964只解码利用其中在运动预测的限制中，考虑运动向量的精度的编码生成的编码数据。于是，图像处理器964可以更确实地解码其中编码效率的降低受到抑制的编码数据。于是，成像设备960可以更确实地实现编码效率的降低的抑制。

[0413] 不用说，本技术适用于的图像编码设备和图像解码设备可被应用于除上述设备以外的设备和系统。

[0414] 同时，在本说明书中说明了其中从编码侧向解码侧传送量化参数的例子。传送量化矩阵参数的方法可作为与编码比特流关联的单独数据被传送或记录，而不是与编码比特流复用。这里，术语“关联”意味在解码时，包含在比特流中的图像(或图像的一部分，比如切片和块)与对应于该图像的信息可被相互联系起来。所述信息可在和图像(或比特流)的传输通道不同的传输通道上被传送。另外，所述信息可被记录在和图像(或比特流)的记录介质不同的记录介质(或者相同记录介质的另一个记录区域)上。此外，可按任意单位，比如多帧、一帧、或者帧的一部分，使信息与图像(或比特流)彼此关联。

[0415] 尽管参考附图，详细说明了本公开的优选实施例，不过，本公开的技术范围并不局限于这些例子。显然本领域的普通技术人员可以在权利要求书中记录的技术思想的范围内，构思出各种变化和修改，这些变化和修改自然落在本公开的技术范围之内。

[0416] 同时，本技术也可具有以下结构。

[0417] (1)一种图像处理设备，包括：控制器，该控制器根据运动向量的精度，控制被按照来进行运动补偿的帧间预测模式的候选者；运动搜索单元，该运动搜索单元只按照被控制器允许成为候选者的帧间预测模式，来进行运动搜索，从而生成运动向量；和运动补偿单元，该运动补偿单元按照从被由运动搜索单元分别按照来生成运动向量的各个候选者中选择的帧间预测模式，来进行运动补偿，从而生成预测图像。

[0418] (2)按照上述(1)所述的图像处理设备，其中控制器按照运动向量的精度是整数精度还是分数精度，来控制是否使帧间预测模式成为候选者。

[0419] (3)按照上述(2)所述的图像处理设备，其中控制器按照运动向量在纵向和横向的精度是整数精度还是分数精度，来控制是否使帧间预测模式成为候选者。

[0420] (4)按照上述(3)所述的图像处理设备，其中控制器还按照预测模式是单向预测还是双向预测，来控制是否使帧间预测模式成为候选者。

[0421] (5)按照上述(4)所述的图像处理设备，其中控制器还按照作为预测处理单元的区域的大小，来控制是否使帧间预测模式成为候选者。

[0422] (6)按照上述(1)-(5)任意之一所述的图像处理设备，其中控制器按照关于根据运动向量的精度确定的、从存储器的数据读取量的大小的信息是否超过依据资源和用户指示而定的上限，来控制是否使帧间预测模式成为候选者。

[0423] (7)按照上述(1)-(6)任意之一所述的图像处理设备，还包括：传输单元，该传输单元生成并传送传输信息，该传输信息指示由控制器进行的控制的细节。

[0424] (8)按照上述(7)所述的图像处理设备，其中传输单元定义作为传输信息的简档和等级，并把指示简档和等级的信息包含在序列参数集中并传送。

[0425] (9)按照上述(1)-(8)任意之一所述的图像处理设备，还包括：成本函数计算单元，该成本函数计算单元关于被由运动搜索单元按照来生成运动向量的每个候选者，来计算成本函数值；和模式选择器，该模式选择器根据成本函数计算单元计算的成本函数值，从各个候选者中选择被按照来进行运动补偿的帧间预测模式，其中运动补偿单元按照由模式选择器选择的帧间预测模式，来进行运动补偿。

[0426] (10)一种图像处理设备的图像处理方法，其中控制器根据运动向量的精度，控制被按照来进行运动补偿的帧间预测模式的候选者，运动搜索单元只按照被允许成为候选者的帧间预测模式来进行运动搜索，从而生成运动向量，和运动补偿单元按照从被分别按照来生成运动向量的各个候选者中选择的帧间预测模式，来进行运动补偿，从而生成预测图像。

[0427] (11)一种图像处理设备，包括：

[0428] 获取单元，该获取单元获得控制信息，该控制信息用于根据运动向量的精度，控制在编码图像数据时的帧间预测中使用的、被按照来进行运动补偿的帧间预测模式的候选者；判定单元，该判定单元根据获取单元获得的控制信息，判定对通过编码图像数据而生成的编码数据进行解码的可能性；和控制器，该控制器根据判定单元的判定结果，来控制编码数据的解码。

[0429] (12)按照上述(11)所述的图像处理设备，其中判定单元根据关于由获取单元获得的控制信息指定的、从存储器的数据读取量的大小的信息是否超过依据资源和用户指示而定的上限，来判定可能性。

[0430] (13)按照上述(12)所述的图像处理设备，其中判定单元根据关于由简档和等级定义的、从存储器的数据读取量的大小的信息是否超过依据资源和用户指示而定的上限，来判定可能性。

[0431] (14)按照上述(11)-(13)任意之一所述的图像处理设备，其中只有当判定单元判定解码是可能的时，控制器才允许对编码数据进行解码。

[0432] (15)按照上述(11)-(14)任意之一所述的图像处理设备，还包括：错误处理器，其在判定单元判定解码不可能时由控制器控制进行错误处理。

[0433] (16)一种图像处理设备的图像处理方法，其中获取单元获得控制信息，该控制信息用于根据运动向量的精度，控制在编码图像数据时的帧间预测中使用的、被按照来进行运动补偿的帧间预测模式的候选者，判定单元根据获得的控制信息，判定对通过编码图像数据而生成的编码数据进行解码的可能性，和控制器根据判定结果，来控制编码数据的解码。

[0434] 附图标记列表

[0435] 100 图像编码设备，115 运动预测/补偿单元，121 运动向量控制器，151 运动搜索单元，152 成本函数计算单元，153 模式判定单元，154 运动补偿单元，155 运动信息缓冲器，161 限制信息存储单元，162 限制控制器，163 传输信息提供单元，171 条件获取单元，172 限制控制器，200 图像解码设备，212 运动预测/补偿单元，221 解码控制器，251 传输信息获取单元，252 限制信息存储单元，253 可能性判定单元，254 控制器，255 错误处理器，271 条件获取单元，273 可能性判定单元

标题	发布/更新时间	阅读量
一种视频解码中运动补偿的方法及装置	2020-05-08	71
一种视频帧重构方法、装置及终端设备	2020-05-08	957
一种针对多路h.264视频会议的GPU解码方法	2020-05-12	475
图像预测解码方法	2020-05-13	573
图像编码装置、图像编码方法、图像解码装置及图像解码方法	2020-05-12	247
编码装置和方法、解码装置和方法以及存储介质	2020-05-13	405
视频编码和解码中的加权双向预测	2020-05-11	988
视频编码和解码中的仿射模式	2020-05-13	787
BIO中的时间梯度计算的改善	2020-05-08	622
仿射的运动矢量访问范围	2020-05-11	218

图像处理设备和方法

图像处理设备和方法

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：