动图像数据的编码处理，通常是以被称为宏块的矩形区域的多个 像素数据单位来进行的。另外，为了提高数据的压缩率，一般是对处 理对象宏块与在先帧内的参考宏块的各像素数据的差进行上述编码 处理。
通过运动矢量检测处理求出上述参考宏块。即，对在先帧中的、 与处理对象宏块相对应的位置的周边的宏块，计算与处理对象宏块的 各相应的像素数据的差的合计值，并搜索该合计值最小的宏块。成为 该搜索对象的宏块的数目越多，即搜索次数越多，能够搜索到恰当的 宏块的可能性就越高，已编码的图像数据的容量就能控制得越小。因 而，以往，已知有按照图像的性质等适当地控制搜索范围的方法。另 外，当扩大搜索范围时，运算量就会增大。因此，已知还有以下的技 术：通过进行隔行搜索或变更搜索对象的分辨率的搜索，可以既控制 编码效率的降低又使运算量大致恒定(例如，日本专利申请公开特开 平11-55677号公报)。
但是，恰当地设定搜索范围未必容易，因此，在如上所述的现有 技术中，无法可靠地抑制编码效率的下降。
在此，如上所述，可以考虑对上述合计值小于等于预定阈值这样 的参考宏块进行搜索，来替代在预定的搜索范围内对像素数据的差的 合计值最小的宏块进行搜索。此时，当图像的运动出乎意料地大时， 发现作为目标的参考宏块之前的时间就会变得很长，从而无法在一帧 时间内完成编码处理，因此，产生所谓的帧丢失(frame dropout)。

本发明正是鉴于上述问题而完成的，其目的在于，使编码处理在 预定时间内可靠地完成，并搜索恰当的参考宏块，使编码效率提高。
为了达到上述目的，本发明提供的第1动图像编码装置，在帧间 基于像素块内的像素数据的差，对动图像数据进行编码，其特征在于， 包括：搜索装置，对编码对象帧中的每个对象像素块，在参考帧的像 素块中，搜索互相对应的各像素数据的差的合计值比预定阈值小的参 考像素块；搜索时间设定装置，设定分配给由上述搜索装置进行的对 各对象像素块的搜索的分配时间；以及搜索时间控制装置，在上述搜 索装置的搜索时间达到上述分配时间的时刻，使搜索停止；其中，上 述搜索装置构成为，在通过上述搜索时间控制装置的控制而停止了搜 索时，在已搜索出的像素块中、以上述差的合计值最小的像素块作为 搜索结果的参考像素块；并且上述搜索时间设定装置构成为，当在上 述分配时间内搜索到上述差的合计值比预定阈值小的参考像素块时， 将上述分配时间与搜索所需时间之差的时间，分配给对其他对象像素 块的搜索。
由此，即使未搜索到上述像素数据的差的合计值小于阈值的参考 像素块，也在预定的时间停止搜索处理。因此，就可以在预定时间内 可靠地完成编码处理。而且，当存在分配时间内完成了搜索的对象像 素块时，由于对上述其他对象像素块的搜索时间变长，所以求出更恰 当的参考像素块的可能性就会变高。
另外，本发明还提供第2动图像编码装置，其特征在于，在第1 动图像编码装置中还包括：运动预测装置，对各对象像素块的每一个， 预测图像运动的大小；上述搜索时间设定装置构成为，根据上述运动 预测，设定各对象像素块的每一个的分配时间。
另外，本发明还提供第3动图像编码装置，其特征在于，在第2 动图像编码装置中，上述运动预测装置，将对象像素块或与上述对象 像素块对应的预定大小的运动预测用像素块内的像素数据的合计值， 和参考帧中的上述对象像素块或与上述运动预测用像素块对应的位 置的像素块内的像素数据的合计值之差，作为表示上述运动的大小的 运动预测值来求取；上述搜索时间设定装置构成为，使分配给上述预 测值较大的对象像素块的分配时间，比分配给上述预测值较小的对象 像素块的分配时间长。
另外，本发明还提供第4动图像编码装置，其特征在于，在第3 动图像编码装置中，上述搜索时间设定装置构成为，使分配给上述运 动预测值的大小与预定阈值相比较大的对象像素块的分配时间，比分 配给与预定阈值相比较小的对象像素块的分配时间长。
另外，本发明还提供第5动图像编码装置，其特征在于，在第1 动图像编码装置中，还包括空间频率成分计算装置，求出各对象像素 块或与上述对象像素块对应的预定大小的空间频率成分计算用像素 块中的预定的空间频率成分的大小；上述搜索时间设定装置构成为， 根据上述预定的空间频率成分的大小，设定各对象像素块的每一个的 分配时间。
另外，本发明还提供第6动图像编码装置，其特征在于，在第5 动图像编码装置中，上述搜索时间设定装置构成为，使分配给预定的 高频空间频率成分的大小较大的对象像素块的分配时间，比分配给预 定的高频空间频率成分的大小较小的对象像素块的分配时间长。
另外，本发明还提供第7动图像编码装置，其特征在于，在第6 动图像编码装置中，上述搜索时间设定装置构成为，使分配给上述高 频空间频率成分的大小与预定阈值相比较大的对象像素块的分配时 间，比分配给与预定阈值相比较小的对象像素块的分配时间长。
据此，按照图像运动的大小或预定的空间频率成分的大小，即例 如越是运动较大的像素块，或高频空间频率成分的大小越大，搜索时 间就越长，求出更恰当的参考像素块的可能性就会变高。
另外，本发明还提供第8动图像编码装置，其特征在于，在第1 动图像编码装置中，还包括：像素块位置判别装置，判别编码对象帧 中的周边部分的对象像素块和内部侧的对象像素块；上述搜索时间设 定装置构成为，使分配给内部侧的对象像素块的分配时间，比分配给 周边部分的对象像素块的分配时间长。
另外，本发明还提供第9动图像编码装置，其特征在于，在第1 动图像编码装置中，还包括重要度判别装置，判别编码对象帧中的对 象像素块的重要度；上述搜索时间设定装置构成为，基于与对象像素 块的重要度相应的信息，使分配给重要度较高的对象像素块的分配时 间，比分配给重要度较低的对象像素块的分配时间长。
据此，按照对象像素块的重要度等，求出恰当的参考像素块的可 能性就会变高。
另外，本发明提供第1动图像编码方法，在帧间基于像素块内的 像素数据的差对动图像数据进行编码，其特征在于，包括：搜索步骤， 对编码对象帧中的每个对象像素块，在参考帧的像素块中，搜索互相 对应的各像素数据的差的合计值比预定阈值小的参考像素块；搜索时 间设定步骤，设定分配给在上述搜索步骤中进行的对各对象像素块的 搜索的分配时间；以及搜索时间控制步骤，在上述搜索步骤的搜索时 间达到上述分配时间的时刻，使搜索停止；其中，上述搜索步骤，在 通过上述搜索时间控制步骤的控制而停止了搜索时，在已搜索出的像 素块中、以上述差的合计值最小的像素块作为搜索结果的参考像素 块；并且，上述搜索时间设定步骤，当在上述分配时间内搜索到上述 差的合计值比预定阈值小的参考像素块时，将上述分配时间与搜索所 需时间之差的时间，分配给对其他对象像素块的搜索。
由此，即使未搜索到上述像素数据的差的合计值小于阈值的参考 像素块，也在预定的时间停止搜索处理，在预定时间内可靠地完成编 码处理，并且，当存在于分配时间内完成了搜索的对象像素块时，由 于对上述其他对象像素块等搜索时间就变长，所以求出更恰当的参考 像素块的可能性将会变高。
附图说明
图1是表示实施方式1的动图像编码装置的结构的框图。
图2是表示实施方式1的分配时间的说明图。
图3是表示实施方式1的动图像编码装置的动作的流程图。
图4是表示实施方式1的动图像编码装置的动作的流程图。
图5是表示实施方式2的动图像编码装置的结构的框图。
图6是表示实施方式2的分配时间的说明图。
图7是表示实施方式2的动图像编码装置的动作的流程图。
图8是表示实施方式3的动图像编码装置的结构的框图。
图9是表示实施方式3的AE块的例子的说明图。
图10是表示实施方式3的分配时间的说明图。
图11是表示实施方式3的动图像编码装置的动作的流程图。
图12是表示实施方式4的动图像编码装置的结构的框图。
图13是表示实施方式4的AF块的例子的说明图。
图14是表示实施方式5的动图像编码装置的结构的框图。
图15是表示实施方式5的动图像编码装置的其他例子的结构的 框图。

下面，根据附图详细说明本发明的实施方式。
[实施方式1]
在本实施方式的动图像编码装置中，以被称作宏块(像素块)的 矩形区域的多个像素数据单位进行动图像数据的编码处理。另外，在 上述编码处理中，为了削减代码量，进行所谓的帧间预测编码。即， 对处理对象帧内的处理对象宏块与在先的参考帧内的参考宏块的各 像素数据的差进行编码处理。但对于起始帧，由于没有参考帧，所以 进行所谓的帧内编码。
该动图像编码装置，例如像图1所示，包括输入图像缓冲器101、 预测误差图像生成部102、DCT处理部103(离散余弦变换处理部)、 量化处理部104、可变长编码处理部105、逆量化处理部106、逆DCT 处理部107、参考图像生成部108、参考图像保存部109、运动搜索用 缓冲器110、运动矢量检测部111、帧内时间经过管理部112以及运 动检测处理时间管理部113。
上述输入图像缓冲器101，暂时保持从动图像编码装置外部的固 体摄像器件等输入的每个像素的图像数据，具体而言例如亮度数据和 色差数据。
预测误差图像生成部102，在进行第二个以后的帧的编码时，求 出从输入图像缓冲器101例如经由运动矢量检测部111输入的处理对 象宏块的各像素的像素数据，和从运动搜索用缓冲器110输入的参考 宏块的各像素的像素数据的差，生成预测误差图像数据。上述参考宏 块是从对应于参考帧中的上述处理对象宏块的位置偏离了如后述那 样由运动矢量检测部111所求出的运动矢量的位置的宏块。
DCT处理部103和量化处理部104，对从输入图像缓冲器101输 入的图像数据(第一帧的情况)、或者从预测误差图像生成部102输 入的预测误差图像数据(第二帧以后的情况)，进行向空间频率成分 的转换和量化处理。从量化处理部104输出的图像数据，被输入到可 变长编码处理部105和逆量化处理部106。
可变长编码处理部105，进行可变长编码处理，即删除冗余的信 息，生成信息量被进一步削减的编码数据。该编码数据通过例如未图 示的记录部被记录到记录介质中。
逆量化处理部106和逆DCT处理部107，对从量化处理部104 输出的图像数据，进行逆量化处理和逆DCT处理。
参考图像生成部108，对第一帧照原样地输出从逆DCT处理部 107输出的图像数据，而对第二帧以后的帧，由于从逆DCT处理部 107输出的是预测误差图像数据，所以与在运动搜索用缓冲器110中 所保持的在先的参考帧的图像数据相加，恢复为当前帧的图像数据并 输出。
参考图像保存部109，把从上述参考图像生成部108输出的图像 数据，作为关于下一帧处理的参考帧的图像数据来保存。该保存是在 与各处理对象宏块的位置相对应的区域中进行的。
运动搜索用缓冲器110，为了上述预测误差图像生成部102的预 测误差图像数据的生成，而保持在参考图像保存部109中保存的图像 数据。
运动矢量检测部111，求出利用预测编码的信息量减少效果变大 的参考宏块。即，求出处理对象宏块的各像素的像素数据、和参考帧 内的宏块的各像素的像素数据的差的合计值，并求出该合计值小于等 于预先设定的预定阈值、或成为最小的参考宏块，以求出表示其与处 理对象宏块的相对位置关系的运动矢量。此外，并非进行特别限定， 例如基于亮度数据来进行上述运动矢量，所得到的运动矢量，在生成 亮度数据和色差数据的预测误差图像时，被公共地使用。
帧内时间经过管理部112，计量从开始对各帧的编码处理起所经 过的时间，并传送给运动检测处理时间管理部113。
运动检测处理时间管理部113，分配关于各处理对象宏块的运动 矢量检测时间(搜索时间)并进行控制。
在如上述那样构成的动图像编码装置中，编码处理本身(预测误 差图像的生成和可变长编码处理等)与一般的动图像编码装置相同， 但在如以下那样地控制用于求出运动矢量的参考帧内的宏块的搜索 范围这一点上大不相同。即，例如像图2所示那样，在经过了所分配 的时间的情况下，或处理对象宏块与参考帧内的宏块的各像素的差的 合计值小于等于预定的阈值的情况下，或参考帧内的宏块的搜索次数 超过了预定次数的情况下，停止进行运动矢量检测部111的参考帧内 的宏块的搜索。具体而言，就是进行例如图3所示的动作。
步骤S101：帧内时间经过管理部112，每当开始对各帧的运动矢 量检测处理时，就将表示从处理开始起的经过时间Frame_Clk[sec] 的经过时间计数器初始化，开始经过时间的计数。
步骤S102：另外，运动检测处理时间管理部113，例如从由外部 赋予的帧速率Frame[fps]，如下面那样求出要进行1帧的处理的时 间Frame_EndClk[sec]，和分配给对一个处理对象宏块的处理的时 间MB_time[sec]。
Frame_EndClk[sec]＝1[sec]/Frame[fps]
MB_time[sec]＝Frame_EndClk[sec]/N
这里，N是构成一帧的宏块的数目。此外，这些值的计算也可以 在对起始帧的处理开始前只进行一次。另外，为了便于说明，暂时示 出了求出要进行1帧的处理的时间Frame_EndClk的例子，但也可以 直接以1/(Frame×N)来求取对处理对象宏块的分配时间等。
步骤S103：每次开始对各处理对象宏块的运动矢量检测处理， 都求出该处理应结束的时刻。具体而言，当设所处理的处理对象宏块 在同一帧内为第k个(k＝0、1、...、N-1)时，如下述那样，更新 运动矢量检测处理结束时刻MB_EndClk[sec]。
MB_EndClk[sec]＝MB_time×(k+1)
此外，也可将MB_time加到原来的(关于前一处理对象宏块的) 结束时刻MB_EndClk，来替代更新成如上述那样的值。另外，还可 以每当开始对各处理对象宏块的运动矢量检测处理时，将经过时间计 数器初始化，并判断在该值是否达到了MB_time(进而根据需要，在 存在关于以前的处理对象宏块的剩余时间的情况下，加上了该剩余时 间的时间)。
步骤S104：另外，发出后述的(在经过了所分配的一定时间的 情况下，使其停止)停止判断处理的开始请求，而且，开始由运动矢 量检测部111进行的运动矢量检测处理。
即，首先，从参考图像保存部109至少读出参考帧中的、与处理 对象宏块相对应的位置及其周边的宏块的各像素的亮度数据，并保持 在运动搜索用缓冲器110中。运动矢量检测部111求出在输入图像缓 冲器101中保持的处理对象宏块的各像素的亮度数据、和在运动搜索 用缓冲器110中保持的参考帧中的宏块的各像素的亮度数据的差的合 计值，并对参考帧中的其他宏块反复进行同样的处理，直到该合计值 小于等于预定的阈值。
步骤S105：例如，主要通过运动检测处理时间管理部113反复 进行以下判断：如上所述，差的合计值是否小于等于预先设定的预定 阈值，或基于停止判断处理的运动矢量检测处理是否被停止，或搜索 次数(处理对象宏块与参考帧内的宏块的比较次数)是否超过了预定 次数，在任一种为“是”的情况下，都停止运动矢量检测部111的搜 索动作。
在运动矢量检测部111中，在上述差的合计值小于等于预定的阈 值时，设此时的参考帧内的宏块为参考宏块，另一方面在停止判断处 理的运动矢量检测处理被停止，或搜索次数超过了预定次数时，设到 目前为止所求出的差的合计值最小的宏块为参考宏块，将与这些参考 宏块的处理对象宏块相应的相对位置作为运动矢量来求解。
此外，在参考帧内的一个宏块的搜索(计算差的合计值)所需要 的时间为恒定的情况下，搜索所需时间与搜索次数成比例，基于搜索 时间的控制和基于搜索次数的控制是等效的，因此，也可以只进行基 于搜索时间的停止判断处理或基于搜索次数的停止判断处理中的任 意一个。即，只要实质上是进行基于搜索时间的控制即可。另一方面， 在参考帧内的一个宏块的搜索所需时间不恒定的情况下，即，例如， 在每次搜索时，用处理对象宏块与参考帧内的宏块进行差处理的像素 数(通过间取)不同等情况下，进行基于搜索时间的控制，更能够可 靠且容易地使编码处理在1帧时间内完成。
步骤S106：在运动检测处理时间管理部113中，当因上述任一 情况而使运动矢量检测处理停止时，发出停止判断处理的复位请求。
步骤S107：判断对处理对象帧内的全部处理对象宏块的运动矢 量检测处理是否结束，如果没有结束则反复进行上述步骤S103之后 的步骤，另一方面，若结束则反复进行步骤S101之后的步骤。
上述停止判断处理，与上述步骤S101～步骤S104并行执行，例 如像图4所示那样地进行。
步骤S111：反复进行是否发出了上述步骤S104的停止判断处理 的开始请求的判断。
步骤S112、步骤S113：若发出了停止判断处理的开始请求，则 运动检测处理时间管理部113，参考帧内时间经过管理部112的经过 时间Frame_Clk，判断是否经过了运动矢量检测处理结束时刻 MB_EndClk。若尚未经过上述期间，则判断是否发出了上述步骤S106 的停止判断处理的复位请求，若尚未发出则反复进行步骤S112以后 的步骤，若已经发出则返回到步骤S111。即，即使未如上述那样经 过了运动矢量检测处理结束时刻MB_EndClk，在差的合计值小于等 于预定的阈值的情况下，或者在搜索次数超过了预定次数的情况下， 也使搜索停止，并等待对下一处理对象宏块的停止判断处理的开始请 求。
步骤S114：另外，当在上述步骤S112中经过了运动矢量检测处 理结束时刻MB_EndClk时，运动检测处理时间管理部113向运动矢 量检测部111输出停止信号。此时，运动矢量检测部111设如上述那 样已求出的差的合计值最小的宏块为参考宏块，将相对于处理对象宏 块的上述参考宏块的相对位置作为运动矢量。
如上述那样，即使在未发现与处理对象宏块的差的合计值小于等 于预定阈值的参考宏块的情况下，也在到达所分配的搜索时间的时 刻，使搜索处理停止，由此就能使对各帧的编码处理在预定的时间内 可靠地完成。而且，当在所分配的搜索时间内发现了上述参考宏块时， 按剩余时间(或其累计时间)量，使对其后的处理对象宏块的搜索处 理延长进行，由此就能提高求出更恰当的参考宏块的可能性。
[实施方式2]
以上说明了当在分配时间内差的合计值小于等于阈值时等，向关 于后面的各处理对象宏块的搜索分配剩余时间，以进行更恰当(类似 程度较高)的参考宏块的搜索的动图像编码装置。此外，在下面的实 施方式中，对具有与上述实施方式1等相同的功能的构成要素，添加 相同的标记并省略说明。
实施方式2的动图像编码装置，如图5所示，与实施方式1(图 1)的动图像编码装置相比，在替代运动检测处理时间管理部113而 具备运动检测处理时间管理部213这一点上不同。该运动检测处理时 间管理部213，当对各处理对象宏块的运动矢量检测处理在所分配的 时间内结束了的情况下，将剩余时间(所分配的时间与实际所需时间 之差)分散地分配到对同一帧内的其他处理对象宏块的运动矢量检测 处理中。
即，假定如图6所示那样使第k-1个处理对象宏块的运动矢量检 测处理的结束时间比根据所分配的时间的运动矢量检测处理的结束 时间提前剩余时间Δtime[k-1]，则对接下来的第k个处理对象宏块分 配时间MB_time+Δtime[k-1]/(N-k)，其中，该时间MB_time+ Δtime[k-1]/(N-k)是这样得到的，即：将上述剩余时间Δtime[k-1] 除以剩下的处理对象宏块的数目((N-1)-(k-1)＝N-k)所 得到的时间与未考虑剩余时间时的分配时间MB_time相加(在直到 第k-2个之前的处理对象宏块未产生剩余时间的情况。在产生多次剩 余时间时，分配对累计进行了相加的时间)。
具体而言，如图7所示，与实施方式1(图3)相比，取代步骤 S103而进行步骤S203的处理，进而，进行步骤S251、步骤S252的 处理。此外，关于停止判断处理，与实施方式1(图4)相同。
在步骤S251中，将对起始处理对象宏块的处理开始之前的剩余 相加时间Δtime_add[0]的值初始化为0。
在步骤S203中，例如，关于第k-1个处理对象宏块，若按照所 分配的时间，设运动矢量检测处理应结束的时刻为MB_EndClk[k-1]、 到实际处理所结束的时刻的经过时间为Frame_Clk[k-1]、如后述那样 更新的剩余相加时间为Δtime_add[k]，则接下来的第k个处理对象宏 块的运动矢量检测处理应结束的时刻MB_EndClk[k]被设定为：
MB_EndClk[k]＝Frame_Clk[k-1]+MB_time+Δtime_add[k]。
在步骤S252中，关于第k个处理对象宏块，当设定实际结束了 处理的时刻的经过时间为Frame_Clk[k]时，由于应结束运动矢量检测 处理的时刻如上述那样为MB_EndClk[k]，所以，剩余时间Δtime[k] 就成为：
Δtime[k]＝MB_EndClk[k]-Frame_Clk[k]。
因而，关于接下来的第k+1个处理对象宏块的剩余相加时间 Δtime_add[k+1]就被更新为：
Δtime_add[k+1]＝time_add[k]+Δtime[k]/(N-k-1)。
即，对各处理对象宏块的运动矢量检测处理已结束的时刻的剩余时间 的合计，被均等地分配给关于其后处理的处理对象宏块的处理时间。
如上所述，与实施方式1相同，通过在达到所分配的搜索时间的 时刻使搜索停止，就能够使对各帧的编码处理在预定时间内可靠地完 成，并且，由于当在所分配的搜索时间以内结束了运动矢量检测处理 的情况下，将其剩余时间分配给对剩下的其他处理对象宏块的运动矢 量检测处理，所以就能够提高求出更恰当的参考宏块和高精度的运动 矢量的可能性。
[实施方式3]
在上述实施方式2中，示出了将未考虑剩余时间时的分配时间 (基准分配时间)、和剩余时间被等分地分配给各处理对象宏块的例 子，但并不限于此，也可以按照图像运动的大小来分配。
实施方式3的动图像编码装置，如图8所示，与实施方式1(图 1)的动图像编码装置相比，在取代运动检测处理时间管理部113而 具备运动检测处理时间管理部313，进而还具备RGB块积分处理部 314这一点上不同。
上述RGB块积分处理部314，基于保持在输入图像缓冲器101 中的亮度数据和通过YUV转换部321生成色差数据之前的R、G、B (红、绿、青)数据，来检测(推定)图像运动的大小。更详细地说， 对于处理对象宏块内的例如各处理对象宏块，分别合计(或者平均) 关于构成各处理对象宏块的全部像素的R、G、B数据，例如，设处 理对象帧为图像数据的第n帧，则求出合计值Rn、Gn、Bn，并如下 所述地求出与对前1(第n-1)帧同样地求出并保持的、关于与各处 理对象宏块相同的位置的宏块的合计值Rn-1、Gn-1、Bn-1的差的绝 对值ΔR、ΔG、ΔB。
ΔR＝Rn-1-Rn
ΔG＝Gn-1-Gn
ΔB＝Bn-1-Bn
另外，进一步判断上述ΔR、ΔG、ΔB是否三个都(或者至少2 个、或者至少1个)超过预定的阈值，并使得对应于超过的处理对象 宏块，设置表示(推定为)图像运动较大的运动标志。
这里，如上述那样的R、G、B数据的合计，并不限于对处理对 象宏块进行求解，即使对处理对象宏块和在某种程度上包含共同像素 的像素块进行求解，也能够作为运动大小的指标。因而，例如在数字 照相机中，通常还可以使用关于为自动曝光控制所求得的预定大小、 形状(一个或多个)的像素块(由图9所示的拜尔排列的各色像素组 成的AE块)的R、G、B数据的合计。此时，由于不需要在动图像 编码装置中设置专用的RGB块积分处理部314，所以就能够容易地减 小电路规模。
另外，并不限于R、G、B数据，也可以基于由YUV转换部321 所变换的亮度数据或色差数据等图像数据，进行同样的运算。
另外，运动检测处理时间管理部313，基于上述运动标志，例如 像下面那样，将基准分配时间和剩余时间分配给各处理对象宏块。
首先，说明基准分配时间，与实施方式1相同，当设等分地对各 处理对象宏块所分配的时间为MB_time[sec](＝ Frame_EndClk[sec]/N)，并分别设对未设置运动标志的处理对象宏块 和被设置的处理对象宏块所分配的基准分配时间为MB_time_off、 MB_time_on，则：
MB_time_off＝α×MB_time
MB_time_on＝{(1-α)(N-Nrgb)/Nrgb+1}×MB_time
其中，α是预先所设定的常数，且0＜α＜1，
Nrgb是在处理对象帧内的N个处理对象宏块之中、设置了运动 标志的处理对象宏块的数目。
即，如图10所示，对于未设置运动标志的处理对象宏块，分配 对全部处理对象宏块等分地分配时的α倍的时间，另一方面，对于设 置了运动标志的处理对象宏块，等分地分配剩余的时间。
另外，关于剩余时间的分配，与在实施方式1中所说明的一样， 例如设对第k-1个处理对象宏块的运动矢量检测处理结束时的剩余 时间为Δtime[k-1]，并分别设未设置运动标志和设置了运动标志的接 下来的第k个处理对象宏块所分配的剩余相加时间为
Δtime_add_off[k]、Δtime_add_on[k]，则：
Δtime_add_off[k]＝Δtime_add_off+β×Δtime/(N-k)
Δtime_add_on[k]＝Δtime_add_on+Δtime×{1-β× (N-k-Nrgb_res)/(N-k)}/Nrgb_res
其中，β是预先所设定的常数，且0＜β＜1，
Nrgb_res是在尚未进行运动矢量检测处理的N-k个处理对象宏块 之中、设置了运动标志的处理对象宏块的数目。
即，与基准分配时间一样，对于未设置运动标志的未处理的处理 对象宏块，分配等分地对未处理的全部处理对象宏块进行分配时的β 倍的时间，另一方面，对于设置了运动标志的未处理的处理对象宏块， 等分地分配剩余的时间。
当设到对第k-1个处理对象宏块的运动矢量检测处理所结束的时 刻的经过时间为Frame_Clk[k-1]时，关于接下来的第k个处理对象宏 块，处理所应结束的时刻MB_EndClk[k]，
如果是未设置运动标志的处理对象宏块，则设定成：
MB_EndClk[k]＝Frame_Clk[k-1]+MB_time_off+ Δtime_add_off[k]，
另一方面，如果是设置了运动标志的处理对象宏块，则设定成：
MB_EndClk[k]＝Frame_Clk[k-1]+MB_time_on+ Δtime_add_on[k]。
动图像编码装置的具体的处理动作，如图11所示，与实施方式 2(图7)相比，取代步骤S251、步骤S203而进行步骤S351、步骤 S303的处理，另外，取代步骤S252而进行步骤S354的处理，进而， 进行步骤S352、步骤S353的处理。此外，关于停止判断处理，与实 施方式1(图4)相同。
步骤S351：与实施方式2的步骤S251相同，将开始对起始处理 对象宏块的处理之前的剩余相加时间Δtime_add_off[0]和 Δtime_add_on[0]的值初始化为0。
步骤S352：关于各处理对象宏块，求出帧间的R、G、B数据的 差ΔR、ΔG、ΔB，并按照其大小设置运动标志。
步骤S353：对设置了运动标志的处理对象宏块的数目(Nrgb) 进行计数。
步骤S303(步骤S303a～步骤S303c)：按照是否设置了关于处 理对象宏块的运动标志，设定应结束运动矢量检测处理的时刻。
步骤S354：在比应结束运动矢量检测处理的时刻还早地结束时， 更新剩余相加时间Δtime_add_off[k]和Δtime_add_on[k]。
如上述那样，通过按照图像的运动大小来设定运动矢量检测处理 的分配时间，对被推定为运动较小的处理对象宏块，在短时间内搜索 参考宏块，另一方面，对被推定为运动较大的处理对象宏块，则分配 时间设定较长，并在参考帧较宽的范围来进行搜索，因此就能够提高 搜索更恰当的参考宏块的可能性。
此外，在上述例子中，示出了根据帧间的R、G、B数据的差ΔR、 ΔG、ΔB的大小来推定图像运动大小的例子，但作为推定方法并不 限于上述内容，还可使用各种手法。例如，关于基于R、G、B数据 和亮度数据所得到的一个或多个空间频率成分的值，也可以求出前后 相邻的帧间的差的绝对值，在该值比预定阈值大时，推定为运动较大 等。
另外，在上述例子中，示出了关于前1帧的合计值Rn-1、Gn-1、 Bn-1等被保持在RGB块积分处理部314等中的例子，但也可以使用 保持在参考图像保存部109中的图像数据。
另外，运动矢量检测处理的分配时间的计算方法并不限于上述内 容，只要按照图像运动的大小来设定即可。具体而言，例如用于求出 基准分配时间的常数α，和用于求出剩余时间的分配时间的常数β可 以使用相同的常数，也可以设定任意一个的值为1(若将两个值均设 为1，则与实施方式2相同)。进而，还可以不使用这些常数α、β， 而例如将设置运动标志的情况下的分配时间和未设置运动标志的情 况下的分配时间的比率设定为常数。
另外，运动大小的推定并不限于较大和较小两个等级，例如也可 以判断差ΔR、ΔG、ΔB之中哪些大于等于阈值，或者大于等于多等 级阈值之中的哪个阈值，多等级地设定所分配的时间。
[实施方式4]
也可以取代替如上述实施方式3那样地、按照图像运动的大小来 分配基准分配时间和剩余时间，而是按照预定的空间频率成分的大小 来分配。
在实施方式4的动图像编码装置中，如图12所示，设置基于在 输入图像缓冲器101中所保持的亮度数据，求出高频空间频率成分(例 如至少直流成分以外的频率成分)的大小的AF块处理部414。更详 细地说，就是上述AF块处理部414对例如图13所示的预定的大小、 形状的像素块(AF块)，例如对每个水平行分别求出空间频率成分， 在大于等于预定频率的高频空间频率成分的大小的合计大于等于预 定的阈值时，对相应的处理对象宏块(在某种程度上包括共同像素的 处理对象宏块)，设置表示高频空间频率成分较大的高频标志。其中， 如上述那样的高频空间频率成分还可以对每个处理对象宏块分别求 解，但是，例如在数字照相机中，通常，在对用于自动焦点调节的 AF块使用所求出的高频空间频率成分的情况下，与在实施方式3中 对RGB块积分处理部314所说明内容一样，由于不需要在动图像编 码装置中设置专用的AF块积分处理部414，所以就能够容易地减小 电路规模。
运动检测处理时间管理部313，与实施方式3一样，对设置了高 频标志的处理对象宏块的运动矢量检测处理，分配比未设置高频标志 的处理对象宏块还要长的时间。具体而言，在实施方式3中，在求出 对各处理对象宏块分配的基准分配时间和剩余时间的公式中，还可以 取代设置了运动标志的处理对象宏块的数目Nrgb、Nrgb_res，而使用 上述设置了高频标志的处理对象宏块的数目Naf、Naf_res。
通过如上述那样分配运动矢量检测处理的时间，对于高频空间频 率成分较大的处理对象宏块，就能够提高搜索更恰当的参考宏块的可 能性。因此，针对高频空间频率成分较大的处理对象宏块代码量往往 增大的情况，能够容易地缩小与参考宏块的各像素数据的差以减小代 码量。另外，在如后述那样，对代码量大于等于预定量的处理对象宏 块，较大地设定量化值，以减少代码量的情况下，能减少这种降低代 码量的处理对象宏块，从而抑制像质的下降。
[实施方式5]
还可以根据处理对象宏块是否位于帧的周边部分来分配运动矢 量检测处理的时间。即，通常，与帧的周边部分相比，中央部分图像 数据的重要度要高，所以通过对中央部分的处理对象宏块分配更长的 时间，以提高搜索恰当的参考宏块的可能性，就不容易使像质降低。 即，一般而言，由于对进行编码的1帧所分配的代码量恒定或预先设 定了目标代码量，所以当运动矢量检测处理的精度下降时，预测误差 图像生成部102中的预测误差图像的数据量就变大，在量化处理部 104中，为了控制1帧的目标代码量而较大地设定量化值，像质往往 就降低。与此相对，通过对中央部分分配更长的时间来提高运动矢量 检测处理的精度，减少预测误差图像的数据量，就能够抑制中央部分 的像质的下降。
具体而言，例如如图14所示那样，只要取代实施方式3(图8) 的RGB块积分处理部314而设置画面端检测514，使用帧中央部分的 处理对象宏块的数目Nc、Nc_res来替代关于R、G、B数据的运动较 大的处理对象宏块的数目Nrgb、Nrgb_res，来计算分配时间，并进行 分配即可。(此外，在常数α、β的设定等方面，关于帧周边部分的 处理对象宏块，还可以考虑使成为搜索对象的参考帧内的宏块的数目 比中央部分少。)
另外，并不限于帧的中央部分或周边部分，如图15所示，还可 以取代画面端检测514而设置关注MB检测处理部614，对位于帧内 的关注区域的重要度较高的处理对象宏块，分配相对较长的时间。即， 还可以设位于关注区域的处理对象宏块的数目为Nnotice、 Nnotice_res，同样地计算分配时间并分配。
作为上述关注MB检测处理部614，具体来说，例如，将由用于 数字照相机的那样的肤色检测部判断为是肤色的宏块，识别为是人 物，判断为是关注宏块。另外，例如，还可以在摄像位置被固定的监 视相机中，设定、或从外部输入用于表示是否为有人活动的走廊附近 的关注度较高的部分以及与其他部分的某个对应的宏块的信息，并基 于此来判别关注宏块。
如上所述，根据本发明，就能容易地搜索恰当的参考宏块，提高 编码效率，而且，还能够在预定的时间内使编码处理可靠地完成。因 此，本发明作为对动图像数据进行通信、存储和处理等的各种动图像 编码装置等是非常有用的。