一种视频解码装置和方法
专利汇可以提供一种视频解码装置和方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种视频 解码器 装置和方法。该装置包括：设备资源 感知 单元， 频率 控制单元，以及多任务解码器；设备资源感知单元，用于确定当前可用功率；频率控制单元，用于依据设备资源感知单元确定的当前可用功率为各任务指配工作频率；多任务解码器，用于将视频码流分为多个任务，并依据频率控制单元为各任务所指配的工作频率解码各任务。本发明通过对解码器进行多任务并行处理，并且对每个任务以及功能模 块 进行动态频率调整，可以满足系统性能的前提下降低功耗。，下面是一种视频解码装置和方法专利的具体信息内容。
1. 一种视频解码装置，其特征在于，包括：设备资源感知单元，频率控制单元，以及多任务解码器；设备资源感知单元，用于确定当前可用功率；频率控制单元，用于依据设备资源感知单元确定的当前可用功率为各任务指配工作频率；多任务解码器，用于将视频码流分为多个任务，并依据频率控制单元为各任务所指配的工作频率解码各任务。
2. 如权利要求1所述的视频解码装置，其特征在于，还包括重建视频存储区，用于接收多任务解码器的输出，并在视频码流中当前帧的各任务解码完成之后，根据各任务的顺序重新排序后将视频流输出。
3. 如权利要求1所述的视频解码装置，其特征在于，设备资源感知单元，还用于感知设备的工作状态。
4. 如权利要求1所述的视频解码装置，其特征在于，多任务解码器包括解码器多任务划分单元和多个解码任务单元；解码器多任务划分单元，用于将视频码流划分为多个解码片；解码任务单元，用于对各解码片进行解码。
5. 如权利要求4所述的视频解码装置，其特征在于，解码任务单元包括：熵解码控制单元，反变换反量化单元，帧间预测单元，帧内预测单元，以及去方块滤波单元。
6. 如权利要求5所述的视频解码装置，其特征在于，频率控制单元依据下式确定各解码片的工作频率：Z" 附.乂=1 •/其中：V为电路的供电电压，fcLK为第i个解码片的工作频率，C^F为电路的有效切换电容，P为当前可用功率，n为解码片的总数，Pi为第i个解码片所分配的功率，mi为第i个解码片包含的宏块数量，i、 j为自然数，1《i《n， Kj《n，"为活动因子。
7. 如权利要求6所述的视频解码装置，其特征在于，第i个解码任务单元中：熵解码控制单元的工作频率为^ 'fox，反变换反量化单元的工作频率 为^ 'fcLK，帧间预测单元的工作频率 73 • fcLK， 帧内预测单元的工作频率为 、'fcLK，去方块滤波单元单元的工作频率为^ • ftXK;其中：v 5， 5，^和、为熵解码控制单元、反变换反量化单元、帧间预测单元、帧内预测单 元和去方块滤波单元的处理时间相对于熵解码控制单元、或反变换反量化单 元、或帧间预测单元、或帧内预测单元、或去方块滤波单元的处理时间的比值；第i个解码任务单元是解码第i个解码片的解码任务单元。
8. —种视频解码方法，其特征在于，包括： 步骤l，确定当前可用功率；步骤2，将视频码流分为多个任务，依据当前可用功率为各任务指配工 作频率；步骤3，依据为各任务所指配的工作频率解码各任务。
9. 如权利要求8所述的视频解码方法，其特征在于，还包括歩骤4，重 建视频存储区接收多任务解码器的输出，并在视频码流中当前帧的各任务解 码完成之后，根据各任务的顺序重新排序后将视频流输出。
10. 如权利要求8所述的视频解码方法，其特征在于，步骤1中，还感 知设备的工作状态。
11. 如权利要求8所述的视频解码方法，其特征在于，歩骤2包括： 步骤21，将视频码流划分为多个解码片；n 附, 7"*步骤22，依据公式
12. 如权利要求ll所述的视频解码方法，其特征在于，步骤3中，依据为各任务所指配的工作频率解码各任务。
13. 如权利要求12所述的视频解码方法，其特征在于，解码任务单元包括：熵解码控制单元，反变换反量化单元，帧间预测单元，帧内预测单元， 以及去方块滤波单元。
14.如权利要求13所述的视频解码方法，其特征在于，步骤2中：在第i个解码任务单元中：将熵解码控制单元的工作频率指定为r, ，fcLK，将反变 换反量化单元的工作频率指定为^ ，fcLK，将帧间预测单元的工作频率指定 为^ 'fcLK，将帧内预测单元的工作频率指定为^ 'fcLK，去方块滤波单元单元的工作频率为 r5 • fcLK; 其中： z"「 r2 ， r3 j z"4 和^为熵解码控制单元、反变换反量化单元、帧间预测单元、帧内预测单元和去方块滤波单元的处理时 间相对于熵解码控制单元、或反变换反量化单元、或帧间预测单元、或帧内预测单元、或去方块滤波单元的处理时间的比值；第i个解码任务单元是解 码第i个解码片的解码任务单元。
一种视频解码装置和方法
技术领域
随着通信产业的不断发展，终端已经由原来单一的通话功能的手机等， 逐渐向话音、数据、图像、音乐和多媒体方向综合演变，具体包括智能手机、
PDA等。
然而，作为大多数终端尤其是移动型终端，完全依靠电池来供电，随着 移动设备的功能越来越强大，其功率损耗也越来越大。因此，必须提高终端
设备的使用时间和待机时间。对于这个问题，目前有两种解决方案： 一种是 配备更大容量的电池；但是增大电池容量总的趋势上将会增加整个设备的成 本。另一种是改进系统设计，采用先进技术，降低移动设备的功率损耗。
因此，从移动设备的总体设计入手，应用先进的技术和器件，进行降低 功率损耗的方案设计，从而尽可能延长移动设备的使用时间。事实上，低功 耗设计已经成为移动设备设计中一个越来越迫切的问题。
解码器作为移动设备的视频处理系统的关键部分，占用系统中较多资源， 消耗终端大量的功率，所以如何降低解码器的功耗，对于延长终端的电池使 用寿命具有至关重要的作用。
解码器功耗的降低，目前也有很多实现方法， 一般集中在对解码器的算 法复杂度的降低或者对部分模块的简化。现有技术主要针对解码器算法复杂 度的降低进行研究，而较少的考虑了视频解码器内部各模块与功耗控制的内 在联系。对于降低视频解码器的功耗大多采用降低解码复杂度的方法，虽然 在一定程度上可以降低了解码器的功耗，但很多都在降低复杂度的同时，降 低性能，难以保证视频重建质量。
经过研究，CMOS电路的能量消耗可以由下式近似估计：
尸=#2.知.0^ (1)其中：「为电路的供电电压； /^为时钟频率；
为电路的有效切换电容； "为活动因子，通常为0.5。
由上式可以看出，CMOS电路的能量消耗？与电路电压V的平方成正 比，和频率/c"成正比，因此降低电压以及时钟频率是降低线路能耗的最有
效的方法之一。而且降低电压和频率对降低功耗可以起到事半功倍的作用。 发明内容
为了解决上述的技术问题，提供了 一种多任务并行的视频解码器装置， 其目的在于通过对解码器进行多任务并行处理，并且对每个任务以及功能模 块进行动态频率调整，可以满足系统性能的前提下，极大地降低功耗。
本发明提供了一种视频解码装置，包括：设备资源感知单元，频率控制 单元，以及多任务解码器；
设备资源感知单元，用于确定当前可用功率；
频率控制单元，用于依据设备资源感知单元确定的当前可用功率为各任 务指配工作频率；
多任务解码器，用于将视频码流分为多个任务，并依据频率控制单元为 各任务所指配的工作频率解码各任务。
还包括重建视频存储区，用于接收多任务解码器的输出，并在视频码流 中当前帧的各任务解码完成之后，根据各任务的顺序重新排序后将视频流输 出。
设备资源感知单元，还用于感知设备的工作状态。 多任务解码器包括解码器多任务划分单元和多个解码任务单元； 解码器多任务划分单元，用于将视频码流划分为多个解码片； 解码任务单元，用于对各解码片进行解码。
解码任务单元包括：熵解码控制单元，反变换反量化单元，帧间预测单 元，帧内预测单元，以及去方块滤波单元。
频率控制单元依据下式确定各解码片的工作频率：
路的有效切换电容，P为当前可用功率，n为解码片的总数，Pi为第i个解码 片所分配的功率，mi为第i个解码片包含的宏块数量，i、 j为自然数，Ki 《n， Kj《n， fl为活动因子。
第i个解码任务单元中：熵解码控制单元的工作频率为^ *fCLK，反变换 反量化单元的工作频率为 帧间预测单元的工作频率 5 • fcLK， 帧内
预测单元的工作频率为^ 'fcuc，去方块滤波单元单元的工作频率为^ 'fcLK;
其中：v r2， t3，、和^为熵解码控制单元、反变换反量化单元、帧间预
测单元、帧内预测单元和去方块滤波单元的处理时间相对于熵解码控制单元、 或反变换反量化单元、或帧间预测单元、或帧内预测单元或去方块滤波单元
的处理时间的比值；第i个解码任务单元是解码第i个解码片的解码任务单
元o
关于对、'fcxK的约定：在计算的过程中，如装置（包含终端或芯片） 能提供的工作频率任意可调，则^ 'fcLK直接为计算的结果；另一方面考虑
到对于一部分装置（包含终端或芯片），能提供的工作频率的可调范围不一定
是连续变化，例如提供可用工作频率为[f!,f2,f3,f4,f5,f6,f7,f8]或陆......]等，
那么对于、'fcLK的取值，为该装置能提供的可调工作频率范围内，最接近 、'fcXK的频率值。
本发明提供了一种视频解码方法，包括：
步骤l，确定当前可用功率；
步骤2，将视频码流分为多个任务，依据当前可用功率为各任务指配工
作频率；
步骤3，依据为各任务所指配的工作频率解码各任务。
还包括步骤4，重建视频存储区接收多任务解码器的输出，并在视频码
流中当前帧的各任务解码完成之后，根据各任务的顺序重新排序后将视频流输出。
步骤1中，还包括感知设备的工作状态。步骤2包括：
步骤21，将视频码流划分为多个解码片；附.
步骤22，依据公式《=^P得到Pi;
步骤23，依据公式《="r2 ./m.cw得到fCLK;
其中：V为电路的供电电压，fcxK为第i个解码片的工作频率，CEFF为电
路的有效切换电容，P为当前可用功率，n为解码片的总数，Pi为第i个解码 片所分配的功率，m,为第i个解码片包含的宏块数量，i、 j为自然数，1《i 《n， Kj《n。
步骤3中，依据为各任务所指配的工作频率解码各任务。
解码任务单元包括：熵解码控制单元，反变换反量化单元，帧间预测单 元，帧内预测单元，以及去方块滤波单元。
步骤2中：在第i个解码任务单元中：将熵解码控制单元的工作频率指 定为r,fox，将反变换反量化单元的工作频率指定为^ 'fcLK，将帧间预测 单元的工作频率指定为 ^ *fcLK， 将帧内预测单元的工作频率指定为
去方块滤波单元单元的工作频率为^ 'fmr，其中：V r2， r3， ^和^为熵 解码控制单元、反变换反量化单元、帧间预测单元、帧内预测单元和去方块 滤波单元的处理时间相对于熵解码控制单元、或反变换反量化单元、或帧间 预测单元、或帧内预测单元或去方块滤波单元的处理时间的比值；第i个解 码任务单元是解码第i个解码片的解码任务单元。
本发明对视频解码器技术进行多任务划分，以获得合理的多任务操作， 并且对各个任务适当的频率控制，以达到在保证解码总体性能的情况下，最 大化的降低解码器的功耗。本发明提供一种变频多任务视频解码来实现低功 耗视频解码的方法，针对每个任务的处理时间不同，对每个任务进行动态频 率调节，减小整个系统的空闲时间，能够很大程度上降低功耗，而且不影响 整个视频的解码时间。响应系统资源需求，根据不同资源等级，实现可分级 的解码器输出功率控制方法，根据各个模块的处理时间不同，从宏块级对多 个功能模块进行频率调节，以获得在某一功率模式下较低的功耗，同时使得 解码器在该功耗下获得最快的解码速度。也就是解码器具有功耗可扩展的输 出模式，也即每一种输出模式下解码器所消耗的功率不一样，用户可以选择
8不同的输出模式。 附图说明
图1是公知视频解码器结构图；
图2是根据本发明多任务视频解码方法流程图；
图3是根据本发明实施例的功率可扩展的视频解码装置结构图；
图4是根据本发明实施例的各个功能模块单元流水线划分图。
具体实施方式
本发明提供的视频解码装置，包括：设备资源感知单元，频率控制单元， 以及多任务解码器；
设备资源感知单元，用于确定当前可用功率。具体用于确定设备当前可
用功率。设备指支持电池供电的某种具体终端，可以为PDA、智能手机、嵌 入式实时设备等。设备上运行视频解码程序，可支持多种视频格式解码，包 括QCIF、 CIF、 QVGA、 VGA、 Dl等，视频解压縮标准可采用H.264、 MPEG4、 MPEG2、 AVS等。
频率控制单元，用于依据设备资源感知单元确定的当前可用功率为各任 务指配工作频率。具体依据设备资源感知单元确定的当前可用功率，采用动 态频率调节方法，为各任务指配工作频率，调节多任务解码器的处理速度。
多任务解码器，用于将视频码流分为多个任务，并依据频率控制单元为 各任务所指配的工作频率解码各任务。
其中频率控制单元可以设置在多任务解码器之内，也可以设置在多任务 解码器之外。
多任务解码器包括解码器多任务划分单元，用于将视频解码器划分为多 个任务，并将每个任务分配不同的工作频率任务队列中；
多任务解码器，包括多个任务划分，具体包含：熵解码任务模块，反离
散余弦变换（IDCT)任务模块、去方块滤波任务模块、Intra (帧内）预测任 务模块和Inter (帧间）预测任务模块等模块组成。本发明的另一方面也提供了一种功率可分级视频解码装置，包括：
1) 设备资源感知单元，用于确定当前可用功率；
2) 设定解码模块的多任务划分，并确定任务的工作频率；实现低功耗解 码器控制；
3) 所述各个功能模块在所选的处理频率下对视频进行处理，输出视频。 为了使本发明的技术方案及优点更加清楚明白，以下结合附图及实施例，
对本发明的一种视频解码装置和方法进行进一步详细说明。
图1是公知的视频解码器的结构示意图，视频解码器由熵解码模块100、 反离散余弦变换（IDCT)模块102、去方块滤波模块104、 Intra (帧内）预 测模块110和Inter (帧间）预测模块112等模块组成。压縮后的比特流经过 解码模块100得到量化后的一组变换系数^，再经过反离散余弦变换模块 102，得到残差Dn' 。 Inter预测模块112或Intra预测110根据熵解码模块100 解析视频码流得到的预测模式、运动矢量、参考帧等信息，从视频帧缓存108 中取出相应的参考图像数据并生成一个预测块，然后预测块与残差zv相加 后，得到未经滤波的帧，为了去除噪声，提高图像质量，再经过去方块滤波 104后得到最后的解码输出图像。
图1中所述各个模块的复杂度不一样，对于每个宏块的处理时间也是不 相同的。所以，如何在功率限定的条件下，合理地选择各个模块的处理频率， 使得保证视频解码速度的情况下，从而更大降低功耗对解码器是至关重要的。 本发明综合各个模块对视频质量的影响和计算复杂度，进行了动态频率分级 方法处理，得到了低功耗的视频解码方法。
如图2所示，本发明的多任务视频解码装置，包括具有多个任务232的 多任务视频解码器23，以及设备资源感知单元21，频率控制单元22，其中：
所述设备资源感知单元21，用于感知设备的工作状态，例如剩余电量和 用户指定等；
具体设备资源感知单元21感知设备的工作状态。其中工作状态的确定可 以主要依据以下两个方面： 一是用户指定，用户可以根据自己的需要指定系 统工作在：省电、普通、或者充足电量等模式下；二是目前设备的剩余电量， 即由剩余电量来确定系统的工作模式为省电、便携、或者充足电量等模式： 例如：当电量小于30%时可以定义为省电模式，处于30%~70%定义为普通
10模式，70%以上为充足电量模式。优选的，当设备电量不足而用户指定的要
求又较高时，以感知的设备电量为准。
本发明对于多任务解码器处理，首先将解码器按功能模块划分为多个子
任务，然后将每个任务分配到不同的任务单元232中进行处理，每个任务单 元工作在由频率控制单元22计算出的工作频率。经解码器多任务划分单元 231划分后直接按每个任务进行处理，减小在解码过程中任务单元之间的调 度。频率控制单元22具有多个输出端，输出端接至232任务1，…，n的输入端。
视频解码的并行多任务处理可以从图像组、片slice、宏块MB、以及各 个处理模块之间进行协同操作。
一帧解码数据可包含一个或多个解码片，对于解码片slice之间，由于解 码片slice之间是可以相对独立的，所以可以进行并行解码。
本发明包括，片级并行多任务解码操作， 一帧解码数据可按多个片slice 进行解码，每片slice包含多个宏块MB, —幅图像中每片slice的宏块数不固 定。
所述多任务解码器23，用于在利用多个任务模块232，或多线程，对视 频码流进行解码处理的过程中，采用并行方式执行图像解码；所述多核解码 器23采用并行的方式对每个片执行图像解码，对于一帧图像，同时针对该帧 中的多个片slice进行并行解码。
本发明中，多任务解码器23在这些模块的处理流程中，采用并行方式执 行。当码流经过多任务解码器23处理完后，输出至相应重建视频存储区；待 完整帧解码和处理完之后，再根据切片顺序和宏块顺序重新排序然后输出至 显不设备。
由于一帧是由多个切片组成，解码一帧，等效于解码多个切片，对于解 码多个切片，可认为多个解码任务。
将解码器各个功能单元，依据其处理速度不同，视作不同的任务单元。 然后每个任务单元根据其处理速度重新调整处理频率。例如，环路滤波单元， 占有解码时间长，因此分配高频率，反离散余弦变换单元，占用解码时间短， 因此分配低频率。
所述的多任务解码器23，包括多个解码任务单元232，每个解码任务单
ii元232包含现有视频解码的全部处理模块，包括图1中的熵解码模块100、 反离散余弦变换（IDCT)模块102、去方块滤波模块104、 Intra (帧内）预 测模块110和Inter (帧间）预测模块112等模块。
如图3所示，详述本发明的多个解码任务单元（图2) 232。包括：频率 控制单元300，熵解码控制单元302，反变换反量化单元303， Intra预测单元 304， Inter预测单元305，去方块滤波单元306。
对于解码的各个任务单元，由于每个模块对宏块的处理具有相关性，所 以对每个宏块的处理可采用各个模块并行流水的方法。而对流水线的划分可 以根据需求以及成本来具体划分。
由于这些流水处理单元每个的执行时间是不同的，有的花费较长时间， 有的需要很少的时间，当前一个宏块处理完后，而后一个宏块的处理单元由 于执行时间较慢，使得前一个处理单元处于暂时空闲状态，这样比较浪费资 源，所以本发明采用动态频率调节每个处理单元的执行频率，使得每个处理 单元都同时完成对宏块的处理。
本发明提供了的动态频率调节方法：
第一歩感知设备的可用功率，由此来调整解码器的最高处理频率。设备 资源感知单元21感知到当前设备的可用功率P后，对多任务视频解码器23 里包含的每个任务232分配其合适的功率，因为每个slice包含的宏块数量不 一样，可以宏块数量作为分配的依据。包含宏块数量多的分配较多的功率， 宏块数量少的分配较少的功率。也就是：当前有n个任务，每个任务包含的
附Z D
宏块数量定义为：mpm2，......，nv则每个任务分配的功率为：《=^--p,
其中：P,为第i个任务所分配的功率，mi为第i个任务包含的宏块数量。
第二步对于每个宏块以最大处理频率为基准，来调节各个处理模块的时
钟频率。最大处理频率的获得：根据上面的步骤，可以获得每个任务的可用 功率P,，那么由（1)式可以进一歩获得每个任务的最大处理频率f^max。
作为一种可实施方式，由于各个模块采用不同的算法，会有不同的处理 时间，在并行流水线上影响速度的瓶颈在于最慢的那个模块以及任务，因此， 较佳地，对并行流水线上处理速度最慢的模块，将其的处理频率分配为最高处理频率，然后以其作为基准来调整其它模块的时钟频率。
根据对各个模块在不同平台上运行时间的试验统计，可以获得每个宏块 在不同平台下时流水线上的各个模块的处理时间比值，取运行时间最长的模 块，将该模块定为参考频率，其它模块运行时间跟该模块运行时间的比值， 记为r,.，作为计算依据。例如：图4为例，将解码器划分为4级流水，分别
为：熵解码、反变换、Inter预测（Intra预测）以及滤波。通常情况下，解码 器各模块中，环路滤波模块运行时间最长，则参考频率的计算，可以环路滤 波模块为对比依据。另一方面，若通过一些技术，加速了环路滤波模块，使 得其它模块，如熵解码模块变为最耗时模块，则熵解码模块为计算依据。
根据试验统计各级流水在一平台下（如DSP，但不局限于DSP平台）的 处理时间比值为：v r2， r3， r4，分别表示熵解码，反变换、Inter预测、Intra 预测模块相对于滤波模块的运行时间比值。则将滤波的处理频率定为最高的
处理频率，定义为：fmax，则根据该频率可以调节其它模块的处理频率，如：
熵解码的频率则为：• fmax，反变换的处理频率为：fldct=r2 • fmax， Inter 预测的处理频率为：fmc=r3'fmax， Intra预测的处理频率为：fip=r4'fmax。
关于对fmaX和^ 'fmax的约定：在计算的过程中，如装置（包含终端或 芯片）能提供的工作频率任意可调，则fmax和^ 'fmax直接为计算的结果；
另一方面，考虑到对于一部分装置（包含终端或芯片），能提供的工作频率的
可调范围不一定是连续变化，例如提供可用工作频率为[&,f2,f3,f4,f5,f6,f7,f8]或 [f1;f2,......]等，那么对于f,x和^ 'fn^的取值，为该装置能提供的可调工作
频率范围内，最接近fmax和^ 'fn^的频率值。
这样，就可以通过感知获得设备的可用功率后，动态地调整每个宏块的 各个模块的处理频率，这样可以保证每个模块的处理时间是基本相同的，这 样，流水线可以顺利进行，流水线上不需要等待，可以很好地衔接起来。同 时，确保整个设备的最高运行频率为fmax，而在保证不降低解码速度的情况 下，动态调节各个模块的处理频率，可以避免流水线上有些模块运行过快， 而需要等待其它较慢的模块，这样能够极大地降低功耗。
本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条 件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限 于以上的说明，而是由权利要求书的范围来确定的。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 手语识别系统 | 2020-05-08 | 975 |
| 一种早教机器人的控制方法 | 2020-05-08 | 259 |
| 目标跟踪方法及存储介质 | 2020-05-08 | 545 |
| 影像处理设备和影像处理方法 | 2020-05-08 | 951 |
| 基于视觉显著性的HEVC优化算法 | 2020-05-08 | 55 |
| 一种柜面助手履职监控装置和方法 | 2020-05-08 | 867 |
| 双向光流中的梯度计算 | 2020-05-08 | 626 |
| 一种基于二维骨架信息的攻击性行为识别方法 | 2020-05-08 | 84 |
| 图像质量评估方法、装置、终端及可读存储介质 | 2020-05-11 | 677 |
| 基于增量学习算法的人脸识别跟踪器 | 2020-05-11 | 318 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
