视频编码方法、视频解码方法以及实现该方法的装置
阅读：215发布：2020-06-19
专利汇可以提供视频编码方法、视频解码方法以及实现该方法的装置专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种 视频编码 方法、视频解码方法以及实现该方法的装置。该方法包括以下步骤：生成通过上 采样 与当前 块 相对应的参考层的参考块的重建值所获得的值所构成的第一块；生成从当前块的 帧 内预测 模式推导出的预定值所构成的第二块；并且通过组合第一块和第二块的采样值生成的当前块的预测块。因此，使用另一层的帧内预测模式信息执行对当前层的帧内预测。，下面是视频编码方法、视频解码方法以及实现该方法的装置专利的具体信息内容。
1.一种视频解码装置，包括：
比特流接收器，所述比特流接收器用于接收包括关于随机接入点图片的信息的比特流，其中所述随机接入点图片是瞬间解码刷新(IDR)图片或者净随机接入(CRA)图片；和视频处理器，所述视频处理器用于解码所述随机接入点图片，并且用于解码按照输出顺序在所述接入点图片之前并且按照解码顺序在所述随机接入点图片之后的前导图片或者按照输出顺序在所述随机接入点图片之后的正常图片中的至少一个，并且用于输出所述被解码的随机接入点图片，
其中所述前导图片按照解码顺序在所述正常图片之前，
其中所述前导图片没有被用作用于所述正常图片的参考图片，
其中如果所述随机接入点图片是所述CRA图片并且对所述CRA图片随机接入发生，则与所述CRA图片相关联的所述前导图片没有被输出，并且
其中当所述随机接入点图片是所述IDR图片并且对所述IDR图片所述随机接入发生时，通过使用所述IDR图片和另一前导图片中的至少一个作为参考图片解码与所述IDR图片相关联的所述前导图片。
2.根据权利要求1所述的装置，其中，从所述比特流丢弃与所述CRA图片相关联的所述前导图片，并且当所述前导图片被丢弃时所述视频处理器解码在所述被丢弃的前导图片之后的图片。
3.根据权利要求1所述的装置，其中与所述CRA图片相关联的所述前导图片被解码但是没有被输出，
其中，基于不可用参考图片解码与所述CRA图片相关联的所述前导图片，并且其中，所述不可用参考图片是包括具有可能采样值的中值的采样的虚拟图片。
4.根据权利要求1所述的装置，其中在预先确定的延迟时间之后所述正常图片被解码。
5.根据权利要求1所述的装置，其中与所述CRA图片相关联的所述前导图片指的是在所述比特流中不存在的参考图片。
6.根据权利要求1所述的装置，其中，所述比特流包括指示用于与所述CRA图片相关联的所述前导图片的所述至少一个参考图片是不可用的标志信息。
7.根据权利要求6所述的装置，其中，通过从所述比特流推导的序列参数集获得所述标志信息，并且
其中，所述标志信息对应于所述序列参数集中的broken_link_leading_pics_enable_flag语法元素。
8.一种通过解码装置进行的视频解码方法，包括：
接收包括关于随机接入点图片的信息的比特流，其中所述随机接入点图片是瞬间解码刷新(IDR)图片或者净随机接入(CRA)图片；
解码所述随机接入点图片；
解码按照输出顺序在所述接入点图片之前并且按照解码顺序在所述随机接入点图片之后的前导图片或者按照输出顺序在所述随机接入点图片之后的正常图片中的至少一个；
以及
输出所述被解码的随机接入点图片，
其中所述前导图片按照解码顺序在所述正常图片之前，
其中所述前导图片没有被用作用于所述正常图片的参考图片，
其中，如果所述随机接入点图片是所述CRA图片并且对所述CRA图片随机接入发生，则与所述CRA图片相关联的所述前导图片没有被输出，并且
其中，当所述随机接入点图片是所述IDR图片并且对所述IDR图片所述随机接入发生时，通过使用所述IDR图片和另一前导图片中的至少一个作为参考图片解码与所述IDR图片相关联的所述前导图片。
9.根据权利要求8所述的方法，其中，从所述比特流丢弃与所述CAR图片相关联的所述前导图片，并且所述视频解码方法进一步包括：当所述前导图片被丢弃时，解码在所述被丢弃的前导图片之后的图片。
10.根据权利要求8所述的方法，其中与所述CRA图片相关联的所述前导图片被解码但是没有被输出，
其中，基于不可用参考图片解码与所述CRA图片相关联的所述前导图片，并且其中，所述不可用参考图片是包括具有可能采样值的中值的采样的虚拟图片。
11.根据权利要求8所述的方法，其中，在预先确定的延迟时间之后所述正常图片被解码。
12.根据权利要求8所述的方法，其中与所述CRA图片相关联的所述前导图片指的是在所述比特流中不存在的参考图片。
13.根据权利要求8所述的方法，其中，所述比特流包括指示用于与所述CRA图片相关联的所述前导图片的所述至少一个参考图片是不可用的标志信息。
14.根据权利要求13所述的方法，其中，通过从所述比特流推导的序列参数集获得所述标志信息，并且
其中，所述标志信息对应于所述序列参数集中的broken_link_leading_pics_enable_flag语法元素。
视频编码方法、视频解码方法以及实现该方法的装置
[0001] 本申请是2014年5月22日提交的、国际申请日为2013年4月23日的、申请号为201380003980.4(PCT/KR2013/003456)的，发明名称为“视频编码方法、视频解码方法以及实现该方法的装置”专利申请的分案申请。
技术领域
[0002] 本发明涉及一种视频压缩技术，并且更具体地，涉及一种解析被压缩的视频信息以处理视频的方法和使用该方法的装置。
背景技术
[0004] 随着信息量的增长，引进了具有各种环境的多动能设备和网络。因此，通过不同级别的质量利用同一内容。
[0005] 具体地，因为终端能够支持不同质量的视频并且各种网络环境被建立，所以具有一般质量的视频能够在一个环境中启用，同时更高质量视频在另一环境中可用。
[0006] 例如，用户在家中可以享受通过具有更高分辨率的大屏幕显示器上的便携终端购买的视频内容。
[0007] 近些年，随着高清晰(HD)广播服务可用，大量的用户习惯于高分辨率和高质量视频，并且服务提供商和服务用户也关注具有比HDTV高四倍分辨率的超高清(UHD)服务。
发明内容
[0009] 技术问题
[0010] 本发明的一个方面是提供一种处理不具有参考图片的前导图片的方法和使用该方法的装置。
[0011] 本发明的另一方面是提供一种防止在解码装置中的错误并且处理视频的方法和使用该方法的装置。
[0012] 本发明的又一方面是提供一种支持随机接入视频并且在比特流中首先解码净随机接入(clean random access，CRA)图片和即时解码刷新(IDR)图片的方法和使用该方法的装置。
[0013] 本发明的另一方面是提供一种处理在视频处理中产生的错误的方法和使用该方法的装置。
[0014] 技术方案
[0015] 本发明的实施例提供一种视频处理方法，其包括接收含有多个图片的比特流，并且当用于按照输出顺序在随机接入点图片之前并且按照解码顺序在随机接入点图片之后的前导图片的至少一个参考图片不可以用时，不输出前导图片。
[0016] 不输出前导图片可以包括移除和丢弃来自比特流的前导图片，并且视频处理方法可以进一步包括解码在移除前导图片之后的图片。
[0017] 可以从解码处理和输出处理排除前导图片。
[0018] 在预定延迟时间之后可以解码被移除的前导图片之后的图片。
[0019] 前导图片可以包括不可解码的第一前导图片和可解码的第二前导图片，并且移除和丢弃来自比特流的前导图片可以排除来自解码处理和输出处理的第一前导图片。
[0020] 前导图片可以包括不可解码的第一前导图片和可解码的第二前导图片，并且移除和丢弃来自比特流的前导图片可以移除和丢弃来自该比特流的第一前导图片和第二前导图片。
[0021] 前导图片可以包括不可解码的第一前导图片，并且移除和丢弃来自比特流的前导图片可以移除和丢弃来自比特流的第一前导图片。
[0023] 视频处理方法可以进一步包括解码第二前导图片。
[0024] 前导图片可以包括作为参考图片在比特流中不存在的图片。
[0025] 随机接入点图片可以是净随机接入(CRA)图片。
[0026] 视频处理方法可以进一步包括接收指示用于前导图片的至少一个参考图片是不可用的标志信息。
[0027] 视频处理方法可以进一步包括，当通过标志信息确定用于前导图片的至少一个参考图片是不可用时，输出比特流的错误信息和解码在前导图片之后的图片。
[0028] 当用于前导图片的至少一个参考图片是不可用时，可以将比特流确定为不满足预定一致性。
[0029] 视频处理方法可以进一步包括输出比特流的错误信息和解码在前导图片之后的图片。
[0030] 有益效果
[0031] 本发明的实施例提供一种处理不具有参考图片的前导图片的方法和使用该方法的装置。
[0032] 本发明的另一实施例提供一种防止在解码装置中的错误和处理视频的方法和使用该方法的装置。
[0033] 本发明的又一方面提供一种支持随机接入视频和在比特流中首先解码净随机接入(CRA)图片和即时解码刷新(IDR)图片的方法和使用该方法的装置。
[0035] 图1是示意地示出根据本发明的示例性实施例的视频编码装置的框图。
[0036] 图2是示意地示出根据本发明的示例性实施例的视频解码装置的框图。
[0037] 图3示出通过解码装置处理的编译视频的分层结构。
[0038] 图4示出随机可接入的图片。
[0039] 图5示出即时解码刷新(IDR)图片。
[0040] 图6示出净随机接入(CRA)图片。
[0041] 图7示出其中前导图片之前的图片是不可用的情形。
[0042] 图8是示出根据本发明的示例性实施例的视频处理装置的框图。
[0043] 图9是示出根据本发明的示例性实施例的视频处理方法的流程图。
[0044] 图10示出去除根据本发明的示例性实施例的前导图片。
[0045] 图11示出去除根据本发明的另一示例性实施例的前导图片。
[0046] 图12示出去除根据本发明的又一示例性实施例的前导图片。
[0047] 图13是示出根据本发明的另一示例性实施例的视频处理方法的流程图。
具体实施方式
[0048] 本发明可以进行各种更改和修正并且参考不同的示例性实施例被示出，其中的一些将被更加详细地描述并且在附图中示出。然而，实施例并不旨在限制本发明。在本文中使用的术语仅为了描述特定实施例，并不旨在限制本发明的技术理念。如本文中所使用的，单数形式“a”、“an”和“the”旨在也包括复数形式，除非上下文以其它方式清楚地指示。将进一步理解成，术语“包括”和/或“具有”在该说明书中使用时，指定所述特征、整数、步骤、操作、要素、组件、和/或其组合的存在，但是并不排除一个或多个其它特征、整数、步骤、操作、要素、组件和/或其组合的存在或添加。
[0049] 虽然为了视频编码装置/解码装置中的不同特色功能的描述简便独立地示出了附图中示出的要素，但是这种配置不是指示每个要素通过单独硬件组件或软件组件来构造。即，至少两个要素可以被组合成单一要素，或者单一要素可以被划分成多个要素以执行这些功能。应该注意的是，其中一些要素被集成到一个被组合的要素和/或一个要素被划分成多个单独要素的实施例被包括在本发明的范围内，而不脱离本发明的本质。
[0050] 在下文，将参考附图详细描述本发明的示例性实施例。附图中相同附图标记表示相同要素，但是相同要素的多余描述将在此省略。
[0051] 图1是示意地示出根据本发明的示例性实施例的视频编码装置的框图。参考图1，视频编码装置100包括图片分割模块105、预测模块110、变换模块115、量化模块120、重新排列模块125、熵编码模块130、去量化模块135、逆变换模块140、滤波器模块145和存储器150。
[0052] 图片分割模块105可以将输入图片分割成至少一个块作为处理单元。在此，作为处理单元的块可以是预测单元(PU)、变换单元(TU)或编译单元(CU)。
[0053] 通过图片分割模块105所分割的处理单元块可以具有四叉树结构。
[0054] 预测模块110可以包括执行帧间预测的帧间预测模块和执行帧内预测的帧内预测模块，其将被进行描述。预测模块110通过对来自分割模块105的图片的处理单元执行预测，生成预测块。预测模块110中的图片的处理单元可以是CU、TU或PU。此外，预测模块110可以确定对处理单元执行的预测是否是帧间预测或帧内预测，并且确定每种预测方法的细节(例如，预测模式)。在此，在其上执行预测的处理单元不同于预测方法和关于该预测方法的细节被确定用于的处理单元。例如，针对每个PU可以确定预测方法和预测模式，而针对每个TU可以执行预测。
[0056] 跳过模式、合并模式和运动矢量预测(MVP)可以被用作帧间预测方法。在帧间预测中，用于PU的参考图片可以被选择，并且与PU相对应的参考块可以被选择。可以将参考块选择作为帧间像素的单元。随后，具有关于当前PU的最小残留信号和具有最小大小运动矢量的预测块被生成。
[0057] 预测块可以被生成作为整数采样单元或作为小于整数像素，诸如1/2像素单元和1/4像素单元的像素单元。在此，以比整数像素更小的单元表示运动矢量。
[0058] 包括在帧间预测中所选择的参考像素的索引、运动矢量(例如，运动矢量预测)和残留信号的信息，被熵编码和传输到解码装置。在跳过模式中，因为预测块可以是重建块而非残留，所以该残留可以不被生成、变换、量化和传输。
[0059] 在帧内预测中，预测模式由PU确定，并且预测可以由PU确定。可替选地，可以由PU确定预测模式，并且在TU中可以执行帧内预测。
[0060] 帧内预测可以包括33个方向预测模式和两个或更多个非方向模式。非方向模式可以包括DC预测模式和平面模式。
[0061] 在帧内预测中，在将滤波器应用到参考采样之后，可以生成预测块。在此，根据帧内预测模式和/或当前块的大小，可以确定是否将该滤波器应用到参考采样。
[0062] PU可以具有不同大小和形式。例如，在帧间预测中，PU可以是2N×2N、2N×N、N×2N或N×N块(N是整数)。在帧内预测中，PU可以是2N×2N或N×N块(N是整数)。在此，具有N×N大小的PU可以仅被应用到特殊情形。例如，N×N PU可以仅用于具有最小大小的CU或仅用于帧内预测。除了具有前述大小的PU之外，PU可以包括N×mN、mN×N、2N×mN和mN×2N块(m<1)。
[0063] 在被生成的预测块和原始块之间的残留值(残留块或残留信号)被输入到变换模块115。同时，关于用于预测的预测模式和运动矢量的信息通过熵编码模块130与残留值一起被编码，并且被传送到解码装置。
[0064] 变换模块115通过TU变换残留块，并且生成变换系数。
[0065] 变换块是相同变换被应用到的采样的矩形块。变换块可以是TU并且具有四叉树结构。
[0066] 基于应用到残留块的预测模式和块的大小，变换模块115可以执行变换。
[0067] 例如，当将帧内预测应用到残留块并且该块具有4x4残留阵列时，变换模块115可以使用离散余弦变换(DCT)变换残留块。否则，变换模块115可以使用离散正弦变换(DST)变换残留块。
[0068] 变换模块115通过变换可以生成变换系数的变换块。
[0069] 量化模块120可以量化通过变换模块115变换的残留值，即，变换系数，以生成被量化的变换系数。通过量化模块120生成的系数被提供到去量化模块135和重新排列模块125。
[0070] 重新排列模块125重新排列由量化模块120提供的被量化的变换系数。重新排列被量化的变换系数可以增强熵编码模块130中的编码效率。
[0071] 重新排列模块125使用系数扫描可以将被量化的变换系数的二维(2D)块重新排列成一维(1D)矢量。
[0072] 熵编码模块130可以熵编码由重新排列模块125重新排列的被量化的变换系数。诸如指数Golomb、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算法编码(CABAC)的各种编码方法可以用于熵编码。熵编码模块130可以编码从重新排列模块125和预测模块110接收到的各种类型的信息，诸如关于被量化的变换系数和CU的块类型的信息、预测模式信息、分割单元信息、PU信息、传送单元信息、运动矢量信息、参考图片信息、块插值信息和滤波信息。
[0073] 此外，熵编码模块130在必要时可以将更改应用到被接收的参数集或语法。
[0074] 去量化模块135去量化由量化模块120量化的值，即，被量化的变换系数，并且逆变换模块140逆变换由去量化模块135去量化的值。
[0075] 通过去量化模块135和逆变换模块生成的残留值与由预测模块110预测的预测模块合并，从而生成重建块。
[0076] 图1示出通过加法器将残留块和预测块合并生成的重建块。在此，可以将加法器视为用于生成重建块的单独模块(重建块生成模块)。
[0077] 滤波器模块145可以将解块滤波器、自适应环路滤波器(ALF)和采样自适应偏移(SAO)应用到重建图片。
[0078] 解块滤波器可以移除在重建图片中的块之间的边界上生成的块失真。基于通过将使用解块滤波器由滤波块所获得的重建图片和原始图片进行比较所获得的值，ALF可以执行滤波。仅为高效率可以采用ALF。SAO通过像素单元，重建解块滤波器已被应用到的残留快和原始图片之间的偏移差，其中频带偏移或边缘偏移被使用。
[0079] 同时，滤波器模块145可以不将滤波应用到帧间预测中使用的重建块。
[0080] 存储器150可以存储经由滤波器模块145所获得的图片或重建块。可以将存储在存储器150中的重建块或图片提供到执行帧间预测的预测模块110。
[0081] 图2是示意地示出根据本发明的示例性实施例的视频解码装置的框图。参考图2，视频解码装置200可以包括熵解码模块210、重新排列模块215、去量化模块220、逆变换模块225、预测模块230、滤波器模块235和存储器240。
[0082] 当从视频编码装置输入视频比特流时，根据通过其视频编码装置处理视频信息的逆处理可以解码输入比特流。
[0083] 例如，当视频编码装置使用诸如CAVLC的可变长度编码(VLC)以执行熵编码时，熵解码模块210使用与编码装置中所使用的相同的VLC表，可以执行熵解码。此外，如果视频编码装置使用CABAC以执行熵编码，则熵解码模块210使用CABAC也可以执行熵解码。
[0084] 在由熵解码模块210解码的信息片中，用于生成预测块的信息可以被提供到预测模块230，并且残留值，即，被量化的变换系数，可以被输入到重新排列模块215。
[0085] 基于在编码装置中所使用的重新排列方法，重新排列模块215可以重新排列关于由熵解码模块210熵解码的比特流的信息，即，被量化的变换系数。
[0086] 重新排列模块215可以将系数的1D矢量重建和重新排列成系数的2D块。基于当前块(变换块)的预测模式和该变换块的大小，重新排列模块215可以扫描系数，以生成系数(被量化的变换系数)的2D块。
[0087] 基于从编码装置提供的量化参数和该块的被重新排列的系数，去量化模块220可以执行去量化。
[0088] 响应于由编码装置的变换模块执行的DCT和DST，逆变换模块225可以对由视频编码装置执行的量化的结果，执行逆DCT和/或逆DST。
[0089] 在由视频编码装置确定的图片的传输单元或分割单元的基础上，可以执行逆变换。根据多个信息元素，诸如预测方法、当前块的大小和预测方向，视频编码装置的变换模块可以选择地执行DCT和/或DST，并且在关于由视频编码装置的变化模块所执行的变换的信息的基础上，视频解码装置的逆变换模块225可以执行逆变换。
[0090] 基于关于从熵解码模块210提供的预测块的生成的信息和关于由存储器240提供的先前解码的块和/或图片的信息，预测模块230可以生成预测块。
[0091] 如果用于当前PU的预测模式是帧内预测模式，则基于关于当前图片的像素的信息可以执行帧内预测，以生成预测块。
[0092] 如果用于当前PU的预测模式是帧间预测模式，则基于关于当前图片的先前和随后图片中的至少一个的信息，可以执行用于当前PU的帧间预测。在此，由视频编码装置提供的当前PU的帧间预测所需要的运动信息，例如关于运动矢量和参考图片索引的信息，可以通过检查从编码装置接收的跳跃标志和合并标志推导出。
[0093] 使用由预测模块230生成的预测块和由逆变换模块225提供的残留块，可以生成重建块。图2示出由加法器将预测块和残留快合并而生成的重建块。在此，可以将加法器视为用于生成重建块的单独模块(重建块生成模块)。
[0094] 当跳过模式被使用时，在没有传输残留块的情形下，预测块可以是重建块。
[0095] 重建块和/或图片可以被提供到滤波器模块235。滤波器模块235可以将解块滤波、SAO和/或AFL应用到重建块和/或图片。
[0096] 存储器240可以存储重建图片或块以被用作参考图片或参考块，并且将重建图片供应到输出单元。
[0097] 图3示出通过解码装置处理的被编译的视频的分层结构。
[0099] 作为NAL的基本单元的NAL单元用作将编译视频映射到低层系统位串，诸如根据预定标准、实时传送协议(RTP)和传送流(TS)的文件格式。
[0100] 同时，与视频解码额外所需要的序列的报头和图片和辅助增强信息(SEI)消息相对应的参数集(图片参数集、序列参数集和视频参数集)，与关于视频(片数据)的信息分离。
[0101] 如图3中所示，NAL单元包括NAL报头和在VCL中生成的原始字节序列负荷(RBSP，来自视频压缩的结果数据)的两个部分。NAL报头包括关于相对应NAL单元的类型的信息。
[0102] 根据在VCL中生成的RBSP，可以将NAL单元分类成VCL NAL单元和非VCL NAL单元。VCL NAL单元是包括关于视频的信息的NAL，并且非VCL NAL单元是包括解码该视频所需要的信息(参数集或SEI消息)的NAL单元。
[0103] 根据包括在NAL单元中的图片的属性和类型，VCL NAL单元可以被划分成不同的类型。
[0104] 图4示出随机可接入的图片。
[0105] 随机可接入的图片，即，作为随机接入点的帧内随机接入点(IRAP)图片是按照随机接入的解码顺序的比特流的第一图片，并且仅包括I片。
[0106] 图4示出了图片的输出顺序或显示顺序和解码顺序。如图4中所示，图片的输出顺序可以与图片的解码顺序不同。为了描述简便，可以将图片划分成组。
[0107] 第一组(I)中的图片按照输出顺序和解码顺序都在IRAP图片之前，而第二组(II)中的图片按照输出顺序在IRAP之前，但是按照解码顺序在IRAP图片之后。第三组(III)中的图片按照输出顺序和解码顺序跟随IRAP图片。
[0108] 可以将第一组(I)中的图片解码和输出，无论IRAP图片如何。
[0109] 在IRAP图片之前输出的第二组(II)中的图片称为前导图片，其在将IRAP图片用作随机接入点时在解码处理中可能导致问题，将对其进行详细描述。
[0110] 依照输出和解码顺序跟随IRAP图片的第三组(III)中的图片被称为正常图片。正常图片未被用作前导图片的参考图片。
[0111] 在发生随机接入所在的比特流中的随机接入点是IRAP图片，并且当第二组(II)中的第一图片被输出时随机接入开始。
[0112] 同时，IRAP图片可以是即时解码刷新(IDR)图片和净随机接入(CRA)图片中的任何一个。
[0113] 图5示出IDR图片。
[0114] 当图片组(GOP)具有封闭结构时，IDR图片是随机接入点。IDR图片是IRAP图片并且因此仅包括I片。IRD图片在解码过程中可以是第一图片，或者可以出现在比特流的中间。当IDR图片被解码时，存储在解码图片缓冲器(DPB)中的所有参考图片被指示为“未用于参考”。
[0115] 在图5中，条形表示图片，并且箭头指示关于一个图片是否可以使用另一图片作为参考图片的参考关系。在箭头上的x标记指示图片(多个图片)不是指由箭头所表示的图片。
[0116] 如图5中所示，IDR图片的POC是32，并且具有范围从25至31的POC和在IDR图片之间被输出的图片是前导图片510。具有大于33的POC的图片是正常图片520。
[0117] 在IDR图片之间的前导图片510可以使用IDR图片，但是作为参考图片的其它前导图片不使用前导图片510之前的先前图片530。
[0118] 跟随IDR图片的正常图片520可以通过参考IDR图片、前导图片和其它正常图片被解码。
[0119] 图6示出CRA图片。
[0120] 当图片组(GOP)具有开放结构时，CRA图片是随机接入点。CRA图片也是IRAP图片并且因此仅包括I片。在解码过程中IRD图片是比特流中的第一图片，或者出现在正常播放的比特流中间。
[0121] 当被编译的图片被拼接或者将比特流在中间切断时，该CRA图片作为随机接入点可以在比特流的中间存在。
[0122] 在图6中，条形表示图片，并且箭头指示关于一个图片是否可以使用另一图片作为参考图片的参考关系。箭头上的x标记指示图片(多个图片)不是指由箭头所指示的图片。
[0123] 在CRA图片之前的前导图片610可以使用所有CRA图片、其它前导图片以及在作为参考图片的前导图片710之前的先前图片630。
[0124] 然而，跟随CRA图片的正常图片620可以通过参考CRA图片和其它正常图片来解码，但是不能使用前导图片610作为参考图片。
[0125] 图7示出其中在前导图片之前的图片不可用的情形。
[0126] 前导图片710按照输出顺序在CRA图片之前，并且因此在CRA图片之前被输出，但是在CRA图片之后被解码。前导图片710可以是指先前图片730中的至少一个。
[0127] 如图7中所示，当比特流在中间被切断或者丢失时，或者伴随图片被拼接CRA图片意外地发生随机接入时，按照解码顺序在CRA图片之前的先前图片730是不可用的。因为作为前导图片710的可能参考图片的先前图片730是不可用的，所以表示不可用图片的前导图片不能被适当解码。
[0128] 其中前导图片的参考图片是不可用的情形可以包括以下情形，其中前导图片包括作为参考图片在比特流中不存在的图片，或者前导图片的参考图片在解码图片缓冲器(DPB)中不存在。
[0129] 为了解决上述问题，根据本发明的示例性实施例的视频处理装置不输出称为不可用的参考图片的前导图片。
[0130] 图8是示出根据本发明的示例性实施例的视频处理装置的框图。如图8中所示，视频处理装置800包括比特流接收器810和视频处理器820。
[0131] 视频处理装置800可以包括含有视频处理器820的模块或设备，以执行解码处理。视频处理装置800可以被提供作为电视、视频播放器和能够解码和输出视频的各种终端。
[0132] 比特流接收器810接收包括多个图片的比特流。
[0133] 由比特流接收器810接收的比特流通过视频处理器820经由解码处理被输出为视频。
[0134] 比特流接收器810可以包括解析模块，以解析输入比特流，以获得解码图片所需要的信息。
[0135] 视频处理器820可以包括含有图2中所描述的组件的解码装置或者执行解码的解码模块。基于参考图片的可用性本实施例的视频处理器820确定是否输出前导图片。
[0136] 图9是示出根据本发明的示例性实施例的视频处理装置800的视频处理方法的流程图。
[0137] 视频处理装置800接收包括多个图片的比特流(S901)。
[0138] 图片可以包括作为随机接入点的IDR图片或CRA图片。此外，图片可以包括按照输出顺序在随机接入点图片之前但是按照解码顺序在随机接入点图片之后的前导图片。
[0139] 当前导图片的至少一个参考图片是不可用时，视频处理器820不输出前导图片(S902)。
[0140] 不输出前导图片的操作可以包括移除和丢弃来自比特流的前导图片。从解码处理和输出处理排除被丢弃的前导图片。
[0141] 当表示不可用的参考图片的前导图片存在时，视频处理器820确定比特流满足预定比特流一致性并且执行将前导图片从输出视频排除的默认行为。
[0142] 通过不可解码的前导图片执行默认行为，从而防止在视频处理装置800中可能发生的故障和错误。此外，视频处理装置800可以适当地处理其中意外的随机接入发生的比特流。
[0143] 在从解码处理和输出处理排除前导图片之后，视频处理器820解码被排除的前导图片之后的图片(S903)。
[0144] 被排除的前导图片之后的图片是指可正常解码的图片，无论在该比特流中的丢失的参考图片或不存在的参考图片如何。
[0145] 在此，视频处理器820延迟解码随后图片预定延迟时间，以便保持输入比特流的图片比特串，即，防止存储图片的缓冲器的溢出或下溢。视频处理器820可以包括存储编译图片的编译图片缓冲器(CPB)和存储解码图片的解码图片缓冲器(DPB)。
[0146] 图10示出移除根据本发明的示例性实施例的前导图片。
[0147] 如图10中所示，前导图片可以包括第一前导图片1010和第二前导图片1020。
[0148] 包括在第一组I中的图片包括前导图片不能涉及的图片。第一组I可以包括目前被解码的图片，即，CRA图片和与前导图片1010和1020无关的图片。
[0149] 第一前导图片1010是指不能正常解码的图片，例如，指不可用的参考图片的图片，并且第二前导图片1020是无论第一前导图片1010如何将要正常解码的图片。
[0150] 在前导图片1010和1020中，B0、B1和B2是第一前导图片1010，并且B3至B6是第二前导图片1020。
[0151] 根据本发明，不可解码的第一前导图片101从解码处理和输出处理排除。可以将第一前导图片1010从比特流移除和丢弃。
[0152] 视频处理器820解码和输出第二前导图片1020，从解码处理和输出处理排除第一前导图片1010。当第二前导图片1020被输出时，随机接入开始。
[0153] 在此，考虑关于被移除的前导图片1010的比特流定时，视频处理器820可以延迟解码第二前导图片1020。
[0154] 图11示出根据本发明的另一示例性实施例移除前导图片。
[0155] 如图11中所示，前导图片可以包括第一前导图片1110和第二前导图片1120。
[0156] 如上文所述，第一前导图片1110是指不被正常解码的图片，例如是指不可用的参考图片的图片，并且第二前导图片1120是无论第一前导图片1110如何也被正常解码的图片。
[0157] 在前导图片1110和1120中，B0、B1和B2是第一前导图片1110，并且B3至B6是第二前导图片1120。
[0158] 根据本实施例，视频处理器820从解码处理和输出处理，不仅排除不可解码的第一前导图片1110也可以排除可正常解码的第二前导图片1120。视频处理器820可以移除和丢弃来自该比特流的第一前导图片1110和第二前导图片1120。
[0159] 视频处理器820解码和输出在从解码处理和输出处理排除的第一前导图片1110和第二前导图片1120之后的图片，即，在第三组III中的图片。
[0160] 在此，视频处理器820可以延迟解码随后图片预定延迟时间，以便防止被移除的前导图片1110和1120的缓冲器的溢出或下溢。
[0161] 在自从作为随机接入点的CRA图片被解码预定延迟时间之后，第三组III中的图片被解码，并且随后显示被解码的CAR图片和在第三组III中的图片。
[0162] 图12示出根据本发明的又一示例性实施例移除前导图片。
[0163] 如图12中所示，前导图片可以包括仅指不可用参考图片的第一前导图片1210。即，在CRA图片之后的第二组II中的图片B0至B6是表示不可用参考图片的第一前导图片1210。
[0164] 视频处理器820可以从解码处理和输出处理排除不可解码的所有第一前导图片1210。可以移除和丢弃来自比特流的第一前导图片1210。
[0165] 视频处理器820解码和输出在从解码处理和输出处理排除的第一前导图片1210之后的第三组III中的图片。
[0166] 在自从作为随机接入点的CRA图片被解码预定延迟时间之后，视频处理器820解码第三组III中的图片，并且随后输出被解码的CRA图片和在第三组中的图片。
[0167] 图13是示出根据本发明的另一示例性实施例的视频处理方法的流程图。
[0168] 接收包括多个图片的比特流(S1301)。
[0169] 图片可以包括随机接入点图片、按照输出顺序在随机接入点图片之前和按照解码顺序在随机接入点图片之后的前导图片，和按照输出顺序和解码顺序两者在随机接入点图片之后的正常图片。前导图片可以包括不可解码的第一前导图片和可解码的第二前导图片中的至少一个。第一前导图片可以指在比特流中不存在的图片或不可用图片。
[0170] 当第一前导图片在比特流中存在时，视频处理器生成第一前导图片的不可用参考图片(S1302)。
[0171] 虽然第一前导图片不被输出并且不能影响另一图片的解码处理，但是如果第一前导图片被解码，则通过生成用于第一前导图片的不可用参考图片，即，虚拟参考图片，视频处理器进行操作。
[0172] 不可用参考图片的采样值可以被生成为图片具有的可能采样值的中间值。
[0173] 视频处理器设置指示不可用参考图片的输出是否为0的标志信号以便不输出该图片，并且处理将不被输出的第一前导图片(S1303)。
[0174] 在处理不可解码的第一前导图片之后，视频处理器解码可正常解码的第二前导图片。
[0175] 根据本发明，视频处理装置可以接收关于前导图片的标志信息，并且基于被接收的标志信息处理前导图片。表1示出包括关于前导图片的标志信息的语法。
[0176] 表1
[0177]
[0178] 在表1中，当broken_link_leading_pics_enable_flag是1时，用于前导图片的至少一个参考图片是不可用的。当broken_link_leading_pics_enable_flag是0时，前导图片不包括可用参考图片。例如，当参考图片被丢失时，broken_link_leading_pics_enable_flag是1。
[0179] 当broken_link_leading_pics_enable_flag是1时，视频处理器可以移除来自解码处理和输出处理的包括不可用参考图片的前导图片。
[0180] 前导图片可以包括不能正常解码的第一前导图片和可以正常解码的第二前导图片。
[0181] 视频处理器仅移除来自解码和输出处理的第一前导图片，或者无论第一和第二前导图片如何可以移除来自解码和输出处理的所有前导图片。
[0182] 可替选地，视频处理器可以生成用于包括不可用参考图片的第一前导图片的不可用参考图片。在该情形下，被生成的不可用参考图片和第一前导图片被输出。
[0183] 总之，视频处理器可以接收指示用于前导图片的至少一个参考图片是不可用的标志信息，并且基于该标志信息执行图10至图13中示出的操作之一。
[0184] 同时，视频处理装置不仅可以接收标志信息broken_link_leading_pics_enable_flag，而且也可以分析包括在比特流的图片的属性，以设置broken_link_leading_pics_enable_flag。
[0185] 基于上层系统级设置的标志信息，视频处理器可以移除来自解码和输出处理的前导图片。
[0186] 根据本发明的另一示例性实施例，当表1的标志信息被接收时，视频处理器可以确定该比特流不满足预定的比特流一致性，并且执行相对应的随后操作。
[0187] 例如，视频处理器可以停止解码视频并且输出在解码处理中导致的错误。可以将错误信息报告给视频处理器的上层系统级，例如应用或视频播放器级。视频处理器可以从上层系统级接收关于针对该错误的随后操作的指令，或者执行默认操作。
[0188] 视频处理器可以输出该错误并且随后解码前导图片之后的可解码图片。
[0189] 可替选地，视频处理器可以确定当用于前导图片的至少一个参考图片不可用时该比特流不可满足预定比特流一致性。
[0190] 即，当发现不能正常解码的图片时，视频处理器可以确定该比特流不满足预定比特流一致性，并且即使关于前导图片的标志信息未被接收也执行相对应的随后操作。
[0191] 视频处理器可以停止解码处理和输出在该解码处理中导致的错误。可以将错误信息报告给视频处理器的上层系统级，例如，应用或视频播放器级。视频处理器可以从上层系统级接收关于针对该错误的随后操作的指令，或者执行默认操作。
[0192] 视频处理器可以输出该错误并且随后解码在前导图片之后的可解码图片。
[0193] 虽然利用基于流程图的一系列阶段或块已经描述的说明系统的方法，但是本发明不限于阶段的上述顺序。以与上述不同的顺序或同时执行一些阶段。此外，应该注意的是，因为上述实施例可以包括示例的各种方面，所以实施例的组合可以被理解为本发明的示例性实施例。因此，本领域的技术人员将明白，在不脱离本发明的原理和精神、在随附权利要求和它们等同物中所定义的范围的情形下，可以对这些示例性实施方式进行更改、修正和替换。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 可伸缩视频编码/解码方法和设备 | 2020-05-08 | 632 |
| 一种实现分层视频编码的方法、装置及系统 | 2020-05-11 | 564 |
| 用于混合的交错和递进内容的可伸缩视频编码的方法 | 2020-05-11 | 643 |
| 视频图像检索方法、装置及系统 | 2020-05-12 | 703 |
| 一种视频采集设备、系统及视频信号传输方法 | 2020-05-08 | 300 |
| 帧内预测编码方法及其装置 | 2020-05-11 | 765 |
| 处理和传输媒体数据的方法和装置 | 2020-05-11 | 992 |
| 在native层实现无缝录像的方法、装置及终端设备 | 2020-05-08 | 810 |
| 图像处理方法、装置、存储介质及电子设备 | 2020-05-08 | 595 |
| 不同视频块尺寸的仿射模式计算 | 2020-05-11 | 965 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈