视频编码方法及设备专利检索-像素电脑图像专利检索查询-专利查询网

视频编码方法及设备

阅读：643发布：2020-05-08

专利汇可以提供视频编码方法及设备专利检索，专利查询，专利分析的服务。并且本发明涉及一种视频编码方法及设备，包括获取待编码视频并采集所述待编码视频中的图像帧；将所述图像帧划分为多个待编码子图像块；其中每个待编码子图像块中包括M*N个像素分量；根据每个待编码子图像块中的图像特征信息从可选预测模式中选取至少一种预测模式；将所述待编码子图像块的所述最终预测残差进行编码形成编码流并输出。本发明通过图像特征信息在多种可选预测模式中选取至少一种预测方式进行预测，极大地减小了计算量，提高图像编码压缩效率。，下面是视频编码方法及设备专利的具体信息内容。

权利要求

1.一种视频编码方法，其特征在于，包括：
获取待编码视频并采集所述待编码视频中的图像帧；
将所述图像帧划分为多个待编码子图像块；其中每个待编码子图像块中包括M*N个像素分量；
根据每个待编码子图像块中的图像特征信息从可选预测模式中选取至少一种预测模式；
判断所述待编码子图像块选取的预测模式的数量；
若所述待编码子图像块选取的预测模式为一种，则利用选取的该种预测模式对所述待编码子图像块进行预测获取每个像素分量的最终预测残差；
若所述待编码子图像块选取的预测模式为多种，则利用选取的多种预测模式对所述待编码子图像块分别进行预测获取每个像素分量的多种预测残差，根据所述多种预测残差在选取的多种预测模式中确定一种预测模式作为所述待编码子图像块的最终预测模式并获取每个像素分量对应的最终预测残差；
将所述待编码子图像块的所述最终预测残差进行编码形成编码流并输出。
2.根据权利要求1所述的方法，其特征在于，待编码子图像块中的图像特征信息包括图像纹理信息，其中，所述图像纹理信息根据所述待编码子图像块的梯度值确定为复杂图像纹理或简单图像纹理。
3.根据权利要求2所述的方法，其特征在于，根据每个待编码子图像块中的图像特征信息从可选预测模式中选取至少一种预测模式，包括：
若所述图像特征信息为复杂纹理则从可选预测模式中选取两种预测模式；
若所述图像特征信息为简单纹理则从可选预测模式中选取一种预测模式。
4.根据权利要求1所述的方法，其特征在于，根据所述多种预测残差在选取的多种预测模式中确定一种预测模式作为所述待编码子图像块的最终预测模式，包括：
根据所述多种预测残差计算对应的每种预测模式的残差主观和；根据所述残差主观和选取一种预测模式作为所述待编码子图像块的最终预测模式。
5.一种视频编码设备，其特征在于，包括：
获取模块，用于获取待编码视频并采集所述待编码视频中的图像帧；
划分模块，连接所述获取模块，用于将所述图像帧划分为多个待编码子图像块；其中每个待编码子图像块中包括M*N个像素分量；
选取模块，连接所述划分模块，用于根据每个待编码子图像块中的图像特征信息从可选预测模式中选取至少一种预测模式；
判断模块，连接所述选取模块，用于判断所述待编码子图像块选取的预测模式的数量；
若所述待编码子图像块选取的预测模式为一种，则利用选取的该种预测模式对所述待编码子图像块进行预测获取每个像素分量的最终预测残差；
若所述待编码子图像块选取的预测模式为多种，则利用选取的多种预测模式对所述待编码子图像块分别进行预测获取每个像素分量的多种预测残差，根据所述多种预测残差在选取的多种预测模式中确定一种预测模式作为所述待编码子图像块的最终预测模式并获取每个像素分量对应的最终预测残差；
码流输出模块，连接所述判断模块，用于将所述待编码子图像块的所述最终预测残差进行编码形成编码流并输出。
6.根据权利要求5所述的设备，其特征在于，待编码子图像块中的图像特征信息包括图像纹理信息，其中，所述图像纹理信息根据所述待编码子图像块的梯度值确定为复杂图像纹理或简单图像纹理。
7.根据权利要求6所述的设备，其特征在于，所述选取模块具体用于：
若所述图像特征信息为复杂纹理则从可选预测模式中选取两种预测模式；
若所述图像特征信息为简单纹理则从可选预测模式中选取一种预测模式。
8.根据权利要求5所述的设备，其特征在于，所述判断模块中根据所述多种预测残差在选取的多种预测模式中确定一种预测模式作为所述待编码子图像块的最终预测模式，包括：
根据所述多种预测残差计算对应的每种预测模式的残差主观和；根据所述残差主观和选取一种预测模式作为所述待编码子图像块的最终预测模式。

说明书全文

视频编码方法及设备

技术领域

[0001] 本发明涉及一种压缩技术领域，特别涉及一种视频编码方法及设备。

背景技术

[0002] 随着数字媒体技术和计算机技术的发展，视频应用于各个领域，如移动通信、网络监控、网络电视等，如此庞大的数据量无论传输或存储都需要进行有效的压缩编码。视频图像的压缩编码是减少表示数字图像时需要的数据量。因此压缩编码后的图像，在存储图像时会减少占用的存储空间，在传输图像时所需要占用的流量/带宽就会更小，具有广泛的应用。

[0003] 视频图像之所以能被压缩编码，是因为图像数据中存在着冗余。图像数据的冗余主要表现为：图像中相邻像素间的相关性引起的空间冗余；图像序列中不同帧之间存在相关性引起的时间冗余；不同彩色平面或频谱带的相关性引起的频谱冗余。压缩编码的目的就是通过去除这些数据冗余来减少表示图像数据所需的比特数。

[0004] 视频图像的压缩编码技术主要由四个部分组成，包含：预测模块、量化模块、码控模块和熵编码模块。其中预测模块作为一个重要的模块，是利用相邻像素间存在的空间冗余度，根据邻近像素信息对当前像素值进行预测，预测差值的标准差远小于原始图像数据的标准差，因此对预测差值进行编码，更有利于使图像数据的理论熵达到最小，达到提高压缩效率的目的。现有的视频图像编码方法通常采用单一的图像预测方法，无法随着视频图像的不同特征确定适应的预测方法，不利于视频图像编码效率的提高。

发明内容

[0005] 因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种视频编码方法及设备。

[0006] 具体地，本发明一个实施例提出的一种视频编码方法，包括：

[0007] 获取待编码视频并采集所述待编码视频中的图像帧；

[0008] 将所述图像帧划分为多个待编码子图像块；其中每个待编码子图像块中包括M*N个像素分量；

[0009] 根据每个待编码子图像块中的图像特征信息从可选预测模式中选取至少一种预测模式；

[0010] 判断所述待编码子图像块选取的预测模式的数量；

[0011] 若所述待编码子图像块选取的预测模式为一种，则利用选取的该种预测模式对所述待编码子图像块进行预测获取每个像素分量的最终预测残差；

[0012] 若所述待编码子图像块选取的预测模式为多种，则利用选取的多种预测模式对所述待编码子图像块分别进行预测获取每个像素分量的多种预测残差，根据所述多种预测残差在选取的多种预测模式中确定一种预测模式作为所述待编码子图像块的最终预测模式并获取每个像素分量对应的最终预测残差；

[0013] 将所述待编码子图像块的所述最终预测残差进行编码形成编码流并输出。

[0014] 在本发明的一个实施例中，待编码子图像块中的图像特征信息包括图像纹理信息，其中，所述图像纹理信息根据所述待编码子图像块的梯度值确定为复杂图像纹理或简单图像纹理。

[0015] 在本发明的一个实施例中，根据每个待编码子图像块中的图像特征信息从可选预测模式中选取至少一种预测模式，包括：

[0016] 若所述图像特征信息为复杂纹理则从可选预测模式中选取两种预测模式；

[0017] 若所述图像特征信息为简单纹理则从可选预测模式中选取一种预测模式。

[0018] 在本发明的一个实施例中，根据所述多种预测残差在选取的多种预测模式中确定一种预测模式作为所述待编码子图像块的最终预测模式，包括：

[0019] 根据所述多种预测残差计算对应的每种预测模式的残差主观和；根据所述残差主观和选取一种预测模式作为所述待编码子图像块的最终预测模式。

[0020] 在本发明的另一个实施例提出的一种视频编码设备，包括：

[0021] 获取模块，用于获取待编码视频并采集所述待编码视频中的图像帧；

[0022] 划分模块，连接所述获取模块，用于将所述图像帧划分为多个待编码子图像块；其中每个待编码子图像块中包括M*N个像素分量；

[0023] 选取模块，连接所述划分模块，用于根据每个待编码子图像块中的图像特征信息从可选预测模式中选取至少一种预测模式；

[0024] 判断模块，连接所述选取模块，用于判断所述待编码子图像块选取的预测模式的数量；

[0025] 若所述待编码子图像块选取的预测模式为一种，则利用选取的该种预测模式对所述待编码子图像块进行预测获取每个像素分量的最终预测残差；

[0026] 若所述待编码子图像块选取的预测模式为多种，则利用选取的多种预测模式对所述待编码子图像块分别进行预测获取每个像素分量的多种预测残差，根据所述多种预测残差在选取的多种预测模式中确定一种预测模式作为所述待编码子图像块的最终预测模式并获取每个像素分量对应的最终预测残差；

[0027] 码流输出模块，连接所述判断模块，用于将所述待编码子图像块的所述最终预测残差进行编码形成编码流并输出。

[0028] 在本发明的一个实施例中，其特征在于，待编码子图像块中的图像特征信息包括图像纹理信息，其中，所述图像纹理信息根据所述待编码子图像块的梯度值确定为复杂图像纹理或简单图像纹理。

[0029] 在本发明的一个实施例中，所述选取模块具体用于：

[0030] 若所述图像特征信息为复杂纹理则从可选预测模式中选取两种预测模式；

[0031] 若所述图像特征信息为简单纹理则从可选预测模式中选取一种预测模式。

[0032] 在本发明的一个实施例中，所述判断模块中根据所述多种预测残差在选取的多种预测模式中确定一种预测模式作为所述待编码子图像块的最终预测模式，包括：

[0033] 根据所述多种预测残差计算对应的每种预测模式的残差主观和；根据所述残差主观和选取一种预测模式作为所述待编码子图像块的最终预测模式。

[0034] 基于此，本发明具备如下优点：

[0035] 1)本发明通过图像特征信息在多种可选预测模式中选取至少一种预测方式进行预测，极大地减小了计算量，提高图像编码压缩效率。

[0036] 通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。

附图说明

[0037] 下面将结合附图，对本发明的具体实施方式进行详细的说明。

[0038] 图1为本发明实施例提供的一种视频编码方法流程示意图；

[0039] 图2为本发明实施例提供的一种当前像素分量与周围像素分量的位置示意图；

[0040] 图3为本发明实施例提供的一种梯度值计算示意图；

[0041] 图4为本发明实施例提供的一种纹理渐变预测模式示意图；

[0042] 图5为本发明实施例提供的一种第一自适应预测模板的示意图；

[0043] 图6为本发明实施例提供的一种第二自适应预测模板的示意图；

[0044] 图7为本发明实施例提供的一种相邻参考像素的示意图；

[0045] 图8为本发明实施例提供的一种视频编码设备的示意图。

具体实施方式

[0046] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

[0047] 实施例一

[0048] 请参见图1，图1为本发明实施例提供的一种视频编码方法流程示意图；本实施例对本发明提供的一种视频编码方法进行详细描述，该方法包括如下步骤：

[0049] 步骤1、获取待编码视频并采集所述待编码视频中的图像帧；

[0050] 具体地，图像帧可以是实时采集的图像帧，用于即时通信，也可以是存储的待编码视频对应的图像帧。

[0051] 步骤2、将所述图像帧划分为多个待编码子图像块；其中每个待编码子图像块中包括M*N个像素分量；

[0052] 步骤3、根据每个待编码子图像块中的图像特征信息从可选预测模式中选取至少一种预测模式；

[0053] 图像特征信息是指与图像内容相关的信息，包括图像运动信息，图像纹理信息等，本发明主要判断图像的纹理信息。可以利用待编码子图像块的梯度值来判断图像的纹理信息。其中待编码子图像块的梯度(Grad)计算公式如下所示：

[0054]

[0055] i表示待编码子图像块中像素分量的行位置索引，j表示待编码子图像块中像素分量的列位置索引，P表示待编码子图像块中像素分量值，ABS表示绝对值运算。当i的取值为0时，即代表行位置索引为0的像素分量，即第一行像素分量此时，设定Pi-1，j的取值为P0j，同理，当j的取值为0时，即代表列位置索引为0的像素分量，即第一列像素分量此时，设定Pi，j-1的取值为Pi，0。

[0056] 根据计算获得的梯度值判断图像的纹理信息。优选地，可以设计梯度分级，将梯度分为T个级别，每个级别的跨度为(1<

[0057] 优选地，取T的值为3，则可以将图像的梯度分为三个梯度级别，分别为第一梯度级别，对应梯度的跨度为0～512/3；第二梯度级别，对应梯度的跨度为512/3～2*512/3；第三梯度级别，对应梯度的跨度为2*512/3～512。

[0058] 当待编码子图像块的梯度值在第一梯度级别时，即第一梯度级别对应简单图像的纹理信息；当待编码子图像块的梯度值在第二梯度级别时，即第二梯度级别对应一般图像的纹理信息；当待编码子图像块的梯度值在第三梯度级别时，即第三梯度级别对应复杂图像的纹理信息。

[0059] 进一步地，可选预测模式为多种预测模式，优选地，在本发明中主要介绍三种预测模式，但不限于此三种预测模式。分别为多分量参考预测方式、纹理渐变预测方式和自适应模板预测方式。其中，多分量参考预测方式对于简单纹理区域的图像压缩编码效果较好，纹理渐变预测方式对于普通或者较为复杂的纹理区域的图像压缩编码效果较好，自适应模板预测方式对于复杂的纹理区域的图像压缩编码效果较好。因此，当待编码子图像块的图像特征信息为简单图像的纹理信息时，选取多分量参考预测方式对待编码子图像块进行预测；当待编码子图像块的图像特征信息为一般图像的纹理信息时，选取纹理渐变预测方式对待编码子图像块进行预测；当待编码子图像块的图像特征信息为复杂图像的纹理信息时，选取纹理渐变预测方式和自适应模板预测方式对待编码子图像块进行预测。

[0060] 步骤4、判断所述待编码子图像块选取的预测模式的数量；

[0061] 具体地，若所述待编码子图像块选取的预测模式为一种，例如，当待编码子图像块的图像特征信息为简单图像的纹理信息时，选取多分量参考预测方式；当待编码子图像块的图像特征信息为一般图像的纹理信息时，选取纹理渐变预测方式；则利用选取的该种预测模式对待编码子图像块进行预测获取每个像素分量的最终预测残差；

[0062] 具体地，若所述待编码子图像块选取的预测模式为多种，例如，当待编码子图像块的图像特征信息为复杂图像的纹理信息时，选取纹理渐变预测方式和自适应模板预测方式，则利用选取的多种预测模式对所述待编码子图像块分别进行预测获取每个像素分量的多种预测残差，根据所述多种预测残差在选取的多种预测模式中确定一种预测模式作为所述待编码子图像块的最终预测模式并获取每个像素分量对应的最终预测残差。

[0063] 具体地，分别计算选取的多种预测模式的残差绝对值和(sum of absolute difference，简称SAD)以及残差和(sum of difference，简称SD)，如下式所示：

[0064]

[0065]

[0066] Res为待编码子图像块中像素分量的预测残差，ABS为取绝对值，M*N为待编码子图像块中像素分量的数量。

[0067] 最终根据SAD和SD的情况，配置权重系数a1和a2，计算残差主观和(subjective difference，简称SUBD)，如下式所示：

[0068] SUBD＝a1×SAD+a2×SD

[0069] 若为连续多帧且具有传导效应的场景，如H246参考值压缩，a2较大，a1较小；反之，a1较大，a2较小；进一步地，可以设定a1+a2＝1。

[0070] 选取SUBD的最小值对应的预测方式为待编码子图像块的最终预测模式，采用该模式预测得到的预测残差为最终预测残差。

[0071] 步骤5、将所述待编码子图像块的所述最终预测残差进行编码形成编码流并输出；

[0072] 将待编码子图像块的最终预测模式的标识和所述最终预测模式对应的预测残差进行编码形成编码流输出至解码端或者客户端。

[0073] 本实施例通过设定的公式利用多种预测模式获取的预测残差选取一种预测模式作为最终预测模式，可以更准确获取待编码子图像块的最优预测残差，进一步提高图像编码压缩率，降低压缩的理论极限熵。

[0074] 实施例二

[0075] 本实施例在上述实施例的基础上，对本发明提出的多分量参考预测模式进行详细描述。该模式包括如下内容：

[0076] 对于当前待编码子图像块，设定当前像素的3个分量，分别为像素分量1(R像素分量)、像素分量2(G像素分量)和像素分量3(B像素分量)；

[0077] 对于当前像素的每个像素分量，通过该像素分量的周围像素分量，确定每个像素分量的N个纹理方向梯度值G1～GN；

[0078] 优选地，所述临近像素分量与所述当前像素分量紧邻，或者，所述临近像素分量与所述当前像素分量间隔设定的像素分量单元。如图2所示，图2为本发明实施例提供的一种当前像素分量与周围像素分量的位置示意图；CUR代表当前像素分量，那么，临近像素分量可以为GHIK(与CUR紧邻)，也可以为ABCDEFJ(与CUR间隔有设定的像素分量单元)。

[0079] 将每个像素分量的N个纹理方向梯度值G1～GN进行加权(G1～GN既代表纹理方向梯度值的大小，也代表纹理方向梯度值的方向)得到N个纹理方向梯度值加权后的第一加权梯度值BG，加权公式如下：

[0080] BGi＝w1*G1+w2*G2+…+wN*GN(i＝1，2或3)

[0081] 其中，w1、w2…wN为加权系数，可以相同也可以不同；BG1为像素分量1(R像素分量)的第一加权梯度值，BG2为像素分量2(G像素分量)的第一加权梯度值，BG3为像素分量3(B像素分量)的第一加权梯度值。

[0082] 在一种实施方式中，w1、w2…wN可以是预先自行设定的固定值。更进一步的，并且，配置w1、w2…wN的相对大小时，可以考虑先验经验。例如，从以往的经验得知，在梯度值G1的这个方向可能更加适合本图像做预测的实际情况，则可以将w1配置一个更加适合本图像做预测的实际情况的值(例如，可以将w1配置很小)，以增加在梯度值G1的这个方向的权重。当然，w1、w2…wN也可以是自适应的，即可以根据早期预测处理的实际情况，灵活调整w1、w2…wN的相对大小，具体地w1+w2+…+wN＝1。

[0083] 在一种实施方式中，第一加权梯度值BG可用像素分量值差的绝对值表示，但是不限于此。

[0084] 在一种实施方式中，选取多组w1、w2…wN的值，得到多个第一加权梯度值，取第一加权梯度值的最小值，可以得到每个像素分量的第一加权梯度值的最优值BGbst。

[0085] 将R像素分量、G像素分量和B像素分量的第一加权梯度值的最优值BGbst进行加权，可以得到第一加权梯度值的最优值加权后的第二加权梯度值BG"，加权公式如下：

[0086] BG"i＝t1*BGbst1+t2*BGbst2+t3*BGbst3(i＝1…3)

[0087] 其中，t1、t2、t3为加权系数，可以相同也可以不同；BGbst1为R像素分量的第一加权梯度值的最优值，BGbst2为G像素分量的第一加权梯度值的最优值，BGbst3为B像素分量的第一加权梯度值的最优值，BG"1为R像素分量的第二加权梯度值，BG"2为G像素分量的第二加权梯度值，BG"3为B像素分量的第二加权梯度值，确定出第二加权梯度值BG"的最优值BG"bst。

[0088] 优选地，根据每个像素分量与对应第一加权梯度值的最优值BGbst的关系，设置加权系数t1、t2和t3获得每个像素分量的第二加权梯度值的最优值BGbst。

[0089] 优选地，当前像素分量下的第一加权梯度值的最优值BGbst加权系数值最大，与当前像素分量距离逐渐增加的其它像素分量下的第一加权梯度值的最优值BGbst加权系数值逐渐减小，加权系数值的总和为1，具体为t1+t2+t3＝1。。

[0090] 第二加权梯度值的最优值BG"bst的方向即为当前像素分量的参考方向Dir。

[0091] 值得指出的是，本实施方式中，w1、w2…wN和t1、t2、t3均为加权系数，但是实际意义有所区别。w1、w2…wN用于配置一个像素像素分量在不同纹理方向上的权重大小，而t1、t2、t3用于配置多个像素像素分量之间的权重大小。

[0092] 将每个像素分量的参考方向上所有可用的像素分量的像素值进行加权，得到每个像素分量的参考值Ref，加权公式如下所示：

[0093] Refi＝r1*cpt1+r2*cpt2+…+rN*cptN(i＝1，2或3)

[0094] 其中，r1、r2…rN为加权系数，可以相同也可以不同；cpt1～cptN为每个像素分量的参考方向上N个可用的像素分量的像素值；Ref1为R像素分量的参考值，Ref2为G像素分量的参考值，Ref3为B像素分量的参考值。

[0095] 将当前像素分量的像素值减去参考值，可以得到当前像素分量的预测残差Dif；公式如下：

[0096] Difi＝Curcpti-Refi(i＝1，2或3)

[0097] 其中，Curcpt1为R像素分量的像素值，Curcpt2为G像素分量的像素值，Curcpt3为B像素分量的像素值；Dif1为R像素分量的预测残差，Dif2为G像素分量的预测残差，Dif3为B像素分量的预测残差。

[0098] 在本发明提供的一种实施方式中，以上实施方式中R像素分量、G像素分量和B像素分量的预测残差的获取过程可以并行处理，也可以串行处理，具体应用规格场景需要。

[0099] 在一个实施例中将当前像素分为R、G、B三个分量，具体步骤如下：

[0100] 定义当前像素有三个像素分量，分别为像素分量Y、像素分量U、像素分量V；

[0101] 对于当前像素的三个像素分量，通过每个像素分量的周围像素分量，确定每个像素分量的3个纹理方向梯度值G1、G2、G3；

[0102] 优选地，对于像素分量R、像素分量G、像素分量B，分别根据图3所示，图3为本发明实施例提供的一种梯度值计算示意图；ABS(K-H)为45度梯度值，ABS(K-G)为90度梯度值，ABS(K-F)为135度梯度值，ABS(K-J)为180度梯度值。其中，ABS为绝对值运算。

[0103] 对于像素分量R、像素分量G、像素分量B的每一个像素分量，加权3个纹理方向梯度值G1、G2、G3，例如为45度梯度值，90度梯度值，135度梯度值，得到每一个像素分量的第一加权梯度值BG，求解每一个像素分量的第一加权梯度值的最优值。

[0104] 优选地，例如对于R像素分量，45度梯度值上的像素H、90度梯度值上的像素G与135度梯度值上的像素F与R像素分量的距离逐渐增大，因此，w1选取为0.5，w2选取为0.3，w3选取为0.2，BGbstR＝0.5*G1+0.3*G2+0.2*G3。同理可以得出BGbstG和BGbstB。

[0105] 将3个像素分量的第一加权梯度值的最优梯度值进行加权得出第一加权梯度值最优值加权后的第二加权梯度值BG"，并选取出第二加权梯度值的最优值BG"bst。加权计算如下：

[0106] BG"bstR＝0.5*BGbstR+0.3*BGbstG+0.2*BGbstB

[0107] BG"bstG＝0.3*BGbstR+0.4*BGbstG+0.3*BGbstB

[0108] BG"bstB＝0.2*BGbstR+0.3*BGbstG+0.5*BGbstB

[0109] 其中，BG"bstR为像素分量R第二加权梯度值的最优值，BG"bstG为像素分量G第二加权梯度值的最优值，BG"bstB为像素分量B第二加权梯度值的最优值，BGbstR为像素分量R第一加权梯度值的最优值，BGbstG为像素分量G第一加权梯度值的最优值，BGbstB为像素分量B第一加权梯度值的最优值。

[0110] 上式中的系数选取规则为当前像素分量下的第一加权梯度值的最优值BGbst加权系数值最大，与当前像素分量距离逐渐增加的其它像素分量下的第一加权梯度值的最优值BGbst加权系数值逐渐减小，加权系数值的总和为1。

[0111] 其中，BG"bst的方向为当前像素分量的参考方向Dir，即DirR为像素分量R的参考方向，DirG为像素分量G的参考方向，DirB为像素分量B的参考方向。

[0112] S35、将3个像素分量的参考方向上2个像素分量的像素值进行加权，得到3个像素分量的参考值Ref，加权公式如下所示：

[0113] RefR＝r1*cpt1+r2*cpt2

[0114] RefG＝r1*cpt1+r2*cpt2

[0115] RefB＝r1*cpt1+r2*cpt2

[0116] 其中，RefR为R像素分量的参考值，RefG为G像素分量的参考值，RefB为B像素分量的参考值，cpt1、cpt2为每个参考方向的像素分量像素值。

[0117] 优选地，对于任意像素分量，若为45度参考，那么参考值REF为0.8*I+0.2E；若为90度参考，那么参考值为0.8*H+0.2C；若为135度参考，那么参考值为0.8*G+0.2A；若为180度参考，那么参考值为0.8*K+0.2J，像素分量像素值离当前像素越近，配置系数越大。

[0118] S36、将当前像素分量的像素值减去参考值，可以得到当前像素分量的预测残差Dif，计算如下：

[0119] DifR＝CurcptR-RefR

[0120] DifG＝CurcptG-RefG

[0121] DifB＝CurcptB-RefB

[0122] 其中，CurcptR为像素分量R的像素值，CurcptG为像素分量G的像素值，CurcptB为像素分量B的像素值；DifR为像素分量R的预测残差，DifG为像素分量G的预测残差，DifB为像素分量B的预测残差。

[0123] 实施例三

[0124] 本实施例在上述实施例的基础上，对本发明提出的纹理渐变预测模式进行详细描述。该模式包括如下内容：

[0125] 步骤1、获取待编码子图像块大小；

[0126] 假设待编码子图像块的大小为8*1个像素分量，16*1个像素分量，32*1个像素分量，64*1个像素分量；本实施例以待编码子图像块的大小为16*1个像素分量为例说明，其它不同大小的待编码子图像块同理。

[0127] 如图4所示，图4为本发明实施例提供的一种纹理渐变预测模式示意图；待编码子图像块中的16*1个像素分量的像素值按照从左至右的顺序依次设定为12、14、15、18、20、23、15、10、4、0、2、2、4、5、5、6。

[0128] 步骤2、定义采样方式；

[0129] 步骤201、根据待编码子图像块中存在的纹理相关性，检测待编码子图像块的纹理渐变性，确定待编码子图像块的纹理渐变点，将待编码子图像块的纹理渐变点设定为像素值拐点。

[0130] 具体地，将当前待编码子图像块中的当前像素分量的像素值减去当前待编码子图像块中相邻像素分量的像素值，如图4所示，将图中当前待编码子图像块中的当前像素分量的像素值减去当前待编码子图像块中前一像素分量的像素值，求解当前待编码子图像块的像素残差值。当前待编码子图像块中对应位置的像素残差值从左至右依次为12、2、1、3、2、3、-8、-5、-6、-4、2、0、2、1、0、1。

[0131] 步骤202、设定像素残差值中的连续正值或连续负值的最后一个值为像素值拐点，其中像素残差值为0的值不设定为像素值拐点。

[0132] 步骤203、将像素值拐点所对应的当前像素分量所对应的位置设定为采样点，同时将当前像素分量中处于首位和末位的点设定为采样点。

[0133] 优选地，如图4所示，所求得的像素残差值中的像素值拐点为3和-4，将像素值拐点3和像素值拐点-4所对应的当前像素分量23、0以及首位和末位的像素分量设定为采样点。
原始点所对应的像素分量12、23、0、6形成4个采样点。

[0134] 步骤3、将当前待编码子图像块中的采样点与正上方待编码子图像块进行预测。预测方式为135度预测、45度预测和90度预测三种角度预测方式。即将当前待编码子图像块中的采样点与当前待编码子图像块正上方相邻待编码子图像块中采样点对应的45度的像素分量点、90度的像素分量点和135度的像素分量点分别进行预测，进一步地，可以将当前待编码子图像块中的采样点与当前待编码子图像块正上方相邻待编码子图像块中采样点对应的45度的像素分量点、90度的像素分量点和135度的像素分量点分别进行相减获取预测残差，分别求解每种角度预测方式下的预测残差绝对值和。最终选取预测残差绝对值和最小的一种角度预测方式作为当前待编码子图像块的采样点预测方式，获取该预测方式下的预测残差。

[0135] 步骤4、对于当前待编码子图像块中的非采样点，利用公式求解非采样点的预测残差，公式为：

[0136] Resi＝(sample1-sample0)*(i+1)/(num+1)

[0137] 其中，公式中的sample0和sample1为当前待编码子图像块连续的采样点的像素分量重建值，i为非采样点索引，num为非采样点数量。

[0138] 进一步地，像素分量重建值可以指的是已压缩编码的待编码子图像块解码端重建得到的像素分量值。

[0139] 步骤5、记录当前待编码子图像块的采样点、预测方式和预测残差。

[0140] 本实施例通过定义待编码子图像块的采样方式和像素分量预测的参考方式，计算当前待编码子图像块的预测残差。与现有方法相比，对处于当前图像的纹理边界处的待编码子图像块，根据纹理的渐变原理，不依赖于当前待编码子图像块的周围待编码子图像块，而是通过当前待编码子图像块自身的纹理特性获得预测残差，能够提高测残差值的精度，进一步降低理论极限熵，增大带宽压缩率，适用于当待压缩编码的图像纹理相对复杂的场景。

[0141] 实施例四

[0142] 本实施例在上述实施例的基础上，对本发明提出的自适应模板预测模式进行详细描述。该模式包括如下内容：

[0143] 步骤1、建立自适应预测模板

[0144] 在本发明的实施例中提供两种不同的自适应预测模板，分别为第一自适应预测模板和第二自适应预测模板，下述内容分别详细介绍第一自适应预测模板和第二自适应预测模板的建立。

[0145] 其中，在一个具体的实施方式中，第一自适应预测模板如图5所示，图5为本发明实施例提供的一种第一自适应预测模板的示意图。

[0146] 第一自适应预测模板的表位数量可以为4个、8个、16个或32个；本实施例以表位数量为16个为例说明，其它数量的表位同理。第一自适应预测模板的表位数量为16，表位序号从0到15依次排列，序号越小，优先级越高，每个表位记录一个待编码子图像块的一组重建值。待编码子图像块大小可设定，本实施例以16*4为例，即每个待编码子图像块的大小为16*4个像素分量，即每个待编码子图像块有16*4个重建值。

[0147] 第一自适应预测模板的初始状态为空，将某一待编码子图像块的重建值填充到序号为0的表位；继续填充第一自适应预测模板，将序号为0的表位中的重建值顺序移位到序号为1的表位中，将下一个待编码子图像块的重建值填充到序号为0的表位；以此类推，每次填充第一自适应预测模板时，将已填充的N个表位位置顺序向后移位，移一个表位位置，将待填充的待编码子图像块的重建值填充到序号为0的表位，直到第一自适应预测模板中的16个表位填充完毕。具体为：每次进行待编码子图像块的重建值填充前，按序号从小到大，检测当前待编码子图像块的重建值与列表中所有已填充的重建值的一致性；若不具备一致性，那么列表从序号0到序号N-1，共N个有效位置顺序向后移位，当前待编码子图像块的重建值放在列表0位置。若具备一致性，列表中模板表位位置不变，可选择将第一自适应预测模板中与当前待编码子图像块重建值一致的表位中已填充重建值更新为当前待编码子图像块的重建值或者不更新。检测一致性的公式如公式1所示：

[0148]

[0149] 其中，Cur为当前待编码子图像块的原始像素分量值，CurRec为当前待编码子图像块的重建值，ABS为求绝对值，Pred为模板中填充的重建值，待编码子图像块num为当前待编码子图像块中像素分量数量，b1和b2为权重系数，Thr0为阈值，Thr0的取值根据用户需求确定。当的值小于Thr0时，k的取值为1，1代表具备一致性，则可以判断为具备一致性；反之，当的值大于Thr0时，
k的取值为0，0代表不具备一致性则可以判断为不具备一致性。b1和b2的取值可以是预先设定的固定值，进一步地，b1+b2＝1，优选地，b1可以选取为0.5，b2可以选取为0.5，b1和b2也可以灵活调整大小。

[0150] 第一自适应预测模板初始化填充后，检测图像中的其余待编码子图像块，更新第一自适应预测模板，更新方法如下：

[0151] 若当前待编码子图像块存在上参考待编码子图像块，检测正上参考待编码子图像块与第一自适应预测模板中已填充的重建值的一致性，若不具备一致性，先将第一自适应预测模板所有表位序号从0开始顺序移位，表位序号最后一个移除列表，再将上参考待编码子图像块的重建值更新到第一自适应预测模板表位序号为0的位置；若具备一致性，将一致的第一自适应预测模板中已填充重建值与表位序号为0的位置的重建值对换，并可以更新模板中所有重建值。

[0152] 同理，若当前待编码子图像块存在左参考待编码子图像块，检测左侧参考待编码子图像块与第一自适应预测模板中已填充的重建值的一致性，若不具备一致性，先将第一自适应预测模板中以表位序号为1开始的表位序号顺序移位，表位序号最后一个移除列表，再将左参考待编码子图像块的重建值更新到第一自适应预测模板表位序号为1的位置；若具备一致性，将一致的第一自适应预测模板中已填充重建值与表位序号为1的位置的重建值对换，并可以更新模板中所有重建值。

[0153] 若当前待编码子图像块存在左上参考待编码子图像块，检测左上参考待编码子图像块与第一自适应预测模板中已填充的重建值的一致性，若不具备一致性，先将第一自适应预测模板中以表位序号为2开始的表位序号顺序移位，表位序号最后一个移除列表，再将上参考待编码子图像块的重建值更新到第一自适应预测模板表位序号为2的位置；若具备一致性，将一致的第一自适应预测模板中已填充重建值与表位序号为2的位置的重建值对换，并可以更新第一自适应预测模板中所有重建值。

[0154] 若当前待编码子图像块存在右上参考，检测右上参考待编码子图像块与第一自适应预测模板中已填充的重建值的一致性，若不具备一致性，先将第一自适应预测模板中以表位序号为3开始的表位序号顺序移位，表位序号最后一个移除列表，再将右参考待编码子图像块的重建值更新到第一自适应预测模板表位序号为3的位置；若具备一致性，将一致的第一自适应预测模板中已填充重建值与表位序号为3的位置的重建值对换，并可以更新第一自适应预测模板中所有重建值。

[0155] 其中，一致性检测方法参考公式1提供的方法。

[0156] 其中，在一个具体实施方式中第二自适应预测模板如图6所示，图6为本发明实施例提供的一种第二自适应预测模板的示意图。

[0157] 可以定义第二自适应预测模板表位数量为4个、8个、16个或32个；本实施例以第二自适应预测模板表位数量为8个为例说明，其它数量的第二自适应预测模板表位同理。数量为8的第二自适应预测模板表位，表位序号从0到8依次排列，序号越小，优先级越高，每个表位记录一个待编码子图像块的一组重建值。待编码子图像块大小可设定，本实施例以8*2大小为例，即每个待编码子图像块的大小为8*2个像素分量，即每个待编码子图像块有8*2个重建值。

[0158] 第二自适应预测模板表位序号为4～7的位置存储预先设定的4组重建值；检测当前待编码子图像块上相邻待编码子图像块的重建值与第二自适应预测模板中已填充的重建值的一致性，若不具备一致性，将上相邻待编码子图像块的重建值填充到第二自适应预测模板表位序号为0的位置；若具备一致性，将一致的第二自适应预测模板中已填充重建值与表位序号为0的位置的重建值对换，并可以更新模板中所有重建值。

[0159] 检测当前待编码子图像块左相邻待编码子图像块的重建值与第二自适应预测模板中已填充的重建值的一致性，若不具备一致性，将左相邻待编码子图像块的重建值填充到第二自适应预测模板表位序号为1的位置；若具备一致性，将一致的第二自适应预测模板中已填充重建值与表位序号为1的位置的重建值对换，并可以更新模板中所有重建值。

[0160] 检测当前待编码子图像块左上相邻待编码子图像块的重建值与第二自适应预测模板中已填充的重建值的一致性，若不具备一致性，将左上相邻待编码子图像块的重建值填充到第二自适应预测模板表位序号为2的位置；若具备一致性，将一致的第二自适应预测模板中已填充重建值与表位序号为2的位置的重建值对换，并可以更新模板中所有重建值。

[0161] 检测当前待编码子图像块右上相邻待编码子图像块的重建值与第二自适应预测模板中已填充的重建值的一致性，若不具备一致性，将右上相邻待编码子图像块的重建值填充到第二自适应预测模板表位序号为3的位置；若具备一致性，将一致的第二自适应预测模板中已填充重建值与表位序号为3的位置的重建值对换，并可以更新模板中所有重建值。

[0162] 步骤2、更新自适应预测模板

[0163] 建立自适应预测模板后，针对当前待编码子图像块，更新自适应预测模板，其中，自适应预测模板更新方法如步骤1中所示，此处不再赘述。

[0164] 步骤3、根据所述自适应预测模板，获取当前待编码子图像块的预测残差[0165] 其中，在一具体实施方式中，自适应预测模板更新完成之后，将当前待编码子图像块与自适应预测模板中每个表位的重建值进行匹配，根据公式，选取最优的M个表位。公式如下：

[0166]

[0167] 其中，Cur为当前待编码子图像块的原始像素分量，Pred为自适应预测模板中每个表位填充的重建值；待编码子图像块num为当前待编码子图像块中像素分量数量，c1和c2为权重系数，最终rdo越小，则该自适应预测模板表位中的重建值越优。

[0168] 在一种实施方式中，c1和c2的取值可以是预先设定的固定值，进一步地，为了便于计算，可以直接将c1设定为1，将c2设定为0.

[0169] 分别对M个表位中的重建值中任一重建值加权处理得到预测像素分量值。如下公式：

[0170] predwi＝(w1*Predi-1+w2*Predi+w3*Predi+1+w4)/4

[0171] 其中，W1、W2、W3、W4为一组预测参数，predw为预测像素分量值，Pred为模板中M个表位中任一表位填充的重建值，i为Pred在表位中的排序。

[0172] 在一种实施方式中，W1、W2、W3、W4的取值可以是预先设定的固定值，进一步地，W1+W2+W3＝3，优选地，W1、W2、W3分别选取为1，W1、W2、W3分别选取为0.5，2，0.5，W1、W2、W3可以根据实际情况，灵活调整大小。进一步地，W4可以选取为当前表位中所有填充的重建值的平均值，也可以选取为表位中与当前预测像素分量值排序对应的重建值。

[0173] 预设T种W1、W2、W3、W4的不同组合，针对一个表位可以生成T种预测像素分量值，M个表位有M*T种预测像素分量值，最终在M*T种可能性中，根据rdo公式，选出最优的表位和对应的W1、W2、W3、W4。根据W1、W2、W3、W4计算该最优表位中的重建值的预测像素分量值，作为当前待编码子图像块的参考值。

[0174] 进一步地，最优表位即为rdo中的最小值对应的表位。

[0175] 可选择点对点求差方式或自适应预测方式求残差。最终将残差值、列表表位序号和W1、W2、W3、W4的值发送到解码端，其中，点对点求差方式为将当前待编码子图像块中的每个重建值对应减去最优表位中的每个重建值对应的预测像素分量值。

[0176] 进一步地，重建像素指已压缩图像解压重建得到的像素，重建像素的像素值通常称为重建值。根据预测残差可以得到重建值，即将参考值加上预测残差可以得到重建值。

[0177] 进一步地，在一具体实施方式中，获取当前待编码子图像块的预测残差如下所述。自适应预测模板更新完成之后，将当前待编码子图像块的像素分量值与自适应预测模板中所有存在的待编码子图像块重建值进行自适应纹理预测，求解预测残差。其中，请参见图7，图7为本发明实施例提供的一种相邻参考像素的示意图。对自适应纹理预测中的参考像素分量进行选择，A、B、C、E为当前像素分量相邻的周围像素分量，即模板任一表位中与当前像素分量对应的重建值，D为当前像素分量分量左相邻的像素分量分量的重建值，其中像素分量A为左上相邻参考像素分量、像素分量B为上相邻参考像素分量、像素分量C为右上相邻参考像素分量、像素分量D为左相邻参考像素分量、像素分量E为像素分量A的左相邻参考像素分量：

[0178] a.若ABS(D-E)最小，即135度纹理，那么参考像素分量为像素分量A；

[0179] b.若ABS(D-A)最小，即垂直纹理，那么参考像素分量为像素分量B；

[0180] c.若ABS(D-B)最小，即45度纹理，那么参考像素分量为像素分量C；

[0181] d.若ABS(B-A)最小，即水平纹理，那么参考像素分量为像素分量D；

[0182] 根据上述方式，选取参考像素分量，遍历模板中的所有表位，将选取的参考像素分量中的最小值作为最终的参考像素分量，将最终的参考像素分量值与当前待编码子图像块的像素分量值求差得到当前待编码子图像块预测残差。

[0183] 步骤4、判断待编码子图像块是否处理完毕

[0184] 当前待编码子图像块获取预测残差后，继续判断是否图像中的所有待编码子图像块均获取预测操作，若是，则预测结束，否则，跳转到步骤1，继续进行后续待编码子图像块的预测操作。

[0185] 本实施例通过定义自适应模板表位的数量和待压缩宏块的像素分量的方式，计算当前待压缩宏块的预测残差，与现有的方法相比，当待压缩图像的纹理较为复杂时，定义不同的自适应模板对应不同的纹理区域，更容易提高当前待压缩宏块中的像素分量与自适应模板中选定的像素分量匹配的概率，适用于宏块图像复杂度高的场景，能够提高对复杂纹理区域求预测残差值的精度，进一步降低理论极限熵，增大带宽压缩率。

[0186] 实施例五

[0187] 本实施例在上述实施例的基础上，对本发明提出的视频编码设备进行详细描述，如图8所示，图8为本发明实施例提供的一种视频编码设备的示意图，该设备包括：

[0188] 获取模块51，用于获取待编码视频并采集所述待编码视频中的图像帧；

[0189] 划分模块52，连接所述获取模块，用于将所述图像帧划分为多个待编码子图像块；其中每个待编码子图像块中包括M*N个像素分量；

[0190] 选取模块53，连接所述划分模块，用于根据每个待编码子图像块中的图像特征信息从可选预测模式中选取至少一种预测模式；

[0191] 判断模块54，连接所述选取模块，用于判断所述待编码子图像块选取的预测模式的数量；

[0192] 若所述待编码子图像块选取的预测模式为一种，则利用选取的该种预测模式对所述待编码子图像块进行预测获取每个像素分量的最终预测残差；

[0193] 若所述待编码子图像块选取的预测模式为多种，则利用选取的多种预测模式对所述待编码子图像块分别进行预测获取每个像素分量的多种预测残差，根据所述多种预测残差在选取的多种预测模式中确定一种预测模式作为所述待编码子图像块的最终预测模式并获取每个像素分量对应的最终预测残差；

[0194] 码流输出模块55，连接所述判断模块，用于将所述待编码子图像块的所述最终预测残差进行编码形成编码流并输出。

[0195] 进一步地，待编码子图像块中的图像特征信息包括图像纹理信息，其中，所述图像纹理信息根据所述待编码子图像块的梯度值确定为复杂图像纹理或简单图像纹理。

[0196] 进一步地，所述选取模块具体用于：若所述图像特征信息为复杂纹理则从可选预测模式中选取两种预测模式；若所述图像特征信息为简单纹理则从可选预测模式中选取一种预测模式。

[0197] 进一步地，所述判断模块中根据所述多种预测残差在选取的多种预测模式中确定一种预测模式作为所述待编码子图像块的最终预测模式，包括：根据所述多种预测残差计算对应的每种预测模式的残差主观和；根据所述残差主观和选取一种预测模式作为所述待编码子图像块的最终预测模式。

[0198] 综上所述，本文中应用了具体个例对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。

标题	发布/更新时间	阅读量
液晶元件的制造方法	2020-05-08	457
图像重构方法和装置	2020-05-11	182
光传感器、基于飞行时间的测距系统和电子装置	2020-05-08	898
带宽压缩中的后选择预测方法	2020-05-08	880
带宽压缩中复杂纹理的双模式选择预测方法	2020-05-08	372
一种视频监控测试仪	2020-05-08	468
一种用于显示设备的像素电路	2020-05-08	825
带宽压缩中的后选择预测方法	2020-05-08	498
指纹检测装置和电子设备	2020-05-08	117
视频处理方法、装置、设备及存储介质	2020-05-08	486

视频编码方法及设备

视频编码方法及设备

技术领域

背景技术

发明内容

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：