技术领域
[0001] 本
发明涉及视频处理技术领域，特别涉及一种视频编码的方法和装置。
背景技术
[0002] 摄像机等
图像采集设备在采集完图像信息后可以生成原始视频数据，原始视频数据由大量按序排列的
帧图像构成，其数据量非常大。为了便于视频的传输与存储，往往可以先利用视频编码技术对原始视频数据进行编码压缩，以去除原始视频数据中的冗余信息，再传输或存储编码后的视频数据。
[0003] 现有的视频编码主要可以包括帧内编码和帧间编码：在进行帧内编码时，可以对帧图像依次执行离散余弦变换、量化和
熵编码等处理，从而可以得到压缩后的图像数据；在进行帧间编码时，可以计算待编码帧图像与参考帧图像之间的
运动矢量，通过参考帧图像与运动矢量生成预测图像，再对比预测图像与待编码帧图像生成差分图像，进而可以对差分图像依次执行离散余弦变换、量化和熵编码等处理，从而可以得到压缩后的图像数据。
[0004] 在实现本发明的过程中，
发明人发现
现有技术至少存在以下问题：
[0005] 目前对帧图像进行量化处理时，往往是将帧图像分为多个图像
块后，对所有图像块采用相同的量化参数进行量化，或者直接根据各图像块的内容复杂度选取量化参数进行量化。然而，按照上述两中量化方式进行编码，均可能会导致次要的画面内容得到过于精细的编码，而关键的画面内容无法得到更精细的编码处理，也即设备编码资源未能得到合理分配，从而使得编码后的视频画面的观看体验较低，画面
质量较差。
发明内容
[0006] 为了解决现有技术的问题，本发明
实施例提供了一种视频编码的方法和装置。所述技术方案如下：
[0007] 第一方面，提供了一种视频编码的方法，所述方法包括：
[0008] 提取目标视频的待编码帧图像，通过
图像分析技术确定所述待编码帧图像中各个图像区域对应的编码权值；
[0009] 依据所述各个图像区域对应的编码权值，设置每个所述图像区域对应的量化参数；
[0010] 基于设置后的每个所述图像区域对应的量化参数，对所述待编码帧图像进行编码。
[0011] 第二方面，提供了一种视频编码的装置，所述装置包括：
[0012] 图像分析模块，用于提取目标视频的待编码帧图像，通过图像分析技术确定所述待编码帧图像中各个图像区域对应的编码权值；
[0013] 参数设置模块，用于依据所述各个图像区域对应的编码权值，设置每个所述图像区域对应的量化参数；
[0014] 视频编码模块，用于基于设置后的每个所述图像区域对应的量化参数，对所述待编码帧图像进行编码。
[0015] 第三方面，提供了一种网络设备，所述网络设备包括处理器和
存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的视频编码的方法。
[0016] 第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的视频编码的方法。
[0017] 本发明实施例提供的技术方案带来的有益效果是：
[0018] 本发明实施例中，提取目标视频的待编码帧图像，通过图像分析技术确定待编码帧图像中各个图像区域对应的编码权值；依据各个图像区域对应的编码权值，设置每个图像区域对应的量化参数；基于设置后的每个图像区域对应的量化参数，对待编码帧图像进行编码。这样，对同一
视频帧图像中的不同图像区域设定不同的量化参数，从而可以对多个图像区域分别实现不同精细程度的编码处理，故而可以提高关键的画面内容的编码质量，并一定程度上降低次要的画面内容的编码质量，使得编码资源能够得到更合理的分配，编码后的视频画面质量和视频观看体验也能整体上得到提升。
附图说明
[0019] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020] 图1是本发明实施例提供的一种视频编码的方法
流程图；
[0021] 图2是本发明实施例提供的一种二维掩码图的简单示意图；
[0022] 图3是本发明实施例提供的一种裁剪二维掩码图的原理示意图；
[0023] 图4是本发明实施例提供的一种增视频编码的装置结构示意图；
[0024] 图5是本发明实施例提供的一种增视频编码的装置结构示意图；
[0025] 图6是本发明实施例提供的一种网络设备的结构示意图。
具体实施方式
[0026] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0027] 本发明实施例提供了一种视频编码的方法，该方法的执行主体可以是任意具备视频帧
图像处理功能的网络设备。网络设备可以用于对获取到的视频帧图像进行图像分析，并基于图像分析结果对视频帧图像进行编码处理，从而可以将原始的模拟数据转换为数字数据，以便于视频数据的传输与存储。在编码过程中，网络设备可以对同一视频帧图像内的不同图像区域进行不同精细程度的编码，从而使得同一视频帧图像内的不同图像区域，可以具备不同等级的画面质量。上述网络设备可以包括处理器、存储器和收发器，处理器可以用于进行下述流程中视频编码的处理，存储器可以用于存储下述处理过程中需要的数据以及产生的数据，收发器可以用于接收和发送下述处理过程中的相关数据。
[0028] 下面将结合具体实施方式，对图1所示的处理流程进行详细的说明，内容可以如下：
[0029] 步骤101，提取目标视频的待编码帧图像，通过图像分析技术确定待编码帧图像中各个图像区域对应的编码权值。
[0030] 在实施中，网络设备在获取到目标视频的原始视频数据之后，可以先利用如ffmpeg的视频处理工具获取目标视频的视频帧序列，然后根据视频帧序列依序提取目标视频中的帧图像作为待编码帧图像。之后，对于每个待编码帧图像，网络设备可以通过图像分析技术分析待编码帧图像的图像内容，从而确定出待编码帧图像中各个图像区域对应的编码权值。此处，编码权值可以是用于指示各个图像区域的编码精细程度的数值，可以设定编码权值越大，相应的图像区域的编码精细程度越高，编码后图像区域的画面质量更好。值得一提的是，待编码帧图像中的图像区域可以是经图像分析技术分析后划分的，也可以是预先由技术人员人工划分的，如将待编码帧图像按照20×20的规格划分出400个图像区域，还可以由按照
指定的区域大小划分而成的，如设定每个图像区域等于9个宏块的大小。
[0031] 可选的，可以通过图像区域包含的所有
像素点的编码权值来计算图像区域的编码权值，相应的，步骤101的处理可以如下：通过图像分析技术确定待编码帧图像的各个像素点的统计特征值；基于各个像素点的统计特征值和预设的特征值选取规则，确定各个像素点的编码权值；根据各个像素点的编码权值，计算待编码帧图像中各个图像区域对应的编码权值。
[0032] 在实施中，网络设备可以通过图像分析技术确定出待编码帧图像中各个像素点的统计特征值，该统计特征值可以是通过图像分析技术对待编码帧图像进行分析后，直接得到的初始分析数据，采用不同的图像分析技术可以得到不同维度的统计特征值。之后，网络设备可以采用上述统计特征值所属维度下的特征值选取规则，以各个像素点的统计特征值为
基础，确定各个像素点的编码权值。例如，通过第一图像分析技术得到维度A的统计特征值，该维度A的特征值选取规则为取值越接近1的编码权值越高，编码权值的取值范围为0-100；通过第二图像分析技术得到维度B的统计特征值，该维度B的特征值选取规则为取值越低的编码权值越高，编码权值的取值范围为0-100。进而，网络设备可以基于各个图像区域中的所有像素点的编码权值，按照预设计算公式计算待编码帧图像中各个图像区域对应的编码权值。例如，对于任一图像区域，可以将该图像区域中所有像素点的编码权值的平均值(可以视具体情况采用算术平均值、几何平均值、平方平均值、调和平均值或加权平均值等不同的平均值计算方式)，作为图像区域对应的编码权值。
[0033] 可选的，基于不同的图像分析技术，可以采用不同的数据作为像素点的统计特征值，如下示例性地给出了几种情况：
[0034] 情况一，当图像分析技术为显著目标检测技术时，则将待编码帧图像输入基于CAM(Class Activation Mapping，类激活映射)技术的显著目标检测模型，获取显著目标检测模型中倒数第二层生成的特征图，将特征图中各像素点对应的特征数据作为待编码帧图像的各个像素点的统计特征值。
[0035] 在实施中，网络设备采用显著目标检测技术来确定待编码帧图像的各个像素点的统计特征值时，可以将待编码帧图像输入基于CAM技术的显著目标检测模型。其中，基于CAM技术的显著目标检测模型可以依托于如Google net、Res net、Dense net等
卷积神经网络，并且采用了全局平均
池化层来替代卷积神经网络中的全连接层，从而可以使得显著目标检测模型具备目标
定位的能
力。进一步的，技术人员可以利用标明显著目标的图像集对显著目标检测模型进行个性化训练，以增强模型检测的准确性。之后，网络设备可以获取显著目标检测模型中倒数第二层(即全局平均池化层)生成的特征图，再将特征图中各像素点对应的特征数据作为待编码帧图像的各个像素点的统计特征值。
[0036] 情况二，当图像分析技术为光流法时，则基于光流法计算待编码帧图像的各个像素点对应的光流值，将光流值作为各个像素点的统计特征值。
[0037] 在实施中，光流法是利用
图像序列中像素点在时间域上的变化以及相邻帧图像之间的相关性来确定上一帧图像跟当前帧图像之间存在的对应关系，从而计算出相邻帧图像之间物体的运动信息的一种方法。故而，网络设备可以将待编码帧图像与其上一帧图像进行比对，利用两帧图像间像素点的变化情况，以计算待编码帧图像的各个像素点对应的光流值，并将该光流值作为各个像素点的统计特征值。
[0038] 情况三，当图像分析技术为纹理分析时，则计算待编码帧图像的各个像素点的纹理特征值，将纹理特征值作为各个像素点的统计特征值。
[0039] 在实施中，纹理是物体表面固有的一种特性，可以认为是灰度或
颜色在空间上以一定的变化规律而构成的外在特征，图像中的不同区域常常具备不同的纹理。故而，网络设备可以通过纹理分析的方式，计算待编码帧图像的各个像素点的纹理特征值，从而可以将纹理特征值作为各个像素点的统计特征值。
[0040] 情况四，当图像分析技术为目标检测技术时，则将待编码帧图像输入目标检测模型；根据目标检测模型输出的图像内容检测结果，为待编码帧图像中各个图像内容的像素点设置对应的统计特征值。
[0041] 在实施中，网络设备上可以预设有目标检测模型，通过该目标检测模型可以对一幅图像中的多个事物分别进行定位和分类。这样，网络设备在对待编码帧图像进行分析时，可以将待编码帧图像输入上述目标检测模型，从而目标检测模型可以输出图像内容检测结果，该图像内容检测结果中可以标记出待编码帧图像中的多个事物(即图像内容)的
位置和分类。之后，网络设备可以根据待编码帧图像中各个图像内容的位置和分类，为各个图像内容的像素点设置对应的统计特征值。具体的，网络设备可以为同一类的图像内容中的像素点分配相同的预设的统计特征值，而为不同类的图像内容中的像素点分配不同的预设的统计特征值。
[0042] 值得一提的是，为了后续便于计算编码权值，可以对各像素点对应的统计特征值进行归一化处理，以使数据取值限制在[0，1]范围之内，具体可以采用如下处理，假设cam为原始统计特征值，min为统计特征值中的最小值，max为统计特征值中的最大值，则归一化处理可以为：(cam-min)/max。进一步的，为了减少图像分析时的
数据处理量，可以在先对待编码帧图像进行预处理：如可以先将待编码帧图像缩放到固定
分辨率；然后对图像数据进行如下归一化处理，其中，“image[channel]”为各通道(图像一般包含RGB三个通道)的图像数据，“mean[channel]”与“std[channel”分别为根据经验值设定的各通道的图像数据的平均值和标准差，针对RGB三通道，取值可以分别为mean＝[0.485，0.456，0.406]，std＝[0.229，0.224，0.225]，归一化处理可以为：(image[channel]-mean[channel])/std[channel]。
[0043] 可选的，可以以宏块为单位计算各个图像区域对应的编码权值，相应的处理可以如下：对于目标图像区域，确定目标图像区域包含的所有宏块；将每个宏块包含的全部像素点的编码权值的平均值作为宏块的编码权值；将目标图像区域中所有宏块的编码权值记作目标图像区域对应的编码权值。
[0044] 其中，目标图像区域可以是待编码帧图像中的任一图像区域。
[0045] 在实施中，在视频编码中一幅帧图像通常可以划分成若干宏块，编码过程中以宏块为单位，逐个宏块进行编码，从而可以组织成连续的视频码流。因此，网络设备在计算目标图像区域对应的编码权值时，可以将目标图像区域划分为多个宏块，再计算每个宏块包含的全部像素点的编码权值的平均值。进而，网络设备可以将该平均值作为每个宏块的编码权值，然后将目标图像区域中所有宏块的编码权值同时记作目标图像区域对应的编码权值。可以理解，将图像区域细分为宏块粒度时，一个图像区域可以同时对应多个编码权值，故而在后续设置量化参数时，可以在一个图像区域内以宏块为单位设置不同的量化参数，从而可以进一步提高视频帧图像编码的精细程度，提高编码后的视频画面质量。
[0046] 可选的，可以通过二维掩码图的形式记录各个像素点的编码权值，相应的可以存在如下处理：构造分辨率与待编码帧图像相同的二维掩码图，在二维掩码图中各像素点对应的位置处记录待编码帧图像的各个像素点的编码权值。
[0047] 在实施中，网络设备在确定了待编码帧图像中各个像素点的编码权值之后，可以先构造分辨率与待编码帧图像相同的二维掩码图，二维掩码图中的像素点的数量及排列方式与待编码帧图像一致，且其中的像素点与待编码帧图像中的像素点一一对应。之后，网络设备可以利用上述二维掩码图记录待编码帧图像中各个像素点的编码权值，具体可以在二维掩码图中各个像素点对应的位置处记录待编码帧图像中对应的像素点的编码权值。具体可以如图2所示，左侧为待编码帧图像，包含64个像素点，右侧为对应的二维掩码图，记录有64个编码权值(具体数值仅用于示例说明，非实际取值)。这样，采用二维掩码图来记录编码权值，可以精确且有条理地完成数据的记录，并且便于后续人工对编码权值的查阅与检验。
[0048] 可选的，可以通过对二维掩码图进行裁剪的方式，以实现对数据的压缩，相应的处理可以如下：根据二维掩码图中各像素点处记录的编码权值，对二维掩码图进行裁剪；保留二维掩码图中所有编码权值满足预设取值标准的目标像素点，并记录目标像素点的位置信息。
[0049] 在实施中，技术人员可以预先针对编码权值设定预设取值标准，当像素点的编码权值不满足该预设取值标准时，可以选用统一的默认值作为像素点的编码权值，故而，即使不针对这些像素点的编码权值进行记录，也不会影响后续确定对应的量化参数的处理。基于上述设定，网络设备在采用二维掩码图记录了待编码帧图像中各个像素点的编码权值后，可以根据二维掩码图中各像素点处记录的编码权值以及上述预设取值标准，对二维掩码图进行裁剪，以保留二维掩码图中所有编码权值满足预设取值标准的目标像素点，同时可以记录下目标像素点的位置信息。这样，在后续确定量化参数的过程中，对于被裁剪掉的像素点，可以将默认值设置为对应的编码权值。具体来说，在对编码权值进行裁剪的过程中，可以先遍历二维掩码图，确定出包含的目标像素点的个数小于一定数值、且面积大于预设
阈值的连续区域，进而可以将这些连续区域确定为待裁剪区域。进一步的，在记录目标像素点的位置信息时，针对大量目标像素点构成的目标区域，可以仅记录目标区域的首个目标像素点和最后一个目标像素点的位置信息，而无需记录全部目标像素点的位置信息。例如，如图3所示，预设取值标准为不为零，且与零的差值大于预设数值，则二维掩码图中可以包含多个待裁剪区域，裁剪后的二维掩码图包含大量的目标像素点，和少量编码权值为零的像素点。这样，对二维掩码图进行裁剪，可以一定程度上压缩编码过程中的中间数据，节省数据存储空间，减少对视频编码过程中网络设备内部的数据传输量。
[0050] 步骤102，依据各个图像区域对应的编码权值，设置每个图像区域对应的量化参数。
[0051] 在实施中，网络设备在确定了待编码帧图像中各个图像区域对应的编码权值后，可以依据该编码权值，对每个图像区域对应的量化参数进行设置。其中，量化参数(可简称为QP)可以用于反映图像细节的压缩情况，QP取值较小时，大部分的图像细节都会被保留，QP取值较大时，一些图像细节将丢失，编码后的图像失真度较高和画面质量下降。故而，对于编码权值较大的图像区域，其所需的编码精细程度较高，则可以将该图像区域对应的量化参数适当缩小；而对于编码权值较小的图像区域，其所需的编码精细程度较低，则可以将该图像区域对应的量化参数适当增大。
[0052] 可选的，基于上述一个图像区域同时对应多个宏块的编码权值的情况，步骤102的处理具体可以如下：对于目标图像区域包含的目标宏块，根据预设的量化参数
波动范围和目标宏块的编码权值，计算目标宏块对应的量化参数。
[0053] 其中，目标宏块可以是目标图像区域包含的任一宏块。
[0054] 在实施中，网络设备在记录了待编码帧图像中各个图像区域包含的所有宏块的编码权值之后，可以根据预设的量化参数波动范围和各个宏块的编码权值，计算出各个宏块对应的量化参数。此处，量化参数波动范围可以是技术人员根据视频帧图像的画质需求预先设定，并配置在网络设备中的。具体来说，可以通过设定不同的量化参数波动范围的最大值和最小值的方式，实现编码后的视频帧图像的平均画质以及各图像区域的精细度差别的调整。例如，若需要较高的平均画质，则可以适当减小量化参数波动范围的最大值；若需要各图像区域的精细度差别较小，则可以适当缩小量化参数波动范围的最大值和最小值间的差值。以目标图像区域包含的目标宏块为例，设定QPi代表目标宏块对应的量化参数，QPmax和QPmin代表量化参数波动范围的最大值和最小值，Bi代表目标宏块的编码权值(取值范围为0至1)，则存在公式：
[0055] QPi＝QPmin+(QPmax-QPmin)×(1-Bi)
[0056] 由上述公式可知：宏块的编码权值越大时，对应的量化参数QP也就越小，当编码权值为1时，宏块对应最小的量化参数，即QPmin；反之，宏块的编码权值越小时，对应的量化参数QP也就越大，编码权值为0时，宏块对应最大的量化参数，即QPmax。
[0057] 步骤103，基于设置后的每个图像区域对应的量化参数，对待编码帧图像进行编码。
[0058] 在实施中，网络设备设置了待编码图像中各个图像区域对应的量化参数后，可以基于该量化参数，对待编码帧图像进行编码处理。具体的，网络设备可以先对待编码帧图像进行离散余弦变换，以将空间域的图像数据变换为
频率域的DCT系数。之后，网络设备可以基于待编码帧图像中变换后的DCT系数执行量化处理，公式可以为：q(x,y)＝round(F(x,y)/Q+0.5)。其中，F(x,y)为经过离散余弦变换后得到的DCT系数；Q为量化步长，与量化参数存在一定的对应关系，量化步长随量化参数的增加而增加；round()函数为四舍五入的取整函数；q(x,y)为经过量化后得到的值。例如某个像素点经过离散余弦变换后的DCT系数为203，量化步长Q取值为28，那么，q(x,y)＝round(205/28+0.5)＝round(7.8214)＝8。进而，网络设备可以对量化后的待编码帧图像进行数据扫描，以将二维矩阵形式的图像数据转换为一维数列形式的图像数据，再对扫描得到的一维数列进行熵编码、封装等处理，从而可以完成对待编码帧图像的编码处理。进一步的，网络设备可以重复执行步骤101-步骤103的处理，以实现对目标视频的视频帧序列中所有帧图像的编码处理。
[0059] 可选的，基于上述一个图像区域同时对应多个宏块的编码权值的情况，步骤103的处理具体可以如下：基于计算得到的每个图像区域中每个宏块对应的量化参数，对待编码帧图像进行编码。
[0060] 在实施中，网络设备在计算得到了待编码帧图像中各个图像区域的所有宏块对应的量化参数之后，可以参照量化参数与量化步长的对应关系，确定每个宏块对应的量化步长，然后按照各个宏块对应的量化步长，完成各个图像区域中包含的各个宏块的量化处理，继而执行后续的扫描、熵编码和封装等处理，以实现对待编码帧图像的编码处理。这样，以不同的量化步长对多个宏块执行不同程度的量化处理，可以进一步提高视频帧图像编码的精细程度，提高编码后的视频画面质量。
[0061] 本发明实施例中，提取目标视频的待编码帧图像，通过图像分析技术确定待编码帧图像中各个图像区域对应的编码权值；依据各个图像区域对应的编码权值，设置每个图像区域对应的量化参数；基于设置后的每个图像区域对应的量化参数，对待编码帧图像进行编码。这样，对同一视频帧图像中的不同图像区域设定不同的量化参数，从而可以对多个图像区域分别实现不同精细程度的编码处理，故而可以提高关键的画面内容的编码质量，并一定程度上降低次要的画面内容的编码质量，使得编码资源能够得到更合理的分配，编码后的视频画面质量和视频观看体验也能整体上得到提升。
[0062] 基于相同的技术构思，本发明实施例还提供了一种视频编码的装置，如图4所示，所述装置包括：
[0063] 图像分析模块401，用于提取目标视频的待编码帧图像，通过图像分析技术确定所述待编码帧图像中各个图像区域对应的编码权值；
[0064] 参数设置模块402，用于依据所述各个图像区域对应的编码权值，设置每个所述图像区域对应的量化参数；
[0065] 视频编码模块403，用于基于设置后的每个所述图像区域对应的量化参数，对所述待编码帧图像进行编码。
[0066] 可选的，所述图像分析模块401，具体用于：
[0067] 通过图像分析技术确定所述待编码帧图像的各个像素点的统计特征值；
[0068] 基于所述各个像素点的统计特征值和预设的特征值选取规则，确定所述各个像素点的编码权值；
[0069] 根据所述各个像素点的编码权值，计算所述待编码帧图像中各个图像区域对应的编码权值。
[0070] 可选的，如图5所示，所述装置还包括：
[0071] 权值记录模块404，用于构造分辨率与所述待编码帧图像相同的二维掩码图，在所述二维掩码图中各像素点对应的位置处记录所述待编码帧图像的各个像素点的编码权值。
[0072] 图6是本发明实施例提供的网络设备的结构示意图。该网络设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上
中央处理器622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对网络设备600中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在网络设备600上执行存储介质630中的一系列指令操作。
[0073] 网络设备600还可以包括一个或一个以上电源629，一个或一个以上有线或无线网络
接口650，一个或一个以上输入输出接口658，一个或一个以上
键盘656，和/或，一个或一个以上
操作系统641，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等等。
[0074] 网络设备600可以包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行上述视频编码的指令。
[0075] 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过
硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是
只读存储器，磁盘或光盘等。
[0076] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
