一种评价视频质量的方法及装置
阅读：943发布：2024-01-22
专利汇可以提供一种评价视频质量的方法及装置专利检索，专利查询，专利分析的服务。并且本 发明 提出一种评价视频 质量 的方法及装置。一种评价视频质量的方法，包括：从立体视频中提取得到设定数量的第一视 角 视频 帧 ，以及与所述设定数量的第一视角视频帧相对应的设定数量的第二视角视频帧；利用经过训练的预设的二路深度 卷积神经网络 对所述设定数量的第一视角视频帧和所述设定数量的第二视角视频帧进行质量评价，得到所述立体视频的质量评价结果。上述立体视频质量评价过程不需要人工提取视频特征，可完全实现自动的视频质量评价，可以提高视频质量评价的准确度和自动化 水 平。，下面是一种评价视频质量的方法及装置专利的具体信息内容。
1.一种评价视频质量的方法，其特征在于，包括：
从立体视频中提取得到设定数量的第一视角视频帧，以及与所述设定数量的第一视角视频帧相对应的设定数量的第二视角视频帧；
利用经过训练的预设的二路深度卷积神经网络对所述设定数量的第一视角视频帧和所述设定数量的第二视角视频帧进行质量评价，得到所述立体视频的质量评价结果。
2.根据权利要求1所述的方法，其特征在于，在从立体视频中提取得到设定数量的第一视角视频帧和设定数量的第二视角视频帧后，该方法还包括：
按照预设的图像划分方法，分别对所述设定数量的第一视角视频帧和设定数量的第二视角视频帧进行图像块划分处理。
3.根据权利要求2所述的方法，其特征在于，所述利用经过训练的预设的二路深度卷积神经网络对所述设定数量的第一视角视频帧和所述设定数量的第二视角视频帧进行质量评价，得到所述立体视频的质量评价结果，包括：
利用经过训练的预设的二路深度卷积神经网络，分别对每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对进行质量评价，得到每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对的质量分数；
对所述每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对的质量分数进行空域平均化处理，得到每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧的质量分数；
对所述每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧的质量分数进行时域平均化处理，得到所述立体视频的质量评价结果。
4.根据权利要求1至3中任一权利要求所述的方法，其特征在于，对所述预设的二路深度卷积神经网络的训练过程包括：
循环执行以下操作，直到计算得到的质量评价损失值小于设定阈值：
将预设的立体视频的第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧输入预设的二路深度卷积神经网络，得到所述立体视频的视频帧质量分数；
根据所述视频帧质量分数和所述视频帧的标准质量分数，计算得到质量评价损失值；
如果所述质量评价损失值不小于设定阈值，则利用所述质量评价损失值对所述预设的二路深度卷积神经网络进行反向参数更新。
5.根据权利要求1所述的方法，其特征在于，所述从立体视频中提取得到设定数量的第一视角视频帧和设定数量的第二视角视频帧，包括：
从立体视频的第一视角视频序列中，提取设定数量的时域关键帧得到设定数量的第一视角视频帧，以及从所述立体视频的第二视角视频序列中，提取与所述设定数量的第一视角视频帧对应的第二视角视频帧，得到设定数量的第二视角视频帧。
6.一种评价视频质量的装置，其特征在于，包括：
视频帧提取单元，用于从立体视频中提取得到设定数量的第一视角视频帧，以及与所述设定数量的第一视角视频帧相对应的设定数量的第二视角视频帧；
视频质量评价单元，用于利用经过训练的预设的二路深度卷积神经网络对所述设定数量的第一视角视频帧和所述设定数量的第二视角视频帧进行质量评价，得到所述立体视频的质量评价结果。
7.根据权利要求6所述的装置，其特征在于，该装置还包括：
视频帧划分单元，用于按照预设的图像划分方法，分别对所述设定数量的第一视角视频帧和设定数量的第二视角视频帧进行图像块划分处理。
8.根据权利要求7所述的装置，其特征在于，所述视频质量评价单元利用经过训练的预设的二路深度卷积神经网络对所述设定数量的第一视角视频帧和所述设定数量的第二视角视频帧进行质量评价，得到所述立体视频的质量评价结果时，具体用于：
利用经过训练的预设的二路深度卷积神经网络，分别对每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对进行质量评价，得到每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对的质量分数；
对所述每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对的质量分数进行空域平均化处理，得到每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧的质量分数；
对所述每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧的质量分数进行时域平均化处理，得到所述立体视频的质量评价结果。
9.根据权利要求6至8中任一权利要求所述的装置，其特征在于，所述视频质量评价单元还用于对所述预设的二路深度卷积神经网络进行训练；
所述视频质量评价单元对所述预设的二路深度卷积神经网络的训练时，具体用于：
循环执行以下操作，直到计算得到的质量评价损失值小于设定阈值：
将预设的立体视频的第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧输入预设的二路深度卷积神经网络，得到所述立体视频的视频帧质量分数；
根据所述视频帧质量分数和所述视频帧的标准质量分数，计算得到质量评价损失值；
如果所述质量评价损失值不小于设定阈值，则利用所述质量评价损失值对所述预设的二路深度卷积神经网络进行反向参数更新。
10.根据权利要求6所述的装置，其特征在于，所述视频帧提取单元从立体视频中提取得到设定数量的第一视角视频帧和设定数量的第二视角视频帧时，具体用于：
从立体视频的第一视角视频序列中，提取设定数量的时域关键帧得到设定数量的第一视角视频帧，以及从所述立体视频的第二视角视频序列中，提取与所述设定数量的第一视角视频帧对应的第二视角视频帧，得到设定数量的第二视角视频帧。
一种评价视频质量的方法及装置
技术领域
背景技术
[0002] 随着三维显示设备的快速发展，我们可以通过三维电视(Three-Dimensional Television,3DTV)观看立体视频。立体视频的左右视可以综合产生深度感知，从而给观看者带来一定程度上的浸入式体验。但是，在整个立体视频处理过程中，例如在采集、压缩、传输、重建和显示等过程中，原始立体视频会受到多种质量损伤。因此，设计准确的算法来自动评价和立体视频的体验质量对于整个立体视频处理过程是至关重要的。
[0003] 目前关于立体视频质量评价的研究大多是基于全参考的算法，也就是从原始未失真立体视频和失真立体视频中提取手工特征评价失真立体视频的质量。然而在大多数实际应用中，这种全参考算法所需要的未失真立体视频信息通常不能获得，同时提取手工特征不够准确和鲁棒，并且需要大量的先验知识，评价过程的自动化水平不够高。
发明内容
[0005] 一种评价视频质量的方法，包括：
[0008] 优选地，在从立体视频中提取得到设定数量的第一视角视频帧和设定数量的第二视角视频帧后，该方法还包括：
[0009] 按照预设的图像划分方法，分别对所述设定数量的第一视角视频帧和设定数量的第二视角视频帧进行图像块划分处理。
[0010] 优选地，所述利用经过训练的预设的二路深度卷积神经网络对所述设定数量的第一视角视频帧和所述设定数量的第二视角视频帧进行质量评价，得到所述立体视频的质量评价结果，包括：
[0011] 利用经过训练的预设的二路深度卷积神经网络，分别对每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对进行质量评价，得到每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对的质量分数；
[0012] 对所述每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对的质量分数进行空域平均化处理，得到每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧的质量分数；
[0013] 对所述每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧的质量分数进行时域平均化处理，得到所述立体视频的质量评价结果。
[0014] 优选地，对所述预设的二路深度卷积神经网络的训练过程包括：
[0015] 循环执行以下操作，直到计算得到的质量评价损失值小于设定阈值：
[0016] 将预设的立体视频的第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧输入预设的二路深度卷积神经网络，得到所述立体视频的视频帧质量分数；
[0017] 根据所述视频帧质量分数和所述视频帧的标准质量分数，计算得到质量评价损失值；
[0018] 如果所述质量评价损失值不小于设定阈值，则利用所述质量评价损失值对所述预设的二路深度卷积神经网络进行反向参数更新。
[0019] 优选地，所述从立体视频中提取得到设定数量的第一视角视频帧和设定数量的第二视角视频帧，包括：
[0020] 从立体视频的第一视角视频序列中，提取设定数量的时域关键帧得到设定数量的第一视角视频帧，以及从所述立体视频的第二视角视频序列中，提取与所述设定数量的第一视角视频帧对应的第二视角视频帧，得到设定数量的第二视角视频帧。
[0021] 一种评价视频质量的装置，包括：
[0022] 视频帧提取单元，用于从立体视频中提取得到设定数量的第一视角视频帧，以及与所述设定数量的第一视角视频帧相对应的设定数量的第二视角视频帧；
[0023] 视频质量评价单元，用于利用经过训练的预设的二路深度卷积神经网络对所述设定数量的第一视角视频帧和所述设定数量的第二视角视频帧进行质量评价，得到所述立体视频的质量评价结果。
[0024] 优选地，该装置还包括：
[0025] 视频帧划分单元，用于按照预设的图像划分方法，分别对所述设定数量的第一视角视频帧和设定数量的第二视角视频帧进行图像块划分处理。
[0026] 优选地，所述视频质量评价单元利用经过训练的预设的二路深度卷积神经网络对所述设定数量的第一视角视频帧和所述设定数量的第二视角视频帧进行质量评价，得到所述立体视频的质量评价结果时，具体用于：
[0027] 利用经过训练的预设的二路深度卷积神经网络，分别对每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对进行质量评价，得到每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对的质量分数；
[0028] 对所述每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对的质量分数进行空域平均化处理，得到每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧的质量分数；
[0029] 对所述每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧的质量分数进行时域平均化处理，得到所述立体视频的质量评价结果。
[0030] 优选地，所述视频质量评价单元还用于对所述预设的二路深度卷积神经网络进行训练；
[0031] 所述视频质量评价单元对所述预设的二路深度卷积神经网络的训练时，具体用于：
[0032] 循环执行以下操作，直到计算得到的质量评价损失值小于设定阈值：
[0033] 将预设的立体视频的第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧输入预设的二路深度卷积神经网络，得到所述立体视频的视频帧质量分数；
[0034] 根据所述视频帧质量分数和所述视频帧的标准质量分数，计算得到质量评价损失值；
[0035] 如果所述质量评价损失值不小于设定阈值，则利用所述质量评价损失值对所述预设的二路深度卷积神经网络进行反向参数更新。
[0036] 优选地，所述视频帧提取单元从立体视频中提取得到设定数量的第一视角视频帧和设定数量的第二视角视频帧时，具体用于：
[0037] 从立体视频的第一视角视频序列中，提取设定数量的时域关键帧得到设定数量的第一视角视频帧，以及从所述立体视频的第二视角视频序列中，提取与所述设定数量的第一视角视频帧对应的第二视角视频帧，得到设定数量的第二视角视频帧。
[0038] 本发明在评价立体视频的视频质量时，先从立体视频中提取设定数量的第一视角视频帧和第二视角视频帧，然后将提取的第一视角视频帧和第二视角视频帧输入经过训练的二路深度卷积神经网络进行质量评价，得到对上述立体视频的质量评价结果。本发明提出的评价视频质量的方法依靠经过训练的深度卷积神经网络来实现对立体视频的视频质量评价，上述立体视频质量评价过程不需要人工提取视频特征，可完全实现自动的视频质量评价，可以提高视频质量评价的准确度和自动化水平。附图说明
[0039] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0040] 图1是本发明实施例提供的一种评价视频质量的方法的流程示意图；
[0041] 图2是本发明实施例提供的二路深度卷积神经网络的架构示意图；
[0042] 图3是本发明实施例提供的训练二路深度卷积神经网络的流程示意图；
[0043] 图4是本发明实施例提供的另一种评价视频质量的方法的流程示意图；
[0044] 图5是本发明实施例提供的从视频序列中提取关键视频帧的示意图；
[0045] 图6是本发明实施例提供的一种评价视频质量的装置的结构示意图；
[0046] 图7是本发明实施例提供的另一种评价视频质量的装置的结构示意图。
具体实施方式
[0047] 本发明实施例技术方案适用于对立体视频质量进行评价的应用场景。采用本发明实施例技术方案，能够自动化的评价立体视频的质量。
[0048] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0049] 本发明实施例公开了一种评价视频质量的方法，参见图1所示，该方法包括：
[0050] S101、从立体视频中提取得到设定数量的第一视角视频帧，以及与所述设定数量的第一视角视频帧相对应的设定数量的第二视角视频帧；
[0051] 具体的，立体视频是由左右视角的平面视频序列构成的。因此，任意的立体视频都包括左右视角视频序列，即包括两个视角的视频序列，在本发明实施例中以第一视角视频序列和第二视角视频序列加以区分。
[0052] 在对立体视频进行视频质量评价时，实际上是评价立体视频的每一视频帧的视频质量。在实际视频评价过程中，可以通过评价立体视频的每一视角的视频序列的每一视频帧的视频质量，来确定整个立体视频的视频质量。
[0053] 在本发明实施例中，从立体视频的每一视角的视频序列中，提取一定数量的视频关键帧，通过评价提取的视频关键帧的视频质量，来代表整个视角的视频序列的视频质量，进一步综合提取的视频关键帧的视频质量，确定整个立体视频的视频质量。
[0054] S102、利用经过训练的预设的二路深度卷积神经网络对所述设定数量的第一视角视频帧和所述设定数量的第二视角视频帧进行质量评价，得到所述立体视频的质量评价结果。
[0055] 具体的，上述预设的二路深度卷积神经网络是指本发明实施例专门设置的用于评价立体视频的左右视角视频序列的视频质量的二路深度卷积神经网络。当搭建起该二路深度卷积神经网络后，利用大量的样本数据对其进行训练，具体为训练其对输入的视频序列进行质量评价，并根据评价结果调整自身参数，使评价更准确。
[0056] 当训练上述二路深度卷积神经网络的评价准确度达到要求时，利用该二路深度卷积神经网络分别对立体视频的第一视角视频帧和第二视角视频帧进行质量评价，得到对整个立体视频的质量评价结果。
[0057] 本发明实施例技术方案采用经过训练的二路深度卷积神经网络对立体视频的左右视角视频进行质量评价，从而实现对立体视频质量的有效评价。上述立体视频质量评价过程不需要人工提取视频特征，可完全实现自动的视频质量评价，可以提高视频质量评价的准确度和自动化水平。
[0058] 可以理解，本发明实施例技术方案借助二路深度卷积神经网络来实现对立体视频的质量评价。评价过程中不需要大量的先验知识提取手工特征，完全根据设计的深度神经网络进行特征学习，从而进行无参考立体视频的质量评价。
[0059] 本发明实施例所采用的二路深度卷积神经网络的结构框架如图2所示。图2中所示的二路深度卷积神经网络中的每一路深度卷积神经网络的结构一致，参数也一致，是完全相同的深度卷积神经网络。该深度卷积神经网络由AlexNet进行改动得到。每一路深度卷积神经网络从输入端到输出端依次包括卷积层、池化层、卷积层、池化层、三个卷积层、池化层，全连接层。两路深度卷积神经网络的全连接层再通过一个融合层连接。其中，为了适配对视频图像的计算处理需求，本发明实施例将上述深度卷积神经网络的卷积层的卷积核设置为3×3大小。
[0060] 在架构起图2所示的二路深度卷积神经网络后，需要对二路深度卷积神经网络进行训练，以使得上述二路深度卷积神经网络能够自动对输入的立体视频进行质量评价。
[0061] 参见图3所示，本发明实施例提出的对二路深度卷积神经网络的训练过程具体包括：
[0062] S301、将预设的立体视频的第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧输入二路深度卷积神经网络，得到所述立体视频的视频帧质量分数；
[0063] 具体的，立体视频的任意一帧图像包括左右两个视角的视频帧，本发明实施例以第一视角视频帧和第二视角视频帧加以区分。
[0064] 在本发明实施例中，对立体视频任意一帧视频帧的质量评价，都需要分别对该视频帧所包含的第一视角视频帧和第二视角视频帧进行质量评价，将评价结果综合起来即得到该立体视频的这一帧视频帧的质量评价。对立体视频的质量评价，都是通过对立体视频的视频帧的质量评价实现的。将立体视频的第一视角视频帧和与该第一视角视频帧对应的第二视角视频帧输入二路深度卷积神经网络后，每一路深度卷积神经网络分别对输入的视频帧进行一系列的卷积和池化处理，最后分别得到上述相对应的两帧视频帧的视频帧质量分数。
[0065] 还可以进一步对相互对应的第一视角视频帧和第二视角视频帧进行图像块划分，将相互对应的两个视频帧划分为多组相互对应的图像块对。例如，将第一视角视频帧划分为多个图像块ai,j，i＝1,2,…,m；j＝1,2,…,n。按照相同的图像块划分方式，将第二视角视频帧划分为多个图像块bi,j，i＝1,2,…,m；j＝1,2,…,n。则相对应的ai,j与bi,j组成图像块对。采用上述二路深度卷积神经网络分别对第一视角视频帧和第二视角视频帧中包含的相互对应的图像块对进行质量评价，在对所有图像块对的质量评价结果进行空域平均，即可得到相互对应的第一视角视频帧和第二视角视频帧的质量评价结果。
[0066] 需要说明的是，训练样本数量是影响对深度卷积神经网络的训练效果的关键因素。对深度卷积神经网络的训练需要有大量的训练样本，在现有的立体视频质量评价过程中，恰恰存在训练数据量小的问题，导致对网络的训练不充分，从而导致质量评价不准确。采用本发明实施例提出的对立体视频序列进行图像块划分的方法，可以得到足够数量的训练样本，改善对网络的训练效果，提高质量评价的准确性。因此，本发明实施例在实施本发明实施例技术方案时，对从立体视频中提取的关键视频帧进行图像块划分处理，以改善对二路深度卷积神经网络的训练效果。
[0067] 另外需要说明的是，对上述二路深度卷积神经网络进行训练时的视频帧处理过程，要与实际使用上述二路深度卷积神经网络进行视频质量评价时的视频帧处理过程相同，这样才能保证经过训练的深度卷积神经网络发挥经过训练具备的计算处理能力。
[0068] S302、根据所述视频帧质量分数和所述视频帧的标准质量分数，计算得到质量评价损失值；
[0069] 具体的，在利用预先准备的立体视频的视频帧对上述二路深度卷积神经网络进行训练时，是已知预先准备的立体视频的视频帧的标准质量分数的。当上述二路深度卷积神经网络对输入的视频帧进行质量评价得到该视频帧质量分数后，将得到的视频帧质量分数与该视频帧的标准质量分数进行比对，计算得到质量评价损失值。该质量评价损失值为上述二路深度卷积神经网络评价得到的质量分数与标准质量分数的差值，用于表示上述二路深度卷积神经网络对输入的视频帧进行质量评价的误差。
[0070] 进一步的，还可以计算各个图像块对，或立体视频的视频帧的质量分数与标注质量分数的最小均方误差作为立体视频的质量评价损失值：
[0071]
[0072] 其中qi是该二路深度神经网络的输出，即图像块对或视频帧的质量分数；yi是对应的立体视频标准质量分数，且i＝1,2,...,p表示总共有p个训练图像块对样本或视频帧样本。
[0073] 如果所述质量评价损失值不小于设定阈值，则执行步骤S303、利用所述质量评价损失值对所述预设的二路深度卷积神经网络进行反向参数更新；
[0074] 具体的，步骤S302中计算得到的质量评价损失值不小于设定阈值，则说明上述二路深度卷积神经网络的误差过大，此时利用得到的质量评价损失值对上述二路深度卷积神经网络进行反向的参数更新，调整二路深度卷积神经网络的参数，使计算误差更小。
[0075] 然后返回执行步骤S301～S303，直到计算得到的质量评价损失值小于设定阈值。此时，可以认为上述二路深度卷积神经网络的质量评价结果已经与标准质量分数很接近，即上述二路深度卷积神经网络的质量评价已经足够准确，上述二路深度卷积神经网络具备了准确评价视频帧质量的能力。
[0076] 经过上述训练过程训练后的二路深度卷积神经网络可以用来对任意的立体视频进行视频质量评价，即按照本发明实施例技术方案对任意的立体视频进行视频质量评价。参见图4所示，本发明实施例提出的评价视频质量的方法具体包括：
[0077] S401、从立体视频的第一视角视频序列中，提取设定数量的时域关键帧得到设定数量的第一视角视频帧，以及从所述立体视频的第二视角视频序列中，提取与所述设定数量的第一视角视频帧对应的第二视角视频帧，得到设定数量的第二视角视频帧；
[0078] 具体的，立体视频是由左右视角的平面视频序列构成的。因此，任意的立体视频都包括左右视角视频序列，即包括两个视角的视频序列，在本发明实施例中以第一视角视频序列和第二视角视频序列加以区分。
[0079] 在对立体视频进行视频质量评价时，实际上是评价立体视频的每一视频帧的视频质量。在实际视频评价过程中，可以通过评价立体视频的每一视角的视频序列的每一视频帧的视频质量，来确定整个立体视频的视频质量。
[0080] 在本发明实施例中，从立体视频的每一视角的视频序列中，提取一定数量的视频关键帧，通过评价提取的视频关键帧的视频质量，来代表整个视角的视频序列的视频质量，进一步综合提取的视频关键帧的视频质量，确定整个立体视频的视频质量。
[0081] 在从视频序列中提取关键视频帧时，要尽量提取能代表视频序列整体的关键视频帧，对其进行质量评价才能代表对整个视频序列的质量评价。理论上，从视频序列中提取时域上均匀分布的视频帧，能够代表整个视频序列的整体情况。进一步的，由于立体视频包含两个视角的视频序列，因此要分别从两个视角的视频序列中提取关键视频帧，并且，应当保证从两个视角的视频序列中提取出的关键视频帧是相互对应的关键视频帧。
[0082] 在从立体视频中提取关键视频帧时，本发明实施例从立体视频的第一视角视频序列中，提取设定数量的时域关键帧得到设定数量的第一视角视频帧。具体的，如图5所示，首先提取第一视角视频序列的第一帧和最后一帧，然后提取第一帧和最后一帧的中间帧，然后再提取第一帧和中间帧的中间帧，以及中间帧和最后一帧的中间帧，以此类推提取第一视角视频帧的时域上均匀分布的关键视频帧，得到设定数量的第一视角视频帧。在上述提取第一视角关键帧的同时，采用相同的视频帧提取方法，从第二视角视频序列中提取同样数量的第二视角视频帧，则提取出的第二视角视频帧是与提取出的第一视角视频帧相对应的视频帧。
[0083] S402、按照预设的图像划分方法，分别对提取出的设定数量的第一视角视频帧和设定数量的第二视角视频帧进行图像块划分处理；
[0084] 具体的，从立体视频的两个视角的视频序列中分别提取出关键视频帧后，本发明实施例进一步对提取的各个关键视频帧进行图像块划分处理。例如，将从立体视频的第一视角视频序列中提取的第一个关键视频帧划分为64×64个图像块，相应的，将从立体视频的第二视角视频序列中提取的第一个关键视频帧划分为64×64个图像块，则从立体视频的第一视角视频序列中提取的第一个关键视频帧的各个图像块与从立体视频的第二视角视频序列中提取的第一个关键视频帧的各个图像块构成相对应的图像块对。按照上述方法，分别对提取的设定数量的第一视角视频帧和设定数量的第二视角视频帧进行图像块划分处理，得到每个第一视角视频帧和与该第一视角视频帧对应的第二视角视频帧中的每组图像块对。
[0085] S403、利用经过训练的预设的二路深度卷积神经网络，分别对每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对进行质量评价，得到每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对的质量分数；
[0086] 具体的，通过执行步骤S402将第一视角视频帧和对应的第二视角视频帧进行图像块划分得到相互对应的两个图像帧中的各组图像块对后，将每组图像块对分别输入二路深度卷积神经网络。
[0087] 例如，假设将第一视角视频帧划分为64×64个图像块ai,j，i＝1,2,…,64；j＝1,2,…,64。按照相同的图像块划分方式，将第二视角视频帧划分为64×64个图像块bi,j，i＝
1,2,…,64；j＝1,2,…,64。则相对应的ai,j与bi,j组成图像块对，比如a1,1与b1,1构成一个图像块对，a1,2与b1,2构成一个图像块对，…，a64,64与b64,64构成一个图像块对。在将图像块对输入二路深度卷积神经网络时，将第一视角视频帧中的图像块(例如a1,1)输入一路深度卷积神经网络，同时将与上述第一视角视频帧中的图像块对应的第二视角视频帧中的图像块(例如b1,1)输入另一路深度卷积神经网络，两路深度卷积神经网络同时对输入的图像块进行质量评价，得到输入二路深度卷积神经网络的这一组图像块对(a1,1与b1,1)的质量分数。
1,2,…,64；j＝1,2,…,64。则相对应的ai,j与bi,j组成图像块对，比如a1,1与b1,1构成一个图像块对，a1,2与b1,2构成一个图像块对，…，a64,64与b64,64构成一个图像块对。在将图像块对输入二路深度卷积神经网络时，将第一视角视频帧中的图像块(例如a1,1)输入一路深度卷积神经网络，同时将与上述第一视角视频帧中的图像块对应的第二视角视频帧中的图像块(例如b1,1)输入另一路深度卷积神经网络，两路深度卷积神经网络同时对输入的图像块进行质量评价，得到输入二路深度卷积神经网络的这一组图像块对(a1,1与b1,1)的质量分数。
[0088] 按照上述处理方法，分别将每个第一视角视频帧和与第一视角视频帧对应的第二视角视频帧中的每组图像块对输入上述经过训练的二路深度卷积神经网络进行质量评价，得到每个第一视角视频帧和与第一视角视频帧对应的第二视角视频帧中的每组图像块对的质量分数。
[0089] S404、对每个第一视角视频帧和与第一视角视频帧对应的第二视角视频帧中的每组图像块对的质量分数进行空域平均化处理，得到每个第一视角视频帧和与第一视角视频帧对应的第二视角视频帧的质量分数；
[0090] 具体的，对于相互对应的第一视角视频帧和第二视角视频帧中包含的所有的图像块对的质量分数，本发明实施例对其进行空域平均化处理，则可以得到各组相互对应的第一视角视频帧和第二视角视频帧的质量分数。
[0091] 具体可按照如下公式对相互对应的第一视角视频帧和第二视角视频帧中包含的所有的图像块对的质量分数进行空域平均化处理：
[0092]
[0093] 其中Qj是第j帧视频帧的质量分数，j＝1,2,...,m表示每个时域上的视频帧位置；qi是深度卷积神经网络的输出，p表示视频帧所包含的图像块数量。
[0094] S405、对所述每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧的质量分数进行时域平均化处理，得到所述立体视频的质量评价结果。
[0095] 具体的，通过步骤S404计算得到立体视频的每个视角的各个关键视频帧的质量分数后，对每个视角的各个关键视频帧的质量分数进行时域平均化处理，得到立体视频的各个视角的视频序列的质量分数，即得到该立体视频的质量评价结果。
[0096] 具体可按照如下公式对任意视角视频帧中的各个关键视频帧的质量分数进行时域平均化处理：
[0097]
[0098] 其中Qj是视频序列的第j帧关键视频帧的质量分数；Q表示视频序列的质量分数；m表示从视频序列中提取出的关键视频帧的数量。
[0099] 通过上述介绍可见，本发明实施例提出的视频质量评价方法，通过对立体视频序列进行视频帧提取和图像块划分，从而得到大量的训练样本数据。采用上述训练样本数据对二路深度卷积神经网络进行训练，使其具备评价视频质量的能力。然后再采用经过训练的二路深度卷积神经网络对立体视频的左右视角视频进行质量评价，从而实现对立体视频质量的有效评价。上述立体视频质量评价过程不需要人工提取视频特征，可完全实现自动的视频质量评价，可以提高视频质量评价的准确度和自动化水平。
[0100] 本发明实施例还公开了一种评价视频质量的装置，参见图6所示，该装置包括：
[0101] 视频帧提取单元100，用于从立体视频中提取得到设定数量的第一视角视频帧，以及与所述设定数量的第一视角视频帧相对应的设定数量的第二视角视频帧；
[0102] 视频质量评价单元110，用于利用经过训练的预设的二路深度卷积神经网络对所述设定数量的第一视角视频帧和所述设定数量的第二视角视频帧进行质量评价，得到所述立体视频的质量评价结果。
[0103] 可选的，在本发明的另一个实施例中，参见图7所示，该装置还包括：
[0104] 视频帧划分单元120，用于按照预设的图像划分方法，分别对所述设定数量的第一视角视频帧和设定数量的第二视角视频帧进行图像块划分处理。
[0105] 可选的，在本发明的另一个实施例中，视频质量评价单元110利用经过训练的预设的二路深度卷积神经网络对所述设定数量的第一视角视频帧和所述设定数量的第二视角视频帧进行质量评价，得到所述立体视频的质量评价结果时，具体用于：
[0106] 利用经过训练的预设的二路深度卷积神经网络，分别对每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对进行质量评价，得到每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对的质量分数；
[0107] 对所述每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧中的每组图像块对的质量分数进行空域平均化处理，得到每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧的质量分数；
[0108] 对所述每个第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧的质量分数进行时域平均化处理，得到所述立体视频的质量评价结果。
[0109] 可选的，在本发明的另一个实施例中，视频质量评价单元110还用于对所述预设的二路深度卷积神经网络进行训练；
[0110] 视频质量评价单元110对所述预设的二路深度卷积神经网络的训练时，具体用于：
[0111] 循环执行以下操作，直到计算得到的质量评价损失值小于设定阈值：
[0112] 将预设的立体视频的第一视角视频帧和与所述第一视角视频帧对应的第二视角视频帧输入预设的二路深度卷积神经网络，得到所述立体视频的视频帧质量分数；
[0113] 根据所述视频帧质量分数和所述视频帧的标准质量分数，计算得到质量评价损失值；
[0114] 如果所述质量评价损失值不小于设定阈值，则利用所述质量评价损失值对所述预设的二路深度卷积神经网络进行反向参数更新。
[0115] 可选的，在本发明的另一个实施例中，视频帧提取单元100从立体视频中提取得到设定数量的第一视角视频帧和设定数量的第二视角视频帧时，具体用于：
[0116] 从立体视频的第一视角视频序列中，提取设定数量的时域关键帧得到设定数量的第一视角视频帧，以及从所述立体视频的第二视角视频序列中，提取与所述设定数量的第一视角视频帧对应的第二视角视频帧，得到设定数量的第二视角视频帧。
[0117] 具体的，上述各实施例中的各个单元的具体工作内容，请参见上述方法实施例的内容，此处不再赘述。
[0118] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种引入对抗训练的基于内容的实例检索方法 | 2021-01-08 | 2 |
| 一种基于人工智能的消化内镜检查质量自动评估方法和系统 | 2021-04-02 | 2 |
| 一种面向嵌入式应用的深度对抗网络优化方法 | 2022-12-14 | 1 |
| 一种基于改进卷积神经网络的焊缝缺陷识别方法 | 2022-09-21 | 1 |
| 卷积神经网络压缩方法及人脸检测方法 | 2022-10-24 | 0 |
| 一种面向智慧社区的多摄像机联动多目标追踪方法及系统 | 2020-09-04 | 0 |
| 一种实现神经网络模型的装置及方法 | 2023-06-24 | 0 |
| 神经网络分类 | 2020-09-03 | 1 |
| 一种无切分的脱机手写汉字文本识别方法 | 2023-07-25 | 0 |
| 关键点检测、图像处理方法、装置、电子设备及存储介质 | 2020-05-27 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈