一种图像质量评估方法、装置、电子设备及计算机可读存储介质
阅读：604发布：2021-06-09
专利汇可以提供一种图像质量评估方法、装置、电子设备及计算机可读存储介质专利检索，专利查询，专利分析的服务。并且本 申请 公开了一种图像 质量 评估方法、装置、 电子 设备及计算机可读存储介质，包括：首先获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像；接着确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度；其次根据所述相似度，确定所述每张样本图像的质量分数；然后将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型；最后根据所述图像质量评估模型，对输入图像进行质量评估。采用本申请 实施例 ，可以降低图像质量评估的复杂度、提高图像质量评估的精确度。，下面是一种图像质量评估方法、装置、电子设备及计算机可读存储介质专利的具体信息内容。
1.一种图像质量评估方法，其特征在于，所述方法包括：
获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像，所述至少一张样本图像中的每张样本图像与所述多张标准图像中的至少一张标准图像包含相同元素；
确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度；
根据所述相似度，确定所述每张样本图像的质量分数；
将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型；
根据所述图像质量评估模型，对输入图像进行质量评估。
2.如权利要求1所述的方法，其特征在于，所述确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度包括：
获取所述每张样本图像的第一特征信息、以及所述每张标准图像的第二特征信息；
根据所述第一特征信息和所述第二特征信息，确定所述相似度。
3.如权利要求1或2所述的方法，其特征在于，所述根据所述相似度，确定所述每张样本图像的质量分数包括：
确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像；
计算所述每张样本图像与多张所述目标图像的所述相似度的平均值作为所述质量分数。
4.如权利要求1或2所述的方法，其特征在于，所述根据所述相似度，确定所述每张样本图像的质量分数包括：
确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像、以及与所述每张样本图像包含不同元素的非目标图像；
计算所述每张样本图像与多张所述目标图像的所述相似度的第一平均值、以及所述每张样本图像与多张所述非目标图像的所述相似度的第二平均值；
计算所述第一平均值与所述第二平均值的差作为所述质量分数。
5.如权利要求1或2所述的方法，其特征在于，所述根据所述相似度，确定所述每张样本图像的质量分数包括：
确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像、以及与所述每张样本图像包含不同元素的非目标图像；
确定所述每张样本图像与所述目标图像的所述相似度在所述每张样本图像与多张所述非目标图像的所述相似度中的排序名次；
根据所述排序名次，确定所述质量分数。
6.如权利要求1或2所述的方法，其特征在于，所述根据所述相似度，确定所述每张样本图像的质量分数包括：
获取第一类图像的第一数量、第二类图像的第二数量、第三类图像的第三数量、以及第四类图像的第四数量，所述第一类图像为与所述每张样本图像的所述相似度大于预设阈值且与所述每张样本图像包含相同元素的标准图像、所述第二类图像为与所述每张样本图像的所述相似度大于所述预设阈值且与所述每张样本图像包含不同元素的标准图像、所述第三类图像为与所述每张样本图像的所述相似度不大于所述预设阈值且与所述每张样本图像包含不同元素的标准图像、以及所述第四类图像为与所述每张样本图像的所述相似度不大于所述预设阈值、且与所述每张样本图像包含相同元素的标准图像；
根据所述第一数量和所述第四数量确定第一比率、以及根据所述第二数量和所述第三数量确定第二比率；
根据所述第一比率和所述第二比率，确定所述质量分数。
7.如权利要求6所述的方法，其特征在于，所述根据所述图像质量评估模型，对输入图像进行质量评估包括：
确定所述输入图像的目标区域；
根据所述图像质量评估模型，确定所述目标区域的所述质量分数。
8.一种图像质量评估装置，其特征在于，所述装置包括：
获取模块，用于获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像，所述至少一张样本图像中的每张样本图像与所述多张标准图像中的至少一张标准图像包含相同元素；
确定模块，用于确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度；
所述确定模块，还用于根据所述相似度，确定所述每张样本图像的质量分数；
训练模块，用于将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型；
评估模块，用于根据所述图像质量评估模型，对输入图像进行质量评估。
9.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和总线；
所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；
所述存储器存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1-7任一项所述的图像质量评估方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任一项所述的图像质量评估方法。
一种图像质量评估方法、装置、电子设备及计算机可读存储
介质
技术领域
背景技术
[0002] 在对视频中的目标进行识别时，针对同一目标可以捕获到多张图片。为了减少计算量，需要从多张图像中选择一张质量最好的图像进行识别，因此需对多张图像进行质量评估。目前，在常用的图像质量评估方法中首先对多个评估维度分别进行评估，然后将每个评估维度的评估结果进行加权求和作为图像的质量评估结果。其中，多个评估维度包括光照度、模糊度、噪声和对比度等等。然而对有些评估维度的衡量存在困难，比如模糊度，并且如何选择各维度的权重尚缺乏灵活可信的指导原则。因此，常规的图像质量评估方法的实现在一定程度上需依靠人为假设和经验判断，导致图像质量评估复杂度高、评估结果的精确度低。发明内容
[0003] 本申请实施例提供一种图像质量评估方法、装置、设备及计算机可读存储介质，可以降低图像质量评估的复杂度、提高图像质量评估的精确性。
[0004] 本申请第一方面提供了一种图像质量评估方法，包括：
[0005] 获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像，所述至少一张样本图像中的每张样本图像与所述多张标准图像中的至少一张标准图像包含相同元素；
[0006] 确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度；
[0007] 根据所述相似度，确定所述每张样本图像的质量分数；
[0008] 将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型；
[0009] 根据所述图像质量评估模型，对输入图像进行质量评估。
[0010] 其中，所述根据所述图像质量评估模型，对输入图像进行质量评估之后，还包括：
[0011] 根据多张所述输入图像的质量评估结果，从多张所述输入图像中选择质量最优的图像。
[0012] 相应地，本申请第二方面提供了一种图像质量评估装置，包括：
[0013] 获取模块，用于获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像，所述至少一张样本图像中的每张样本图像与所述多张标准图像中的至少一张标准图像包含相同元素；
[0014] 确定模块，用于确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度；
[0015] 所述确定模块，还用于根据所述相似度，确定所述每张样本图像的质量分数；
[0016] 训练模块，用于将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型；
[0017] 评估模块，用于根据所述图像质量评估模型，对输入图像进行质量评估。其中，所述确定模块还用于：
[0018] 获取所述每张样本图像的第一特征信息、以及所述每张标准图像的第二特征信息；
[0019] 根据所述第一特征信息和所述第二特征信息，确定所述相似度。
[0020] 其中，所述确定模块还用于：
[0021] 确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像；
[0022] 计算所述每张样本图像与多张所述目标图像的所述相似度的平均值作为所述质量分数。
[0023] 其中，所述确定模块还用于：
[0024] 确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像、以及与所述每张样本图像包含不同元素的非目标图像；
[0025] 计算所述每张样本图像与多张所述目标图像的所述相似度的第一平均值、以及所述每张样本图像与多张所述非目标图像的所述相似度的第二平均值；
[0026] 计算所述第一平均值与所述第二平均值的差作为所述质量分数。
[0027] 其中，所述确定模块还用于：
[0028] 确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像、以及与所述每张样本图像包含不同元素的非目标图像；
[0029] 确定所述每张样本图像与所述目标图像的所述相似度在所述每张样本图像与多张所述非目标图像的所述相似度中的排序名次；
[0030] 根据所述排序名次，确定所述质量分数。
[0031] 其中，所述确定模块还用于：
[0032] 获取第一类图像的第一数量、第二类图像的第二数量、第三类图像的第三数量、以及第四类图像的第四数量，所述第一类图像为与所述每张样本图像的所述相似度大于预设阈值且与所述每张样本图像包含相同元素的标准图像、所述第二类图像为与所述每张样本图像的所述相似度大于所述预设阈值且与所述每张样本图像包含不同元素的标准图像、所述第三类图像为与所述每张样本图像的所述相似度不大于所述预设阈值且与所述每张样本图像包含不同元素的标准图像、以及所述第四类图像为与所述每张样本图像的所述相似度不大于所述预设阈值、且与所述每张样本图像包含相同元素的标准图像；
[0033] 根据所述第一数量和所述第四数量确定第一比率、以及根据所述第二数量和所述第三数量确定第二比率；
[0034] 根据所述第一比率和所述第二比率，确定所述质量分数。
[0035] 其中，所述评估模块还用于：
[0036] 根据多张所述输入图像的质量评估结果，从多张所述输入图像中选择质量最优的图像。
[0037] 其中，所述评估模块还用于：
[0038] 确定所述输入图像的目标区域；
[0039] 根据所述图像质量评估模型，确定所述目标区域的所述质量分数。
[0041] 所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；
[0042] 所述存储器存储可执行程序代码；
[0043] 所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行本申请第一方面公开的一种图像质量评估方法。
[0044] 相应地，本申请提供了一种存储介质，其中，所述存储介质用于存储应用程序，所述应用程序用于在运行时执行本申请实施例第一方面公开的一种图像质量评估方法。
[0045] 相应地，本申请提供了一种应用程序，其中，所述应用程序用于在运行时执行本申请实施例第一方面公开的一种图像质量评估方法。
[0046] 实施本申请实施例，首先获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像；接着确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度；其次根据所述相似度，确定所述每张样本图像的质量分数；然后将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型；最后根据所述图像质量评估模型，对输入图像进行质量评估，可以降低图像质量评估的复杂度、提高图像质量评估的精确度。附图说明
[0047] 为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048] 图1是本申请实施例提供的一种图像质量评估方法的流程示意图；
[0049] 图2是本申请实施例提供的一种图像元素的示意图；
[0050] 图3是本申请实施例提供的一种图像裁剪的示意图；
[0051] 图4是本申请实施例提供的另一种图像质量评估方法的流程示意图；
[0052] 图5是本申请实施例提供的又一种图像质量评估方法的流程示意图；
[0053] 图6是本申请实施例提供的一种ROC曲线的示意图；
[0054] 图7是本申请实施例提供的再一种图像质量评估方法的流程示意图；
[0055] 图8是本申请实施例提供的一种图像质量评估方法的应用的示意图；
[0056] 图9是本申请实施例提供的一种目标跟踪的示意图；
[0057] 图10是本申请实施例提供的一种图像质量评估装置的结构示意图；
[0058] 图11是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0059] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0060] 请参考图1，图1是本申请实施例提供的一种图像质量评估方法的流程示意图。如图所示，本申请实施例中的方法包括：
[0061] S101，获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像。
[0062] 具体实现中，第一图像集合(记为T)和第二图像集合(记为U)中的图像共同构成训练图像，其中，训练图像中的每张图像包括一个元素，每张图像包含的元素为该图像中用户所要关注的目标内容。如图2所示，该图像包含的元素为一朵花。影响图像质量的因素包括光照、运动模糊、噪声、姿态以及杂物遮挡等，因此，针对某一元素需要收集多张图像，其中，该多张图像包括至少一张光照良好、无运动模糊、无噪声、元素姿态端正、无遮挡的标准图像。该多张图像中的其他非标准图像中的每张图像受到一种或多种因素的影响，然后利用图像检测器检测出将该多张图像中每张图像中的元素的位置，并根据元素所在的位置对每张图像进行裁剪，例如，如图3所示，图像1中包括人像1、人像2、人像3和人像4，其中人像1为需要关注的目标内容，因此需对该图像进行裁剪得到图像2。然后将裁剪后的标准图像放入集合T中，以及将裁剪后的非标准图像放入集合U中。其中，在对图像进行裁剪之前，还可以图像的元素的姿态进行矫正，例如，根据眉心的位置，将倾斜的人像进行倾斜矫正。
[0063] 需要说明的是，在集合T和集合U中，标准图像和非标准图像的组合方式包括但不限于上述方案。例如，可以将标准图像放入集合U。
[0064] S102，确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度。
[0065] 具体实现中，可以首先获取所述每张样本图像的第一特征信息、以及所述每张标准图像的第二特征信息，其中，可以利用基于目标识别的传统图像特征模型提取每张图像的特征信息，并将提取到的特征信息用特征向量表示。该特征信息可以是图像所包含的元素的特征，比如当样本图像为人脸图像时，特征信息可以两眼之间的距离(如3.5厘米)、鼻尖到眉心的距离、脸部是否面向正前方等，并可以根据特征信息得到特征向量(3.5,5.0,2.3,1,0,0.5)。然后根据所述第一特征信息和所述第二特征信息，确定所述相似度。其中，可以但不限于计算第一特征信息对应的第一特征向量和第二特征信息对应的第二特征向量的欧式距离或余弦距离作为样本图像和标准图像的相似度。
[0066] 例如：样本图像的特征向量为a＝(3.5,5.0,2.3,1,0,0.5)，标准图像的特征向量为b＝(3.0,4.5,4,0,1,1.1)，则可以将a和b的余弦距离cos(a,b)作为该样本图像和该标准图像的相似度。其中
[0067]
[0068] S103，根据所述相似度，确定所述每张样本图像的质量分数。
[0069] 具体实现中，可以首先确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像，其中，每张样本图像和每张标准图像均具有唯一身份标识号(Identification，ID)，并且包含相同元素的图像的ID号具有相同的特征。因此可以首先获取样本图像的ID和每张标准图像的ID；接着根据图像ID，确定与该样本图像包含相同元素的多张目标图像；然后计算所述每张样本图像与多张所述目标图像的所述相似度的平均值作为所述质量分数，其中，若针对某张样本图像，多张标准图像中仅包括一张该样本图像的目标图像，则该样本图像与该目标图像的相似度作为质量分数，该质量分数可以表示该样本图像的成像质量的好坏。
[0070] 例如，样本图像与标准图像1和标准图像2包含相同元素，并且样本图像与标准图像1和标准图像2的相似度分别为0.786和0.874，则该样本图像的质量分数为0.786和0.874的平均值0.83。
[0071] S104，将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型。
[0072] 具体实现中，可以建立样本图像和该样本图像的质量分数的对应关系，并将每张样本图像和对应的质量分数作为训练样本。然后将训练样本输入待训练模型(如基于深度学习的训练模型)得到图像质量评估模型。其中，可以利用所得到的训练好的图像质量评估模型获取任意图像的质量分数。
[0073] S105，根据所述图像质量评估模型，对输入图像进行质量评估。
[0074] 具体实现中，可以将输入图像输入到图像质量评估模型中，得到该输入图像的质量分数(如0.85)，质量分数越高表示该输入图像的成像质量越好。
[0075] 可选的，可以根据多张输入图像的质量分数，得到多张输入图像中质量最优的图像。其中，质量分数最高的图像为质量最优的图像。
[0076] 在本申请实施例中，首先获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像；接着确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度；其次将每张样本图像与多张包含相同元素的标准图像的相似度的平均值作为所述每张样本图像的质量分数；然后将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型；最后根据所述图像质量评估模型，对输入图像进行质量评估。上述方法在构造训练样本的过程中仅利用了样本图像和标准图像之间的相似度来确定样本图像的质量分数，相比于已有的利用图像的清晰度、对比度和光照强度等多个评估维度来评估图像质量的技术，本申请实施中的方法不仅可以降低图像质量评估的复杂度，而且避免了的通过人为假设和经验判断来确定各个评估维度的权重系数的步骤，从而可以有效提高图像质量评估的精确度。此外，本申请实施中结合了样本图像与多张包含相同元素的标准图像的相似度的平均值来确定样本图像的质量分数，可以防止偶然因素的干扰，保障训练样本的有效性和可信度。
[0077] 请参考图4，图4是本申请实施例提供的另一种图像质量评估方法的流程示意图。如图所示，本申请实施例中的方法包括：
[0078] S401，获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像，所述至少一张样本图像中的每张样本图像与所述多张标准图像中的至少一张标准图像包含相同元素。本步骤与上一实施例中的S101相同本步骤不再赘述。
[0079] S402，确定至少一张样本图像中每张样本图像与多张标准图像中每张标准图像的相似度。本步骤与上一实施例中的S102相同本步骤不再赘述。
[0080] S403，确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像、以及与所述每张样本图像包含不同元素的非目标图像。
[0081] 具体实现中，在获取集合T和集合U时，可以为每张标准图像和每张样本图像分配唯一的ID，并且包含相同元素的图像的ID号具有相同的特征。其中，一种可能的分配方式是根据图像的元素确定每张图像的ID。例如，针对图像元素A，可以将A确定为该元素的ID，进一步可以将该元素对应的标准图像的ID确定为A-0，A-0中的“0”可以作为对应图像的序号，将该元素对应的样本图像1的ID确定为A-1、样本图像2的ID确定为A-2，其中，A-1和A-2中的“1”和“2”也可以作为对应图像的序号。因此，可以根据ID号，确定目标图像和非目标图像，其中，多张标准图像中包括至少一张目标图像和至少一张非目标图像。
[0082] 例如：样本图像的ID号为W-4，标准图像1的ID号为S-2、标准图像2的ID号为W-2、标准图像3的ID号为P-2以及标准图像4的ID号为W-4，因为样本图像、标准图像2和标准图像4的ID号中均包含“W”，即ID号为W-4的样本图像与标准图像2和标准图像4具有相同的目标元素，从而确定标准图像2和标准图像4是ID号为W-4的样本图像的目标图像；而ID号为W-4的样本图像与标准图像1和标准图像3不具有相同的目标元素，因此，标准图像1和标准图像3是ID号为W-4的样本图像的非目标图像。
[0083] S404，根据每张样本图像与多张目标图像的相似度、以及每张样本图像与多张非目标图像的相似度，确定每张样本图像的质量分数。
[0084] 具体实现中，为了克服元素本身的特性导致的干扰，可以计算所述每张样本图像与多张所述目标图像的所述相似度的第一平均值、以及所述每张样本图像与多张所述非目标图像的所述相似度的第二平均值；然后将所述第一平均值与所述第二平均值的差作为所述质量分数。其中，可以通过(1)式计算样本图像的质量分数。
[0085]
[0086] 其中，Q表示质量分数，S表示相似度，i、j为图像的元素的ID、m和k为图像的序号，ui-m表示集合U中包含元素i的第m张样本图像，tj-k表示集合T中包含元素j的第k张标准图像，N表示集合T中包含的图像的总数，ni表示集合T中包含元素i的图像总数。
[0087] 例如：集合T中包括5张标准图像，其中，标准图像A-0和标准图像A-1为样本图像A-2对应的目标图像，标准图像B-1、标准图像C-0和标准图像B-0为该样本图像A-2对应的非目标图像。若样本图像A-2与标准图像A-0和标准图像A-1的相似度分别为0.743和0.802。样本图像A-2与标准图像B-1、标准图像C-0和标准图像B-0的相似度分别为0.246、0.414和
0.309，则可以得到该样本图像的质量分数(0.743+0.802)/2-(0.246+0.414+0.309)/3＝
0.4495。
0.309，则可以得到该样本图像的质量分数(0.743+0.802)/2-(0.246+0.414+0.309)/3＝
0.4495。
[0088] 可选的，当只有一张目标图像，而非目标图像的数量为多张时，还可以首先确定所述每张样本图像与所述目标图像的所述相似度在所述每张样本图像与多张所述非目标图像的所述相似度中的排序名次，其中，可以将相似度按从大到小的顺序进行排列；然后根据所述排序名次(记为r)，确定所述质量分数，其中，为了使r的区分度更合理，以便于后续的模型训练，可以对r取对数。其中，根据r确定质量分数的具体公式如(2)式所示，(2)式得到的为归一化的质量分数，并且根据(2)式可知，样本图像的排名越高质量分数越高，表示该样本图像的成像质量越好。
[0089]
[0090] 其中，Q表示质量分数，i为图像的元素的ID、m为图像的序号、ri-m表示集合U中包含元素i的第m张样本图像的排序名次、α为对数的底数，α可以取2、10等任意数。
[0091] 例如：某张样本图像与对应的目标图像的相似度为0.864，该样本图像与对应的3张非目标图像的相似度分别为0.231、0.342和0.346，然后按照从大到小的顺序将这4个相似度排序为0.864、0.346、0.342、0.231，从而确定0.864、0.346、0.342、0.231的排序名次分别为1、2、3、4，然后根据(2)式计算该样本图像的质量分数Q。其中
[0092]
[0093] S405，将每张样本图像和质量分数输入待训练模型得到图像质量评估模型。本步骤与上一实施例中的S104相同，本步骤不再赘述。
[0094] S406，根据图像质量评估模型，对输入图像进行质量评估。本步骤与上一实施例中的S105相同，本步骤不再赘述。
[0095] 在本申请实施例中，首先获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像；接着确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度；其次根据每张样本图像与至少一张包含相同目标元素的标准图像的相似度、以及与至少一张包含不相同目标元素的标准图像的相似度，确定所述每张样本图像的质量分数；然后将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型；最后根据所述图像质量评估模型，对输入图像进行质量评估。不仅可以降低图像质量评估的复杂度，而且可以有效提高图像质量评估的精确度。此外，本申请实施中结合了样本图像与包含相同元素的标准图像的相似度、以及与包含不相同元素的标准图像的相似度共同确定该样本图像的质量分数，可以克服图像元素本身的特性导致的干扰，进一步保障训练样本的有效性和可信度。
[0096] 请参考图5，图5是本申请实施例提供的又一种图像质量评估方法的流程示意图。如图所示，本申请实施例中的方法包括：
[0097] S501，获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像。本步骤与上一实施例中的S101相同本步骤不再赘述。
[0098] S502，确定至少一张样本图像中每张样本图像与多张标准图像中每张标准图像的相似度。本步骤与上一实施例中的S102相同本步骤不再赘述。
[0099] S503，根据相似度将标准图像进行分类，并确定每种类型的标准图像的数量。
[0100] 具体实现中，可以根据相似度来判断标准图像是否与样本图像包含相同元素，其中，若标准图像与样本图像的相似度超过预设阈值，则判定标准图像与样本图像包含相同元素。若标准图像与样本图像的相似度不超过预设阈值，则判定标准图像包含的元素与样本图像元素不同。然后再根据样本图像和标准图像的ID号确定该判定结果的准确性，例如，样本图像A-1与标准图像B-2的相似度为0.567，因为0.567超过了预设阈值0.5，所以判定标准图像B-2与样本图像A-1包含相同元素。然而，根据ID号可知在实际中标准图像B-2包含的元素为B、样本图像A-1包含的元素为A，从而确定该判定结果有误。其中，可以根据判定结果的准确性将所有的标准图像分成第一类图像、第二类图像、第三类图像和第四类图像。其中，第一类图像为与所述每张样本图像的所述相似度大于预设阈值且与所述每张样本图像包含相同元素的标准图像，第一类图像可称为真阳性图像。第二类图像为与所述每张样本图像的所述相似度大于所述预设阈值且与所述每张样本图像包含不同元素的标准图像，第二类图像可称为假阳性图像。第三类图像为与所述每张样本图像的所述相似度不大于所述预设阈值且与所述每张样本图像包含不同元素的标准图像，第三类图像可称为真阴性图像。第四类图像为与所述每张样本图像的所述相似度不大于所述预设阈值、且与所述每张样本图像包含相同元素的标准图像，第四类图像可称为假阴性图像。
[0101] 然后，统计每种类型的图像的数量，其中，可以将第一类图像的第一数量记为TP、第二类图像的第二数量记为FP、第三类图像的第三数量记为TN、以及第四类图像的第四数量记为FN。
[0102] S504，根据每种类型的标准图像的数量，确定每张样本图像的质量分数。
[0103] 具体实现中，可以首先根据所述第一数量和所述第四数量确定第一比率、以及根据所述第二数量和所述第三数量确定第二比率，其中，第一比率为真阳性率(记为TPR)，第二比率为假阳性率(记为FPR)，具体地：
[0104]
[0105]
[0106] 然后，根据所述第一比率和所述第二比率，确定所述质量分数。其中，可以将(FPR，TPR)看作以真阳性率为纵轴、以真阳性率为横轴的二维坐标系中的一个点。根据上述分类方法，当所选取的预设阈值不同时TPR和FPR也不同，因此可以依次取M(如10000)个不同的预设阈值，从而可以得到M个不同的点的坐标，将这M个点连接成一条曲线。该曲线通常被称为接收者操作特征(Receiver Operating Characteristic，ROC)曲线。最后计算在该坐标系中ROC曲线下(Area Under Curve，AUC)的面积作为质量分数。例如：如图6所示，ROC曲线下阴影部分的面积为AUC面积，其中，可以通过微积分的方法确定该AUC面积。
[0107] S505，将每张样本图像和质量分数输入待训练模型得到图像质量评估模型。本步骤与上一实施例中的S104相同，本步骤不再赘述。
[0108] S506，根据图像质量评估模型，对输入图像进行质量评估。本步骤与上一实施例中的S105相同，本步骤不再赘述。
[0109] 在本申请实施例中，首先获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像；接着确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度；其次根据相似度将标准图像进行分类，确定每种类型的标准图像的数量，并根据每种类型的图像的数量绘制ROC曲线，从而确定质量分数；然后将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型；最后根据所述图像质量评估模型，对输入图像进行质量评估。其中，ROC曲线可以准确地反映根据相似度识别不同图像是否包含相同元素的正确性，从而反映标准图像与样本图像的相似度的高低，其中，在本实施例采取的样本图像集合和标准图像集合的构造方案中，当样本图像与标准图像的相似度越高表示样本图像的质量越好，因此在选用10000个不同的预设阈值对相似度进行考察的情况下可以有效提高最终获得的质量分数的准确性。
[0110] 请参考图7，图7是本申请实施例提供的再一种图像质量评估方法的流程示意图。如图所示，本申请实施例中的方法包括：
[0111] S701，获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像。本步骤与上一实施例中的步骤S101相同，本步骤不再赘述。
[0112] S702，确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度。本步骤与上一实施例中的步骤S102相同，本步骤不再赘述。
[0113] S703，根据所述相似度，确定所述每张样本图像的质量分数。
[0114] S704，将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型。本步骤与上一实施例中的步骤S104相同，本步骤不再赘述。
[0115] S705，确定输入图像的目标区域。
[0116] 具体实现中，可以首先根据图像对象检测器检测出该输入图像中的用户感兴趣的元素；然后将该元素所在的感兴趣区域(Region Of Interest，ROI)确定为目标区域。
[0117] S706，根据所述图像质量评估模型，确定所述目标区域的质量分数。
[0118] 具体实现中，可以从输入图像中截取目标区域中的图像，并将截取的图像输入图像质量评估模型，以便得到质量分数。
[0119] 可选的，可以根据目标区域获取多张包含用户感兴趣的元素的图像，并将多张图像输入图像质量评估模型中，确定每张图像的质量分数，以便从中选择质量最优的图像。
[0120] 上述图像质量评估方法可以应用于视频抓拍场景。如图8和图9所示，具体实施步骤包括：(1)获取图像：从视频中获取单帧图像；(2)检测目标：检测该单帧图像，确定用户感兴趣的目标元素(如视频中出现的某个人)，并确定在该单帧图像中目标元素所在的ROI区域；(3)跟踪目标：在该视频播放过程中跟踪该ROI区域，捕获包含该目标元素的多张图像；(4)质量优选：将该多张图像输入图像质量评估模型，获取每张图像的质量分数，并从中选择质量分数最高的图像。(5)输入目标：输出质量分数最高的图像，该质量分数最高的图像用于对目标元素进行识别和分析。
[0121] 在本申请实施例中，在得到图像的质量评估模型之后，对待评估图像采取先确定目标区域再对目标区域进行质量评估的操作，这种方式在对图像中的目标进行识别的应用场景中，可以有效排除图像中的非目标所在区域的成像质量对目标所在区域的成像质量的评估结果的影响，从而可以准确地从多张包含目标的图像中选取出最适合进行目标识别的图像，而非整体图像质量最好但目标所在区域的成像质量差的图像，从而提高目标识别的准确性。
[0122] 请参考图10，图10是本申请实施例提供的一种图像质量评估装置的结构示意图。如图所示，本申请实施例中的装置包括：
[0123] 获取模块1001，用于获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像。
[0124] 具体实现中，第一图像集合(记为T)和第二图像集合(记为U)中的图像共同构成训练图像，其中，训练图像中的每张图像包括一个元素，每张图像包含的元素为该图像中所要展示或突出的目标内容。如图2所示，该图像包含的元素为一朵花。影响图像质量的因素包括光照、运动模糊、噪声、姿态以及杂物遮挡等，因此，针对某一元素需要收集多张图像，其中，该多张图像包括至少一张光照良好、无运动模糊、无噪声、元素姿态端正、无遮挡的标准图像。该多张图像中的其他非标准图像中的每张图像受到一种或多种因素的影响，然后利用图像检测器检测出将该多张图像中每张图像中该元素的位置，并根据元素所在的位置对每张图像进行裁剪。然后将裁剪后的标准图像放入集合T中，以及将裁剪后的其他图像放入集合U中。其中，在对图像进行裁剪之前，还可以图像的元素的姿态进行倾斜矫正。
[0125] 需要说明的是，在集合T和集合U中，标准图像和非标准图像的组合方式包括但不限于上述方案。例如，可以将标准图像放入集合U，将运动模糊的图像放入集合T。
[0126] 确定模块1002，用于确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度。
[0127] 具体实现中，可以首先获取所述每张样本图像的第一特征信息、以及所述每张标准图像的第二特征信息，其中，可以利用基于目标识别的传统图像特征模型提取每张图像的特征信息，并将提取到的特征信息用特征向量表示。该特征信息可以是图像所包含的元素的特征，比如当样本图像为人脸图像时，特征信息可以人脸两眼之间的距离(如3.5厘米)、鼻尖到眉心的距离、脸部是否面向正前方等，并根据特征信息得到特征向量(3.5,5.0,2.3,1,0,0.5)。然后根据所述第一特征信息和所述第二特征信息，确定所述相似度。其中，可以但不限于计算第一特征信息对应的第一特征向量和第二特征信息对应的第二特征向量的欧式距离或余弦距离作为样本图像和标准图像的相似度。
[0128] 确定模块1002，还用于根据所述相似度，确定所述每张样本图像的质量分数。
[0129] 具体实现中，可以首先确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像，其中，可以首先获取样本图像的ID和每张标准图像的ID。接着根据图像ID，确定与该样本图像包含相同元素的多张目标图像；然后计算所述每张样本图像与多张所述目标图像的所述相似度的平均值作为所述质量分数，其中，若针对某张样本图像，多张标准图像中仅包括一张该样本图像的目标图像，则该样本图像与该目标图像的相似度作为质量分数，该质量分数可以表示该样本图像的成像质量的好坏。
[0130] 可选的，可以首先确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像、以及与所述每张样本图像包含不同元素的非目标图像，其中多张标准图像中包括多张目标图像和多张非目标图像；为了克服元素本身的特性导致的干扰，可以计算所述每张样本图像与多张所述目标图像的所述相似度的第一平均值、以及所述每张样本图像与多张所述非目标图像的所述相似度的第二平均值；然后将所述第一平均值与所述第二平均值的差作为所述质量分数。其中，可以通过(1)式计算样本图像的质量分数。
[0131] 可选的，可以首先确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像、以及与所述每张样本图像包含不同元素的非目标图像，其中，目标图像的数量为一张，非目标图像的数量为多张；接着确定所述每张样本图像与所述目标图像的所述相似度在所述每张样本图像与多张所述非目标图像的所述相似度中的排序名次，其中，可以将相似度按从大到小顺序进行排列；然后根据所述排序名次(记为r)，确定所述质量分数，其中，为了使r的区分度更合理，以便于后续的模型训练，可以对r取对数。其中，根据r确定质量分数的具体公式如(2)式所示，(2)式得到的为归一化的质量分数，并且根据(2)式可知，样本图像的排名越高质量分数越高，表示该样本图像的成像质量越好。
[0132] 可选的，可以根据相似度来判断标准图像中是否与样本图像包含相同元素，其中，若标准图像与样本图像的相似度超过预设阈值，则判定标准图像与样本图像包含相同元素。若标准图像与样本图像的相似度不超过预设阈值时，则判定标准图像包含的元素与样本图像元素不同。然后再根据样本图像和标准图像的ID号确定该判定结果的准确性，例如，样本图像A-1与标准图像B-2的相似度为0.567，因为0.567超过了预设阈值0.5，所以判定标准图像B-2与样本图像A-1包含相同元素。然而，根据ID号可知在实际中标准图像B-2包含的元素为B、样本图像A-1包含的元素为A，因此确定该判定结果有误，并且可以根据判定结果的准确性将所有的标准图像分成第一类图像、第二类图像、第三类图像和第四类图像。其中，第一类图像为与所述每张样本图像的所述相似度大于预设阈值且与所述每张样本图像包含相同元素的标准图像，第一类图像可称为真阳性图像。第二类图像为与所述每张样本图像的所述相似度大于所述预设阈值且与所述每张样本图像包含不同元素的标准图像，第二类图像可称为假阳性图像。第三类图像为与所述每张样本图像的所述相似度不大于所述预设阈值且与所述每张样本图像包含不同元素的标准图像，第三类图像可称为真阴性图像。第四类图像为与所述每张样本图像的所述相似度不大于所述预设阈值、且与所述每张样本图像包含相同元素的标准图像，第四类图像可称为假阴性图像。
[0133] 其中，可以首先获取第一类图像的第一数量(记为TP)、第二类图像的第二数量(记为FP)、第三类图像的第三数量(记为TN)、以及第四类图像的第四数量(记为FN)；接着根据所述第一数量和所述第四数量确定第一比率、以及根据所述第二数量和所述第三数量确定第二比率，其中，第一比率为真阳性率(记为TPR)，第二比率为假阳性率(记为FPR)，具体的[0134]
[0135]
[0136] 然后，根据所述第一比率和所述第二比率，确定所述质量分数。其中，可以将(FPR，TPR)看作以真阳性率为纵轴、以真阳性率为横轴的二维坐标系中的一个点。根据上述分类方法，当所选取的预设阈值不同时TPR和FPR也不同，因此可以依次取M(如10000)个不同的预设阈值，从而可以得到M个不同的点的坐标，将这M个点连接成一条曲线。该曲线通常被称为ROC曲线。最后计算在该坐标系中ROC曲线的AUC面积作为质量分数。例如：如图4所示，ROC曲线下阴影部分的面积为AUC面积，其中，可以通过微积分的方法确定该AUC面积。
[0137] 训练模块1003，用于将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型。
[0138] 具体实现中，可以建立样本图像和该样本图像的质量分数的对应关系，并将每张样本图像和对应的质量分数作为训练样本。然后将训练样本输入待训练模型(如基于深度学习的训练模型)得到图像质量评估模型。其中，可以利用所得到的训练好的图像质量评估模型获取任意图像的质量分数。
[0139] 评估模块1104，用于根据所述图像质量评估模型，对输入图像进行质量评估。
[0140] 具体实现中，可以将输入图像输入到图像质量评估模型中，得到该输入图像的质量分数(如0.85)，质量分数越高表示该输入图像的成像质量越好。
[0141] 可选的，评估模块1004还用于根据多张输入图像的质量分数，得到多张输入图像中质量最优的图像。其中，质量分数最高的图像为质量最优的图像。
[0142] 可选的，评估模块1004还用于首先根据图像对象检测器检测出该输入图像中的用户感兴趣的元素；接着将该元素所在的ROI区域确定为目标区域；然后可以从输入图像中截取目标区域中的图像，并将截取的图像输入图像质量评估模型，以便得到目标区域的质量分数。
[0143] 可选的，评估模块1004还用于可以根据目标区域获取多张包含用户感兴趣的元素的图像，并将多张图像输入图像质量评估模型中，确定每张图像的质量分数，以便从中选择质量最优的图像。
[0144] 在本申请实施例中，首先获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像；接着确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度；其次根据所述相似度，确定所述每张样本图像的质量分数；然后将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型；最后根据所述图像质量评估模型，对输入图像进行质量评估。采用本申请实施例，可以降低图像质量评估的复杂度、提高图像质量评估的精确度。
[0145] 请参考图11，图11是本申请实施例提出的一种电子设备的结构示意图。如图所示，该电子设备可以包括：至少一个处理器1101，例如CPU，至少一个通信接口1102，至少一个存储器1103，至少一个总线1104。其中，总线1104用于实现这些组件之间的连接通信。其中，本申请实施例中电子设备的通信接口1102是有线发送端口，也可以为无线设备，例如包括天线装置，用于与其他节点设备进行信令或数据的通信。存储器1103可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1103可选的还可以是至少一个位于远离前述处理器1101的存储装置。存储器1103中存储一组程序代码，且处理器1101用于调用存储器中存储的程序代码，用于执行以下操作：
[0146] 获取第一图像集合和第二图像集合，所述第一图像集合包括多张标准图像，所述第二图像集合包括至少一张样本图像；
[0147] 确定所述至少一张样本图像中每张样本图像与所述多张标准图像中每张标准图像的相似度；
[0148] 根据所述相似度，确定所述每张样本图像的质量分数；
[0149] 将所述每张样本图像和所述质量分数输入待训练模型得到图像质量评估模型；
[0150] 根据所述图像质量评估模型，对输入图像进行质量评估。
[0151] 其中，处理器1101还用于执行如下操作步骤：
[0152] 获取所述每张样本图像的第一特征信息、以及所述每张标准图像的第二特征信息；
[0153] 根据所述第一特征信息和所述第二特征信息，确定所述相似度。
[0154] 其中，处理器1101还用于执行如下操作步骤：
[0155] 确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像；
[0156] 计算所述每张样本图像与多张所述目标图像的所述相似度的平均值作为所述质量分数。
[0157] 其中，处理器1101还用于执行如下操作步骤：
[0158] 确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像、以及与所述每张样本图像包含不同元素的非目标图像；
[0159] 计算所述每张样本图像与多张所述目标图像的所述相似度的第一平均值、以及所述每张样本图像与多张所述非目标图像的所述相似度的第二平均值；
[0160] 计算所述第一平均值与所述第二平均值的差作为所述质量分数。
[0161] 其中，处理器1101还用于执行如下操作步骤：
[0162] 确定所述多张标准图像中与所述每张样本图像包含相同元素的目标图像、以及与所述每张样本图像包含不同元素的非目标图像；
[0163] 确定所述每张样本图像与所述目标图像的所述相似度在所述每张样本图像与多张所述非目标图像的所述相似度中的排序名次；
[0164] 根据所述排序名次，确定所述质量分数。
[0165] 其中，处理器1101还用于执行如下操作步骤：
[0166] 获取第一类图像的第一数量、第二类图像的第二数量、第三类图像的第三数量、以及第四类图像的第四数量，所述第一类图像为与所述每张样本图像的所述相似度大于预设阈值且与所述每张样本图像包含相同元素的标准图像、所述第二类图像为与所述每张样本图像的所述相似度大于所述预设阈值且与所述每张样本图像包含不同元素的标准图像、所述第三类图像为与所述每张样本图像的所述相似度不大于所述预设阈值且与所述每张样本图像包含不同元素的标准图像、以及所述第四类图像为与所述每张样本图像的所述相似度不大于所述预设阈值、且与所述每张样本图像包含相同元素的标准图像；
[0167] 根据所述第一数量和所述第四数量确定第一比率、以及根据所述第二数量和所述第三数量确定第二比率；
[0168] 根据所述第一比率和所述第二比率，确定所述质量分数。
[0169] 其中，处理器1101还用于执行如下操作步骤：
[0170] 根据多张所述输入图像的质量评估结果，从多张所述输入图像中选择质量最优的图像。
[0171] 其中，处理器1101还用于执行如下操作步骤：
[0172] 确定所述输入图像的目标区域；
[0173] 根据所述图像质量评估模型，确定所述目标区域的所述质量分数。
[0174] 需要说明的是，本申请实施例同时也提供了一种存储介质，该存储介质用于存储应用程序，该应用程序用于在运行时执行图1、图4、图5和图7所示的一种图像质量评估方法中电子设备执行的操作。
[0175] 需要说明的是，本申请实施例同时也提供了一种应用程序，该应用程序用于在运行时执行图1、图4、图5和图7所示的一种图像质量评估方法中电子设备执行的操作。
[0176] 在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 屏蔽罩结构和电子设备 | 2020-05-08 | 1315 |
| 负一屏同步方法、负一屏同步装置及电子设备 | 2020-05-08 | 339 |
| 一种用于高分辨率2D、3D图像显示的显示装置及方法 | 2020-05-08 | 354 |
| 一种无人机多协议传输数据解析方法 | 2020-05-11 | 437 |
| 一种直播APP的勋章加载方法、存储介质、电子设备及系统 | 2020-05-08 | 668 |
| 关注列表优化方法、存储介质、设备及系统 | 2020-05-08 | 147 |
| 一种基于LoRaWAN的监控方法、基站和存储介质 | 2020-05-08 | 993 |
| 基于耳机位置的设备和应用控制 | 2020-05-08 | 901 |
| 一种亮度校正方法、系统、设备及计算机可读存储介质 | 2020-05-08 | 375 |
| 一种冗余备份方法及装置 | 2020-05-08 | 372 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈