图像的审核方法、装置和服务器
阅读：908发布：2020-05-11
专利汇可以提供图像的审核方法、装置和服务器专利检索，专利查询，专利分析的服务。并且本 发明 提供了一种图像的审核方法、装置和 服务器 ，其中，该方法包括：获取待审核图像的 特征向量 ；确定该特征向量与预设的第一 数据库 中各个样本图像对应的特征向量的相似度；如果该待审核图像的特征向量与每个样本图像对应的特征向量的相似度均低于第一预设 阈值 ，将该待审核图像输入至预设的审核模型，输出该待审核图像的审核结果。本发明基于待审核图像的特征向量判定该待审核图像是否通过初步审核，如果初步审核通过，基于审核模型再次审核；相对于采用MD5值审核的方式，该方式通过特征向量不仅能够识别出相同图像，也能识别出经过 修改 的相似图像，因而提高了图像审核的识别 精度 。，下面是图像的审核方法、装置和服务器专利的具体信息内容。
1.一种图像的审核方法，其特征在于，所述方法包括：
获取待审核图像的特征向量；
确定所述待审核图像的特征向量与预设的第一数据库中的各个样本图像对应的特征向量的相似度；
如果所述待审核图像的特征向量与每个所述样本图像对应的特征向量的相似度均低于第一预设阈值，将所述待审核图像输入至预设的审核模型中，输出所述待审核图像的审核结果。
2.根据权利要求1所述的方法，其特征在于，获取待审核图像的特征向量的步骤之前，所述方法还包括：
获取所述待审核图像的MD5值；
判断预设的第二数据库中是否存在与所述待审核图像的MD5值相同的样本图像；
如果不存在，执行所述获取待审核图像的特征向量的步骤；
如果存在，确认所述待审核图像审核不通过。
3.根据权利要求1所述的方法，其特征在于，所述获取待审核图像的特征向量的步骤，包括：
对所述待审核图像进行哈尔小波变换，得到变换结果，将所述变换结果作为所述待审核图像的特征向量。
4.根据权利要求1所述的方法，其特征在于，确定所述待审核图像的特征向量与预设的第一数据库中的各个样本图像对应的特征向量的相似度的步骤包括：
针对预设的第一数据库中的每个样本图像，进行下述处理：计算所述待审核图像的特征向量与当前样本图像对应的特征向量的相似度dist：
其中，X表示所述待审核图像，Y表示所述当前样本图像，n表示所述特征向量中特征值的总数，xi表示所述待审核图像的特征向量中的第i个特征值，i为整数且i的取值范围为1到n，yi表示所述当前样本图像的特征向量中的第i个特征值。
5.根据权利要求1所述的方法，其特征在于，所述审核模型包括人脸检测模型；
所述将所述待审核图像输入至预设的审核模型中，输出所述待审核图像的审核结果的步骤，包括：
将所述待审核图像输入至所述人脸检测模型，得到输出结果；
如果所述输出结果指示所述待审核图像中存在人脸，提取所述待审核图像中人脸的特征向量，确定所述人脸的特征向量与预设的第三数据库中各个人脸图像的特征向量的相似度，根据所述相似度确定审核结果；
如果所述输出结果指示所述待审核图像中不存在人脸，检测所述待审核图像中是否存在预设的违规因素，根据检测结果确定审核结果。
6.根据权利要求5所述的方法，其特征在于，根据所述相似度确定审核结果的步骤，包括：
如果所述第三数据库中存在与所述待审核图像中人脸的特征向量的相似度高于第三预设阈值的人脸图像，确定所述待审核图像审核不通过；
如果所述待审核图像中人脸的特征向量与每个所述人脸图像的特征向量的相似度均低于第三预设阈值，执行检测所述待审核图像中是否存在预设的违规因素的步骤。
7.根据权利要求5所述的方法，其特征在于，确定所述人脸的特征向量与预设的第三数据库中各个人脸图像的特征向量的相似度的步骤，包括：
针对预设的第三数据库中的每个人脸图像，进行下述处理：计算所述人脸的特征向量与当前人脸图像的特征向量的相似度similarity：
其中，A表示所述待审核图像中人脸的特征向量，B表示所述当前人脸图像的特征向量，||A||和||B||分别表示A的膜和B的膜，m表示所述特征向量中特征值的总数，Aj表示所述待审核图像中人脸的特征向量中的第j个特征值，j为整数且j的取值范围为1到m，Bj表示所述当前人脸图像的特征向量中的第j个特征值。
8.根据权利要求5或6所述的方法，其特征在于，所述审核模型还包括违规因素检测模型；
所述检测所述待审核图像中是否存在预设的违规因素的步骤，包括：
将所述待审核图像输入至所述违规因素检测模型中，得到输出结果；其中，所述违规因素检测模型为：预设的残差网络通过包含有违规因素的图像的训练集训练得到；
如果所述输出结果指示所述待审核图像中包含违规因素，确定所述待审核图像审核不通过；
如果所述输出结果指示所述待审核图像中不包含违规因素，确定所述待审核图像审核通过。
9.根据权利要求1所述的方法，其特征在于，如果所述待审核图像审核不通过，将所述待审核图像和所述审核图像的特征向量保存至所述第一数据库。
10.一种图像的审核装置，其特征在于，所述装置包括：
特征获取模块，用于获取待审核图像的特征向量；
相似度确定模块，用于确定所述待审核图像的特征向量与预设的第一数据库中的各个样本图像对应的特征向量的相似度；
结果输出模块，用于如果所述待审核图像的特征向量与每个所述样本图像对应的特征向量的相似度均低于第一预设阈值，将所述待审核图像输入至预设的审核模型中，输出所述待审核图像的审核结果。
11.一种服务器，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至9任一项所述的图像的审核方法。
12.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使处理器实现权利要求1至9任一项所述的图像的审核方法。
图像的审核方法、装置和服务器
技术领域
背景技术
[0002] 随着互联网技术的发展，每天都有大量的图像在网络中传输，为了网络安全，需要对网络中的图像进行审核，尤其是涉政图像。相关技术中，涉政图像的审核方法通常需要建立MD5数据库，该MD5数据中保存有网络上已有的涉政图像，以及该涉政图像对应的MD5值，当该MD5值与待审核图像的MD5值相同时，认为该待审核图像为涉政图像，但是该方式只能识别完全相同的两张图像，识别精度较差。
发明内容
[0003] 本发明的目的在于提供一种图像的审核方法、装置和服务器，以提高图像识别的精度。
[0004] 第一方面，本发明实施例提供一种图像的审核方法，该方法包括：获取待审核图像的特征向量；确定该待审核图像的特征向量与预设的第一数据库中的各个样本图像对应的特征向量的相似度；如果该待审核图像的特征向量与每个样本图像对应的特征向量的相似度均低于第一预设阈值，将该待审核图像输入至预设的审核模型中，输出该待审核图像的审核结果。
[0005] 在本发明较佳的实施例中，上述获取待审核图像的特征向量的步骤之前，该方法还包括：判断预设的第二数据库中是否存在与所待审核图像的MD5值相同的样本图像；如果不存在，执行获取待审核图像的特征向量的步骤；如果存在，确认待审核图像审核不通过。
[0006] 在本发明较佳的实施例中，上述获取待审核图像的特征向量的步骤，包括：对待审核图像进行哈尔小波变换，得到变换结果，将该变换结果作为待审核图像的特征向量。
[0007] 在本发明较佳的实施例中，上述确定待审核图像的特征向量与预设的第一数据库中的各个样本图像对应的特征向量的相似度的步骤包括：针对预设的第一数据库中的每个样本图像，进行下述处理：计算该待审核图像的特征向量与当前样本图像对应的特征向量的相似度dist： 其中，X表示待审核图像，Y表示当前样本图像，n表示特征向量中特征值的总数，xi表示待审核图像的特征向量中的第i个特征值，i为整数且i的取值范围为1到n，yi表示当前样本图像的特征向量中的第i个特征值。
[0008] 在本发明较佳的实施例中，上述审核模型包括人脸检测模型；上述将待审核图像输入至预设的审核模型中，输出待审核图像的审核结果的步骤，包括：将待审核图像输入至人脸检测模型，得到输出结果；如果该输出结果指示待审核图像中存在人脸，提取该待审核图像中人脸的特征向量，确定人脸的特征向量与预设的第三数据库中各个人脸图像的特征向量的相似度，根据该相似度确定审核结果；如果该输出结果指示待审核图像中不存在人脸，检测待审核图像中是否存在预设的违规因素，根据检测结果确定审核结果。
[0009] 在本发明较佳的实施例中，上述根据相似度确定审核结果的步骤，包括：如果第三数据库中存在与待审核图像中人脸的特征向量的相似度高于第三预设阈值的人脸图像，确定该待审核图像审核不通过；如果该待审核图像中人脸的特征向量与每个人脸图像的特征向量的相似度均低于第三预设阈值，执行检测待审核图像中是否存在预设的违规因素的步骤。
[0010] 在本发明较佳的实施例中，上述确定人脸的特征向量与预设的第三数据库中各个人脸图像的特征向量的相似度的步骤，包括：针对预设的第三数据库中的每个人脸图像，进行下述处理：计算人脸的特征向量与当前人脸图像的特征向量的相似度其中，A表示该待审核图像中人脸
的特征向量，B表示当前人脸图像的特征向量，||A||和||B||分别表示A的膜和B的膜，m表示特征向量中特征值的总数，Aj表示待审核图像中人脸的特征向量中的第j个特征值，j为整数且j的取值范围为1到m，Bj表示当前人脸图像的特征向量中的第j个特征值。
的特征向量，B表示当前人脸图像的特征向量，||A||和||B||分别表示A的膜和B的膜，m表示特征向量中特征值的总数，Aj表示待审核图像中人脸的特征向量中的第j个特征值，j为整数且j的取值范围为1到m，Bj表示当前人脸图像的特征向量中的第j个特征值。
[0011] 在本发明较佳的实施例中，上述审核模型还包括违规因素检测模型；上述检测待审核图像中是否存在预设的违规因素的步骤，包括：将待审核图像输入至违规因素检测模型中，得到输出结果；其中，该违规因素检测模型为：预设的残差网络通过包含有违规因素的图像的训练集训练得到；如果该输出结果指示待审核图像中包含违规因素，确定该待审核图像审核不通过；如果该输出结果指示待审核图像中不包含违规因素，确定该待审核图像审核通过。
[0012] 在本发明较佳的实施例中，如果待审核图像审核不通过，将该待审核图像和该审核图像的特征向量保存至第一数据库。
[0013] 第二方面，本发明实施例提供一种图像的审核装置，该装置包括：特征获取模块，用于获取待审核图像的特征向量；相似度确定模块，用于确定所述待审核图像的特征向量与预设的第一数据库中的各个样本图像对应的特征向量的相似度；结果输出模块，用于如果待审核图像的特征向量与每个样本图像对应的特征向量的相似度均低于第一预设阈值，将该待审核图像输入至预设的审核模型中，输出待审核图像的审核结果。
[0014] 第三方面，本发明实施例提供一种服务器，该服务器包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现上述图像的审核方法。
[0015] 第四方面，本发明实施例提供一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述图像的审核方法。
[0016] 本发明实施例带来了以下有益效果：
[0017] 本发明提供了一种图像的审核方法、装置和服务器，首先获取待审核图像的特征向量；进而确定该特征向量与预设的第一数据库中各个样本图像对应的特征向量的相似度；如果该待审核图像的特征向量与每个样本图像对应的特征向量的相似度均低于第一预设阈值，将该待审核图像输入至预设的审核模型，输出该待审核图像的审核结果。本发明基于待审核图像的特征向量判定该待审核图像是否通过初步审核，如果初步审核通过，基于审核模型再次审核；相对于采用MD5值审核的方式，该方式通过特征向量不仅能够识别出相同图像，也能识别出经过修改的相似图像，因而提高了图像审核的识别精度。
[0018] 另外，相对于审核模型的方式，基于图像的特征向量初步审核的计算成本较低，只有通过初步审核的图像才通过审核模型再次审核，因而可以降低图像审核的运算成本。同时，上述方式通过多次审核能够判定待审核图像是否为隐喻类型的图像，从而提高了图像识别精度，也提高了图像审核的准确度。附图说明
[0019] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020] 图1为本发明实施例提供的一种图像的审核方法的流程图；
[0021] 图2为本发明实施例提供的另一种图像的审核方法的流程图；
[0022] 图3为本发明实施例提供的另一种图像的审核方法的流程图；
[0023] 图4为本发明实施例提供的另一种图像的审核方法的流程图；
[0024] 图5为本发明实施例提供的一种图像的审核装置的结构示意图；
[0025] 图6为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
[0026] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0027] 因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0028] 相关技术中，涉政图像的审核方法有三种：第一种是纯人工审核，该方式需要审核人员24小时审核图片，不仅浪费人力成本且审核效率较低，同时在海量图片的冲击下容易给不法分子可乘之机；第二种是通过建立的MD5(Message-Digest，消息摘要)数据库审核图像，该MD5数据中保存有网络上已有的涉政图像，以及该涉政图像对应的MD5值，当该MD5值与待审核图像的MD5值相同时，认为该待审核图像为涉政图像，但是该方式只能识别完全相同的两张图像，当待审核图像的MD5值被篡改(例如，在图像中加入文字或者稍微修改等)时，难以识别出涉政图像；第三种是采用网络模型进行审核，该方式可以提高审核精度，但该方式对计算机的要求较高，增加了计算机的成本，而且该方式对隐喻类型的涉政图像的识别准确率较低。
[0029] 基于此，本发明实施例提供了一种图像的审核方法、装置和服务器，该技术可以应用于图像识别、图像审核等场景中。为了便于对本发明实施例进行理解，首先对本发明实施例所公开的一种图像的审核方法进行详细介绍，如图1所示，该方法包括如下步骤：
[0030] 步骤S102，获取待审核图像的特征向量。
[0031] 上述待审核图像可以是用户在网络中上传的图片，该图片可以是下载的原始图片，可以是在原始图片的基础上修改的图片，可以是从视频中截取的视频帧，也可以是通过摄像机或者其他设备拍摄的图片；该图片中可以包括人物、景物、文本等。
[0032] 上述待审核图像的特征向量可以通过傅里叶变换法、小波变换法、最小二乘法、边界方向直方图法、基于Tamura纹理特征的纹理特征提取等方法得到。该特征向量可以是图像的指定特征对应的特征向量，该指定特征可以是梯度、颜色、纹理等。
[0033] 步骤S104，确定上述待审核图像的特征向量与预设的第一数据库中的各个样本图像对应的特征向量的相似度。
[0034] 上述预设的第一数据库中包括大量的样本图像，以及该样本图像对应的特征向量，该样本图像可以是从网络中获取到的包含敏感因素的图像，该敏感因素可以是涉及政治、暴力、不利于身心健康等因素，通常该敏感因素根据图像审核的目的决定，例如，需要审核涉及政治的图像，那么该敏感因素为涉及政治，也即是上述样本图像为涉及政治的图像。
[0035] 在具体实现时，可以根据待审核图像的特征向量的模与样本图像的特征向量的模的差值，可以根据待审核图像的特征向量对应的特征值和样本图像的特征向量对应的特征值的差值，也可以通过正余弦相似度算法或者其他的相似度算法，确定两个图像的特征向量的相似度。通常需要计算待审核图像的特征向量与第一数据库中所有的样本图像对应的特征向量的相似度，以确定第一数据库中是否存在与待审核图像相似度高的样本图像；在另一个实施例中，也可以在第一数据库中逐一计算样本图像的特征向量与待审核图像的特征向量的相似度的过程中，如果检测到相似度较高，也即是检测到第一数据库中存在与待审核图像相似的样本图像时，停止逐一计算的过程。
[0036] 步骤S106，如果上述待审核图像的特征向量与每个样本图像对应的特征向量的相似度均低于第一预设阈值，将该待审核图像输入至预设的审核模型中，输出该待审核图像的审核结果。
[0037] 上述第一预设阈值可以是人为设定的数值，通常该数值设置的较大时，可以使较多的待审核图像输入至预设的审核模型中，进行再次审核。上述审核结果包括审核通过和审核不通过，如果在第一数据库中存在与待审核图像的特征向量的相似度大于或者等于第一预设阈值的样本图像，确定该待审核图像审核不通过。
[0038] 如果待审核图像的特征向量与每个样本图像对应的特征向量的相似度均低于第一预设阈值，也即是第一数据库中不存在与待审核图像相似的样本图像时，将该待审核图像输入至审核模型中，进行再次审核。该审核模型可以是神经网络模型，也可以是深度学习模型，该审核模型可以是根据与敏感因素有关的图像训练得到，例如，需要审核涉及政治的图像时，与敏感因素有关的图像可以是标注有政治人物、武器、国旗等因素的图像。如果审核模型检测到该待审核图像与敏感因素有关，确定该待审核图像审核不通过，如果审核模型检测到该待审核图像与敏感因素无关，确定该待审核图像审核通过。
[0039] 本发明提供了一种图像的审核方法，首先获取待审核图像的特征向量；进而确定该特征向量与预设的第一数据库中各个样本图像对应的特征向量的相似度；如果该待审核图像的特征向量与每个样本图像对应的特征向量的相似度均低于第一预设阈值，将该待审核图像输入至预设的审核模型，输出该待审核图像的审核结果。本发明基于待审核图像的特征向量判定该待审核图像是否通过初步审核，如果初步审核通过，基于审核模型再次审核；相对于采用MD5值审核的方式，该方式通过特征向量不仅能够识别出相同图像，也能识别出经过修改的相似图像，因而提高了图像审核的识别精度；另外，相对于审核模型的方式，基于图像的特征向量初步审核的计算成本较低，只有通过初步审核的图像才通过审核模型再次审核，因而可以降低图像审核的运算成本。同时，上述方式通过多次审核能够判定待审核图像是否为隐喻类型的图像，从而提高了图像识别精度，也提高了图像审核的准确度。
[0040] 本发明实施例还提供了另一种图像的审核方法，该方法在上述实施例方法的基础上实现；该方法重点描述确定待审核图像的特征向量与预设的第一数据库中的各个样本图像对应的特征向量的相似度的具体过程(具体通过下述步骤S210实现)；如图2所示，该审核方法包括如下步骤：
[0041] 步骤S202，获取待审核图像的MD5值。
[0042] 上述MD5值通常通过MD5算法计算得到，通常该MD5算法可以作为一种电子签名的方法来使用，使用MD5算法就可以为任何文件(可以是图像)产生一个独一无二的“数字指纹”，这个“数字指纹”也即是MD5值，该MD5值通常是一个128位的散列值，通过检查文件前后MD5值是否发生了改变，可以知道源文件是否被改动。
[0043] 步骤S204，判断预设的第二数据库中是否存在与上述待审核图像的MD5值相同的样本图像；如果不存在，执行步骤S208；如果存在，执行步骤S206。
[0044] 步骤S206，确认上述待审核图像审核不通过；结束。
[0045] 上述预设的第二数据库中包括大量的样本图像，以及该样本图像对应的MD5值，该样本图像可以与第一数据库中的样本图像相同也可以不同，也即是从网络中获取到的包含敏感因素的图像。通常通过MD5值可以检测出两个图像是否完全相同，如果第二数据库中存在与待审核图像的MD5值相同的样本图像，确认该审核图像为包含敏感因素的图像，审核不通过。
[0046] 由于网络中大量传播的包含敏感因素的图像都是相同的，因此为了加快识别速度，节省机器资源，提高命中率，当接收到待审核图像时，首先获取待审核图像的MD5值，再通过该MD5值检测第二数据库中是否存在与该MD5值相同的样本图像，从而可以将大量的与包含敏感因素的图像相同的待审核图像确定为审核不通过。当不法分子通过添加文字或者细微修改(如，合并、截图、缩放等)图像等手段修改图像时，图像的MD5值会发生变化，从而无法确定修改过的图像(相当于上述待审核图像)与包含敏感因素的图像相同，需要对修改过的图像进行进一步地审核。
[0047] 步骤S208，获取上述待审核图像的特征向量。
[0048] 步骤S210，针对预设的第一数据库中的每个样本图像，进行下述处理：计算上述待审核图像的特征向量与当前样本图像对应的特征向量的相似度：其中，X表示上述待审核图像，Y表示上述当前样本图像，n表示特征向量中特征值的总数，xi表示待审核图像的特征向量中的第i个特征值，i为整数且i的取值范围为1到n，yi表示当前样本图像的特征向量中的第i个特征值。
[0049] 上述待审核图像的特征向量需要与第一数据库中的每个样本图像计算相似度，首先将第一数据库中的第一个样本图像确定为当前样本图像，计算该待审核图像的特征向量与当前样本图像的特征向量的欧几里得距离 然后将第一数据库中当前样本图像的下一个样本图像作为新的当前样本图像，继续计算待审核图像的特征向量与当前样本图像的欧几里得距离，直到第一数据库中的每个样本图像均计算完成。
[0050] 根据上述欧几里得距离可以确定待审核图像的特征向量与当前样本图像对应的特征向量的相似度，通常该欧几里得距离越小，相似度越大。一般情况下，待审核图像的特征向量与当前样本图像的特征向量的维数为4096维，也即是特征向量中特征值的总数为4096。
[0051] 步骤S212，如果上述待审核图像的特征向量与每个样本图像对应的特征向量的相似度均高于第一预设阈值，将该待审核图像输入至预设的审核模型中，输出该待审核图像的审核结果。
[0052] 上述图像的审核方法，首先获取待审核图像的MD5值，进而判断待审核图像的MD5值与第二数据库中的各个样本图像的MD5值是否相同；如果第二数据库中，存在与该待审核图像的MD5值相同的样本图像，确认上述待审核图像审核不通过；如果待审核图像的MD5值与每个样本图像的MD5值均不相同，获取该待审核图像的特征向量；然后计算待审核图像的特征向量与第一数据库中每个样本图像对应的特征向量的相似度，如果待审核图像的特征向量与每个样本图像对应的特征向量的相似度均低于第一预设阈值，将该待审核图像输入至预设的审核模型中，输出该待审核图像的审核结果。该方式通过MD5值可以快速审核审核图像，如果审核通过，再进行后续的审核，提高了图像审核的速度，也既省了机器资源，而且该方式通过多次审核，提高了图像的识别精度。
[0053] 本发明实施例还提供了另一种图像的审核方法，该方法在上述实施例方法的基础上实现；该方法重点描述确定获取待审核图像的特征向量的具体过程(具体通过下述步骤S304实现)，以及将待审核图像输入至预设的审核模型中输出待审核图像的审核结果的具体过程(具体通过下述步骤S308-S314实现)；如图3所示，该审核方法包括如下步骤：
[0054] 步骤S302，获取待审核图像。
[0055] 步骤S304，对上述待审核图像进行哈尔小波变换，得到变换结果，将该变换结果作为待审核图像的特征向量。
[0057] 步骤S306，确定上述待审核图像的特征向量与预设的第一数据库中的各个样本图像对应的特征向量的相似度。
[0058] 步骤S308，如果上述待审核图像的特征向量与每个样本图像对应的特征向量的相似度均低于第一预设阈值，将该待审核图像输入至预设的人脸检测模型，得到输出结果。
[0059] 审核模型可以为上述预设的人脸检测模型，该人脸检测模型可以是神经网络模型，例如，MTCNN(Multi-taskCascadedConvolutionalNetworks，多任务神经网络)模型。该人脸检测模型可以检测待审核图像中是否存在人脸，尤其是复杂场景下的人脸检测。
[0060] 在具体实现时，人脸检测模型可以选用MTCNN模型，该MTCNN模型由三个子模型组成，分别为初始网络结构(P-Net)、改进网络结构(R-Net)和输出网络结构(O-Net)；P-Net主要获得了人脸区域的候选窗口和边界框的回归向量，并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制来合并高度重叠的候选框，在训练阶段，需要分别做人脸分类、人脸框的回归和人脸关键点定位；在推理阶段，输出只有4个坐标信息和置信度值，该置信度可以看作检测到人脸的概率。R-Net通过更复杂的全连接层精炼候选窗口，利用边界框向量微调候选窗体，再除重叠窗体，丢弃大量的重叠窗口；O-Net的功能通常与R-Net作用一样，只是在去除重叠候选窗口的同时，显示五个人脸关键点定位，该网络结构可以输出4个坐标信息、置信度值和人脸关键点信息。
[0061] 步骤S310，判断上述输出结果是否指示待审核图像中存在人脸；如果是，执行步骤S312；否则，执行步骤S314。
[0062] 上述输出结果可以是人脸检测网络输出的置信度值，该置信度值可以指示待审核图像中是否存在人脸，通常该置信度值大于或者等于预设的检测阈值，确定该待审核图像中存在人脸；如果该置信度值小于预设的检测阈值，确定该待审核图像中不存在人脸。
[0063] 步骤S312，提取上述待审核图像中人脸的特征向量，确定该人脸的特征向量与预设的第三数据库中各个人脸图像的特征向量的相似度，根据该相似度确定审核结果。
[0064] 在具体实现时，通常通过深度神经网络加上一个嵌入层(embedding层)来提取待审核图像的特征向量，该嵌入层可以将输入的图像转换成特征向量，例如，该嵌入层可以用一个512维的特征向量来表征待审核图像中人脸的特征信息，这个512维的特征向量可以是图像中人脸的唯一特征信息。
[0065] 上述预设的第三数据库中包含有大量的人脸图像，以及该人脸图像对应的人脸的特征向量。该人脸图像可以是包含敏感人物的人脸的图像，根据不同的审核目的，该敏感人物有所不同，例如，需要审核待审核图像是否为涉政图片时，该敏感人物为与政治相关的人物。在具体实现时，可以根据待审核图像的人脸的特征向量与人脸图像的特征向量的欧几里得距离，确定相似度；也可以利用正余弦相似度算法，确定相似度。
[0066] 步骤S314，检测上述待审核图像中是否存在预设的违规因素，根据检测结果确定审核结果。
[0067] 上述违规因素相当于上述与敏感因素相关的因素，例如，需要审核涉及政治的图像时，违规因素可以是政治人物、武器、游行、军装、国旗等。在具体实现时，可以通过图像比对、大数据处理或者人工智能等方法检测待审核图像中是否包存在违规因素，如果存在违规因素，确定待审核图像审核不通过，如果不存在违规因素，确定待审核图像审核通过。
[0068] 上述图像的审核方法，首先对待审核图像进行哈尔小波变换，得到待审核图像的特征向量，再通过待审核图像的特征向量与各个样本图像的特征向量的相似度，判定该待审核图像是否通过初步审核，如果初步审核通过，将该待审核图像输入至预设的人脸检测模型得到输出结果，然后根据输出结果确定该待审核图像中是否存在人脸，如果存在人脸提取待审核图像中人脸的特征向量，确定人脸的特征向量与预设的第三数据库中各个人脸图像的特征向量的相似度，根据该相似度确定审核结果；如果不存在人脸，检测上述待审核图像中是否存在预设的违规因素，根据检测结果确定审核结果。该方式通过多次审核能够判定待审核图像是否为隐喻类型的图像，从而可以避免对隐喻类型的图像的漏判，提高了图像审核的准确度。
[0069] 本发明实施例还提供了另一种图像的审核方法，该方法在上述实施例方法的基础上实现；该方法重点描述确定人脸的特征向量与预设的第三数据库中各个人脸图像的特征向量的相似度的具体过程(具体通过下述步骤S410实现)，以及检测待审核图像中是否存在预设的违规因素，根据检测结果确定审核结果(具体通过下述步骤S414-S420实现)；如图4所示，该审核方法包括如下步骤：
[0070] 步骤S402，获取待审核图像的特征向量。
[0071] 步骤S404，确定上述待审核图像的特征向量与预设的第一数据库中的各个样本图像对应的特征向量的相似度。
[0072] 步骤S406，如果上述待审核图像的特征向量与每个样本图像对应的特征向量的相似度均低于第一预设阈值，将该待审核图像输入至预设的人脸检测模型，得到输出结果。
[0073] 上述预设的人脸检测模型为审核模型。
[0074] 步骤S408，判断上述输出结果是否指示待审核图像中存在人脸；如果是，执行步骤S410；否则，执行步骤S414。
[0075] 步骤S410，提取上述待审核图像中人脸的特征向量，针对预设的第三数据库中的每个人脸图像，进行下述处理：计算该人脸的特征向量与当前人脸图像的特征向量的相似度： 其中，A表示待审核图像中人脸的特征向量，B表示当前人脸图像的特征向量，||A||和||B||分别表示A的膜和B的膜，m表示特征向量中特征值的总数，Aj表示待审核图像中人脸的特征向量中的第j个特征值，j为整数且j的取值范围为1到m，Bj表示当前人脸图像的特征向量中的第j个特征值。
[0076] 上述待审核图像的人脸的特征向量需要与第三数据库中的每个人脸图像的特征向量计算相似度，首先将第三数据库中的第一个人脸图像确定为当前样本图像，利用余弦相似度算法计算该待审核图像的人脸的特征向量与当前人脸图像的特征向量的相似度similarity；然后将第三数据库中当前人脸图像的下一个人脸图像作为新的当前人脸图像，继续计算待审核图像的人脸的特征向量与当前人脸图像的相似度，直到第三数据库中的每个人脸图像均计算完成。
[0077] 在另一实施例中，在计算计算该待审核图像的人脸的特征向量与当前人脸图像的特征向量的相似度之前，需要对待审核图像的人脸的特征向量的特征值进行归一化处理，以提高计算速度。例如，当待审核图像的人脸的特征向量为A(A1,A2,A3,…,Am)，通过下述对特征值Aj进行归一化处理，得到归一化处理后的特征值A′j：
[0078]
[0079] 步骤S412，判断上述第三数据库中是否存在于上述待审核图像中人脸的特征向量的相似度高于第三预设阈值的人脸图像；如果存在，执行步骤S418；如果不存在，执行步骤S414。
[0080] 步骤S414，将上述待审核图像输入至预设的违规因素检测模型中，得到输出结果；其中，该违规因素检测模型为：预设的残差网络通过包含有违规因素的图像的训练集训练得到。
[0081] 上述审核模型还可以包括违规因素检测模型，该违规检测模型可以为ResNet(Residual Network，残差网络)，该网络通常是一种作为许多计算机视觉任务主干的经典神经网络，该ResNet网络较深，可以有效控制参数数量，该网络存在明显层级，特征图个数层层递进，保证输出特征的表达能力，而且可以提高传播效率。
[0082] 上述训练集中可以包括大量的与涉政因素对应的图像，通过该训练集可以对残差网络进行训练，训练完成后，将待审核图像输入至残差网络中，得到输出结果。该输出结果可以指示待审核图像中是否包含违规因素。
[0083] 步骤S416，判断上述输出结果指示待审核图像中是否包含违规因素，如果包含违规因素，执行步骤S418；如果不包含违规因素，执行步骤S420。
[0084] 步骤S418，确定上述待审核图像审核不通过。
[0085] 步骤S420，确定上述待审核图像审核通过。
[0086] 在具体实现时，如果输出结果大于或者等于预设值，确认待审核图像中包含违规因素，该待审核图像审核不通过；如果输出结果小于预设值，确认待审核图像中不包含违规因素，该待审核图像审核通过。
[0087] 在具体实现时，如果上述待审核图像审核不通过，将该待审核图像和该审核图像的特征向量保存至第一数据库，以更新第一数据库中的数据，从而避免漏检。
[0088] 上述图像的审核方法，当第一数据库中没有与待审核图像相似的样本图像时，首先通过人脸检测模型检测待审核图像中是否包含人脸，如果包含人脸，提取该待审核图像的人脸的特征向量，如果第二数据库中存在与待审核图像的人脸的特征向量的人脸图像，确定该待审核图像审核不通过，如果待审核图像中没有检测出人脸或者第二数据库中不存在与待审核图像的人脸的特征向量的人脸图像，通过违规因素检测模型检测待审核图像中是否包括违规因素，如果不包括审核通过。本发明提高了图像是被的准确率，并且在一定程度上降低了机器成本。
[0089] 对应于上述图像的审核方法的实施例，本发明实施例还提供了一种图像的审核装置，如图5所示，该装置包括：
[0090] 特征获取模块50，用于获取待审核图像的特征向量。
[0091] 相似度确定模块51，用于确定上述待审核图像的特征向量与预设的第一数据库中的各个样本图像对应的特征向量的相似度。
[0092] 结果输出模块52，用于如果上述待审核图像的特征向量与每个样本图像对应的特征向量的相似度均低于第一预设阈值，将上述待审核图像输入至预设的审核模型中，输出该待审核图像的审核结果。
[0093] 上述图像的审核装置，首先获取待审核图像的特征向量；进而确定该特征向量与预设的第一数据库中各个样本图像对应的特征向量的相似度；如果该待审核图像的特征向量与每个样本图像对应的特征向量的相似度均低于第一预设阈值，将该待审核图像输入至预设的审核模型，输出该待审核图像的审核结果。该方式基于待审核图像的特征向量判定该待审核图像是否通过初步审核，如果初步审核通过，基于审核模型再次审核；相对于采用MD5值审核的方式，该方式通过特征向量不仅能够识别出相同图像，也能识别出经过修改的相似图像，因而提高了图像审核的识别精度；另外，相对于审核模型的方式，基于图像的特征向量初步审核的计算成本较低，只有通过初步审核的图像才通过审核模型再次审核，因而可以降低图像审核的运算成本。同时，上述方式通过多次审核能够判定待审核图像是否为隐喻类型的图像，从而提高了图像识别精度，也提高了图像审核的准确度。
[0094] 进一步，上述装置还包括第一审核模块，用于：获取待审核图像的MD5值；判断预设的第二数据库中是否存在与所述待审核图像的MD5值相同的样本图像；如果不存在，执行所述获取待审核图像的特征向量的步骤；如果存在，确认所述待审核图像审核不通过。
[0095] 进一步地，上述特征获取模块50，用于：对上述待审核图像进行哈尔小波变换，得到变换结果，将变换结果作为待审核图像的特征向量。
[0096] 进一步地，上述相似度确定模块51，用于：针对预设的第一数据库中的每个样本图像，进行下述处理：计算待审核图像的特征向量与当前样本图像对应的特征向量的相似度dist： 其中，X表示待审核图像，Y表示当前样本图像，n表示特征向量中特征值的总数，xi表示待审核图像的特征向量中的第i个特征值，i为整数且i的取值范围为1到n，yi表示当前样本图像的特征向量中的第i个特征值。
[0097] 具体地，上述审核模型包括人脸检测模型；上述结果输出模块52，还用于：将待审核图像输入至人脸检测模型，得到输出结果；如果该输出结果指示待审核图像中存在人脸，提取该待审核图像中人脸的特征向量，确定该人脸的特征向量与预设的第三数据库中各个人脸图像的特征向量的相似度，根据该相似度确定审核结果；如果输出结果指示待审核图像中不存在人脸，检测待审核图像中是否存在预设的违规因素，根据检测结果确定审核结果。
[0098] 进一步地，上述结果输出模块52，还用于：如果第三数据库中存在与待审核图像中人脸的特征向量的相似度高于第三预设阈值的人脸图像，确定待审核图像审核不通过；如果待审核图像中人脸的特征向量与每个人脸图像的特征向量的相似度均低于第三预设阈值，执行检测待审核图像中是否存在预设的违规因素的步骤。
[0099] 进一步地，上述结果输出模块52，还用于：针对预设的第三数据库中的每个人脸图像，进行下述处理：计算人脸的特征向量与当前人脸图像的特征向量的相似度similarity：其中，A表示待审核图像中人脸的特征向量，B
表示当前人脸图像的特征向量，||A||和||B||分别表示A的膜和B的膜，m表示特征向量中特征值的总数，Aj表示待审核图像中人脸的特征向量中的第j个特征值，j为整数且j的取值范围为1到m，Bj表示当前人脸图像的特征向量中的第j个特征值。
表示当前人脸图像的特征向量，||A||和||B||分别表示A的膜和B的膜，m表示特征向量中特征值的总数，Aj表示待审核图像中人脸的特征向量中的第j个特征值，j为整数且j的取值范围为1到m，Bj表示当前人脸图像的特征向量中的第j个特征值。
[0100] 具体地，上述审核模型还包括违规因素检测模型；在具体实现时，上述检测所述待审核图像中是否存在预设的违规因素的步骤，包括：将待审核图像输入至违规因素检测模型中，得到输出结果；其中，该违规因素检测模型为：预设的残差网络通过包含有违规因素的图像的训练集训练得到；如果输出结果指示待审核图像中包含违规因素，确定待审核图像审核不通过；如果输出结果指示待审核图像中不包含违规因素，确定待审核图像审核通过。
[0101] 在具体实现时，如果上述待审核图像审核不通过，将该待审核图像和该审核图像的特征向量保存至第一数据库。
[0102] 本发明实施例所提供的图像的审核装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0103] 本发明实施例还提供了一种服务器，参见图6所示，该服务器包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述图像的审核方法。
[0105] 其中，存储器100可能包含高速随机存取存储器(RAM，RandomAccessMemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0106] 处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
[0107] 本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述图像的审核方法，具体实现可参见方法实施例，在此不再赘述。
[0108] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和/或电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0109] 最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法 | 2020-05-08 | 1011 |
| 一种基于分贝检测的机器人唤醒的方法 | 2020-05-08 | 698 |
| 一种大屏幕及其智能拍照方法 | 2020-05-08 | 0 |
| 一种智慧城市综合数据看板平台 | 2020-05-08 | 479 |
| 一种人脸识别方法及装置 | 2020-05-08 | 437 |
| 基于图像的人脸畸变校正方法、装置及电子设备 | 2020-05-08 | 537 |
| 一种基于多种数据类型融合的三维人脸识别方法 | 2020-05-11 | 676 |
| 图像的审核方法、装置和服务器 | 2020-05-11 | 908 |
| 一种智能门禁电路结构 | 2020-05-08 | 812 |
| 一种社区公厕的识别警示装置 | 2020-05-08 | 418 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈