技术领域
[0001] 本
发明属于
计算机网络技术领域，更具体地，涉及一种广告内容信息过滤人工智能审核系统。
背景技术
[0002] 随着公共场所
电子屏(以下简称广告屏)技术不断发展和智能设备的大规模普及，广告屏上的应用功能越来越多，受众群体也越来越广，在文化内容极大丰富的同时，也产生了各种各样的问题，广告电子屏设备网络安全、内容安全给我们带来了很大的挑战，包括色情、涉政、暴恐等各类违反社会稳定和谐、甚至国家安全的内容。而传统的广告屏内容过滤审核方式及人工审核采用事前审核，再通过网络或者4G数传设备传送到电子屏播放
控制器中，无法保证在播放过程中，播放控制器受到黑客攻击、人为误操作或内容篡改，没有良好的控制手段，实时性也得不到保障。
[0003] 为了实现对广告屏播放内容环境的
净化，必须对传输到广告屏的过程中，内容进行实时控制和自动审核，包括不良图片、视频、音频、文字、自定义规则进行监控，直接切断播放控制器和广告屏之间的HDMI有害信息的传播数据流，并实现事中控制、事后取证的能
力。
发明内容
[0004] 为此，需要提供一种广告内容信息过滤人工智能审核系统，该广告内容信息过滤人工智能审核系统对各种文字、图片、视频和语音进行监控，识别其中的不良内容，阻断不良内容的传输，以防止不良内容的传播，造成恶劣影响。
[0005] 为实现上述目的，本发明采用如下技术方案：
[0006] 广告内容信息过滤人工智能审核系统，该系统包括，
[0007]
数据采集模
块，用于采集文字、图片、视频和语音信息；
[0008]
算法模型训练模块，用于训练对数据进行处理的算法模型，并对算法模型进行标注，以便于调用；
[0009] 算法服务模块，根据智能检测模块的需要从算法模型训练模块调用不同的算法模型对数据进行处理；
[0010] 智能检测模块，根据数据采集模型采集的数据，调用算法服务模块中对应的算法模型对数据进行检测，并将检测结果发送给数据分析模块、审核模块和处置模块；
[0011] 审核模块，根据数据管理模块的定义，对智能检测模块的检测结果进行审核，将审核结果发送给数据分析模块和数据存储模块；
[0012] 处置模块，针对智能检测模块的检测结果，给出处置建议；
[0013] 数据管理模块，用于管理不同类型数据的案例，这些数据案例为算法服务模块和审核模块提供参考；
[0014] 数据存储模块，用于进行数据存储；
[0015] 数据分析模块，根据检测结果和审核结果进行预警、统计、取证；
[0016] 系统管理模块，用于管理登录系统的用户，消息提醒，系统的运行状态。
[0017] 本技术方案进一步的优化，算法模型训练模块训练的模块包括深度网络模型。
[0018] 本技术方案进一步的优化，所述算法服务模块包括智能鉴黄、暴恐识别、广告识别、人脸对比、LOGO识别、不良场景识别、图文OCR、人脸搜索、垃圾文本识别、竞品评论过滤、无意义弹幕过滤、刷屏/灌
水识别、文本相似度、声纹识别、语种识别、语音转文字、视频指纹、视频分类、视频字幕提取和视频标签提取中的一种或者多种。
[0019] 本技术方案进一步的优化，所述智能检测模块包括鉴权、流控、调用和综合决策。
[0020] 本技术方案进一步的优化，所述审核模块包括任务智能管理、审核打标和标签管理。
[0021] 本技术方案进一步的优化，所述处理模块包括处置策略配置和处置建议反馈。
[0022] 本技术方案进一步的优化，所述数据管理模块包括自定义黑白样本、审核/质检回流样本、案例/样本查询分析、案例/样本编辑、审核典型案例记录、审核差错案例记录。
[0023] 本技术方案进一步的优化，所述数据存储模块包括预警数据和API
接口。
[0024] 本技术方案进一步的优化，所述数据分析模块具体包括通报预警、统计报表、违规历史取证、远程在线取证和内容
风险情报大屏。
[0025] 本技术方案进一步的优化，所述系统管理模块包括用户管理、APP KEY管理、消息中心、LICENSE和运维管理。
[0026] 本发明对图片、视频、音频、文字、自定义规则提供设备本地识别和
云端二次识别内容安全审核功能，内容安全审核功能包括涉黄，涉暴恐，及
鉴别政治人物等。内容安全审核算法模型采用业界最前沿的
深度学习技术，例如涉暴恐的模型算法，在聚类分类的
基础上，采用课程学习的方法使模型循序渐进，由易到难地学习不同场景的特征，结合学术界最新的模型网络结构，实现暴恐场景的精确识别
定位，同时在不损失性能的基础上采用
剪枝、压缩等方法实现模型的轻量化，大规模减少模型的推理时间。而涉黄的模型算法则构建了一个大规模的GPU
服务器集群，利用海量数据所提供的知识来对
深度神经网络进行引导，训练出多个极具泛化能力的网络模型，同时基于蒸馏学习的思想对模型复杂度和参数规模进行了大幅压缩，以极低的成本，快速准确地识别出色情、低俗的图片和视频，并将特征码OTA网络更新到设备端，保持最新的数据识别模型。
附图说明
[0027] 图1为广告内容信息过滤人工智能审核系统结构
框图；
[0028] 图2为广告内容信息过滤人工智能审核系统示意图。
[0029] 附图标记说明：
[0030] 101、数据采集模块，
[0031] 102、智能检测模块，
[0032] 103、算法模型训练模块，
[0033] 104、算法服务模块，
[0034] 105、数据管理模块，
[0035] 106、处置模块，
[0036] 107、审核模块，
[0037] 108、数据存储模块，
[0038] 109、数据分析模块。
具体实施方式
[0039] 为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体
实施例并配合附图详予说明。
[0040] 请参阅图1，本发明提出广告内容信息过滤人工智能审核系统结构框图，该广告安全系统包括：
[0041] 数据采集模块101，用于采集文字、图片、视频和语音信息；
[0042] 算法模型训练模块103，用于训练对数据进行处理的算法模型，并对算法模型进行标注，以便于调用；
[0043] 算法服务模块104，根据智能检测模块的需要从算法模型训练模块调用不同的算法模型对数据进行处理；
[0044] 智能检测模块102，根据数据采集模型采集的数据，调用算法服务模块中对应的算法模型对数据进行检测，并将检测结果发送给数据分析模块、审核模块和处置模块；
[0045] 审核模块107，根据数据管理模块的定义，对智能检测模块的检测结果进行审核，将审核结果发送给数据分析模块和数据存储模块；
[0046] 处置模块106，针对智能检测模块的检测结果，给出处置建议；
[0047] 数据管理模块105，用于管理不同类型数据的案例，这些数据案例为算法服务模块和审核模块提供参考；
[0048] 数据存储模块108，用于进行数据存储；
[0049] 数据分析模块109，根据检测结果和审核结果进行预警、统计、取证；
[0050] 系统管理模块，用于管理登录系统的用户，消息提醒，系统的运行状态。
[0051] 参阅图2所示，本发明优选一实施例的示意图。该实施例用于户外大屏播放设备，对户外大屏上播放的广告进行监控，该广告安全系统包括：
[0052] 数据采集模块，用于采集将要播放的广告中的文字、图片、视频和语音等信息。
[0053] 算法模型训练模块，采用已有数据对算法模型进行训练，例如用于
图像识别的深度网络模型DEEPSMART及RESNET模型训练，使得训练出的模型能够识别色情、低俗、暴恐图像。训练能够识别垃圾文本的深度神经网络模型，不同的算法模型作用不同。首先对待
训练数据进行分类打标，不同的数据训练不同的算法模型，对所有算法模型进行评测，直到满足要求才停止训练。由于不同的算法模型都进行了打标，以便于将来调用。打标即对数据或者算法模型进行标注，以便于识别。
[0054] 算法服务模块，根据智能检测模块的需要从算法模型训练模块调用不同的算法模型对数据进行处理。算法服务模块可提供各种服务，例如智能鉴黄、暴恐识别、广告识别、人脸对比、LOGO识别、不良场景识别、图文OCR、人脸搜索、垃圾文本识别、竞品评论过滤、无意义弹幕过滤、刷屏/灌水识别、文本相似度、声纹识别、语种识别、语音转文字、视频指纹、视频分类、视频字幕提取和视频标签提取等等。该系统应用于不同的场景，可提供不同的服务，对于显示屏类场景，主要是智能鉴黄、暴恐识别、不良场景识别等，以保证显示屏显示的内容合法合规。对于语音
聊天室，对语音聊天内容和文字聊天内容进行监控，可提供语种识别、语音转文字、智能鉴黄等监控，对于违法违规进行提醒。对于论坛页面，监控发帖内容和咨询转载内容。对于直播视频场景，监控直播封面、直播内容和直播弹幕。
[0055] 智能检测模块，根据数据采集模型采集的数据，调用算法服务模块中对应的算法模型对数据进行检测，并将检测结果发送给数据分析模块、审核模块和处置模块。智能检测模块包括鉴权、流控、调用和综合决策，其中鉴权是指，鉴别数据采集模块传输过来的数据来源是否合法。流控，即流量控制，通过监控网络流量，分析流量行为，设置流量管理策略，实现基于时间、VLAN、用户、应用、数据流向等条件的智能流量管理。调用，数据采集模块传输的数据类型不同，从算法服务模块调用不同的算法模型，进行
数据处理，检测数据中的问题。综合决策，结合数据来源以及算法模型的分析结果，给出检测结果。
[0056] 审核模块，根据数据管理模块的定义，对智能检测模块的检测结果进行审核，将审核结果发送给数据分析模块和数据存储模块。审核模块包括任务智能管理、审核打标和标签管理。审核打标对检测结果进行标注，标签管理对于标注内容统一安排管理，不同的检测结果结果标注不同。任务智能管理即对智能检测模块发送过来的检测结果进行统一管理，发送到数据管理模块更新审核案例，发送到数据存储模块进行存储。
[0057] 处置模块，针对智能检测模块的检测结果，给出处置建议。处理模块包括处置策略配置和处置建议反馈，处置策略配置，该系统不同的应用场景配置的处置策略不同，对于显示屏场景，由于受众较多，对于违法内容，直接进行拦截，不予以播放。对于语音聊天室，监控到违法内容，对这些进行证据保存。对于论坛页面，直接将违法帖子进行删除处理。
[0058] 数据管理模块，用于管理不同类型数据的案例，这些数据案例为算法服务模块和审核模块提供参考。数据管理模块包括自定义黑白样本、审核/质检回流样本、案例/样本查询分析、案例/样本编辑、审核典型案例记录、审核差错案例记录，这些涉及到的数据都存储在数据存储模块，审核模块将审核典型案例和审查差错案例都传输给数据管理模块进行记录。
[0059] 数据存储模块，用于进行数据存储。数据存储模块接收审核模块传输过来的数据，并与数据管理模块相互通信，数据管理模块的所有数据都存储到数据存储模块。数据存储模块包括预警数据和API接口，审核模块的审核结果发送给数据存储模块，数据存储模块将预警数据传输给数据分析模块。API(Application Programming Interface，应用程序接口)是一些预先定义的函数，或指
软件系统不同组成部分衔接的约定。
[0060] 数据分析模块，根据检测结果和审核结果进行预警、统计、取证。数据分析模块具体包括通报预警、统计报表、违规历史取证、远程在线取证和内容风险情报大屏。通报预警，对于违法内容进行预警，并通知相关的管理员，让管理员进行处理。例如显示屏被黑，播放不良内容，直接禁止播放并进行预警，管理员收到预警信息过来进行处理。统计报表，根据数据分析结果，分析不同的内容，例如一个视频直播平台，在一定的时间段内，违规达到一定的次数，直接查封平台。违规历史取证，对于违规的内容进行加密存储，以便于后续取证需要。远程在线取证，对于直播平台直播的违规内容，检测后远程实时录像存储。内容风险情报大屏，对于显示屏播放的内容，进行风险提示。
[0061] 系统管理模块，用于管理登录系统的用户，消息提醒，系统的运行状态。系统管理模块包括用户管理、APP KEY管理、消息中心、LICENSE和运维管理。用户管理用于管理登录该系统的用户，只有注册过的用户才能登录，且不同的用户登录权限不同，能查看的内容不同。APP KEY管理用于管理相关秘钥。消息中心，信息提醒，每个用户登录后可查看系统发送的消息，针对不同的提醒消息进行处理。LICENSE，为软件
版权，即该系统的基本信息，目前处于哪个版本。运维管理，管理该系统的运行，对于运行中出现的问题通过消息中心提醒用户，用户进行处理。
[0062] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
[0063] 尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和
修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的
专利保护范围，凡是利用本发明
说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。
