首页 / 专利库 / 电脑零配件 / 击键 / 视频筛选方法及系统

视频筛选方法及系统

阅读:1018发布:2020-07-29

专利汇可以提供视频筛选方法及系统专利检索,专利查询,专利分析的服务。并且本 发明 提供了一种视频筛选方法及系统,涉及数据检索技术领域,该方法包括:根据预先设置的检索条件,获取待筛选视频的元数据;根据预设的筛选规则和该待筛选视频的元数据,从待筛选视频中确定目标视频;保存目标视频的元数据,以供用户处理。本发明提供的视频筛选方法及系统,通过自动完成视频数据的搜集筛选工作,既有效地减少了用户的工作量,又便于及时发现不良视频,从而降低了人工成本,提高了工作效率,且该搜集筛选不受工作人员的工作状态影响,因此提高了视频筛查效果的 稳定性 。,下面是视频筛选方法及系统专利的具体信息内容。

1.一种视频筛选方法,其特征在于,包括:
根据预先设置的检索条件,获取待筛选视频的元数据;
根据预设的筛选规则和所述待筛选视频的元数据,从所述待筛选视频中确定目标视频;
保存所述目标视频的元数据,以供用户处理。
2.根据权利要求1所述的方法,其特征在于,所述根据预先设置的检索条件,获取待筛选视频的元数据,包括:
通过任务调度器生成与预先设置的检索条件对应的网页抓取任务的统一资源定位符URL,并将所述URL发送至网页抓取器;其中,所述检索条件包括检索地址、检索关键词和检索时间要求;
通过所述网页抓取器向网站服务器发送所述URL抓取所述网页抓取任务对应的网页内容;
通过所述任务调度器将所述网页内容发送至与所述网页内容所属的视频网站对应的网页解析器;
通过所述网页解析器对所述网页内容进行解析,提取待筛选视频的元数据。
3.根据权利要求2所述的方法,其特征在于,所述通过所述网页解析器对检索到的网页内容进行解析,提取待筛选视频的元数据之后,所述方法还包括:
通过所述网页解析器判断所述待筛选视频的元数据是否为满足所述检索条件的全部数据;
如果否,继续执行所述通过任务调度器生成与预先设置的检索条件对应的网页抓取任务的统一资源定位符URL,并将所述URL发送至网页抓取器的步骤。
4.根据权利要求1所述的方法,其特征在于,所述待筛选视频的元数据包括上传时间和点击量,所述筛选规则包括上传时间要求和热度要求;所述根据预设的筛选规则和所述待筛选视频的元数据,从所述待筛选视频中确定目标视频,包括:
判断所述待筛选视频的上传时间是否满足所述上传时间要求;
如果满足所述上传时间要求,根据所述待筛选视频的点击量,判断所述待筛选视频是否满足所述热度要求;
将满足所述热度要求的待筛选视频确定为目标视频。
5.根据权利要求4所述的方法,其特征在于,所述待筛选视频的元数据还包括获取时间,所述热度要求包括热度阈值;所述根据所述待筛选视频的点击量,判断所述待筛选视频是否满足所述热度要求,包括:
根据所述待筛选视频的本次点击量和本次获取时间以及所述待筛选视频的前一次点击量和前一次获取时间,计算所述待筛选视频的热度值;
判断所述热度值是否大于或者等于所述热度阈值;
如果所述热度值大于或者等于所述热度阈值,确定所述待筛选视频满足所述热度要求。
6.根据权利要求1所述的方法,其特征在于,所述保存所述目标视频的元数据之后,所述方法包括:
向所述用户发出新视频待处理通知。
7.一种视频筛选系统,其特征在于,包括:
数据获取模,用于根据预先设置的检索条件,获取待筛选视频的元数据;
视频筛选模块,用于根据预设的筛选规则和所述待筛选视频的元数据,从所述待筛选视频中确定目标视频;
视频保存模块,用于保存所述目标视频的元数据,以供用户处理。
8.根据权利要求7所述的系统,其特征在于,所述数据获取模块具体用于:
通过任务调度器生成与预先设置的检索条件对应的网页抓取任务的统一资源定位符URL,并将所述URL发送至网页抓取器;其中,所述检索条件包括检索地址、检索关键词和检索时间要求;
通过所述网页抓取器向网站服务器发送所述URL抓取所述网页抓取任务对应的网页内容;
通过所述任务调度器将所述网页内容发送至与所述网页内容所属的视频网站对应的网页解析器;
通过所述网页解析器对所述网页内容进行解析,提取待筛选视频的元数据。
9.根据权利要求8所述的系统,其特征在于,所述数据获取模块具体还用于:
通过所述网页解析器判断所述待筛选视频的元数据是否为满足所述检索条件的全部数据;
如果否,继续执行所述通过任务调度器生成与预先设置的检索条件对应的网页抓取任务的统一资源定位符URL,并将所述URL发送至网页抓取器的步骤。
10.根据权利要求7所述的系统,其特征在于,所述待筛选视频的元数据包括上传时间和点击量,所述筛选规则包括上传时间要求和热度要求;所述视频筛选模块具体用于:
判断所述待筛选视频的上传时间是否满足所述上传时间要求;
如果满足所述上传时间要求,根据所述待筛选视频的点击量,判断所述待筛选视频是否满足所述热度要求;
将满足所述热度要求的待筛选视频确定为目标视频。

说明书全文

视频筛选方法及系统

技术领域

[0001] 本发明涉及数据检索技术领域,尤其是涉及一种视频筛选方法及系统。

背景技术

[0002] 随着科学技术的发展,网络逐渐成为人们用来交流、获取信息的重要工具,而观看视频是人们获取信息的最直观快捷的方式。然而当前视频容易被不法分子用于传播非法、暴、血腥信息,侵害国家主权、组织或个人隐私等,因此需要对有害视频进行筛查管理。
[0003] 传统的有害视频筛查工作通常依靠人工完成。通过花费大量的人力、时间,人工在各大视频网站上大范围长时间地阅览音视频内容,从而筛查出有害信息,尽量做到及时发现、及时处理,将有害视频的危害降到最低。
[0004] 随着互联网技术的快速发展,一方面视频网站的视频上传量在大量增加,主流的一些视频网站在一分钟内上传的视频时长可达几百小时;另一方面,网络视频的传播具有快捷性。针对上述情况,传统的有害视频筛查方法采取的措施如下:1、增加工作人员,在数量上弥补工作量的大幅增加。2、24小时倒班工作;由于视频上传时间不固定,全天24小时都有,因此这也是必需的。
[0005] 可见,传统的有害视频筛查方法因依靠人工完成,所以人工成本较高,工作效率较低,并且由于工作人员的工作强度较大,长期高强度地工作容易导致漏查部分有害视频,使得视频筛查效果的稳定性较差。

发明内容

[0006] 有鉴于此,本发明的目的在于提供一种视频筛选方法及系统,以降低人工成本,提高工作效率和视频筛查效果的稳定性。
[0007] 第一方面,本发明实施例提供了一种视频筛选方法,包括:
[0008] 根据预先设置的检索条件,获取待筛选视频的元数据;
[0009] 根据预设的筛选规则和所述待筛选视频的元数据,从所述待筛选视频中确定目标视频;
[0010] 保存所述目标视频的元数据,以供用户处理。
[0011] 结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述根据预先设置的检索条件,获取待筛选视频的元数据,包括:
[0012] 通过任务调度器生成与预先设置的检索条件对应的网页抓取任务的统一资源定位符URL,并将所述URL发送至网页抓取器;其中,所述检索条件包括检索地址、检索关键词和检索时间要求;
[0013] 通过所述网页抓取器向网站服务器发送所述URL抓取所述网页抓取任务对应的网页内容;
[0014] 通过所述任务调度器将所述网页内容发送至与所述网页内容所属的视频网站对应的网页解析器;
[0015] 通过所述网页解析器对所述网页内容进行解析,提取待筛选视频的元数据。
[0016] 结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述通过所述网页解析器对检索到的网页内容进行解析,提取待筛选视频的元数据之后,所述方法还包括:
[0017] 通过所述网页解析器判断所述待筛选视频的元数据是否为满足所述检索条件的全部数据;
[0018] 如果否,继续执行所述通过任务调度器生成与预先设置的检索条件对应的网页抓取任务的统一资源定位符URL,并将所述URL发送至网页抓取器的步骤。
[0019] 结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述待筛选视频的元数据包括上传时间和点击量,所述筛选规则包括上传时间要求和热度要求;所述根据预设的筛选规则和所述待筛选视频的元数据,从所述待筛选视频中确定目标视频,包括:
[0020] 判断所述待筛选视频的上传时间是否满足所述上传时间要求;
[0021] 如果满足所述上传时间要求,根据所述待筛选视频的点击量,判断所述待筛选视频是否满足所述热度要求;
[0022] 将满足所述热度要求的待筛选视频确定为目标视频。
[0023] 结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述待筛选视频的元数据还包括获取时间,所述热度要求包括热度阈值;所述根据所述待筛选视频的点击量,判断所述待筛选视频是否满足所述热度要求,包括:
[0024] 根据所述待筛选视频的本次点击量和本次获取时间以及所述待筛选视频的前一次点击量和前一次获取时间,计算所述待筛选视频的热度值;
[0025] 判断所述热度值是否大于或者等于所述热度阈值;
[0026] 如果所述热度值大于或者等于所述热度阈值,确定所述待筛选视频满足所述热度要求。
[0027] 结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,所述保存所述目标视频的元数据之后,所述方法包括:
[0028] 向所述用户发出新视频待处理通知。
[0029] 第二方面,本发明实施例还提供一种视频筛选系统,包括:包括:
[0030] 数据获取模,用于根据预先设置的检索条件,获取待筛选视频的元数据;
[0031] 视频筛选模块,用于根据预设的筛选规则和所述待筛选视频的元数据,从所述待筛选视频中确定目标视频;
[0032] 视频保存模块,用于保存所述目标视频的元数据,以供用户处理。
[0033] 结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,所述数据获取模块具体用于:
[0034] 通过任务调度器生成与预先设置的检索条件对应的网页抓取任务的统一资源定位符URL,并将所述URL发送至网页抓取器;其中,所述检索条件包括检索地址、检索关键词和检索时间要求;
[0035] 通过所述网页抓取器向网站服务器发送所述URL抓取所述网页抓取任务对应的网页内容;
[0036] 通过所述任务调度器将所述网页内容发送至与所述网页内容所属的视频网站对应的网页解析器;
[0037] 通过所述网页解析器对所述网页内容进行解析,提取待筛选视频的元数据。
[0038] 结合第二方面的第一种可能的实施方式,本发明实施例提供了第二方面的第二种可能的实施方式,其中,所述数据获取模块具体还用于:
[0039] 通过所述网页解析器判断所述待筛选视频的元数据是否为满足所述检索条件的全部数据;
[0040] 如果否,继续执行所述通过任务调度器生成与预先设置的检索条件对应的网页抓取任务的统一资源定位符URL,并将所述URL发送至网页抓取器的步骤。
[0041] 结合第二方面,本发明实施例提供了第二方面的第三种可能的实施方式,其中,所述待筛选视频的元数据包括上传时间和点击量,所述筛选规则包括上传时间要求和热度要求;所述视频筛选模块具体用于:
[0042] 判断所述待筛选视频的上传时间是否满足所述上传时间要求;
[0043] 如果满足所述上传时间要求,根据所述待筛选视频的点击量,判断所述待筛选视频是否满足所述热度要求;
[0044] 将满足所述热度要求的待筛选视频确定为目标视频。
[0045] 本发明实施例带来了以下有益效果:
[0046] 本发明实施例中,根据预先设置的检索条件,获取待筛选视频的元数据;根据预设的筛选规则和该待筛选视频的元数据,从待筛选视频中确定目标视频;保存目标视频的元数据,以供用户处理。本实施例提供的视频筛选方法及系统,通过自动完成视频数据的搜集筛选工作,既有效地减少了用户的工作量,又便于及时发现不良视频,从而降低了人工成本,提高了工作效率,且该搜集筛选不受工作人员的工作状态影响,因此提高了视频筛查效果的稳定性。
[0047] 本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
[0048] 为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

[0049] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0050] 图1为本发明实施例提供的一种视频筛选方法的流程示意图;
[0051] 图2为本发明实施例提供的一种视频筛查过程的总体流程示意图;
[0052] 图3为本发明实施例提供的一种视频筛选系统的结构示意图;
[0053] 图4为本发明实施例提供的另一种视频筛选系统的结构示意图。

具体实施方式

[0054] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0055] 目前传统的有害视频筛查工作通常依靠人工完成,人工成本较高,工作效率较低,视频筛查效果的稳定性较差。基于此,本发明实施例提供的一种视频筛选方法及系统,可以降低人工成本,提高工作效率和视频筛查效果的稳定性。
[0056] 为便于对本实施例进行理解,首先对本发明实施例所公开的一种视频筛选方法进行详细介绍。
[0057] 实施例一:
[0058] 本发明实施例提供了一种基于计算机和互联网技术的智能视频信息提取和分析技术,用于搜集和筛查有害信息的工作。图1为本发明实施例提供的一种视频筛选方法的流程示意图,如图1所示,该方法包括以下几个步骤:
[0059] 步骤S102,根据预先设置的检索条件,获取待筛选视频的元数据。
[0060] 在获取待筛选视频的元数据之前,需要先设置或者获取检索条件。预先设置的检索条件包括检索地址、检索关键词和检索时间要求等,例如选择需要重点关注的视频网站作为检索地址(网站站点),收集常用的用于检索视频的关键词及词组组成关键词库,设置搜索时间间隔、视频上传时间范围等检索时间要求,另外还可以设置是否下载等条件。其中,检索关键词的搜集是根据用户的日常使用获取,如用于长期搜索的或近期需要的热点词汇。关键词库是个相对动态的词库,通过对关键词库中检索关键词的增加、删除、修改,将获取更精准的搜索结果。
[0061] 用户可以通过新建盲搜任务启动该视频筛选方法。新建一个盲搜任务时,对所有支持的网站(检索条件中选择的视频网站)同时生效,无需逐一添加网站。新建盲搜任务时自动获取的是通用的检索条件,并不适用于所有网站,用户可以根据结果返回情况,修改检索条件。检索条件可以在数据库中按任务名分类并以文本形式进行逐行保存,修改后的参数在下一次盲搜任务中生效。基于此,上述方法还包括:当接收到检索条件修改请求时,根据该检索条件修改请求修改当前的检索条件,并保存修改后的检索条件。
[0062] 上述盲搜任务运行后,本实施例提供的方法自动从上述网站站点检索与关键词库相关的且符合检索时间要求的网页内容,再对获取到的网页内容进行解析,获取待筛选视频的元数据。
[0063] 步骤S104,根据预设的筛选规则和上述待筛选视频的元数据,从待筛选视频中确定目标视频。
[0064] 将待筛选视频的元数据与预设的筛选规则进行比较,将满足该筛选规则的待筛选视频确定为目标视频。
[0065] 步骤S106,保存上述目标视频的元数据,以供用户处理。
[0066] 将上述目标视频的元数保存到数据库中,以供用户检索、查看和处理。
[0067] 用户可以查阅新获取的视频(目标视频),并对其采取进一步处理,如进行下载、入库、删除等操作,并将处理时间记入数据库中。根据检索条件中设置的搜索时间间隔,周期性地执行上述步骤S102至S106。用户可随时查阅或处理保存在数据库内的目标视频的元数据。
[0068] 在一些可能的实施例中,上述步骤S102可以通过以下过程实现:通过任务调度器生成与预先设置的检索条件对应的网页抓取任务的统一资源定位符URL(Uniform Resource Locator),并将该URL发送至网页抓取器;其中,检索条件包括检索地址、检索关键词和检索时间要求;通过网页抓取器向网站服务器发送该URL抓取网页抓取任务对应的网页内容;通过任务调度器将网页内容发送至与该网页内容所属的视频网站对应的网页解析器;通过网页解析器对该网页内容进行解析,提取待筛选视频的元数据。
[0069] 具体地,盲搜任务运行后,任务调度器从数据库中获取检索条件,生成网页抓取任务的URL,通过任务队列交给网页抓取器实施具体的网页抓取任务。网页抓取任务按任务名分类并逐行保存到数据库。
[0070] 网页抓取器发送URL到网站服务器,通过http或https协议等方式(但并不限于此)抓取网页内容,并通过任务调度器将该网页内容交给网页解析器进行处理。网页抓取任务具有最高运行优先级,一旦生成立即执行。网页抓取器可以采用分布式部署方式,这样在多任务时具有更好的响应速度和用户体验。
[0071] 不同的视频网站拥有不同的网页解析器,网页解析器根据视频网站对应的解析规则提取视频的元数据。视频的元数据可以包括:视频名、缩略图、长度、上传时间、点击量等。视频的元数据按任务名分类并逐行保存到数据库。
[0072] 进一步地,考虑到上述过程获取的待筛选视频的元数据可能存在抓取不全的问题,上述方法还包括:通过网页解析器判断待筛选视频的元数据是否为满足检索条件的全部数据;如果否,继续执行“通过任务调度器生成与预先设置的检索条件对应的网页抓取任务的URL,并将该URL发送至网页抓取器”的步骤。例如,要求抓取一个月内的视频,若判断出抓取的为一周内的视频,则继续制定并执行网页抓取任务。
[0073] 在一些可能的实施例中,待筛选视频的元数据包括上传时间和点击量,上述筛选规则包括上传时间要求和热度要求,上述步骤S104可以通过以下过程实现:判断待筛选视频的上传时间是否满足上传时间要求;如果满足上传时间要求,根据待筛选视频的点击量,判断待筛选视频是否满足热度要求;将满足热度要求的待筛选视频确定为目标视频。
[0074] 进一步地,上述待筛选视频的元数据还包括获取时间,上述热度要求包括热度阈值,上述步骤“判断待筛选视频是否满足热度要求”可以通过如下过程实现:根据待筛选视频的本次点击量和本次获取时间以及待筛选视频的前一次点击量和前一次获取时间,计算待筛选视频的热度值;判断该热度值是否大于或者等于热度阈值;如果该热度值大于或者等于热度阈值,确定待筛选视频满足热度要求。
[0075] 具体地,可以通过内容筛选器执行上述步骤S104的具体过程。考虑到往往热度高的视频容易引起用户的兴趣并且是有用的视频,首先进行新视频判断:通过上传时间判断视频是否为新视频;然后进行热点新闻判断:根据本次获取的视频点击量n1、时间t1和上次获取的点击量n0、时间t0,计算得到视频的热度为:H1=(n1–n0)/(t1–t0)。再将解析得到的视频的元数据与上述检索条件进行比较,将满足检索条件的视频信息按任务名分类并逐行保存到数据库。
[0076] 本发明实施例中,根据预先设置的检索条件,获取待筛选视频的元数据;根据预设的筛选规则和该待筛选视频的元数据,从待筛选视频中确定目标视频;保存目标视频的元数据,以供用户处理。本实施例提供的视频筛选方法,通过自动完成视频数据的搜集筛选工作,既有效地减少了用户的工作量,又便于及时发现不良视频,从而降低了人工成本,提高了工作效率,且该搜集筛选不受工作人员的工作状态影响,因此提高了视频筛查效果的稳定性。
[0077] 为了提高视频筛查的时效性,在保存上述目标视频的元数据之后,上述方法还包括:向用户发出新视频待处理通知,例如在客户端(手机、电脑等)上显示通知图标和/或发出声音提醒。这样可以通知用户有新的视频被检索到,方便用户及时处理。
[0078] 为了便于用户查看任务的进行情况,还可以显示任务进度。具体地,在客户端的页面上显示盲搜任务的结果(如获取到的目标视频等)和进度,包括创建时间、已经获取的视频数量及筛选处理过的视频数量等。用户可以查看该任务进度,如查看获取到的目标视频,还可以对该任务进度进行添加、修改、删除、备注等操作。
[0079] 图2为本发明实施例提供的一种视频筛查过程的总体流程示意图,如图2所示,该视频筛查过程包括以下流程:
[0080] 流程202,检索条件设置。
[0081] 流程204,检索视频网站的视频。
[0082] 流程206,对检索结果进行分析、筛选。即对检索到的网页内容进行解析,并对解析得到的视频进行筛选。
[0083] 进行到流程206时,若检索条件修改,则重新执行流程202。
[0084] 流程208,客户端显示新视频通知。
[0085] 然后根据检索条件中设置的搜索时间间隔,周期性地进行流程204至流程208。
[0086] 流程210,人工审核筛选出的视频是否有用。
[0087] 流程212,将有用的视频备案保存,将无用的视频丢掉。
[0088] 实施例二:
[0089] 图3为本发明实施例提供的一种视频筛选系统的结构示意图,如图3所示,该系统包括:
[0090] 数据获取模块32,用于根据预先设置的检索条件,获取待筛选视频的元数据;
[0091] 视频筛选模块34,用于根据预设的筛选规则和上述待筛选视频的元数据,从待筛选视频中确定目标视频;
[0092] 视频保存模块36,用于保存目标视频的元数据,以供用户处理。
[0093] 在一些可能的实施例中,上述数据获取模块32具体用于:
[0094] 通过任务调度器生成与预先设置的检索条件对应的网页抓取任务的统一资源定位符URL,并将该URL发送至网页抓取器;其中,检索条件包括检索地址、检索关键词和检索时间要求;通过网页抓取器向网站服务器发送该URL抓取网页抓取任务对应的网页内容;通过任务调度器将该网页内容发送至与该网页内容所属的视频网站对应的网页解析器;通过网页解析器对该网页内容进行解析,提取待筛选视频的元数据。
[0095] 考虑到上述数据获取模块32获取的待筛选视频的元数据可能存在抓取不全的问题,数据获取模块32具体还用于:
[0096] 通过网页解析器判断待筛选视频的元数据是否为满足检索条件的全部数据;如果否,继续执行通过任务调度器生成与预先设置的检索条件对应的网页抓取任务的统一资源定位符URL,并将该URL发送至网页抓取器的步骤。
[0097] 在一些可能的实施例中,待筛选视频的元数据包括上传时间和点击量,筛选规则包括上传时间要求和热度要求;上述视频筛选模块34具体用于:
[0098] 判断待筛选视频的上传时间是否满足上传时间要求;如果满足上传时间要求,根据待筛选视频的点击量,判断待筛选视频是否满足热度要求;将满足热度要求的待筛选视频确定为目标视频。
[0099] 本发明实施例中,根据预先设置的检索条件,获取待筛选视频的元数据;根据预设的筛选规则和该待筛选视频的元数据,从待筛选视频中确定目标视频;保存目标视频的元数据,以供用户处理。本实施例提供的视频筛选系统,通过自动完成视频数据的搜集筛选工作,既有效地减少了用户的工作量,又便于及时发现不良视频,从而降低了人工成本,提高了工作效率,且该搜集筛选不受工作人员的工作状态影响,因此提高了视频筛查效果的稳定性。
[0100] 图4为本发明实施例提供的另一种视频筛选系统的结构示意图,如图4所示,该系统包括任务调度器、网页抓取器、网页解析器、内容筛选器等子系统。
[0101] 各个子系统间使用消息队列连接,除了任务调度器是单点部署外,网页抓取器、网页解析器和内容筛选器都是可以多点分布式部署的。任务调度器可以按照宽度优先策略,负责整体的调度控制。
[0102] 具体地,如图4所示,盲搜任务由任务调度器发起调度,网页抓取器抓取网页内容,网页解析器对网页内容进行解析,并判断获取的解析结果是否为预设的检索条件的全部结果,如果不是,则产生新的提链任务(发往任务调度器),形成闭环。最后将解析结果进一步过滤,将最终结果呈现给用户,并保存到数据库供用户查看。
[0103] 其中,上述网页抓取器可以灵活使用多种库对页面进行解析,并使用框架API(Application Programming Interface,应用程序编程接口)控制下一步抓取动作,通过设置回调控制解析动作。
[0104] 本发明实施例提供的技术方案具有以下有益效果:
[0105] 1、降低成本:部署本系统即可完成预定的(有害)视频信息的搜集工作,减少了用户的工作量,降低了人工成本。
[0106] 2、稳定性好:本系统对视频信息的搜集工作不受工作人员的工作状态的影响,可以按预定目标执行并完成任务。
[0107] 3、全天候工作:本系统能够全天候24小时工作。
[0108] 4、智能化:本系统将搜集的结果进行结构化处理,方便查看和管理。
[0109] 5、数据回顾:所有视频的元数据保存在中心数据库,可根据相关度和时间信息进行检索以及查看历史信息。
[0110] 本发明实施例提供的视频筛选系统,与上述实施例提供的视频筛选方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
[0111] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0112] 附图中的流程图框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
[0113] 本发明实施例所提供的进行视频筛选方法的计算机程序产品,包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
[0114] 在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0115] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0116] 另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
[0117] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0118] 最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈