首页 / 专利库 / 商业 / 回执 / 一种数据采集方法、装置及系统

一种数据采集方法、装置及系统

阅读:547发布:2020-05-08

专利汇可以提供一种数据采集方法、装置及系统专利检索,专利查询,专利分析的服务。并且本 申请 实施例 公开了一种 数据采集 方法、装置及系统,在获取了数据被采集方通过第一数据传输协议传输的被采集的第一数据后,将第一数据通过数据采集方支持的第二数据传输协议发送给数据采集方,使得数据采集方和数据被采集方之间的数据传输无需限制于两个系统不同的数据传输协议,可快速对接,解决了现有的异构系统之间数据采集存在对接工作量大、周期长以及成本大的技术问题,无法满足各类系统之间的数据采集需求,不具备通用性。,下面是一种数据采集方法、装置及系统专利的具体信息内容。

1.一种数据采集方法,其特征在于,包括:
获取向数据被采集方采集的第一数据,所述第一数据由所述数据被采集方通过第一数据传输协议传输;
确定所述第一数据的数据采集方支持的第二数据传输协议;
通过所述第二数据传输协议向所述数据采集方发送所述第一数据。
2.根据权利要求1所述的数据采集方法,其特征在于,所述获取向数据被采集方采集的第一数据之前还包括:
通过预设配置文件与数据被采集方以及数据采集方的数据采集接口对接。
3.根据权利要求1所述的数据采集方法,其特征在于,所述获取向数据被采集方采集的第一数据之后还包括:
对所述第一数据进行数据校验。
4.根据权利要求1所述的数据采集方法,其特征在于,所述获取向数据被采集方采集的第一数据之后还包括:
确定所述第一数据的数据采集方的数据格式;
所述第一数据由所述数据被采集方的数据格式转换为所述数据采集方的数据格式。
5.根据权利要求1所述的数据采集方法,其特征在于,所述获取向数据被采集方采集的第一数据之前还包括:
根据数据采集方以及数据被采集方的网络环境确定第一数据的数据传输方式。
6.一种数据采集装置,其特征在于,包括:
获取单元,用于获取向数据被采集方采集的第一数据,所述第一数据由所述数据被采集方通过第一数据传输协议传输;
第一确定单元,用于确定所述第一数据的数据采集方支持的第二数据传输协议;
发送单元,用于通过所述第二数据传输协议向所述数据采集方发送所述第一数据。
7.根据权利要求6所述的数据采集装置,其特征在于,还包括:
对接单元,用于通过预设配置文件与数据被采集方以及数据采集方的数据采集接口对接。
8.一种数据采集系统,其特征在于,包括:
数据采集方、数据被采集方以及如权利要求6至7任意一项所述的数据采集装置;
所述数据采集方与所述数据采集装置对接;
所述数据被采集方与所述数据采集装置对接;
所述数据采集装置获取向所述数据被采集方采集的第一数据,所述第一数据由所述数据被采集方通过第一数据传输协议传输;
所述数据采集装置确定所述第一数据的所述数据采集方支持的第二数据传输协议;
所述数据采集装置通过所述第二数据传输协议向所述数据采集方发送所述第一数据。
9.根据权利要求8所述的数据采集系统,其特征在于,所述数据采集装置通过所述第二数据传输协议向所述数据采集方发送所述第一数据之后还包括:
所述数据采集方对所述第一数据的所述数据被采集方进行身份验证。
10.根据权利要求8所述的数据采集系统,其特征在于,所述数据采集装置通过所述第二数据传输协议向所述数据采集方发送所述第一数据之后还包括:
所述数据采集方对所述第一数据的有效性进行识别,若所述第一数据为有效数据,则存储所述第一数据,否则过滤所述第一数据并向所述数据采集装置反馈回执信息。

说明书全文

一种数据采集方法、装置及系统

技术领域

[0001] 本申请涉及数据采集技术领域,尤其涉及一种数据采集方法、装置及系统。

背景技术

[0002] 信息系统的运行离不开数据的支撑,数据采集是每个信息系统最重要的环节之一。
[0003] 市场上现有的信息系统,其数据采集主要通过开放数据接口(http、ftp 等)或者通过MQ方式实现,数据采集须满足特定且单一的传输协议,且采集的数据须满足特定的报文结构,才可进行采集后的数据解析。其数据的被采集方须完全掌握数据对接的相关逻辑,且双方必须定义特定的数据传输规范,其对接工作量大、对接周期长,无法快速落地实施。
[0004] 数据采集方和数据被采集方属于两个不同的信息系统时,基于不同的网络环境或不同的系统开发技术的情况下,为了满足应用需求,往往需要通过较长的时间相互了解或学习,然后再根据各自系统的技术实现环境或网络环境,定义数据对接方式,并在系统上通过程序代码方式进行数据采集的实现。现有的异构系统之间数据采集存在对接工作量大、周期长以及成本大的技术问题,无法满足各类系统之间的数据采集需求,不具备通用性。发明内容
[0005] 本申请实施例提供了一种数据采集方法、装置及系统,解决了现有的异构系统之间数据采集存在对接工作量大、周期长以及成本大的技术问题,无法满足各类系统之间的数据采集需求,不具备通用性。
[0006] 有鉴于此,本申请第一方面提供了一种数据采集方法,所述方法包括:
[0007] 获取向数据被采集方采集的第一数据,所述第一数据由所述数据被采集方通过第一数据传输协议传输;
[0008] 确定所述第一数据的数据采集方支持的第二数据传输协议;
[0009] 通过所述第二数据传输协议向所述数据采集方发送所述第一数据。
[0010] 可选地,所述获取向数据被采集方采集的第一数据之前还包括:
[0011] 通过预设配置文件与数据被采集方以及数据采集方的数据采集接口对接。
[0012] 可选地,所述获取向数据被采集方采集的第一数据之后还包括:
[0013] 对所述第一数据进行数据校验。
[0014] 可选地,所述获取向数据被采集方采集的第一数据之后还包括:
[0015] 确定所述第一数据的数据采集方的数据格式;
[0016] 所述第一数据由所述数据被采集方的数据格式转换为所述数据采集方的数据格式。
[0017] 可选地,所述获取向数据被采集方采集的第一数据之前还包括:
[0018] 根据数据采集方以及数据被采集方的网络环境确定第一数据的数据传输方式。
[0019] 本申请第二方面提供一种数据采集装置,所述装置包括:
[0020] 获取单元,用于获取向数据被采集方采集的第一数据,所述第一数据由所述数据被采集方通过第一数据传输协议传输;
[0021] 第一确定单元,用于确定所述第一数据的数据采集方支持的第二数据传输协议;
[0022] 发送单元,用于通过所述第二数据传输协议向所述数据采集方发送所述第一数据。
[0023] 可选地,还包括:
[0024] 对接单元,用于通过预设配置文件与数据被采集方以及数据采集方的数据采集接口对接。
[0025] 本申请第二方面提供一种数据采集系统,所述系统包括:
[0026] 数据采集方、数据被采集方以及如本申请第二方面任意一项所述的数据采集装置;
[0027] 所述数据采集方与所述数据采集装置对接;
[0028] 所述数据被采集方与所述数据采集装置对接;
[0029] 所述数据采集装置获取向所述数据被采集方采集的第一数据,所述第一数据由所述数据被采集方通过第一数据传输协议传输;
[0030] 所述数据采集装置确定所述第一数据的所述数据采集方支持的第二数据传输协议;
[0031] 所述数据采集装置通过所述第二数据传输协议向所述数据采集方发送所述第一数据。
[0032] 可选地,所述数据采集装置通过所述第二数据传输协议向所述数据采集方发送所述第一数据之后还包括:
[0033] 所述数据采集方对所述第一数据的所述数据被采集方进行身份验证。
[0034] 可选地,所述数据采集装置通过所述第二数据传输协议向所述数据采集方发送所述第一数据之后还包括:
[0035] 所述数据采集方对所述第一数据的有效性进行识别,若所述第一数据为有效数据,则存储所述第一数据,否则过滤所述第一数据并向所述数据采集装置反馈回执信息。
[0036] 从以上技术方案可以看出,本申请实施例具有以下优点:
[0037] 本申请实施例中,提供了一种数据采集方法,在获取了数据被采集方通过第一数据传输协议传输的被采集的第一数据后,将第一数据通过数据采集方支持的第二数据传输协议发送给数据采集方,使得数据采集方和数据被采集方之间的数据传输无需限制于两个系统不同的数据传输协议,可快速对接,解决了现有的异构系统之间数据采集存在对接工作量大、周期长以及成本大的技术问题,无法满足各类系统之间的数据采集需求,不具备通用性。附图说明
[0038] 图1为本申请实施例中一种数据采集方法的第一个实施例的流程示意图;
[0039] 图2为本申请实施例中一种数据采集方法的第二个实施例的流程示意图;
[0040] 图3为本申请实施例中一种数据采集方法的第三个实施例的流程示意图;
[0041] 图4为本申请实施例中一种数据采集方法的第四个实施例的流程示意图;
[0042] 图5为本申请实施例中一种数据采集方法的第五个实施例的流程示意图;
[0043] 图6为本申请实施例中一种数据采集装置的一个实施例的结构示意图;
[0044] 图7为本申请实施例中一种数据采集系统的一个实施例的结构示意图。

具体实施方式

[0045] 为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0046] 本申请设计了一种数据采集方法、装置及系统,解决了现有的异构系统之间数据采集存在对接工作量大、周期长以及成本大的技术问题,无法满足各类系统之间的数据采集需求,不具备通用性。
[0047] 为了便于理解,请参阅图1,图1为本申请实施例中一种数据采集方法的第一个实施例的流程示意图,如图1所示,具体为:
[0048] 101、获取向数据被采集方采集的第一数据,第一数据由数据被采集方通过第一数据传输协议传输;
[0049] 需要说明的是,首先需要获取在数据被采集方的系统里面采集到的第一数据,第一数据由数据被采集方支持的第一数据传输协议进行传输,不需要数据被采集方对采集的第一数据做任何的修改,直接通过第一数据传输协议传输。
[0050] 102、确定第一数据的数据采集方支持的第二数据传输协议;
[0051] 需要说明的是,在获取了向数据被采集方采集的第一数据后,还需要确定数据采集方支持的第二数据传输协议,第二数据传输协议与第一数据传输协议可能存在区别,数据采集方和数据被采集方对于数据传输协议的要求可能存在不同。
[0052] 103、通过第二数据传输协议向数据采集方发送第一数据。
[0053] 需要说明的是,在确定了数据采集方支持的第二数据传输协议后,通过第二数据传输协议将第一数据发送至数据采集方,使得数据采集方可以直接获取到第一数据,而不需要对第一数据进行其他处理。
[0054] 本申请实施例中,提供了一种数据采集方法,在获取了数据被采集方通过第一数据传输协议传输的被采集的第一数据后,将第一数据通过数据采集方支持的第二数据传输协议发送给数据采集方,使得数据采集方和数据被采集方之间的数据传输无需限制于两个系统不同的数据传输协议,可快速对接,解决了现有的异构系统之间数据采集存在对接工作量大、周期长以及成本大的技术问题,无法满足各类系统之间的数据采集需求,不具备通用性。
[0055] 请参阅图2,图2为本申请实施例中一种数据采集方法的第二个实施例的流程示意图,如图2所示,具体为:
[0056] 201、通过预设配置文件与数据被采集方以及数据采集方的数据采集接口对接;
[0057] 需要说明的是,在进行数据采集之前,需要通过预设配置文件分别与数据被采集方以及数据采集方的数据采集接口对接,预设配置文件的设置不需要停服务发布,不需要关注程序版本兼容性,具有快速性灵活响应的特点。
[0058] 202、获取向数据被采集方采集的第一数据,第一数据由数据被采集方通过第一数据传输协议传输;
[0059] 需要说明的是,首先需要获取在数据被采集方的系统里面采集到的第一数据,第一数据由数据被采集方支持的第一数据传输协议进行传输,不需要数据被采集方对采集的第一数据做任何的修改,直接通过第一数据传输协议传输。
[0060] 203、确定第一数据的数据采集方支持的第二数据传输协议;
[0061] 需要说明的是,在获取了向数据被采集方采集的第一数据后,还需要确定数据采集方支持的第二数据传输协议,第二数据传输协议与第一数据传输协议可能存在区别,数据采集方和数据被采集方对于数据传输协议的要求可能存在不同。
[0062] 204、通过第二数据传输协议向数据采集方发送第一数据。
[0063] 需要说明的是,在确定了数据采集方支持的第二数据传输协议后,通过第二数据传输协议将第一数据发送至数据采集方,使得数据采集方可以直接获取到第一数据,而不需要对第一数据进行其他处理。
[0064] 请参阅图3,图3为本申请实施例中一种数据采集方法的第三个实施例的流程示意图,如图3所示,具体为:
[0065] 301、获取向数据被采集方采集的第一数据,第一数据由数据被采集方通过第一数据传输协议传输;
[0066] 需要说明的是,首先需要获取在数据被采集方的系统里面采集到的第一数据,第一数据由数据被采集方支持的第一数据传输协议进行传输,不需要数据被采集方对采集的第一数据做任何的修改,直接通过第一数据传输协议传输。
[0067] 302、对第一数据进行数据校验;
[0068] 需要说明的是,对获取的第一数据可以进行简单的数据校验,包括数据的完整性,数据的有效性等,只有通过了数据校验的第一数据才可被发送至数据采集方。
[0069] 303、确定第一数据的数据采集方支持的第二数据传输协议;
[0070] 需要说明的是,在获取了向数据被采集方采集的第一数据后,还需要确定数据采集方支持的第二数据传输协议,第二数据传输协议与第一数据传输协议可能存在区别,数据采集方和数据被采集方对于数据传输协议的要求可能存在不同。
[0071] 304、通过第二数据传输协议向数据采集方发送第一数据。
[0072] 需要说明的是,在确定了数据采集方支持的第二数据传输协议后,通过第二数据传输协议将第一数据发送至数据采集方,使得数据采集方可以直接获取到第一数据,而不需要对第一数据进行其他处理。
[0073] 请参阅图4,图4为本申请实施例中一种数据采集方法的第四个实施例的流程示意图,如图4所示,具体为:
[0074] 401、获取向数据被采集方采集的第一数据,第一数据由数据被采集方通过第一数据传输协议传输;
[0075] 需要说明的是,首先需要获取在数据被采集方的系统里面采集到的第一数据,第一数据由数据被采集方支持的第一数据传输协议进行传输,不需要数据被采集方对采集的第一数据做任何的修改,直接通过第一数据传输协议传输。
[0076] 402、确定第一数据的数据采集方的数据格式;
[0077] 需要说明的是,数据采集方和数据被采集方的数据格式要求可能存在区别,在获取了向数据被采集方采集的第一数据后,还需要确定数据采集方支持的数据格式。
[0078] 403、第一数据由数据被采集方的数据格式转换为数据采集方的数据格式;
[0079] 需要说明的是,为了方便数据采集方能够直接采用第一数据,需要将第一数据由数据被采集方的数据格式转换为数据采集方的数据格式。
[0080] 404、确定第一数据的数据采集方支持的第二数据传输协议;
[0081] 需要说明的是,在获取了向数据被采集方采集的第一数据后,还需要确定数据采集方支持的第二数据传输协议,第二数据传输协议与第一数据传输协议可能存在区别,数据采集方和数据被采集方对于数据传输协议的要求可能存在不同。
[0082] 405、通过第二数据传输协议向数据采集方发送第一数据。
[0083] 需要说明的是,在确定了数据采集方支持的第二数据传输协议后,通过第二数据传输协议将第一数据发送至数据采集方,使得数据采集方可以直接获取到第一数据,而不需要对第一数据进行其他处理。
[0084] 请参阅图5,图5为本申请实施例中一种数据采集方法的第五个实施例的流程示意图,如图5所示,具体为:
[0085] 501、根据数据采集方以及数据被采集方的网络环境确定第一数据的数据传输方式;
[0086] 需要说明的是,在数据采集和传输之前,首先需要根据数据采集方以及数据被采集方的网络环境确定第一数据的数据传输方式,数据传输方式可以包括http传输、ftp传输以及mq传输等数据传输方式。
[0087] 502、获取向数据被采集方采集的第一数据,第一数据由数据被采集方通过第一数据传输协议传输;
[0088] 需要说明的是,首先需要获取在数据被采集方的系统里面采集到的第一数据,第一数据由数据被采集方支持的第一数据传输协议进行传输,不需要数据被采集方对采集的第一数据做任何的修改,直接通过第一数据传输协议传输。
[0089] 503、确定第一数据的数据采集方支持的第二数据传输协议;
[0090] 需要说明的是,在获取了向数据被采集方采集的第一数据后,还需要确定数据采集方支持的第二数据传输协议,第二数据传输协议与第一数据传输协议可能存在区别,数据采集方和数据被采集方对于数据传输协议的要求可能存在不同。
[0091] 504、通过第二数据传输协议向数据采集方发送第一数据。
[0092] 需要说明的是,在确定了数据采集方支持的第二数据传输协议后,通过第二数据传输协议将第一数据发送至数据采集方,使得数据采集方可以直接获取到第一数据,而不需要对第一数据进行其他处理。
[0093] 请参阅图6,图6为本申请实施例中一种数据采集装置的一个实施例的结构示意图,如图6所示,具体为:
[0094] 获取单元601,用于获取向数据被采集方采集的第一数据,第一数据由数据被采集方通过第一数据传输协议传输;
[0095] 第一确定单元602,用于确定第一数据的数据采集方支持的第二数据传输协议;
[0096] 发送单元603,用于通过第二数据传输协议向数据采集方发送第一数据。
[0097] 进一步地,还包括:
[0098] 对接单元604,用于通过预设配置文件与数据被采集方以及数据采集方的数据采集接口对接。
[0099] 请参阅图7,图7为本申请实施例中一种数据采集系统的一个实施例的结构示意图,如图7所示,具体为:
[0100] 数据采集方701、数据被采集方702以及如本申请图6实施例的数据采集装置703;
[0101] 数据采集方701与数据采集装置703对接;
[0102] 数据被采集方702与数据采集装置703对接;
[0103] 数据采集装置703获取向数据被采集方702采集的第一数据,第一数据由数据被采集方702通过第一数据传输协议传输;
[0104] 数据采集装置703确定第一数据的数据采集方701支持的第二数据传输协议;
[0105] 数据采集装置703通过第二数据传输协议向数据采集方701发送第一数据。
[0106] 进一步地,数据采集装置703通过第二数据传输协议向数据采集方701 发送第一数据之后还包括:
[0107] 数据采集方701对第一数据的数据被采集方702进行身份验证。
[0108] 需要说明的是,数据采集方701对接收到的第一数据进行身份验证,确定第一数据是由数据被采集方702传输的。
[0109] 进一步地,数据采集装置703通过第二数据传输协议向数据采集方701 发送第一数据之后还包括:
[0110] 数据采集方701对第一数据的有效性进行识别,若第一数据为有效数据,则存储第一数据,否则过滤第一数据并向数据采集装置703反馈回执信息。
[0111] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0112] 本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0113] 应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b 或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
[0114] 在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0115] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0116] 另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0117] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式
体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称: Read-Only Memory,英文缩写:ROM)、随机存取存储器(英文全称: Random Access Memory,英文缩写:
RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0118] 以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈