首页 / 专利库 / 专利权 / 申请 / 国际申请 / 请求书 / 请求 / 数据导出方法、装置、设备及存储介质

数据导出方法、装置、设备及存储介质

阅读:173发布:2023-02-06

专利汇可以提供数据导出方法、装置、设备及存储介质专利检索,专利查询,专利分析的服务。并且本 发明 涉及数据导出技术领域,提供一种数据导出方法、装置、设备及存储介质,所述方法包括以下步骤:当接收到数据导出 请求 时,确定所述数据导出请求对应的待导出数据是否为 大数据 ;若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数;将所述数据导出请求生成所述分页数对应数量的同步请求,并将所述同步请求转换为异步请求;基于所述异步请求,将所述待导出数据逐次异步导出。本发明通过将数据导出请求转换为若干异步请求,将较大数据的待导出数据分页异步导出,可减轻对应设备在导出数据时的压 力 ,实现数据的智能导出。,下面是数据导出方法、装置、设备及存储介质专利的具体信息内容。

1.一种数据导出方法,其特征在于,所述数据导出方法包括以下步骤:
当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据是否为大数据
若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数;
将所述数据导出请求生成所述分页数对应数量的同步请求,并将所述同步请求转换为异步请求;
基于所述异步请求,将所述待导出数据逐次异步导出。
2.如权利要求1所述的数据导出方法,其特征在于,所述当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据是否为大数据的步骤包括:
当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据的大小,以及当前设备对应的导出临界值;
基于所述导出临界值,确定所述待导出数据是否为大数据。
3.如权利要求2所述的数据导出方法,其特征在于,所述若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数的步骤包括:
若是,则基于所述导出临界值,确定所述数据导出请求对应的最大导出数据大小;
基于所述最大导出数据大小和所述待导出数据的大小,确定所述待导出数据对应的分页数。
4.如权利要求1所述的数据导出方法,其特征在于,所述若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数的步骤包括:
若是,则确定所述待导出数据对应的数据类型的种类;
根据所述种类和所述待导出数据的大小,确定所述待导出数据对应的分页数。
5.如权利要求1所述的数据导出方法,其特征在于,所述将所述数据导出请求生成所述分页数对应数量的同步请求,并将所述同步请求转换为异步请求的步骤包括:
获取所述数据导出请求对应的URL地址,并将所述URL地址复制成所述分页数对应数量的复制URL地址;
将所述数据导出请求生成所述复制URL地址对应的同步请求;
基于预设规则,将所述同步请求转换为异步请求。
6.如权利要求5所述的数据导出方法,其特征在于,所述预设规则为添加时间戳,所述基于预设规则,将所述同步请求转换为异步请求的步骤包括:
将不同的时间戳添加进所述复制URL地址中,以生成异步URL地址;
将所述数据导出请求生成所述异步URL地址对应的异步请求。
7.如权利要求1-6任一项所述的数据导出方法,其特征在于,所述基于所述异步请求,将所述待导出数据分逐次异步导出的步骤包括:
记录所述异步请求对应的导出顺序,并按照所述导出顺序,将所述待导出数据逐次异步导出,以得到异步文件;
将所述异步文件,按照所述导出顺序,合并为对应的导出文件。
8.一种数据导出装置,其特征在于,所述数据导出装置包括:
接收模,用于当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据是否为大数据;
确定模块,用于若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数;
转换模块,用于将所述数据导出请求生成所述分页数对应数量的同步请求,并将所述同步请求转换为异步请求;
导出模块,用于基于所述异步请求,将所述待导出数据逐次异步导出。
9.一种数据导出设备,其特征在于,所述数据导出设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据导出程序,其中所述数据导出程序被所述处理器执行时,实现如权利要求1至7中任一项所述的数据导出方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据导出程序,其中所述数据导出程序被处理器执行时,实现如权利要求1至7中任一项所述的数据导出方法的步骤。

说明书全文

数据导出方法、装置、设备及存储介质

技术领域

[0001] 本发明涉及数据管理技术领域,尤其涉及一种数据导出方法、装置、设备及计算机可读存储介质。

背景技术

[0002] 目前对于web视图下,用户在查询或者统计数据时,下一步往往需要将查询或者统计的数据以文件形式导出,当将要导出的数据较少时,可以直接将数据以文件形式导出,但是当数据较大时,由于带宽等问题,无法一次性将数据导出,造成导出时间会变久,并且由于页面http请求特性,当导出时间超过一定时间时,会造成超时的情况,导致数据导出失败,此时即使用户重新发起导出请求,也无法重新连接到正在进行的调用,这即影响了用户体验,同时也造成了数据导出系统性能的极大压

发明内容

[0003] 本发明的主要目的在于提供一种数据导出方法、装置、设备及计算机可读存储介质,旨在解决现有的数据导出方式不够智能,容易造成导出系统异常的技术问题。
[0004] 为实现上述目的,本发明提供一种数据导出方法,所述数据导出方法包括以下步骤:
[0005] 当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据是否为大数据
[0006] 若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数;
[0007] 将所述数据导出请求生成所述分页数对应数量的同步请求,并将所述同步请求转换为异步请求;
[0008] 基于所述异步请求,将所述待导出数据逐次异步导出。
[0009] 可选地,所述当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据是否为大数据的步骤包括:
[0010] 当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据的大小,以及当前设备对应的导出临界值;
[0011] 基于所述导出临界值,确定所述待导出数据是否为大数据。
[0012] 可选地,所述若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数的步骤包括:
[0013] 若是,则基于所述导出临界值,确定所述数据导出请求对应的最大导出数据大小;
[0014] 基于所述最大导出数据大小和所述待导出数据的大小,确定所述待导出数据对应的分页数。
[0015] 可选地,所述若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数的步骤包括:
[0016] 若是,则确定所述待导出数据对应的数据类型的种类;
[0017] 根据所述种类和所述待导出数据的大小,确定所述待导出数据对应的分页数。
[0018] 可选地,所述将所述数据导出请求生成所述分页数对应数量的同步请求,并将所述同步请求转换为异步请求的步骤包括:
[0019] 获取所述数据导出请求对应的URL地址,并将所述URL地址复制成所述分页数对应数量的复制URL地址;
[0020] 将所述数据导出请求生成所述复制URL地址对应的同步请求;
[0021] 基于预设规则,将所述同步请求转换为异步请求。
[0022] 可选地,所述预设规则为添加时间戳,所述基于预设规则,将所述同步请求转换为异步请求的步骤包括:
[0023] 将不同的时间戳添加进所述复制URL地址中,以生成异步URL地址;
[0024] 将所述数据导出请求生成所述异步URL地址对应的异步请求。
[0025] 可选地,所述基于所述异步请求,将所述待导出数据分逐次异步导出的步骤包括:
[0026] 记录所述异步请求对应的导出顺序,并按照所述导出顺序,将所述待导出数据逐次异步导出,以得到异步文件;
[0027] 将所述异步文件,按照所述导出顺序,合并为对应的导出文件。
[0028] 此外,为实现上述目的,本发明还提供一种数据导出装置,所述数据导出装置包括:
[0029] 接收模,用于当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据是否为大数据;
[0030] 确定模块,用于若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数;
[0031] 转换模块,用于将所述数据导出请求生成所述分页数对应数量的同步请求,并将所述同步请求转换为异步请求;
[0032] 导出模块,用于基于所述异步请求,将所述待导出数据逐次异步导出。
[0033] 此外,为实现上述目的,本发明还提供一种数据导出设备,所述数据导出设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据导出程序,其中所述数据导出程序被所述处理器执行时,实现如上述的数据导出方法的步骤。
[0034] 此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据导出程序,其中所述数据导出程序被处理器执行时,实现如上述的数据导出方法的步骤。
[0035] 本发明提供一种数据导出方法,当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据是否为大数据;若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数;将所述数据导出请求生成所述分页数对应数量的同步请求,并将所述同步请求转换为异步请求;基于所述异步请求,将所述待导出数据逐次异步导出。本发明通过将数据导出请求转换为若干异步请求,将较大数据的待导出数据分页异步导出,可减轻对应设备在导出数据时的压力,实现数据的智能导出。附图说明
[0036] 图1为本发明实施例方案中涉及的数据导出设备的硬件结构示意图;
[0037] 图2为本发明数据导出方法第一实施例的流程示意图;
[0038] 图3为本发明数据导出方法第二实施例的流程示意图;
[0039] 图4为本发明数据导出装置第一实施例的功能模块示意图。
[0040] 本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

[0041] 应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0042] 本发明实施例涉及的数据导出方法主要应用于数据导出设备,该数据导出设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。
[0043] 参照图1,图1为本发明实施例方案中涉及的数据导出设备的硬件结构示意图。本发明实施例中,数据导出设备可以包括处理器1001(例如CPU),通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信;
用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard);网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口);存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[0044] 本领域技术人员可以理解,图1中示出的硬件结构并不构成对数据导出设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0045] 继续参照图1,图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及数据导出程序。
[0046] 在图1中,网络通信模块主要用于连接服务器,与服务器进行数据通信;而处理器1001可以调用存储器1005中存储的数据导出程序,并执行本发明实施例提供的数据导出方法。
[0047] 本发明实施例提供了一种数据导出方法,该方法可运用在数据导出设备中,数据导出设备以下简称导出设备。
[0048] 参照图2,图2为本发明数据导出方法第一实施例的流程示意图。
[0049] 本实施例中,所述数据导出方法包括以下步骤:
[0050] 步骤S10,当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据是否为大数据;
[0051] 步骤S20,若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数;
[0052] 步骤S30,将所述数据导出请求生成所述分页数对应数量的同步请求,并将所述同步请求转换为异步请求;
[0053] 步骤S40,基于所述异步请求,将所述待导出数据逐次异步导出。
[0054] 本实施例通过将数据导出请求转换为若干异步请求,将较大数据的待导出数据分页异步导出,可减轻对应设备在导出数据时的压力,实现数据的智能导出。
[0055] 以下将对各个步骤进行详细的说明:
[0056] 步骤S10,当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据是否为大数据。
[0057] 本实施例中,用户在导出设备上可打开浏览器进行数据的查询或统计,当用户想将查询或者统计的数据以文件的形式导出到本地时,可下达数据导出请求,具体的,用户可在浏览器页面上选定待导出数据,并点击该页面对应的导出按钮,即表示要导出所述待导出数据,如用户查询昨天的业绩信息,则只需在浏览器页面上选定昨天的业绩信息,然后导出即可,其中,导出设备可以是电脑等固定终端,也可以是手机、笔记本和IPad等移动终端。
[0058] 当导出设备接收到数据导出请求时,可确定数据导出请求对应的参数,如昨天的业绩信息,当月的保费等,通过该参数,在对应的数据库中查找或者统计对应的待导出数据,并确定待导出数据是否为大数据。
[0059] 具体的,先确定数据导出请求对应的待导出数据的大小,在具体实施时,待导出数据的大小以数据量来表示,例如昨天的业绩信息有10万条,那么待导出数据的大小为10万条,再将待导出数据的大小与预设的标准值进行比较,若待导出数据的大小超过标准值,则待导出数据为大数据;若待导出数据的大小未超过标准值,即待导出数据的大小小于或者等于标准值,则待导出数据不是大数据。如预设的标准值为1万条,待导出数据为2万条,则待导出数据为大数据。
[0060] 进一步地。步骤S10包括:
[0061] 步骤a,当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据的大小,以及当前设备对应的导出临界值;
[0062] 在该步骤中,可以理解的,每一台导出设备由于配置的不同,其系统性能也是不同的,最直观的现象是配置低的设备一次性导出的数据较小,配置高的设备一次性导出的数据较大,当然,带宽等问题也是影响较大待导出数据无法一次性导出的因素。
[0063] 为适应每一台导出设备的性能,以求将待导出数据导出的最优解,当导出设备接收到数据导出请求时,除了确定数据导出请求对应的待导出数据的大小之外,还确定当前导出设备对应的导出临界值,其中导出临界值可以事先通过测试得到,如多次测试当前导出设备在不卡顿不崩溃的情况下一次性最多能导出多大的数据,并取平均值,作为当前设备的导出临界值,在具体实施时,上述的多次为5次。
[0064] 步骤b,基于所述导出临界值,确定所述待导出数据是否为大数据。
[0065] 在该步骤中,将待导出数据的大小与导出临界值进行比较,判断待导出数据的大小是否大于导出临界值,若是,则确定待导出数据为大数据;若否,则确定待导出数据为小数据。
[0066] 步骤S20,若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数。
[0067] 本实施例中,若判定待导出数据为小数据,说明直接导出对当前导出设备不会产生不良影响,则将待导出数据直接导出,生成对应的文件;若判定待导出数据为大数据,说明直接导出会对当前导出设备产生不良影响,如导出缓慢,阻塞,超时等,则将该待导出数据分批导出,即将待导出数据分为若干份小数据导出。
[0068] 具体的,步骤S20包括:
[0069] 步骤c,若是,则基于所述导出临界值,确定所述数据导出请求对应的最大导出数据大小;
[0070] 在该步骤中,导出设备基于导出临界值和预设的导出规则,确定数据导出请求对应的最大导出数据,也即确定导出设备每次导出的数据的大小,具体的,可以理解的,导出临界值是导出设备每次导出数据的最大值,超过这个最大值,导出设备将会出现卡顿等不良现象,为避免导出设备维持导出导出临界值对应的数据而不能使用其他功能,在本实施例中,导出设备并不会以导出临界值作为每次导出数据的最大值,因此,基于导出临界值和预设的导出规则,确定数据导出请求对应的最大导出数据大小,其中,预设的导出规则为导出临界值的百分之八十,即当前导出设备的导出临界值为1万条时,最终确定的数据导出请求对应的最大导出数据为八千条。
[0071] 步骤d,基于所述最大导出数据大小和所述待导出数据的大小,确定所述待导出数据对应的分页数。
[0072] 在该步骤中,根据待导出数据的大小和导出临界值,确定每一批次要导出的数据大小,从而根据待导出数据的大小和每一批次要导出的数据大小,计算对应的分页数。如待导出数据的大小为2万条,导出临界值为1万条,预设的导出规则为导出临界值的百分之八十,则可确定每一批次要导出的数据大小为八千条,从而计算得出对应的分页数为3页,即该待导出数据分为三批次导出,每次八千条。
[0073] 或者预设一个固定值,根据待导出数据的大小和固定值,计算得出待导出数据对应的分页数,例如预设一个固定值为5千条,那么当待导出数据的大小为2万条时,对应的分页数为4页,即该待导出数据分为四批次导出,每次5千条。
[0074] 步骤S30,将所述数据导出请求生成所述分页数对应数量的同步请求,并将所述同步请求转换为异步请求。
[0075] 本实施例中,在将待导出数据分为若干批次导出时,即相当于将用户的数据导出请求分为对应的若干次,每次用户请求导出数据,则导出一批次的数据量。因此基于所述分页数,将数据导出请求生成对应次数的同步访问请求,具体将当前的数据导出请求复制成多个复制请求,即将当前的数据导出请求对应的URL地址复制成多个URL地址,具体数量与当前分页数对应,如在确定当前分页数为3时,将当前的数据导出请求对应的URL地址复制成3个复制URL地址。但由于在对系统发起的http请求时,若对同一URL地址多次请求,浏览器则会有阻塞行为,因此需要将同步请求转变为异步请求。
[0076] 具体的,导出设备获取数据导出请求对应的URL地址,并基于分页数,将数据导出请求生成对应次数的同步请求,如分页数为3次,则将数据导出请求生成对同一URL地址的3次访问请求,再为每个URL地址后面加上随机参数,将同步请求转换为异步请求,在实际应用中,采用添加时间戳的方式,从而实现对同一URL地址的异步调用,将同步请求转换为异步请求。
[0077] 具体的,步骤S30包括:
[0078] 步骤e,获取所述数据导出请求对应的URL地址,并将所述URL地址复制成所述分页数对应数量的复制URL地址;
[0079] 在该步骤中,导出设备获取数据导出请求对应的URL地址,可以理解的,用户每一次发起数据导出请求,都对应着一个URL地址,即每一次用户发起数据导出请求时,即是对对应的URL地址发起访问,因此可获取数据导出请求对应的URL地址,并将URL地址复制成分页数对应数量的复制URL地址,即分页数是多少,就将URL地址复制成多少个。
[0080] 步骤f,将所述数据导出请求生成所述复制URL地址对应的同步请求;
[0081] 在该步骤中,一个URL地址即代表了一次请求,多个URL地址即代表了多次请求,并且,这些请求对应的URL地址是相同的,因此,为同步请求。
[0082] 步骤g,基于预设规则,将所述同步请求转换为异步请求。
[0083] 在该步骤中,基于预设规则,将同步请求转换为异步请求,具体的预设规则为在每个URL地址后面添加随机参数,用于区分每个复制URL地址,以将多个同步请求转换为异步请求。
[0084] 进一步地,随机参数为时间戳,步骤g包括:
[0085] 将不同的时间戳添加进所述复制URL地址中,以生成异步URL地址;
[0086] 将所述数据导出请求生成所述异步URL地址对应的异步请求。
[0087] 这是由于浏览器在响应过程中会有缓存,当发起多次相同URL地址的数据导出请求时,后续的导出请求会从浏览器的缓存中获取数据,然而,如果多次相同导出请求时,第一导出请求一直在等待服务器的响应,那么后续的导出请求会因为前一次的导出请求处于进行中,处于等待处理状态,这就造成了阻塞问题。
[0088] 在实际处理中,通过发起不同的URL地址的方式来欺骗浏览器,比如当前导出请求对应的URL地址是http://tes.com/api,请求中包含的入参是page=1,请求的是第一页的数据,将该URL地址复制成与分页数对应数量的URL复制地址,在各个URl复制地址后缀加上随机数rd,具体可以使用时间戳方式,如当前时间对应的时间戳为232123,那么得到的其中一个异步请求对应的URL地址即为http://tes.com/api?rd=232123,请求中入参是page=2,来欺骗浏览器调用的是不同的地址,但是对导出设备的服务器的效果是同一个功能的请求,但是获取的是不同页码的数据,这样就可以实现每次发起导出请求时,都不是从缓存中获取数据,从而请求到导出设备的服务器端并返回数据,达到异步的效果。
[0089] 步骤S40,基于所述异步请求,将所述待导出数据逐次异步导出。
[0090] 本实施例中,根据异步请求,将待导出数据生成对应格式的文件,即确定待导出数据的数据类型,并将异步请求对应的数据生成确定的数据类型对应的格式文件,如文档格式文件或者表格格式文件等,按照导出顺序,将各异步请求对应的待导出数据生成文件并保存到本地,如文件1,文件2等。
[0091] 进一步地,步骤S40包括:
[0092] 步骤h,记录所述异步请求对应的导出顺序,并按照所述导出顺序,将所述待导出数据逐次异步导出,以得到异步文件;
[0093] 在该步骤中,导出设备根据异步请求的调用顺序,记录异步请求对应的导出顺序,并按照确定的导出顺序,将待导出数据分批次异步导出,以得到异步文件。
[0094] 步骤i,将所述异步文件,按照所述导出顺序,合并为对应的导出文件。
[0095] 在该步骤中,在将待导出数据以异步文件的形式导出到本地后,按照记录的导出顺序,将异步文件合并为一份导出文件,方便用户查阅。
[0096] 即在本实施中,可将数据导出请求对应的待导出数据分页导出,也可以将待导出数据分页导出后再合并在一起。
[0097] 本实施例当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据是否为大数据;若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数;基于所述分页数,将所述数据导出请求生成对应次数的同步请求,并将所述同步请求转换为异步请求;基于所述异步请求,将所述待导出数据分批次异步导出。本发明通过将数据导出请求转换为若干异步请求,将较大数据的待导出数据分页异步导出,可减轻对应设备在导出数据时的压力,实现数据的智能导出。
[0098] 进一步地,基于第一实施例提出本发明数据导出方法的第二实施例。数据导出方法的第二实施例与数据导出方法的第一实施例的区别在于,参照图3,步骤S20包括:
[0099] 步骤S21,若是,则确定所述待导出数据对应的数据类型的种类;
[0100] 步骤S22,根据所述种类和所述待导出数据的大小,确定所述待导出数据对应的分页数。
[0101] 本实施例中,在确定待导出数据对应的分页数是,可通过待导出数据对应的数据类型的种类得出,即本实施例提供另一种确定待导出数据对应的分页数的方式。
[0102] 以下将对各个步骤进行详细说明:
[0103] 步骤S21,若是,则确定所述待导出数据对应的数据类型的种类。
[0104] 本实施例中,若确定待导出数据是大数据,则确定待导出数据对应的数据类型的种类,可以理解的,待导出数据类型可能包含有多种数据类型,其中,数据类型可是是业务类型,如业绩数据、保单数据和保险理赔数据等,数据类型也可以是数据所述的文件属性,如文档文件和表格文件等,具体的数据类型在实际操作中,可根据实际情况进行设置。
[0105] 步骤S22,根据所述种类和所述待导出数据的大小,确定所述待导出数据对应的分页数。
[0106] 在本实施例中,导出设备根据确定的待导出数据对应的数据类型的种类,以及待导出数据的大小和预设算法,确定待导出数据对应的分页数。
[0107] 具体的,在判定待导出数据为大数据时,获取待导出数据对应的数据类型,可以理解的,待导出数据中包含有多种数据类型,以业务统计数据为例,其包含了代理人的业绩、保费和出单量等类型,并统计待导出数据对应的数据类型的种类,以上述业务统计数据为例,待导出数据对应的数据类型的种类为三种。
[0108] 接着先根据待导出数据对应的数据类型的种类,将待导出数据分为确定的种类数对应的批次,即当前的数据类型的种类为三类,则待导出数据按照种类的而不同分为三个不等的批次,再进一步判断各种类批次对应的待导出数据的大小是否超过导出临界值,若都未超过临界值,则确定分页数等于待导出数据对应的数据类型的种类;若存在某一类待导出数据的大小超过临界值,则将该种类的待导出数据分为若干小数据导出,具体与上述实施例的步骤S30类似,在此不再赘述,则当前待导出数据的分页数=待导出数据对应的数据类型的种类+若干小数据的数量-1,其中,需要说明的是,当有两类待导出数据的大小超过临界值,则等式的后面将-2,若有三类待导出数据的大小超过临界值,则等式的后面将-3,以此类推。
[0109] 本实施例提供另一种确定待导出数据对应的分页数的方式,通过确定待导出数据中包含几种种类的数据类型,在根据各种类数据类型对应的待导出数据的大小,计算待导出数据对应的分页数,以便将待导出数据分割成若干批次,异步导出,实现数据导出的智能性。
[0110] 此外,本发明实施例还提供一种数据导出装置。
[0111] 参照图4,图4为本发明数据导出装置第一实施例的功能模块示意图。
[0112] 本实施例中,所述数据导出装置包括:
[0113] 接收模块10,用于当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据是否为大数据;
[0114] 确定模块20,用于若是,则基于所述待导出数据的大小,确定所述待导出数据对应的分页数;
[0115] 转换模块30,用于将所述数据导出请求生成所述分页数对应数量的同步请求,并将所述同步请求转换为异步请求;
[0116] 导出模块40,用于基于所述异步请求,将所述待导出数据逐次异步导出。
[0117] 进一步地,所述接收模块10还用于:
[0118] 当接收到数据导出请求时,确定所述数据导出请求对应的待导出数据的大小,以及当前设备对应的导出临界值;
[0119] 基于所述导出临界值,确定所述待导出数据是否为大数据。
[0120] 进一步地,所述确定模块20还用于:
[0121] 若是,则基于所述导出临界值,确定所述数据导出请求对应的最大导出数据大小;
[0122] 基于所述最大导出数据大小和所述待导出数据的大小,确定所述待导出数据对应的分页数。
[0123] 进一步地,所述确定模块20还用于:
[0124] 若是,则确定所述待导出数据对应的数据类型的种类;
[0125] 根据所述种类和所述待导出数据的大小,确定所述待导出数据对应的分页数。
[0126] 进一步地,所述转换模块30还用于:
[0127] 获取所述数据导出请求对应的URL地址,并将所述URL地址复制成所述分页数对应数量的复制URL地址;
[0128] 将所述数据导出请求生成所述复制URL地址对应的同步请求;
[0129] 基于预设规则,将所述同步请求转换为异步请求。
[0130] 进一步地,所述转换模块30还用于:
[0131] 将不同的时间戳添加进所述复制URL地址中,以生成异步URL地址;
[0132] 将所述数据导出请求生成所述异步URL地址对应的异步请求。
[0133] 进一步地,所述导出模块40还用于:
[0134] 记录所述异步请求对应的导出顺序,并按照所述导出顺序,将所述待导出数据逐次异步导出,以得到异步文件;
[0135] 将所述异步文件,按照所述导出顺序,合并为对应的导出文件。
[0136] 其中,上述数据导出装置中各个模块和单元与上述数据导出方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
[0137] 此外,本发明实施例还提供一种计算机可读存储介质。
[0138] 本发明计算机可读存储介质上存储有数据导出程序,其中所述数据导出程序被处理器执行时,实现如上述的数据导出方法的步骤。
[0139] 其中,数据导出程序被执行时所实现的方法可参照本发明数据导出方法的各个实施例,此处不再赘述。
[0140] 需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0141] 上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
[0142] 通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
[0143] 以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
相关专利内容
标题 发布/更新时间 阅读量
调度请求指示 2020-05-12 657
网络服务请求 2020-05-12 577
并发请求调度 2020-05-12 648
短请求发送帧 2020-05-12 655
请求式定位 2020-05-11 876
自动再发送请求 2020-05-13 122
存储器请求仲裁 2020-05-13 245
请求式定位 2020-05-11 53
变更请求表注释 2020-05-12 582
一种请求开关 2020-05-11 465
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈