首页 / 专利库 / 软件 / 白盒测试 / 一种对特定数据逐层边剔除边汇总的方法

一种对特定数据逐层边剔除边汇总的方法

阅读:551发布:2020-05-15

专利汇可以提供一种对特定数据逐层边剔除边汇总的方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种对特定数据逐层边剔除边汇总的方法,包括以下步骤:建立 服务器 之间的关系表;确定各层服务器所需参与汇总的数据;各层服务器按照预设的剔除规则将部分数据剔除后参与汇总,并将结果存储到数据表中。所述方法可以运用在事务性系统的多维度多层次的逐层数据汇总中,不依赖于明细数据的变化,可以事先处理,处理过程无需关联明细数据,从而保证了良好的性能;所述方法中,多层数据关系和剔除规则被单独储存,使得 白盒测试 过程中,很容易地实现分步测试,而在生产环境中发现并解决问题也更加简单。,下面是一种对特定数据逐层边剔除边汇总的方法专利的具体信息内容。

1.一种对特定数据逐层边剔除边汇总的方法,其特征在于,包括:
建立服务器之间的关系表;
确定各层服务器所需参与汇总的数据;
各层服务器按照预设的剔除规则将部分数据剔除后参与汇总,并将结果存储到数据表中:
底层服务器将需参与汇总的数据发送给上一层服务器;
上一层服务器按照预设的剔除规则将部分数据剔除或者取不同的度量值参与汇总,并将汇总结果数据存储到数据表中;
上一层服务器将汇总结果数据发送给再上一层服务器进行汇总;
重复上述步骤直至顶层服务器完成汇总;
所述剔除规则为:规则类型+规则识别方法+对应单位;
剔除规则形成规则字典单独存储在顶层服务器中;
所述按照预设的剔除规则将部分数据剔除,包括以下步骤:
确定交易数据是否属于集团内单位间转账交易;
根据交易双方集团账号的属性,以及具体交易的摘要内容与系统建立的规则字典进行匹配,确定是否属于集团内单位间转账交易;
解析交易数据中交易双方集团账号属性、摘要内容;
确定为集团账号后,根据具体交易数据的摘要内容与系统建立的规则字典进行匹配,最后过滤出结果,当被识别为内部的归集交易时,作为内部交易被剔除掉;
如果所述交易数据不属于集团内单位间转账交易,则进一步判断所述交易数据是否属于集团内单位将存在财务公司的资金转回自己在行开立的存款账户;解析交易数据中“财务公司账户属性”,判断其是否是财务公司的吸收存款账户,进一步确定是否属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户;
如果所述交易数据属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户,则需要作为内部交易被剔除掉;
如果所述交易数据不属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户,则进一步判断所述交易数据是否属于支付付款后发生退款;
解析交易数据数据表中的摘要内容,与系统建立的规则字典进行匹配,最后过滤出结果,如果交易记录的摘要内容包括“退票”或者“退汇”,则表示当前交易记录属于退款交易,在查询的时候需要被剔除掉。
2.根据权利要求1所述的对特定数据逐层边剔除边汇总的方法,其特征在于,所述建立服务器之间的关系表包括:
根据树形组织结构图,以每层单位为根节点,建立各层服务器之间的关系表。
3.根据权利要求2所述的对特定数据逐层边剔除边汇总的方法,其特征在于,所述关系表定期进行更新,或当组织结构发生变化时进行更新。
4.根据权利要求1所述的对特定数据逐层边剔除边汇总的方法,其特征在于,所述将部分数据剔除包括:
根据剔除规则,将需要剔除的数据进行标记,再根据此数据来完成边剔除边汇总。
5.一种对特定数据逐层边剔除边汇总的系统,其特征在于,包括:
各层服务器的关系表建立模,建立服务器之间的关系表;
各层服务器确定需参与汇总的数据;
各层服务器按照预设的剔除规则将部分数据剔除后参与汇总,并将结果存储到数据表中:
底层服务器将需参与汇总的数据发送给上一层服务器;
上一层服务器按照预设的剔除规则将部分数据剔除后参与汇总,并将汇总结果数据存储到数据表中;
上一层服务器将汇总结果数据发送给再上一层服务器进行汇总;
重复上述步骤直至顶层服务器完成汇总;
所述剔除规则为:规则类型+规则识别方法+对应单位;
剔除规则形成规则字典单独存储在顶层服务器中;
所述按照预设的剔除规则将部分数据剔除,包括以下步骤:
确定交易数据是否属于集团内单位间转账交易;
根据交易双方集团账号的属性,以及具体交易的摘要内容与系统建立的规则字典进行匹配,确定是否属于集团内单位间转账交易;
解析交易数据中交易双方集团账号属性、摘要内容;
确定为集团账号后,根据具体交易数据的摘要内容与系统建立的规则字典进行匹配,最后过滤出结果,当被识别为内部的归集交易时,作为内部交易被剔除掉;
如果所述交易数据不属于集团内单位间转账交易,则进一步判断所述交易数据是否属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户;解析交易数据中“财务公司账户属性”,判断其是否是财务公司的吸收存款账户,进一步确定是否属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户;
如果所述交易数据属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户,则需要作为内部交易被剔除掉;
如果所述交易数据不属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户,则进一步判断所述交易数据是否属于支付付款后发生退款;
解析交易数据数据表中的摘要内容,与系统建立的规则字典进行匹配,最后过滤出结果,如果交易记录的摘要内容包括“退票”或者“退汇”,则表示当前交易记录属于退款交易,在查询的时候需要被剔除掉。
6.根据权利要求5所述的对特定数据逐层边剔除边汇总的系统,其特征在于,所述各层服务器的关系表建立模块,建立服务器之间的关系表包括:
根据树形组织结构图,以每层单位为根节点,建立各层服务器之间的关系表。
7.根据权利要求6所述的对特定数据逐层边剔除边汇总的系统,其特征在于,所述关系表定期进行更新,或当组织结构发生变化时进行更新。
8.根据权利要求5所述的对特定数据逐层边剔除边汇总的系统,其特征在于,所述各层服务器按照预设的剔除规则将部分数据剔除后参与汇总包括:
各层服务器的自动标记模块,根据预设的剔除规则,将需要剔除的数据进行标记;
各层服务器的转存模块,将标注为内部交易的交易数据剔除;
各层服务器的汇总模块,对经过剔除后的数据进行汇总,将汇总后的数据存储到数据表中。

说明书全文

一种对特定数据逐层边剔除边汇总的方法

技术领域

[0001] 本发明涉及企业信息管理系统领域(ERP)数据处理技术领域,尤其涉及一种对特定数据逐层边剔除边汇总的方法。

背景技术

[0002] 事务型系统往往只存储最细粒度的数据,经常需要按一个维度向多层级汇总数据。在逐层汇总过程中,需要根据特定规则识别并剔除部分数据然后再加和。规则是可变的;而每个层级、特定数据的规则不相同。如果数据量较大,涉及的层级多,那么实时汇总将会遇到性能和时效性问题。
[0003] 例如,现有公司资金监控系统的模式为,各分公司服务器与金融机构服务器直接进行企互联,从金融机构获取资金数据,然后将监控采集的数据传递至总部服务器,由总部服务器对全公司资金数据进行实时掌控。由于从金融机构获取的数据为实际发生的交易,对于总部服务器而言,不能简单的对所有交易数据直接进行汇总,因为各分公司之间的往来不属于资金的外流,只有对外收支才属于全公司的净收支情况。由于公司一般存在很多分公司,分公司间有层级关系,因此存在按公司层级进行资金数据合并抵消的问题。但是,服务器无法分辨资金数据是否属于内部交易,需要剔除这些内部交易从而真实的展示对上一级公司有意义的交易数据。
[0004] 由于上述方法涉及多个复杂的数据处理环节,需设计出一种能够快速有效的进行数据汇总的方法,更容易被测试,更容易发现各个环节的问题。

发明内容

[0005] 鉴于上述的分析,本发明旨在提供一种对特定数据逐层边剔除边汇总的方法,用以解决现有系统中存在的性能和时效性的问题。
[0006] 本发明的目的主要是通过以下技术方案实现的:
[0007] 一种对特定数据逐层边剔除边汇总的方法,其特征在于,包括:
[0008] 建立服务器之间的关系表;
[0009] 将所述关系表与最细粒度数据表进行关联,确定各层服务器所需参与汇总的数据;
[0010] 各层服务器按照预设的剔除规则将部分数据剔除后参与汇总,并将结果存储到数据表中。
[0011] 其特征在于,所述建立服务器之间的关系表包括:
[0012] 根据树形组织结构图,以每层单位为根节点,建立各层服务器之间的关系表。
[0013] 其特征在于,所述关系表定期进行更新,或当组织结构发生变化时进行更新。
[0014] 其特征在于,所述各层服务器要按照预设的剔除规则将部分数据剔除后参与汇总,并将结果存储到数据表中包括:
[0015] 底层服务器将需参与汇总的数据发送给上一层服务器;
[0016] 上一层服务器按照预设的剔除规则将部分数据剔除或者取不同的度量值参与汇总,并将汇总结果数据存储到数据表中;
[0017] 上一层服务器将汇总结果数据发送给再上一层服务器进行汇总;
[0018] 重复上述步骤直至顶层服务器完成汇总。
[0019] 其特征在于,所述将部分数据剔除包括:
[0020] 根据剔除规则,将需要剔除的数据进行标记,再根据此数据来完成边剔除边汇总。
[0021] 一种对特定数据逐层边剔除边汇总的系统,其特征在于,包括:
[0022] 各层服务器的关系表建立模,建立服务器之间的关系表;
[0023] 各层服务器将所述关系表与最细粒度数据表进行关联,确定各层服务器所需参与汇总的数据;
[0024] 各层服务器按照预设的剔除规则将部分数据剔除后参与汇总,并将结果存储到数据表中。
[0025] 其特征在于,所述各层服务器的关系表建立模块,建立服务器之间的关系表包括:
[0026] 根据树形组织结构图,以每层单位为根节点,建立各层服务器之间的关系表。
[0027] 其特征在于,所述关系表定期进行更新,或当组织结构发生变化时进行更新。
[0028] 其特征在于,所述各层服务器要按照预设的剔除规则将部分数据剔除或者取不同的度量值参与汇总,并将结果存储到数据表中包括:
[0029] 底层服务器将需参与汇总的数据发送给上一层服务器;
[0030] 上一层服务器按照预设的剔除规则将部分数据剔除后参与汇总,并将汇总结果数据存储到数据表中;
[0031] 上一层服务器将汇总结果数据发送给再上一层服务器进行汇总;
[0032] 重复上述步骤直至顶层服务器完成汇总。
[0033] 其特征在于,所述各层服务器按照预设的剔除规则将部分数据剔除后参与汇总包括:
[0034] 各层服务器的自动标记模块,根据预设的剔除规则,将需要剔除的数据进行标记;
[0035] 各层服务器的转存模块,将标记后的交易数据剔除;
[0036] 各层服务器的汇总模块,对经过剔除后的数据进行汇总,将汇总后的数据存储到数据表中。
[0037] 本发明有益效果如下:
[0038] 所述方法可以运用在事务性系统的多维度多层次的逐层数据汇总中,不依赖于明细数据的变化,可以事先处理,处理过程无需关联明细数据,从而保证了良好的性能;
[0039] 所述方法中的剔除规则抽象到数据字典,更好地适应了需求的变化,结合多层数据关系可以很好地解决实际业务需求;例如,在财务数据合并抵消、集团可用余额计算等应用中大量使用此专利
[0040] 所述方法中,多层数据关系和剔除规则被单独储存,使得白盒测试过程中,很容易地实现分步测试,而在生产环境中发现并解决问题也更加简单。
[0041] 本发明的其他特征和优点将在随后的说明书中阐述,并且,部分的从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

[0042] 附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
[0043] 图1为服务器间的上下层关系示意图;
[0044] 图2为服务器关系表示意图;
[0045] 图3为本发明具体实施例的方法流程图

具体实施方式

[0046] 下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理。
[0047] 如图1所示,组织机构间的上下级关系形成了一颗多层级树。而实际的业务发生在树的叶子节点(底层单位)上,也就是系统只存储了底层单位的数据。
[0048] 基于单位及账号关系的平铺算法得到的单位、账号关系,根据剔除规则,将需要剔除的数据打标,再根据此数据来完成边剔除边汇总。如何实现在数据逐层汇总过程中按规则剔除。
[0049] 本发明公开了一种对特定数据进行标记并从数据表中删除的方法,如图3所示,包括以下步骤:
[0050] 顶层服务器根据树形组织结构图,以每层单位为根节点,建立并存储各层服务器之间的关系表;其中,所述关系表定期进行更新,或当组织结构发生变化时进行更新。
[0051] 各底层服务器建立最细粒度数据表并发送给上一层服务器并转发至上层服务器直至顶层服务器;
[0052] 各层服务器将所述关系表和最细粒度数据表进行关联,确定其下层服务器所需参与汇总的数据;
[0053] 底层服务器将需参与汇总的数据通过加密传输方式发送给上一层服务器;
[0054] 上一层服务器按照预设的剔除规则将部分数据剔除或者取不同的度量值参与汇总,并将汇总结果数据存储到数据表中;其中,
[0055] 所述将部分数据剔除包括:根据剔除规则,将需要剔除的数据进行标记,再根据此数据来完成边剔除边汇总;所述剔除规则为:规则类型+规则识别方法+对应单位;剔除规则形成规则字典单独存储在顶层服务器中,而不是固化在数据识别的算法当中。
[0056] 上一层服务器将汇总结果数据发送给再上一层服务器进行汇总;
[0057] 重复上述步骤直至顶层服务器完成汇总。
[0058] 在实际应用中,所述剔除规则针对基础数据,例如:银行账号的性质决定了否应该剔除,如表1所示,内部往来交易都是需要剔除的数据。
[0059]
[0060] 表1
[0061] 所述根据预先设置的剔除规则对交易数据进行匹配,包括以下步骤:
[0062] 首先,确定交易数据是否属于集团内单位间转账交易;
[0063] 根据交易双方集团账号的属性,以及具体交易的摘要内容与系统建立的规则字典进行匹配,确定是否属于集团内单位间转账交易;
[0064] 解析交易数据中交易双方集团账号属性、摘要内容;
[0065] 确定为集团账号后,根据具体交易数据的摘要内容与系统建立的规则字典进行匹配,最后过滤出结果,比如“实归收款”、“自下归集”等则被识别为内部的归集交易,需要作为内部交易被剔除掉;
[0066] 如果所述交易数据不属于集团内单位间转账交易,则进一步判断所述交易数据是否属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户;解析交易数据中“财务公司账户属性”,判断其是否是财务公司的吸收存款账户,进一步确定是否属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户;
[0067] 如果所述交易数据属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户,则需要作为内部交易被剔除掉;
[0068] 如果所述交易数据不属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户,则进一步判断所述交易数据是否属于支付付款后发生退款;
[0069] 解析交易数据数据表中的摘要内容,与系统建立的规则字典进行匹配,最后过滤出结果,如果交易记录的摘要内容包括“退票”或者“退汇”等,则表示当前交易记录属于退款交易,在查询的时候需要被剔除掉。
[0070] 本发明还公开了一种对特定数据逐层边剔除边汇总的系统,包括:
[0071] 各层服务器的关系表建立模块,根据树形组织结构图,以每层单位为根节点,建立各层服务器之间的关系表;所述关系表定期进行更新,或当组织结构发生变化时进行更新;
[0072] 各层服务器将所述关系表与最细粒度数据表进行关联,确定各层服务器所需参与汇总的数据;
[0073] 底层服务器将需参与汇总的数据发送给上一层服务器;
[0074] 上一层服务器的自动标记模块,根据剔除规则,将需要剔除的数据进行标记;转存模块,将标记后的交易数据剔除;汇总模块,对经过剔除后的数据进行汇总,将汇总后的数据存储到数据表中;
[0075] 上一层服务器将汇总结果数据发送给再上一层服务器进行汇总;
[0076] 重复上述步骤直至顶层服务器完成汇总。
[0077] 在实际应用中,
[0078] 底层单位的底层服务器从银行采集需要汇总的银行交易数据,上传到上一层服务器;
[0079] 服务器的自动标记模块根据预先设置的剔除规则对交易数据进行匹配,并自动标记是否为内部交易;转存模块将标注为内部交易的交易数据剔除并转存到内部交易数据表中;汇总模块对经过剔除后的数据进行汇总,将汇总后的数据存储到数据表中。
[0080] 所述自动标记模块根据预先设置的剔除规则对交易数据进行匹配,包括:
[0081] 确定交易数据是否属于集团内单位间转账交易;
[0082] 根据交易双方集团账号的属性,以及具体交易的摘要内容与系统建立的规则字典进行匹配,确定是否属于集团内单位间转账交易;
[0083] 解析交易数据中交易双方集团账号属性、摘要内容;
[0084] 确定为集团账号后,根据具体交易数据的摘要内容与系统建立的规则字典进行匹配,最后过滤出结果,比如“实归收款”、“自下归集”等则被识别为内部的归集交易,需要作为内部交易被剔除掉;
[0085] 如果所述交易数据不属于集团内单位间转账交易,则进一步判断所述交易数据是否属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户;解析交易数据中“财务公司账户属性”,判断其是否是财务公司的吸收存款账户,进一步确定是否属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户;
[0086] 如果所述交易数据属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户,则需要作为内部交易被剔除掉;
[0087] 如果所述交易数据不属于集团内单位将存在财务公司的资金转回自己在银行开立的存款账户,则进一步判断所述交易数据是否属于支付付款后发生退款;
[0088] 解析交易数据数据表中的摘要内容,与系统建立的规则字典进行匹配,最后过滤出结果,如果交易记录的摘要内容包括“退票”或者“退汇”等,则表示当前交易记录属于退款交易,在查询的时候需要被剔除掉。
[0089] 本发明有益效果如下:
[0090] 所述方法可以运用在事务性系统的多维度多层次的逐层数据汇总中,不依赖于明细数据的变化,可以事先处理,处理过程无需关联明细数据,从而保证了良好的性能;
[0091] 所述方法中的剔除规则抽象到数据字典,更好地适应了需求的变化,结合多层数据关系可以很好地解决实际业务需求;例如,在财务数据合并抵消、集团可用余额计算等应用中大量使用此专利;
[0092] 所述方法中,多层数据关系和剔除规则被单独储存,使得白盒测试过程中,很容易地实现分步测试,而在生产环境中发现并解决问题也更加简单。
[0093] 通过采用本方法对从银行采集的交易数据进行自动标示并剔除内部交易数据,可以展示更加精确的合并交易数据,这些数据精确的展示出当前集团各单位的实际业务的收支情况,对于集团各单位更加具有业务意义。
[0094] 本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
[0095] 以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈