首页 / 专利库 / 企业组织 / 商业智能 / 一种商业智能ETL的封装方法及系统

一种商业智能ETL的封装方法及系统

阅读:835发布:2020-05-17

专利汇可以提供一种商业智能ETL的封装方法及系统专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种 商业智能 ETL的封装方法及系统。该方法可基于若干个ERP数据源,构建由ERP用户定制的数据立方体。由于各企业的行业、会计体系、管理体系、ERP供应商、数据源数量等不尽相同,当前商业智能ETL领域现状是针对特定ERP系统通用部分数据进行标准封装,或皆须由专业IT人员在 数据库 代码级别量身定制ETL逻辑,从而导致ETL实现与维护或收效甚微、或成本高企,大幅制约了商业智能在中小企业ERP领域的普及。本发明使普通ERP用户脱离专业IT人员协助,也能完成商业智能 数据仓库 的建立、配置、构建及更新数据立方体,以备商业智能分析之用。而本发明中的OLAP财务报表中英文检索未找到相关文献。,下面是一种商业智能ETL的封装方法及系统专利的具体信息内容。

1.一种商业智能 ETL的封装方法,其特征在于:包括如下步骤,
S1、分析所选择的ERP数据源并提取分析维度,若为多个ERP数据源,对分析维度进行去重合并;所述分析维度,根据实际情况,为分析维度类型或者分析维度数据二者中至少一个;
S2、将S1生成的分析维度作为选择参数给用户选择并保存为ETL方案,根据S1提供的分析维度性质不同,即提供分析维度类型或者分析维度数据二者中至少一个;根据实际情况,若其还具有多个事实数据类型时,则事实数据类型可同时作为选择参数提供给用户选择并一起保存到ETL方案;
S3、基于步骤S2中用户所保存ETL方案的分析维度和事实数据类型构建生成数据立方体,并保存至数据仓库中,每一个ETL方案有且仅对应一个数据立方体,以供后续调用。
2.根据权利要求1所述方法,其特征在于:所述步骤S2中,
用户除了选择所述分析维度、事实数据类型参数,还可提供事实数据的计算标准作为参数给用户选择;
用户能够随时修改上述ETL方案,新方案保存时或被调度时,将按照新方案重构并更新数据立方体。
3.根据权利要求1所述方法,其特征在于:所述步骤S3中,
在数据立方体保存至数据仓库前,根据ERP数据源的特性,构建分析维度和事实数据的存储框架以便于数据存储,具体的:
所述ERP数据源泛指企事业单位的各类信息管理系统的数据库,所述信息管理系统包括财务系统、供应链、人资源、生产制造、成本系统;
根据ERP数据源对应的组织机构数生成同等数量的存储单元,每个存储单元包含存储结构一致的若干个维度表和事实表,亦即所有存储单元的同一个性质的表的列数量与属性都是一样的;
用户可随时修改ERP数据源,ERP数据源调整后或ETL方案被调度时,该存储框架将根据新ERP数据源重新构建。
4.根据权利要求1所述方法,其特征在于:所述步骤S3中之后,还包括一数据转换步骤S4:维度虚拟重组,用于用户零代码重组分析维度,即用户可进行分级维度自定义,并将S2中配置的若干个ETL方案映射至自定义分级维度中的明细维度,方案保存或者被调度时,将根据多级自定义的分级维度和对应ETL方案中的维度构建并更新数据立方体,供BI展示工具调用。
5.根据权利要求4所述方法,其特征在于:对于财务分析而言,在维度映射时,可同时指定各个自定义明细维度是否抵扣项,以支持财务报表OLAP分析,维度虚拟重组的方案支持按照财务报表的报表项目来设置,一个方案对应一张报表或者一张报表的部分元素,具体包括:
基于该维度虚拟重组方案直接生成能够支持OLAP分析的财务报表数据立方体,该财务报表为单个企业的个别报表、若干个企业的汇总报表,或加载抵消数据,成为合并报表。
6.一种商业智能 ETL的封装系统,其特征在于:包括,
预处理ETL构件,用于分析指定的N个ERP数据源,并生成分析维度类型或者分析维度数据二者中至少一个,若为多个ERP数据源时,应对所述分析维度类型或者分析维度数据进行去重合并;其中,N为大于等于1的整数;
ETL配置构件,用于显示所述预处理ETL构件合并生成的分析维度类型或者分析维度数据,封装支持用户配置分析维度类型或者分析维度数据的选择器以新增、修改并存储客户化ETL方案;根据实际情况,若其还具有多个事实数据类型时,则事实数据类型可同时作为选择参数提供给用户选择并一起保存到客户化ETL方案;
定制事实表配置构件,根据ERP用户配置的客户化ETL方案构建生成数据立方体,ETL方案和数据立方体一一对应;此处以数据库表亦即定制事实表作为数据立方体,或以T-SQL语句、视图替代数据库表作为数据立方体;
客户化ETL构件,根据ERP用户配置的客户化ETL方案构建生成定制事实表,或T-SQL语句、视图。
7.根据权利要求6所述的系统,其特征在于:
所述ETL配置构件,还可显示加载参数给用户选择;
ERP用户能够修改已使用的ETL方案,并保存该方案,以便后续ETL配置构件调用和修改以及定制事实表重置构件对相应的定制事实表进行重建,并调用客户化ETL构件。
8.根据权利要求6所述的系统,其特征在于:还包括一维度虚拟重组构件,以使得用户能够进行多级自定义维度设置,并将若干个ETL方案虚拟映射给所配置的明细维度,具体功能包括:
用户根据分析需求,能够将指定的若干个ETL方案分别虚拟映射到用户配置的其中一维度虚拟重组方案中的自定义明细维度上,重组ERP系统已固化的维度隶属关系,重构新维度,以及参照ETL方案中数据加载的条件和参数,完全自定义分析维度;
对于财务分析而言,通过将财务报表的每个报表元素设置为不同层级的分级维度,并设置各个自定义明细维度是否抵扣项,实现OLAP分析财务报表。
9.根据权利要求6或8所述的系统,其特征在于:还包括一数据仓库框架配置构件、一数据仓库框架重置构件、一定制事实表重置构件以及一数据权限控制构件,所述数据仓库框架配置构件,用于分析所选择ERP数据源的数据结构特性,并根据特性构建分析维度存储框架,根据ERP数据源对应的组织机构数生成同等数量的存储单元,每个存储单元包含存储结构一致的若干个维度表和事实表;
所述数据仓库框架重置构件,用于ERP数据源变动时,重构数据仓库存储框架;
所述定制事实表重置构件, 用于在用户ETL方案或维度虚拟重组方案变动时,重构定制事实表;
所述数据权限控制构件,用于输出定制事实表到BI展示工具时,根据用户授权,只输出已授权的事实数据。
10.根据权利要求9所述的系统,其特征在于:所述数据仓库框架配置构件,还具有如下功能:
评估指定数据库服务器上的数据库的库表结构,根据数据库的存储结构特征识别ERP系统供应商及产品类型,自动构建ERP数据源列表,以备ERP用户配置;
所述ERP数据源泛指企事业单位的各类信息管理系统数据库,上述信息管理系统包括财务系统、供应链、人力资源、生产制造、成本系统;
针对各ERP系统供应商的不同ERP系统产品,调用预处理ETL构件中配套该产品的数据ETL方法,进行数据预处理。

说明书全文

一种商业智能ETL的封装方法及系统

技术领域

[0001] 本发明涉及数据处理领域,具体为一种商业智能 ETL的封装方法及系统。

背景技术

[0002] ETL(Extraction-Transformation-Loading,抽取-转换-加载)是BI (Business Intelligence , 商业智能)的重要组成部分,由于BI展现工具(例如:Tableau、Microsoft BI、Qlikview等)已经非常成熟和完善,一个商业智能项目的实现周期与效果很大程度决定于ETL模的设计周期以及效果,如果不能按需对企业需要的数据进行准确的抽取及存储,那么商业智能项目难免成为海市蜃楼。
[0003] 发明人发现商业智能在现有的实践中,存在如下问题:由于各企业的行业、会计核算体系、管理体系、ERP系统供应商、数据源数量、以及客户的关注重点、分析模式等不尽相同,商业智能项目通常都是项目型交付,即依据客户的分析目的,设计BI分析模型,根据分析模型由专业IT人员编写代码实现ETL,维护时也需通过代码实现。当然,也有一些ERP供应商一直致于商业智能产品的标准化,但ETL都根据企业的绝对共性封装通用的执行逻辑,或者完全不支持客户化配置,或者同样需要由专业IT人员修改程序代码、SQL代码才能调整ETL的执行逻辑,而预设的ETL逻辑只支持所有企业共性的入级分析。总而言之,定制的ETL逻辑构件不能通用,而通用的ETL逻辑构件只能支撑粗陋的入门级分析,对大多数企业分析价值非常有限,以财务分析为例:会计科目设置几个级次,某个会计科目下是否配置项目核算、配置了几个项目核算,具体是哪些项目核算,项目核算是否该企业自定义。不说集团下不同的企业会不一样,在同一个企业的不同经营周期也会不同,更遑论企业自定义的个性化数据之所以会存在,就因为这些数据存在管理价值,分析的价值不言而喻。
[0004] 而在ERP商业智能分析领域,由于ERP领域尤其是财务领域的专业性,IT人员通常难于理解ERP的专业知识,而ERP用户通常也无法掌握ETL所需要的IT代码语言,从而造成了技术壁垒与沟通障碍,导致商业智能项目中的ETL部分实现周期长,数据校对困难,效果不理想,商业智能系统上线后也难以调整和维护,甚至ERP系统数据的改动,可能导致固化的ETL模块产生难以发现的错误,时不时需要修改ETL代码,方可正确执行ETL逻辑。上述ETL的现状导致了商业智能项目实施成本高企,普及难度重重。

发明内容

[0005] 本发明的目的在于提供一种商业智能 ETL的封装方法及系统,其可以兼容常见ERP系统(例如:用友软件、金蝶软件、畅捷通等),并随着ERP系统数据源的调整重新生成分析维度类型或分析维度数据,可以将异构的ERP数据合并到一起,且可以由ERP用户根据企业需要直接配置ETL方案以及生成数据立方体(定制事实表)。
[0006] 为实现上述目的,本发明的技术方案是:一种商业智能 ETL的封装方法,包括如下步骤,
[0007] S1、分析所选择的ERP数据源并提取分析维度,若为多个ERP数据源,对分析维度进行去重合并;所述分析维度,根据实际情况,为分析维度类型或者分析维度数据二者中至少一个;
[0008] S2、将S1生成的分析维度作为选择参数给用户选择并保存为ETL方案,根据S1提供的分析维度性质不同,即提供分析维度类型或者分析维度数据二者中至少一个;根据实际情况,若其还具有多个事实数据类型时,则事实数据类型可同时作为选择参数提供给用户选择并一起保存到ETL方案;
[0009] S3、基于步骤S2中用户所保存ETL方案的分析维度和事实数据类型(如果ETL方案不包含事实数据类型,则为封装的默认事实数据类型)构建生成数据立方体,保存至数据仓库中,每一个ETL方案有且仅对应一个数据立方体(同时包含维度和事实,可以是T-SQL语句、视图或数据库表等对象),以供BI展示工具、报表工具等调用。
[0010] 在本发明一实施例中,所述步骤S2中,
[0011] 用户除了选择所述分析维度、事实数据类型参数,还可提供事实数据的计算标准(即加载参数)作为参数给用户选择;
[0012] 用户能够随时修改上述ETL方案,新方案保存时或被调度时,将按照新方案重构并更新数据立方体。
[0013] 在本发明一实施例中,所述步骤S3中,
[0014] 在数据立方体保存至数据仓库前,根据ERP数据源的特性,构建分析维度和事实数据的存储框架以便于数据存储,具体的:
[0015] 所述ERP数据源泛指企事业单位的各类信息管理系统的数据库,所述信息管理系统包括财务系统、供应链、人力资源、生产制造、成本系统等;
[0016] 根据ERP数据源对应的组织机构数(或者数据源数)生成同等数量的存储单元,每个存储单元包含存储结构一致的若干个维度表和事实表,亦即所有存储单元的同一个性质的表的列数量与属性都是一样的;
[0017] 用户可随时修改ERP数据源,ERP数据源调整后或ETL方案被调度时,该存储框架将根据新ERP数据源重新构建。
[0018] 在本发明一实施例中,所述步骤S3中之后,还包括一数据转换步骤S4:维度虚拟重组,用于用户零代码重组分析维度,即用户可进行分级维度自定义,并将S2中配置的若干个ETL方案映射至自定义分级维度中的明细维度,方案保存或者被调度时,将根据多级自定义的分级维度和对应ETL方案中的维度构建并更新数据立方体,供BI展示工具调用。
[0019] 在本发明一实施例中,对于财务分析而言,在维度映射时,可同时指定各个自定义明细维度是否抵扣项,以支持财务报表OLAP分析,维度虚拟重组的方案支持按照财务报表的报表项目来设置,一个方案对应一张报表(例如:资产负债表、损益表等)或者一张报表的部分元素(例如:资产类合计、负债及所有者权益等),具体包括:
[0020] 基于该维度虚拟重组方案直接生成能够支持OLAP分析的财务报表数据立方体(例如:资产合计-流动资产-货币资金-行存款-XX银行,支持逐级汇总、逐级钻取、切片切块等),该财务报表为单个企业的个别报表、若干个企业的汇总报表,或加载抵消数据,成为合并报表。
[0021] 本发明还提供了一种商业智能 ETL的封装系统,包括,
[0022] 预处理ETL构件,用于分析指定的N个ERP数据源,并生成分析维度类型或者分析维度数据二者中至少一个,若为多个ERP数据源时,应对所述分析维度类型或者分析维度数据进行去重合并;其中,N为大于等于1的整数;
[0023] ETL配置构件,用于显示所述预处理ETL构件合并生成的分析维度类型(分析维度选择器)或者分析维度数据(加载条件选择器),封装支持用户配置上述参数的选择器以新增、修改并存储客户化ETL方案;根据实际情况,若其还具有多个事实数据类型时,则事实数据类型(事实数据选择器)可同时作为选择参数提供给用户选择并一起保存到客户化ETL方案;
[0024] 定制事实表配置构件,根据ERP用户配置的客户化ETL方案(如果该类ETL方案中不包含事实数据类型,则为程序封装的事实数据类型)构建生成数据立方体,ETL方案和数据立方体一一对应;此处以数据库表亦即定制事实表作为数据立方体,或以T-SQL语句、视图等替代数据库表作为数据立方体;
[0025] 客户化ETL构件,根据ERP用户配置的客户化ETL方案构建生成定制事实表,或T-SQL语句、视图等。
[0026] 在本发明一实施例中,所述ETL配置构件,还可显示加载参数给用户选择;
[0027] ERP用户能够修改已使用的ETL方案(或者维度虚拟重组方案),并保存该方案,以便后续ETL配置构件调用和修改以及定制事实表重置构件对相应的定制事实表进行重建,并调用客户化ETL构件。
[0028] 在本发明一实施例中,还包括一维度虚拟重组构件,以使得用户能够进行自定义分级维度设置,并将若干个ETL方案虚拟映射给所配置的自定义明细维度,具体功能包括:
[0029] 用户根据分析需求,能够将指定的若干个ETL方案分别虚拟映射到用户配置的其中一维度虚拟重组方案中的自定义明细维度上,重组ERP系统已固化的维度隶属关系,重构“多级自定义维度-ETL方案选择维度”这一全新维度,以及参照ETL方案中数据加载的条件和参数,完全自定义分析维度;
[0030] 对于财务分析而言,通过将财务报表(例如:资产负债、所有者权益)的每个报表元素设置为不同层级的分级维度,并设置各个自定义明细维度是否抵扣项,实现OLAP分析财务报表。
[0031] 在本发明一实施例中,还包括一数据仓库框架配置构件、一数据仓库框架重置构件、一定制事实表重置构件以及一数据权限控制构件,
[0032] 所述数据仓库框架配置构件,用于分析所选择ERP数据源的数据结构特性,并根据特性构建分析维度(例如:会计科目、项目核算、事实类型等)存储框架,根据ERP数据源对应的组织机构数(或者数据源数)生成同等数量的存储单元,每个存储单元包含存储结构一致的若干个维度表和事实表;
[0033] 所述数据仓库框架重置构件,用于ERP数据源变动时,重构数据仓库存储框架;
[0034] 所述定制事实表重置构件, 用于在用户ETL方案或维度虚拟重组方案变动时,重构定制事实表;
[0035] 所述数据权限控制构件,用于输出定制事实表到BI展示工具时,根据用户授权,只输出已授权的事实数据。
[0036] 在本发明一实施例中,所述数据仓库框架配置构件,还具有如下功能:
[0037] 评估指定数据库服务器上的数据库的库表结构,根据数据库的存储结构特征识别ERP系统供应商及产品类型,自动构建ERP数据源列表,以备ERP用户配置;
[0038] 所述ERP数据源泛指企事业单位的各类信息管理系统数据库,上述信息管理系统包括财务系统、供应链、人力资源、生产制造、成本系统等;
[0039] 针对各ERP系统供应商的不同ERP系统产品,调用预处理ETL构件中配套该产品的数据ETL方法,进行数据预处理。
[0040] 相较于现有技术,本发明可支持若干个企业的若干个异构(或同构)的ERP系统数据源,亦可支持某个企业的多个或单个ERP数据源,通过预处理ETL构件传递分析维度类型与分析维度数据到数据仓库分单元更新与存储,用户通过ETL配置构件快速配置ETL方案,客户化ETL按用户方案构建并更新定制事实表;
[0041] 需要强调的是,本发明支持将不同供应商的异构产品,以相同的存储架构将数据合并抽取到同一个数据仓库,从而实现异构ERP数据源的数据合并,使应用多个供应商的ERP系统的集团企业,或更换了ERP系统而同时存在异构数据源的企业,能够快速实现异构的多ERP数据源合并,以及为后续的客户化ETL提供支撑;
[0042] 显而易见,本方法亦能同时支持拥有不同行业下属企业的集团企业,无论是多个还是单个数据源,而商业智能分析调用的事实数据表,全部由用户通过ETL配置构件或者维度虚拟重组构件零代码配置,大幅降低ERP领域商业智能项目ETL的实现成本,同时相对于通用标准化ETL封装而言,大幅改进数据分析效果;
[0043] 特别需要强调的是,本发明中所指的OLAP财务报表,尤其是指OLAP资产负债表(支持诸如“资产合计-流动资产-货币资金-银行存款-XX银行”的逐级汇总,逐级钻取,切片切块) 和OLAP损益表(支持诸如“利润总额-营业利润-主营业务利润-营业费用-差旅费”的逐级汇总,逐级钻取,切片切块)是一个发明人自定义的全新事物,目前用中英文检索找不到相关的任何文献。附图说明
[0044] 图1 通行ETL方法架构示意图。
[0045] 图2 本发明的一个实施例的ETL系统架构示意图。
[0046] 图3 本发明的一个实施例的ETL系统流程示意图。
[0047] 图4 本发明的一个实施例的ETL配置选择器示意图。
[0048] 图5 以重构科目分析维度为例,列示维度虚拟重组构件工作原理示意图。
[0049] 图6 本发明的另一个适用于单数据源的实施例的ETL方法流程示意图。

具体实施方式

[0050] 为了更好的理解本发明所述的商业智能 ETL的封装方法及系统,以下结合图2-图5对本发明的一个具体实施例进行系统的描述。本发明所涉及的每个构件以及选择器都是通过编程(包括但不限于:java、H5、PHP、C#、VB)的方法封装实现,并提供操作界面给用户(尤其是ERP用户)进行操作控制。
[0051] 如图3所示:
[0052] 步骤301:首先,提供界面由用户配置并连接ERP数据源服务器,数据仓库框架配置构件对服务器上数据库的存储结构进行分析,并根据ERP供应商的系统存储特征以及数据库表结构识别ERP的供应商、系统的类别、系统的版本。
[0053] 如果ERP数据源支持集团一套账(例如:用友软件的NC、U9,金蝶软件的EAS、 K/3 Cloud),则根据ERP数据源的组织结构表构建组织结构表。
[0054] 如果ERP数据源不提供组织结构的功能,一个企业一个数据源(例如:用友软件的U8,畅捷通的T系列产品、金蝶的K/3 WISE 、KIS系列产品),则由数据仓库框架配置构件提供一个界面供用户维护组织结构表,并由用户将ERP数据源映射给指定的组织机构。由于一个企业可能存在多个ERP数据源(例如用友U8早期产品的一个会计年度一个数据源,或者改变基础档案重新建账),所以必须支持用户将多个ERP数据源映射给组织机构中的同一个企业。
[0055] 步骤302:优选地,为了使ETL的整个系统更有效率,应将分析维度类型,分析维度数据,事实数据等先进行一次ETL并保存到数据仓库。为了构建合理适用的存储框架,事实表与维度表按照组织机构或者数据源划分存储单元存放,为每个组织机构(或ERP数据源)虚拟一个单独的存储单元,该单元包含存储结构一致的相关分析维度表与底层事实表,客户化ETL构件被调用时,按照ETL方案或维度虚拟重组方案聚合统计预处理数据,更新定制事实表。
[0056] 分析维度表是指具体的分析维度数据,如:科目表、项目核算表(具体实施时,视预计数据量而定,如果数据量较大,可拆分为:商品表、客户表、供应商表、部门表、职员表等),以科目维度表为例,数据仓库框架重置构件对每个ERP数据源的科目级次、是否配置项目核算等特性进行分析,并创建可兼容所有数据源科目的存储框架。
[0057] 步骤303:在ERP数据源被修改保存生效时,则调用数据仓库框架重置构件。
[0058] 步骤304:预处理ETL构件根据时间戳或者用户指定的加载范围,将指定ERP数据源的分析维度类型更新到维度类型表,或者将分析维度数据更新到对应存储单元的分析维度表,或者同时处理上述二者,事实数据清洗并重新加载到对应存储单元的底层事实表。
[0059] 预处理ETL构件可根据分析维度的数据特征识别数据是否已经存在于数据仓库,如果不存在则同步该分析维度数据,以约束数据完整性。
[0060] 步骤305:如果数据源增加或调整,数据仓库框架重置构件会清洗所有维度表,并调用数据仓库框架配置构件重新构建数据仓库存储框架(或根据情况同时清洗事实表,并重置时间戳),该构件亦可由用户根据需要调用。
[0061] 步骤306:用户可通过选择器选择分析维度、事实数据、加载条件、加载参数中的1-4个项目,具体的实施方式后续参照附图4细述。
[0062] 步骤307:用户可通过配置维度虚拟重组方案,并把ETL配置构件配置好的若干个ETL方案(包括分析维度、事实数据、加载条件、加载参数)映射到指定的自定义明细维度。具体的实施方式后续参照附图5细述。
[0063] 步骤308:检查ETL方案对应的定制事实表是否存在,如果不存在则调用定制事实表配置构件。否则,转向检查ETL方案是否调整。
[0064] 步骤309:定制事实表配置构件对配置方案类型进行校验,如果是ETL配置构件保存的方案,则根据用户指定的分析维度和事实数据构建定制事实表。
[0065] 如果是维度虚拟重组构件保存的方案,则根据用户配置的多级自定义维度及保留的ETL方案维度,以及事实数据构建维度虚拟重组方案所对应的定制事实表。
[0066] 步骤310:在ETL方案被修改保存生效时,构件则调用定制事实表重置构件。并重置关联的维度虚拟重组方案中所映射自定义明细维度的时间戳。
[0067] 步骤311:客户化ETL构件对配置方案类型进行校验,如果是ETL配置构件保存的方案,则根据用户指定的分析维度和事实数据从分单元数据仓库抽取数据,并进行聚合统计。如果是维度虚拟重组构件保存的方案,则根据用户配置的自定义维度及保留的ETL方案维度,从对应的若干个定制事实表抽取数据,并进行聚合统计,构建并更新对应的定制事实表。
[0068] 一个ETL方案或维度虚拟重组方案,将构建一个且仅构建一个数据立方体,优选地,该数据立方体为定制事实表,如上所述,该定制事实表数据或来源于分单元数据仓库,或来源与其他的定制事实表,不再使用经典的星型存储框架,而是使定制事实表包含一个全包含的数据立方体(DataCube),亦即同时包含所有已选分析维度级次与事实数据。举例来讲,对于财务分析而言,例如包含已选择的:各类时间、各级次组织结构、各级次科目、各级次项目核算、余额和发生额等列,以支持直接用于商业智能分析;全包含的数据立方体的好处主要在于避免星型存储框架数据库表之间的复杂关联关系(Left join左联接、Right join 右联接、Inner join内联接、Full join 全联接、Cross join 叉积, Primary key主键、Foreign key外键、Join field联接字段等)等造成的非专业IT人员无法将事实表和维度表通过查询设计器关联成为OLAP分析数据源,毕竟本发明的核心目的是为了使普通的ERP用户可完全配置ETL方案并构建自己预期的事实定制表,以直接用于商业智能分析,所以不选择传统的星型存储框架。
[0069] 作为备选选择,也可不基于物理方式生成数据表,而只构建一段T-SQL语句以作为商业智能数据源,但选择这个方法,当数据达到一定量级时,性能将难以保障,考虑到最终商业智能的用户通常为企业业主或决策层,所以本发明优选了将维度和事实统一存储在一个物理表的存储框架。
[0070] 步骤312:ETL方案变动后,相应的定制事实表不能仅按照时间戳更新,由定制事实表重置构件重构定制事实表,并调用客户化ETL构件。定制事实表重置构件对需要重构的定制事实表进行清洗,清洗完成后调用定制事实表配置构件重构定制事实表。优选地,定制事实表重置构件还可以检查该ETL方案是否被维度虚拟重组方案关联,如果存在关联方案,则调用客户化ETL构件对关联的由维度虚拟重组方案生成的定制事实表之相应数据也进行清洗和重载。
[0071] 如步骤306所述,ETL配置构件中的选择器设计,以用户能够灵活高效的配置ETL方案为目的,选用ERP用户常用的各种控件作为界面操作载体。用户可以新增并保存新的ETL方案,也可以对构件预设或者用户历史配置的方案进行调整和保存。优选地,为了在ETL方案数量庞大时提高用户的操作效率,ETL配置构件允许用户对ETL方案自定义分类,并将ETL方案按用户指定的类别进行存放,允许用户检索和选择ETL方案。
[0072] 如图4所示,ETL配置构件中的选择器包含以下部分,其中模块403和405应至少存在一项:
[0073] 模块 401:主要包含分析维度选择器和事实数据选择器,将影响定制事实表的数据列。
[0074] 模块 402:主要包含加载条件选择器和加载参数选择器,将影响定制事实表的数据行,或影响数据行中的事实数据值。
[0075] 模块 403:分析维度选择器将影响定制事实表的维度数据列,该选择器的数据列表来源于预处理ETL构件生成的维度类型,用于选择哪些维度参与分析。通过组合框、列表选择框等控件选择要对哪一些维度进行分析,对于财务分析而言,例如:当前的定制事实表主题是销售费用分析,可以选择分析“部门+销售项目”组合维度,也可以只选择分析“职员”维度。
[0076] 模块 404:事实数据选择器将影响定制事实表的事实数据列。通过列表选择框等控件选择要对哪一些事实数据进行分析,对于财务分析而言,例如:期初余额,借方期初余额,贷方期初余额,借方发生额,贷方发生额,期末余额,借方期末余额,贷方期末余额,损益额等。也可以将不同的事实数据直接封装成几个操作界面,比如损益类ETL方案配置窗体,直接封装损益额取数,而无需由用户选择事实数据。
[0077] 模块 405:加载条件选择器将影响定制事实表的数据行,该选择器的数据列表来源于预处理ETL构件生成的维度数据,用于筛选指定维度的数据。通过树状选择框、日期选择框等控件指定当前要分析的数据范围。例如:通过日期选择框选择时间范围,通过树状选择框指定只统计哪些特定组织机构,或者哪些特定的会计科目等。当然,为了能够控制所有公司(或数据源)的加载条件,这里的维度,应当是去重合并后的整个集团的合并维度。以会计科目为例,以科目代码为关键列,对整个集团的ERP数据源进行去重合并,形成集团科目表,以供科目树状选择器进行选择。
[0078] 模块 406:加载参数选择器将影响定制事实表的数据行,或影响数据行中的事实数据值。通过列表选择框等控件指定是否对特定的数据进行加载,例如:凭证的状态(未审核、已审核、已过账),以及通过复选框等控件选择加载参数,对财务分析而言,例如:是否考虑合并抵消事实、是否计算股权比例等。
[0079] 下面结合附图5对维度虚拟重组构件进行细述,以财务分析为例,一方面,企业为了更高效的管理数据,通常会减少科目或项目核算的层级,而设置数量较为庞大的一级维度(科目、项目核算),以科目为例,一级科目通常有百多个,对象太多,不太适合数据对比分析;另一方面,ERP系统的基础档案分级通常基于日常的管理需要,除了这种固化的层级隶属关系,企业通常还需要按照其他的统计方法分析财务数据,对于可由用户配置的ETL方法而言,可支持用户另行配置多级自定义维度,并通过虚拟映射把指定的若干个ETL方案(含分析维度、事实数据、加载条件及加载参数) 虚拟映射到指定的自定义明细维度,生成新分析维度是至关重要的。
[0080] 维度虚拟重组构件,支持用户自定义维度虚拟重组方案,并由用户虚拟映射ETL方案,拓展分析维度,客户化ETL构件按照虚拟映射重拓展后的多级自定义维度与ETL方案中的维度,以及ETL方案对应的定制事实表,构建和更新定制事实表,从而将客户化ETL的效果提升到一个新台阶。
[0081] 自定义明细维度与分析维度之间没有实质的隶属关系,仅根据维度虚拟重组构件中指定的关联,形成了虚拟映射关系,一个ETL方案可映射给多个维度虚拟重组方案,而该领域的通行做法为:直接编写代码指定加载条件向上汇总维度数据,该模式下,分析维度未被拓展,不支持用户灵活配置,更不支持OLAP分析(逐级汇总、逐级钻取、切片切块等),而本发明通过用户配置的维度虚拟重组方案,实现了分析维度的重组与拓展。既轻松实现按维度虚拟重组对数据进行各种汇总统计分析,亦支持在OLAP分析中将“多级自定义维度-多级ETL方案维度”完全贯穿,形成一个完整分析链的有机整体,支持OLAP分析。
[0082] 对于财务报表分析,维度虚拟重组方案支持按照财务报表的报表项目来设置,一个方案对应一张报表或者部分元素,并允许用户设置各个自定义明细维度是否抵扣项,构件基于该维度虚拟重组方案可直接生成可以支持OLAP分析的财务报表(例如:资产负债表、损益表等)数据立方体,这些财务报表可以是单体企业或者集团某个下属企业的个别报表,也可以是若干个企业的汇总报表,或者选择加载参数中的“考虑合并抵消”,加载抵消数据,成为合并报表。
[0083] 如步骤307所述,维度虚拟重组构件可以重组用户分析的维度。维度虚拟重组构件主要包含两个核心部分:维度虚拟重组配置器,允许用户新增或配置维度虚拟重组方案,每个维度虚拟重组支持若干个级别的自定义维度。优选地,用户可以对维度方案进行分类,并同时提供检索功能。以提高用户检索和选择方案的效率。
[0084] 维度虚拟重组映射器,允许用户将已保存的ETL方案映射到维度虚拟重组方案中的最明细自定义维度,从而形成虚拟关联关系,优选地,配置器支持用户选择原ETL方案中的分析维度是否继续保留,以及保留的维度级次,从而使用户可以更有针对性的定制和存储定制事实表,维度虚拟重组构件在保存时会根据自定义维度、被设置为保留的ETL方案维度以及对应的维度级次,拓展形成新的自定义分析维度,客户化ETL构件调用维度虚拟重组方案时,将会调用该自定义分析维度,聚合统计原ETL方案对应的若干个定制事实表。生成新的定制事实表。
[0085] 优选地,构件支持维度虚拟重组方案按每个自定义明细维度存储时间戳,通过比对ETL方案的更新时间戳和该自定义明细维度更新时间戳来校验并更新维度虚拟重组方案对应的定制事实表的数据。同时如果用户重新配置ETL方案,ETL配置构件也将重置相应的自定义明细维度时间戳,以便已经修改了ETL方案部分的维度虚拟重组方案能够完整更新。
[0086] 为了能够进一步说明维度虚拟重组和ETL方案之间是如何映射的,图5展示了映射拓展的简单示意图,图中是一组三个级次的自定义维度,图中列举了资产合计-流动资产-应收账款,其中应收账款是自定义明细维度,虚拟映射一个ETL方案,由于需要按照科目和客户对余额进行重分类,所以分析维度选择器选择了科目和客户(如果应收类科目没有项目核算,只有子科目,则只选择科目),也因为需要重分类,余额类型选择了借方期末余额,而应收账款和预收账款的借方余额都属于应收账款,所以科目选择了这两个一级科目,而加载参数选择了考虑股权比例及考虑合并抵消。也就是出具的OLAP资产负债表是大股东权益部分的合并报表。
[0087] 主流的BI产品有相当部分不支持数据权限控制,或者对用户访问数据的权限需要在脚本级开发实现,例如BI领导厂商之一的Qlikview就需要通过脚本来定义用户可访问的数据权限。基于这种现状,优选地,本发明可以通过API或Web Service等方式提供数据输出接口,来输出定制事实表。
[0088] 一方面,如图2所示,本系统可提供数据权限控制构件,仅输出用户被授权可访问的数据:数据模型、组织机构、分析维度(例如客户、供应商、部门)等权限,BI系统通过接口回传用户名,接口程序在输出前根据回传的用户数据权限,只输出该用户已授权允许访问的数据。
[0089] 更为重要的是,BI调用数据访问接口,在输出数据前,该接口可以校验ETL方案与维度虚拟重组方案对应定制事实表的更新时间戳是否与预处理ETL时间戳一致,若不一致,调用客户化ETL构件更新定制事实表。以避免计划调度或者人工指定更新滞缓导致的商业智能上展示的非最新数据。显而易见,如果BI与ETL作为一个整体的产品存在,则只提供内部访问接口或方法即可。
[0090] 图6为一种商业智能ETL方法的第二个实施例,该方法可用于单ERP数据源的ETL:
[0091] 步骤601:获取ERP数据源的分析维度(分析维度类型、或者某个分析维度的实际数据或者二者同时生成),以备步骤602中的 ETL配置构件选择。
[0092] 步骤602:用户可通过选择器选择分析维度、事实数据、加载条件、加载参数中的1-4个项目,具体的实施方式见第一个实施例对于附图4的细述。
[0093] 步骤603:检查ETL配置对应的定制事实表是否存在,如果不存在则调用定制事实表配置构件。
[0094] 步骤604:定制事实表配置构件根据用户指定的分析维度和事实数据构建定制事实表。
[0095] 步骤605:在ETL方案被修改保存生效时,构件则调用定制事实表重置构件。
[0096] 步骤606:客户化ETL构件根据用户指定的分析维度和事实数据从ERP数据源抽取数据,并将数据更新到定制事实表。
[0097] 步骤607:ETL方案变动后,相应的定制事实表不能仅按照时间戳更新,由定制事实表重置构件重构定制事实表,并调用客户化ETL构件。
[0098] 为了使本发明的描述简明扼要,本发明的实施例只对ERP产品中最常见的财务模块进行了描述和举例,显而易见地,本发明所描述的封装方法(除OLAP财务报表外),同样适用于ERP产品的其他系统模块,包括但不限于:供应链、生产系统、成本系统、预算系统、人力资源系统。
[0099] 通过上述两个实施例可知,以上描述乃是本发明的实施例及所运用的技术原理,本领域的技术人员可以清楚地理解本发明,并能够通过编程封装的方式,以软件产品、接口或服务的方式实现本发明,或者基于本发明进行修改或变型。故而,本领域的技术人员将本发明所描述的方法及系统进行形式上的修改,或依本发明的构想做出改变,其所产生的功能作用仍未脱离说明书及附图所涵盖的精神时,仍应属本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈