一种数据转换方法、装置及数据处理系统
阅读：1发布：2023-08-10
专利汇可以提供一种数据转换方法、装置及数据处理系统专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种数据转换方法，包括：获取源数据文本中的数据信息；根据所述源数据文本当前所需的业务类型，从配置文件中获取所述业务类型对应的数据转换规则信息；根据所述数据转换规则信息，对所述源数据文本中的数据信息执行数据转换操作，使所述源数据文本中的数据信息转换为目标数据文本中的数据信息；所述数据信息是以层次模型的数据组织形式进行存储。本发明还公开了一种数据转换装置及 数据处理 系统。采用本发明可以提高数据转换效率。，下面是一种数据转换方法、装置及数据处理系统专利的具体信息内容。
1.一种数据转换方法，其特征在于，包括：
获取源数据文本中的数据信息，所述数据信息是以层次模型的数据组织形式进行存储，其各字段的定义信息在配置文件中描述；
根据所述源数据文本当前所需的业务类型，从配置文件中以先从根节点开始搜索，然后进行单一层次的搜索，找到匹配点后再进行横向搜索的方式搜索到所述业务类型对应的数据转换规则信息并获取该数据转换规则信息；
根据所述数据转换规则信息，对所述源数据文本中的数据信息执行数据转换操作，使所述源数据文本中的数据信息转换为目标数据文本中的数据信息。
2.如权利要求1所述的方法，其特征在于，所述获取源数据文本中的数据信息包括：
根据所述定义信息解析所述源数据文本，获取所述源数据文本中的数据信息。
3.如权利要求1至2任意一项所述的方法，其特征在于，所述层次模型的数据组织形式包括：逻辑模型和物理模型。
4.如权利要求3所述的方法，其特征在于，当所述层次模型的数据组织形式是所述逻辑模型时，则所述逻辑模型存储在内存中。
5.如权利要求3所述的方法，其特征在于，当所述层次模型的数据组织形式是所述逻辑模型时，则所述物理模型存储在文本中。
6.如权利要求1至2任意一项所述的方法，其特征在于，所述对所述源数据文本中的数据信息执行数据转换操作是在多进程的基础上以多线程方式进行的。
7.一种数据转换装置，其特征在于，包括：
第一获取单元，用于获取源数据文本中的数据信息，所述数据信息是以层次模型的数据组织形式进行存储，其各字段的定义信息在配置文件中描述；
第二获取单元，用于根据所述源数据文本当前所需的业务类型，从配置文件中以先从根节点开始搜索，然后进行单一层次的搜索，找到匹配点后再进行横向搜索的方式搜索到所述业务类型对应的数据转换规则信息并获取该数据转换规则信息；
数据转换单元，用于根据所述数据转换规则信息，对所述源数据文本中的数据信息执行数据转换操作，使所述源数据文本中的数据信息转换为目标数据文本中的数据信息。
8.如权利要求7所述的装置，其特征在于，所述第一获取单元具体用于：
根据所述定义信息解析源数据文本，获取所述源数据文本中数据信息。
9.一种数据处理系统，其特征在于，所述系统包括如权利要求7至8任意一项所述的数据转换装置。
一种数据转换方法、装置及数据处理系统
技术领域
[0002] 背景技术
[0003] 目前，进程运行时需要的数据信息是通过关系型的数据组织形式进行存储的，通过关系型的数据组织形式存储的数据信息中的各字段的关联关系不可以存储在内存中，而是存储在硬盘中，当进程运行时获取需要的数据信息时，是使用游标，逐条处理，用每一笔数据去关联数据库，查找对应的数据转换规则，这样就造成每处理一笔数据都需要去访问数据库，降低数据转换效率。
[0004] 发明内容
[0005] 本发明所要解决的技术问题在于，提供一种数据转换方法、装置及数据处理系统，可以提高数据转换效率。
[0006] 为了解决上述技术问题，本发明提供了一种数据转换方法，包括： [0007] 获取源数据文本中的数据信息，所述数据信息是以层次模型的数据组织形式进行存储，其各字段的定义信息在配置文件中描述；
[0008] 根据所述源数据文本当前所需的业务类型，从配置文件中以先从根节点开始搜索，然后进行单一层次的搜索，找到匹配点后再进行横向搜索的方式搜索到所述业务类型对应的数据转换规则信息并获取该数据转换规则信息；
[0009] 根据所述数据转换规则信息，对所述源数据文本中的数据信息执行数据转换操作，使所述源数据文本中的数据信息转换为目标数据文本中的数据信息。 [0010] 相应地，本发明还提供了一种数据转换装置，包括：
[0011] 第一获取单元，用于获取源数据文本中的数据信息，所述数据信息是以层次模型的数据组织形式进行存储，其各字段的定义信息在配置文件中描述；
[0012] 第二获取单元，用于根据所述源数据文本当前所需的业务类型， 从配置文件中以先从根节点开始搜索，然后进行单一层次的搜索，找到匹配点后再进行横向搜索的方式搜索到所述业务类型对应的数据转换规则信息并获取该数据转换规则信息； [0013] 数据转换单元，用于根据所述数据转换规则信息，对所述源数据文本中的数据信息执行数据转换操作，使所述源数据文本中的数据信息转换为目标数据文本中的数据信息。
[0014] 本发明还提供了一种数据转换系统，包括所述数据转换装置。
[0015] 实施本发明，通过获取源数据文本中的数据信息，根据所述源数据文本当前所需的业务类型，从配置文件中获取所述业务类型对应的数据转换规则信息；根据所述数据转换规则信息，对所述源数据文本中的数据信息执行数据转换操作，使所述源数据文本中的数据信息转换为目标数据文本中的数据信息，所述数据信息是以层次模型的数据组织形式进行存储，可以提高数据转换效率。
[0017] 图1是本发明数据转换方法流程示意图；
[0018] 图2是本发明以多进程并发处理数据转换方法的调度流程示意图； [0019] 图3是本发明以多线程处理数据文本的流程示意图；
[0020] 图4是本发明业务逻辑规则层次示意图；
[0021] 图5是本发明添加索引的业务逻辑规则逻辑模型示意图；
[0022] 图6是本发明数据转换装置组成示意图。
[0023] 具体实施方式
[0024] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0025] 参考图1，是本发明数据转换方法流程示意图，包括：
[0026] 101、获取源数据文本中的数据信息。
[0027] 所述数据信息是以层次模型的数据组织形式进行存储的，所述层次模型的数据组织形式包括：逻辑模型和物理模型。当所述层次模型的数据组织形式是所述逻辑模型时，则所述逻辑模型存储在内存中；当所述层次模型的数据组织形式是所述逻辑模型时，则所述物理模型存储在文本中。数据信息的各字段的定义信息在配置文件中描述，在配置文件中对数据信息的各字段进行描述，可通过维护配置文件来实现对以层次模型的数据组织形式进行存储的数据信息的扩展。根据所述定义信息解析源数据文本，获取所述源数据文本中数据信息。
[0028] 102、根据所述源数据文本当前所需的业务类型，从配置文件中获取所述业务类型对应的数据转换规则信息。
[0029] 103、根据所述数据转换规则信息，对所述源数据文本中的数据信息执行数据转换操作，使所述源数据文本中的数据信息转换为目标数据文本中的数据信息。 [0030] 其中，如各源数据文本中数据的调度策略为数据量大于500万的源数据文本处于同一优先级，低于或等于500万的源数据文本处于次同一优先级。该调度可通过配置文件配置进程数为n，根据配置文件中配置的最大并发进程数来并发要转换的源数据文本，可根据机器的性能来调节并发数，以实现通过调节参数的方式来优化整个数据转换流程。具体以多进程并发的方式处理各源数据文本的调度方式如图2所示，图2是本发明以多进程并发处理数据转换方法的调度流程示意图。
[0031] 线程是进程中的一个实体，是被系统独立调度和分配的基本单位，线程自己不拥有系统资源，只拥有一点在运行中必需的资源，但线程可与同属一个进程的其它线程共享进程所拥有的全部资源。在单个源数据文本处理中采用多线程方式，具体以多线程处理各源数据文本的调度方式如图3所示，图3是本发明以多线程处理数据文本的流程示意图，对于单个线程的处理流程是，解析数据文本，判断是否得到要处理的数据文本，如果判断结果为是，则根据数据转换规则，对数据文本进行数据转换，然后将转换后的数据信息写入目标数据文本，如果判断结果为否，则结束进程。
[0032] 在源数据文本的数据转换进程被调起后，数据转换进程以多线程的方式读取该源数据文本中的数据信息，数据转换进程是使用配置文件来解析数据文本中数据信息各字段的含义，如：数据文本名为活期(对应的编号为NF001)，所含的字段信息有帐号(TXN_ID)，科目(ACCOUT1)，人民币业务标识(CURRENCY)，余额标识(BALANCE)利率固定浮动方式(RATE_FLG)， 使用配置文件进行定义如下：
[0033] NF001，TXN_ID，1
[0034] NF001，ACCOUNT1，2
[0035] NF001，CURRENCY，3
[0036] NF001，BALANCE，4
[0037] NF001，RATE_FLG，5
[0038] 表示NF001中的第一字段信息是帐号，第二个字段信息是科目，第三个字段信息是人民币，第四个字段信息是余额，第五个字段信息是利率固定浮动方式，以达到数据转换进程识别各数据文本中的数据信息的含义。
[0039] 上述以层次模型的数据组织形式存储数据信息，数据信息各字段之间的逻辑关系，包括：等于、不等于、大于、大于等于、小于、小于等于和空。在逻辑模型中以表1中的逻辑表达式来识别数据信息各字段之间的逻辑关系，如表1所示。
[0040] 表1：
[0041]序号 关系表达式 表达式中文说明 备注
1 ＝＝ 等于 默认为等于
2 ＞＝ 大于等于
3 ＜ 小于
4 ＜＝ 小于等于
5 ＞ 大于
6 ！＝ 不等于
7 空 任意值
1 ＝＝ 等于 默认为等于
2 ＞＝ 大于等于
3 ＜ 小于
4 ＜＝ 小于等于
5 ＞ 大于
6 ！＝ 不等于
7 空 任意值
[0042] 例如：数据文本中数据信息之间的业务逻辑由三个信息来决定，分别是科目、币种、余额，业务逻辑规则为科目按照科目的值域来分，科目有{10001，10002，20001，20002，20003}五个值，业务标识为ACCOUNT1，币种分为等于人民币(数据中人民币的标识为CNY)和不等于人民币两种，业务标识为CURRENCY，余额分大于一百万和小于一百万两种，业务标识为BALANCE。该数据文本中数据信息之间的业务逻辑规则的逻辑模型如图4所示，图4是本 发明业务逻辑规则逻辑模型示意图；该数据文本中数据信息之间的业务逻辑规则的物理模型在文本中的存储方式为：
[0043] 数据转换规则，ACCOUNT1，CURRENCY，BALANCE
[0044] 数据转换规则1，10001，！CNY，＞1000000
[0045] 数据转换规则2，10001，CNY，＜＝1000000
[0046] 数据转换规则3，10002，！CNY，＞1000000
[0047] 数据转换规则4，10002，CNY，＜＝1000000
[0048] 对以层次模型的数据组织形式进行存储的数据信息，在进行搜索时，搜索方式为从根节点(即ROOT节点开始进行搜索)，先进行单一层次搜索，如果找到逻辑匹配点，再进行横向搜索，如图4所示。以此种搜索方式进行搜索，搜索的次数最大为5+2+2＝9，搜索的次数是随着各个决定业务逻辑规则的逻辑划分方式的加的关系，而不是乘的关系。以层次模型的数据组织形式进行存储的数据信息，可以提高搜索数据信息的效率，进而提高数据转换效率。如果为了更快的搜索到科目，可以为科目添加索引。只需将该数据文本中数据信息之间的业务逻辑规则的物理模型在文本中的存储方式调整为：
[0049] 数据转换规则，ACCOUNT1，ACCOUNT1，CURRENCY，BALANCE
[0050] 数据转换规则1，1，10001，！CNY，＞1000000
[0051] 数据转换规则2，1，10001，CNY，＜＝1000000
[0052] 数据转换规则3，1，10002，！CNY，＞1000000
[0053] 数据转换规则4，1，10002，CNY，＜＝1000000
[0054] 数据转换规则5，2，20001，！CNY，＞1000000
[0055] 数据转换规则6，2，20001，CNY，＜＝1000000
[0056] 添加索引的数据文本中数据信息之间的业务逻辑规则的逻辑模型如图5所示，图5是本发明添加索引的业务逻辑规则逻辑模型示意图；对该业务逻辑规则的横向扩展，只需要在业务逻辑物理模型中进行扩展即可，如增加一个利率固定、浮动标志信息来决定业务逻辑规则，如业务逻辑分为固定(F)、浮动(V)，只需将该数据文本中数据信息之间的业务逻辑规则的物理模型在文本中的存储方式调整为：
[0057] 数据转换规则，ACCOUNT1，ACCOUNT1，CURRENCY，BALANCE，RATE_FLG [0058] 数据转换规则1，1，10001，！CNY，＞1000000，F
[0059] 数据转换规则2，1，10001，CNY，＜＝1000000，F
[0060] 数据转换规则3，1，10001，！CNY，＞1000000，V
[0061] 数据转换规则4，1，10001，CNY，＜＝1000000，V
[0062] 数据转换规则5，1，10002，！CNY，＞1000000，V
[0063] 数据转换规则6，1，10002，CNY，＜＝1000000，V
[0064] 数据转换规则7，1，10002，！CNY，＞1000000，F
[0065] 数据转换规则8，1，10002，CNY，＜＝1000000，F
[0066] 下面将给出具体的例子，对上述方法进行详细说明。以科目(ACCOUNT1)，币种(CURRENCY)，余额(BALANCE)，利率浮动方式(RATE_FLG)决定一个产品(PRODUCT_ID)，有如表2所示的转换规则。
[0067] 表2：
[0068]产品 科目 币种 余额 利率浮动方式
2310CNY001 2310 CNY ＞1000000 A
2310CNY002 2310 CNY ＜＝1000000 A
2310CNY003 2310 CNY ＞1000000 F
2310CNY004 2310 CNY ＜＝1000000 F
2310CNY001 2310 CNY ＞1000000 A
2310CNY002 2310 CNY ＜＝1000000 A
2310CNY003 2310 CNY ＞1000000 F
2310CNY004 2310 CNY ＜＝1000000 F
[0069] 要处理数据文本编码为FILE001，文件格式为，一条记录为一行，按竖线分隔，第一个位置是产品ID，第二个位置是科目，第三个位置是币种，第四个位置是余额，第五个位置是利率浮动方式，第六个位置是支付频率，第七个位置是支付频率单位。 [0070] 存放在配置文件中的定义信息如下：
[0071] FILE001|TXN_ID|1|
[0072] FILE001|ACCOUNT1|2|
[0073] FILE001|CURRENCY|3|
[0074] FILE001|BALANCE|4|
[0075] FILE001|RATE_FLG|5|
[0076] FILE001|PMT_FREQ|6|
[0077] FILE001|PMT_FREQ_UNIT|7|
[0078] FILE001的数据信息如下：
[0079] 123000000|23100000|CNY|2399343.111|A|3|M|
[0080] 首先根据配置文件中的定义信息对FILE001的数据文本进行解析，获取数据文本中的数据信息，所述数据信息的存储方式包括：层次模型的数据组织形式，然后在配置文件中查找当前所需的转换规则信息，该转换规则信息如表3所示。
[0081] 表3：
[0082]产品 科目 币种 余额 利率浮动方式
2310CNY001 2310 CNY ＞1000000 A
2310CNY001 2310 CNY ＞1000000 A
[0083] 对数据进行转换。
[0084] 转换后的数据信息如下：
[0085] 123000000|23100000|CNY|2399343.111|A|3|M|2310CNY001|
[0086] 在上述将转换前的数据信息根据数据转换规则转换为转换后的数据信息，可以通过C语言实现。
[0087] 下面将对与上述实施例对应的数据转换装置，以及数据处理系统进行详细说明。 [0088] 参考图6，是本发明数据转换装置组成示意图，该装置包括：
[0089] 第一获取单元601，用于获取源数据文本中的数据信息。
[0090] 所述数据信息的各字段的定义信息在配置文件中描述。所述第一获取单元601具体用于根据所述定义解析源数据文本，获取所述源数据文本中数据信息。 [0091] 第二获取单元602，用于根据所述源数据文本当前所需的业务类型，从配置文件中获取所述业务类型对应的数据转换规则信息。
[0092] 数据转换单元603，用于根据所述数据转换规则信息，对所述源数据文本中的数据信息执行数据转换操作，使所述源数据文本中的数据信息转换为目标数据文本中的数据信息。
[0093] 所述数据信息是以层次模型的数据组织形式进行存储。
[0094] 上述数据转换装置可以设置在数据处理系统中。
[0095] 通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0096] 实施本发明实施例，通过获取源数据文本中的数据信息，根据所述源数据文本当前所需的业务类型，从配置文件中获取所述业务类型对应的数据转换规则信息；根据所述数据转换规则信息，对所述源数据文本中的数据信息执行数据转换操作，使所述源数据文本中的数据信息转换为目标数据文本中的数据信息；所述数据信息的存储形式包括：层次模型的数据组织形式。可以提高数据转换效率。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 网络交互式高清字符叠加系统 | 2021-03-01 | 1 |
| 一种电脑提花手套机控制装置及其花型准备方法 | 2021-04-11 | 1 |
| 一种数据存储的方法及装置 | 2021-06-22 | 0 |
| 一种基于文件系统的三维空间数据存储管理方法 | 2023-08-16 | 1 |
| 用于记录MVB网络物理层数据帧的记录方法及记录装置 | 2021-06-27 | 1 |
| 基于Hadoop的商品推荐系统 | 2021-02-10 | 1 |
| 一种用于数字内容共享的商业模式与方法 | 2020-09-10 | 1 |
| 一种容器化可配置的数据库执行脚本管理系统及方法 | 2020-05-23 | 0 |
| Consistent data storage subsystem configuration replication | 2023-07-31 | 1 |
| 基于应用程序的用户信息的隐藏方法及装置 | 2020-12-24 | 1 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈