一种基于大数据技术提升数据交换效率的构建方法专利检索-把立脚踏车和非动力车辆专利检索查询-专利查询网

一种基于大数据技术提升数据交换效率的构建方法

阅读：226发布：2023-02-21

专利汇可以提供一种基于大数据技术提升数据交换效率的构建方法专利检索，专利查询，专利分析的服务。并且本发明提出一种基于大数据技术提升数据交换效率的构建方法，其特征在于，包括：1）中心端的构建步骤；建立中心数据库，其中包括基于RDBMS的基础信息库和基于HDFS的交换数据库；建立桥接接口，其中包括基于Flume和Kafka系统的采集服务程序、分发服务程序，Flume用于收集各种来源、形式的数据，并把数据传给Kafka集群，由Kafka集群统一分发给大数据集群进行处理；2）数据提供方或数据使用方的构建步骤；建立业务系统、业务库和桥接接口；3）数据使用方的构建步骤；建立业务系统、业务库和桥接接口。本发明可有效扩展可存储的数据类型，同时分布式的技术可大大提升数据读取与写入的效率，使平台得到较高的吞吐量和可靠性，从而可处理海量的数据及数据交换任。，下面是一种基于大数据技术提升数据交换效率的构建方法专利的具体信息内容。

权利要求

1.一种基于大数据技术提升数据交换效率的构建方法，其特征在于，包括：
1)中心端的构建步骤
建立中心数据库，其中包括基于RDBMS的基础信息库和基于HDFS的交换数据库；
建立桥接接口，其中包括基于Flume和Kafka系统的采集服务程序、分发服务程序，Flume用于收集各种来源、形式的数据，并把数据传给Kafka集群，由Kafka集群统一分发给大数据集群进行处理；
2)数据提供方或数据使用方的构建步骤
建立业务系统、业务库和桥接接口；
3)数据使用方的构建步骤
建立业务系统、业务库和桥接接口。
2.根据权利要求1所述的基于大数据技术提升数据交换效率的构建方法，其特征在于：
所述基础信息库为基于Mysql或/和Qracle的关系型数据库，所述换数据库为基于Hbase或/和MangoDB的非关系型数据库。

说明书全文

一种基于大数据技术提升数据交换效率的构建方法

技术领域

[0001] 本发明涉及大数据技术，具体涉及一种基于大数据技术提升数据交换效率的构建方法。

背景技术

[0002] 在传统的数据交换平台实现交换时，一般包含中心节点、前置交换节点、桥接程序，每一个交换节点包括了一组输入接口和输出接口，通过接口可以向交换节点写入数据或读取数据，在每一个端节点前置机上带有一个前置交换库，用于存放交换数据，参见附图1。此过程一条数据的交换会有3次写入与3次读取的过程，同时这个过程也会受载体（服务器资源）或系统性能（数据库的IO速度）因素的影响，当数据量不多时，多次的写入与读取不会有明显的效率影响，但数据交换量到了一定的级别，如单次交换上亿条数据，那么就会直接影响到交换效率，而这种交换效率的影响不能单纯通过硬件的升级进行优化提升，需要架构进行调整优化。

[0003] 随着社会的发展，数据量的级别不断在提升，传统的技术已无法满足对海量数据处理的需求，例如，现有政务数据交换平台主要是基于ETL技术实现，在数据的抽取、转换及加载过程中会因软硬件资源的配置而受影响，另外数据交换平台在建设初期数据交换量不多的情况下，一般都是采用单节点的设计，这种设计在数据量及数据交换任务不多的情况下可正常运行，然而随着国家把大数据上升为国家战略层面，要求各省市都需要实现数据的共享、交换与开放，导致业务系统数据量激增，数据交换越来越频繁。这种单节点设计的弊端逐渐暴露出来，在数据交换高峰时，由于单台服务器或传统技术性能的限制，许多数据交换任务来不及处理，造成大量数据交换任务的积压，使数据交换平台逐渐成为信息化建设的瓶颈。

[0004] 面对越来越多的数据存量及交换场景，数据交换平台迫切需要寻找一个可提供交换效率的有效方法。

发明内容

[0005] 为克服现有技术中存的缺陷，本发明提出一种基于大数据技术提升数据交换效率的构建方法，目的在于突破现有的交换瓶颈，提高整体的交换效率，其具体技术内容如下：一种基于大数据技术提升数据交换效率的构建方法，其包括：
1）中心端的构建步骤
建立中心数据库，其中包括基于RDBMS的基础信息库和基于HDFS的交换数据库；
建立桥接接口，其中包括基于Flume和Kafka系统的采集服务程序、分发服务程序，Flume用于收集各种来源、形式的数据，并把数据传给Kafka集群，由Kafka集群统一分发给大数据集群进行处理；
2）数据提供方或数据使用方的构建步骤
建立业务系统、业务库和桥接接口；
3）数据使用方的构建步骤
建立业务系统、业务库和桥接接口。

[0006] 作为优选，所述基础信息库为基于Mysql或/和Qracle的关系型数据库，所述换数据库为基于Hbase或/和MangoDB的非关系型数据库。

[0007] 本发明的有益效果是：基于大数据技术的数据交换模式在中心库上采用分布式的技术，支持Nosql数据库及关系型的数据库，可有效扩展可存储的数据类型，同时分布式的技术可大大提升数据读取与写入的效率。在数据提供方及使用方上，将通过接口程序可直接与中心数据库进行对接，中心数据库提供Flume及Kafka的方式进行数据的交换对接，整个数据交换的过程只有1次读取和1次写入的操作，可有效提高整体的数据交换效率，使平台得到较高的吞吐量和可靠性，从而可处理海量的数据及数据交换任务，整体交换效率是传统基于ETL交换平台的2倍以上，同时本技术还具有以下的优势：1）高性能：分布式技术、Flume、Kafka等大数据的应用技术可为平台提供高吞吐量和高可靠性，有效支撑海量数据的处理。

[0008] 2）易扩展：可预估并且弹性扩展计算、存储容量和性能。

[0009] 3）低成本：分布式存储只需要IP网络，几台X86服务器加内置硬盘就可以组建起来，初期成本比较低。

附图说明

[0010] 图1为现有技术中的数据交换平台原理框架图。

[0011] 图2为由本发明方法所构建的大数据交换平台原理框架图。

具体实施方式

[0012] 如下结合附图2，对本申请方案作进一步描述：一种基于大数据技术提升数据交换效率的构建方法，其包括：
1）中心端的构建步骤
建立中心数据库，其中包括基于RDBMS（Relational Database Management System，关系数据库管理系统）的基础信息库和基于HDFS（Hadoop分布式文件系统）的交换数据库；
建立桥接接口，其中包括基于Flume和Kafka系统的采集服务程序、分发服务程序，Flume用于收集各种来源、形式的数据，并把数据传给Kafka集群，由Kafka集群统一分发给大数据集群进行处理；具体的，所述基础信息库为基于Mysql或/和Qracle的关系型数据库，所述换数据库为基于Hbase或/和MangoDB的非关系型数据库；
2）数据提供方或数据使用方的构建步骤
建立业务系统、业务库和桥接接口；
3）数据使用方的构建步骤
建立业务系统、业务库和桥接接口。

[0013] 在数据库技术上，本发明采用关系型数据库及nosql数据库相结合的方式，可有效扩展可存储的数据类型。关系型数据库可支持主流的Mysql、Qracle及达梦等，Nosql数据库主要采用HDSF+Hbase+MangoDB的方式，可有效解决大数据存储及快速读取的需求。

[0014] 在消息处理上，本技术采用Flume+Kafka的方式，在本数据交换环境架构中，Flume主要用来收集各种来源、形式的数据，并把数据传给Kafka集群，由Kafka集群统一分发给大数据集群进行处理。采用Flume+Kafka的组合方式一是因为Flume可支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。二是kafka实际上是一个消息发布订阅系统，Producer向某个Topic发布消息，而Consumer订阅某个Topic的消息。一旦有新的关于某个Topic的消息，Broker会传递给订阅它的所有Consumer。在实际使用中采用Flume作为数据的生产者，这样可以不用编程就实现数据源的引入，并采用Kafka Sink作为数据的消费者，这样可以得到较高的吞吐量和可靠性。通过上述两种核心技术的实现，一是可有效对海量任务的及时处理及分配，二是可有效提高对海量数据交换的处理效率，从而提高数据交换的整体效率。

[0015] 上述优选实施方式应视为本申请方案实施方式的举例说明，凡与本申请方案雷同、近似或以此为基础作出的技术推演、替换、改进等，均应视为本专利的保护范围。

标题	发布/更新时间	阅读量
一种立式辣椒去把机	2020-05-12	257
快捷可调式把立	2020-05-11	320
可调长度的自行车把立	2020-05-12	639
纸质立体袋的烫把机构	2020-05-12	467
一种自行车折叠把立	2020-05-13	566
折叠收纳立把	2020-05-11	347
能够改变车把的位置的自行车用把立	2020-05-12	833
一种站立式扫把	2020-05-11	519
流线形折叠把立管	2020-05-13	192
锥套锁紧式折叠把立管	2020-05-12	506

一种基于大数据技术提升数据交换效率的构建方法

一种基于大数据技术提升数据交换效率的构建方法

技术领域

背景技术

发明内容

附图说明

具体实施方式

该功能需要专业版企业版VIP权限，您可以：