一种基于微服务的大数据实时处理装置专利检索-软件组件软件包软件计算机系统电脑零配件专利检索查询-专利查询网

一种基于微服务的大数据实时处理装置

阅读：487发布：2020-05-08

专利汇可以提供一种基于微服务的大数据实时处理装置专利检索，专利查询，专利分析的服务。并且本发明提供一种基于微服务的大数据实时处理装置，包括：数据来源模块；实时数据处理微服务模块，由多个微服务单元构成，用于对数据来源模块的数据进行实时接收、处理及输出，所述的多个微服务单元之间通过HTTP API协议通信；实时数据处理编排模块，用于组织所述的多个微服务单元的数据处理的逻辑过程；微服务地址注册模块，用于提供微服务物理地址注册，提供统一微服务访问地址入口。本发明提供的基于微服务的大数据实时处理装置，通过构建微服务程序，程序之间通过HTTP API进行通信，形成一个松散异构、高度自治的大数据实时处理环境，以解决平台中心化的技术问题。，下面是一种基于微服务的大数据实时处理装置专利的具体信息内容。

权利要求

1.一种基于微服务的大数据实时处理装置，包括：
数据来源模块(a)；
实时数据处理微服务模块(b)，由多个微服务单元(A)构成，用于对数据来源模块(a)的数据进行实时接收、处理及输出，所述的多个微服务单元(A)之间通过HTTP API协议通信；
实时数据处理编排模块(c)，用于组织所述的多个微服务单元的数据处理的逻辑过程；
微服务地址注册模块(d)，用于提供微服务物理地址注册，提供统一微服务访问地址入口；
数据来源模块(a)接实时数据处理微服务模块(b)，实时数据处理微服务模块(b)接实时数据处理编排模块(c)，微服务地址注册模块(d)的输出端口接数据来源模块(a)和实时数据处理编排模块(c)的输入端口。
2.根据权利要求1所述的基于微服务的大数据实时处理装置，其特征在于：
所述微服务单元(A)包括数据处理微服务程序(S)、数据输入端口(S1)、数据暂存组件(S2)、数据输出端口(S3)、容器(C)；
数据处理微服务程序(S)、数据输入端口(S1)、数据暂存组件(S2)、数据输出端口(S3)及其需要的CPU、内存、软件封装在容器(C)上。
3.根据权利要求2所述的基于微服务的大数据实时处理装置，其特征在于：
所述数据暂存组件(S2)为内存与磁盘混合存储部件。
4.根据权利要求2所述的基于微服务的大数据实时处理装置，其特征在于：
不同微服务单元(A)的数据输入端口(S1)与数据输出端口(S3)通过HTTP API协议通信。
5.根据权利要求4所述的基于微服务的大数据实时处理装置，其特征在于：
所述不同的容器(C)之间通过HTTP API协议通信。
6.根据权利要求4或5所述的基于微服务的大数据实时处理装置，其特征在于：
包含相同的数据处理微服务程序(S)的不同微服务单元(A)部署于相互独立的物理服务器上。
7.根据权利要求6所述的基于微服务的大数据实时处理装置，其特征在于：
所述多个微服务单元中计算密集型的微服务单元部署于CPU高性能服务器上、对内存消耗大的微服务单元部署于大内存服务器上。
8.根据权利要求1-5任意一项所述的基于微服务的大数据实时处理装置，其特征在于：
微服务物理地址注册包括IP地址、端口号注册。

说明书全文

一种基于微服务的大数据实时处理装置

技术领域

[0001] 本发明涉及大数据技术领域，特别是涉及一种基于微服务的大数据实时处理装置。

背景技术

[0002] 目前，大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，它可以归纳为体量大(Volume)、种类多 (Variety)、价值密度低(Value)、速度快(Velocity)等四个特征。其中，产生速度快是大数据的重要特征之一，据统计每一秒就有90万人点击Facebook，45.2万人登录Twitter，350万人在谷歌上搜索。把这些过程产生的所有数据完全存储起来是困难的，需要通过有效的实时数据处理技术对这些数据进行实时转化，形成高价值数据，以便进行存储和使用。

[0003] 现有的实时数据处理技术方案是通过把数据接入实时数据处理平台，如Storm、Spark、Flink等，完成对数据的实时加工处理。这种方式主要的缺点是平台中心化问题。数据处理的效果过分依赖于一个平台的好坏，平台产生的BUG会严重影响运行在它之上的所有作业。同时，作业与平台的技术(如编程语言、编程框架等)紧密耦合，使用另一种更优的不同技术重构已有作业会难以实现。

[0004] 现有的实时数据处理技术方案在大数据环境下存在平台中心化问题。主要缺点如下：

[0005] 1)数据处理的效果过分依赖于一个平台的好坏，一旦平台发生故障，如程序缺陷，会导致所有运行在平台之上的作业无法正常工作。

[0006] 2)随着数据处理的需求不断增多，平台会逐渐变成一个臃肿的单体。而技术发展是迅速的，一旦这种技术满足不了当前的需求，要想采用新框架和语言进行重写将变得非常困难。

[0007] 3)这种技术方案无法根据不同的数据处理需求按需调配硬件资源，如一个执行CPU密集型的图像处理程序应被分配高性能CPU资源，而另一个数据暂存程序应被分配大额内存。

[0008] 因此，需要提供一种基于微服务的大数据实时处理装置以解决上述技术问题。

发明内容

[0009] 本发明主要解决的技术问题是提供一种基于微服务的大数据实时处理装置，通过构建微服务程序，程序之间通过HTTP API进行通信，形成一个松散异构、高度自治的大数据实时处理环境，以解决平台中心化的技术问题。

[0010] 为解决上述技术问题，本发明采用的一个技术方案是提供一种基于微服务的大数据实时处理装置，包括：

[0011] 数据来源模块a；

[0012] 实时数据处理微服务模块b，由多个微服务单元A构成，用于对数据来源模块a的数据进行实时接收、处理及输出，所述的多个微服务单元A之间通过HTTP API协议通信；

[0013] 实时数据处理编排模块c，用于组织所述的多个微服务单元的数据处理的逻辑过程；

[0014] 微服务地址注册模块d，用于提供微服务物理地址注册，提供统一微服务访问地址入口；

[0015] 数据来源模块a接实时数据处理微服务模块b，实时数据处理微服务模块b接实时数据处理编排模块c，微服务地址注册模块d的输出端口接数据来源模块a和实时数据处理编排模块c的输入端口。

[0016] 实施例中，作为优选：

[0017] 所述微服务单元A包括数据处理微服务程序S、数据输入端口S1、数据暂存组件S2、数据输出端口S3、容器C；

[0018] 数据处理微服务程序S、数据输入端口S1、数据暂存组件S2、数据输出端口S3及其需要的CPU、内存、软件封装在容器C上。

[0019] 实施例中，作为优选：

[0020] 所述数据暂存组件S2为内存与磁盘混合存储部件。

[0021] 实施例中，作为优选：

[0022] 不同微服务单元A的数据输入端口S1与数据输出端口S3通过 HTTP API协议通信。

[0023] 实施例中，作为优选：所述不同的容器C之间通过HTTP API协议通信。

[0024] 实施例中，作为优选：

[0025] 包含相同的数据处理微服务程序S的不同微服务单元A部署于相互独立的物理服务器上。

[0026] 实施例中，作为优选：

[0027] 所述多个微服务单元中计算密集型的微服务单元部署于CPU高性能服务器上、对内存消耗大的微服务单元部署于大内存服务器上。

[0028] 实施例中，作为优选：

[0029] 微服务物理地址注册包括IP地址、端口号注册。

[0030] 本发明的有益效果是：本发明提供的一种基于微服务的大数据实时处理装置，通过对数据平台及处理过程进行分解，形成大量实时数据处理微服务，分别部署，实现不同微服务的数据处理过程及技术完全隔离，以达到去平台中心化的效果。附图说明

[0031] 图1是本发明的一种基于微服务的大数据实时处理装置的第一优选实施例的结构原理图；

[0032] 图2是本发明的微服务单元A的一种优选实施例的结构原理示意图。

具体实施方式

[0033] 下面结合图示对本发明的技术方案进行详述。

[0034] 请参见图1所示，本实施例的基于微服务的大数据实时处理装置，数据来源模块a；

[0035] 实时数据处理微服务模块b，由多个微服务单元A构成，用于对数据来源模块a的数据进行实时接收、处理及输出，所述的多个微服务单元A之间通过HTTP API协议通信，进而形成一个松散异构、高度自治的大数据实时处理环境，以解决平台中心化的技术问题，其中的微服务单元A是通过人工对数据处理程序进行拆解及编译，并把它们分别部署；

[0036] 实时数据处理编排模块c，用于组织所述的多个微服务单元的数据处理的逻辑过程；

[0037] 微服务地址注册模块d，用于提供微服务物理地址注册，提供统一微服务访问地址入口，进而可以达到隔离路由对实时数据处理微服务模块b的访问的目的；

[0038] 数据来源模块a接实时数据处理微服务模块b，实时数据处理微服务模块b接实时数据处理编排模块c，微服务地址注册模块d的输出端口接数据来源模块a和实时数据处理编排模块c的输入端口。

[0039] 请进一步参看图1所示，数据来源模块a包括多个数据来源单元，比如，第一数据来源单元a1，第二数据来源单元a2，第三数据来源单元 a3……第M数据来源单元aM；

[0040] 而实时数据处理微服务模块b包括多个相互独立的微服务单元A，比如，第一微服务单元b1、第二微服务单元b2、第三微服务单元b3……第n微服务单元bn；

[0041] 实时数据处理编排模块c包括多个数据处理流程，比如第一数据处理流程c1，第二数据处理流程c2，第三数据处理流程c3，……第P数据处理流程cP；

[0042] 当然，微服务地址注册模块d包括多个地址注册单元，具体包括第一地址注册单元d1，第二地址注册单元d2，第三地址注册单元d3，……第Y地址注册单元dY；

[0043] 其中，M、P、Y都是大于2的自然数。

[0044] 如图2所示，在本发明的实施例中，优选所述微服务单元A包括数据处理微服务程序S、数据输入端口S1、数据暂存组件S2、数据输出端口S3、容器C，其中，数据处理微服务程序S，是经过拆解及编译后的程序，用于对数据进行实时处理；

[0045] 数据处理微服务程序S、数据输入端口S1、数据暂存组件S2、数据输出端口S3及其需要的CPU、内存、软件封装在容器C上。

[0046] 对于数据暂存组件S2的具体结构，优选为内存与磁盘混合存储部件，该数据暂存组件S2用于支持数据处理微服务程序S高速读写。

[0047] 实施例中，作为优选：

[0048] 不同微服务单元A的数据输入端口S1与数据输出端口S3通过 HTTP API协议通信，如此便可以达到对数据处理微服务程序S的隔离，满足采用不同技术实现数据处理微服务程序S的目标；

[0049] 在本发明的实施例中，作为优选：所述不同的容器C之间通过HTTP API协议通信，以实现数据处理微服务程序S的负载均衡及高可用，任一微服务单元异常终止都不会影响数据处理微服务程序S的连续进行，进一步的实现不同的微服务单元A之间的隔离，达到去中心化的目的。

[0050] 为了保证微服务单元A之间的彼此不受影响，实施例中，作为优选：

[0051] 包含相同的数据处理微服务程序S的不同微服务单元A部署于相互独立的物理服务器上，如此，使得任一微服务单元异常终止都不会影响数据处理微服务程序S的连续运行。

[0052] 实施例中，为了使得多个微服务单元能够顺利有序的运作，作为优选：所述多个微服务单元中计算密集型的微服务单元部署于CPU高性能服务器上、对内存消耗大的微服务单元部署于大内存服务器上。

[0053] 在本发明的实施例中，作为优选：微服务物理地址注册包括IP地址、端口号注册，对于微服务物理地址注册具体包括哪些，需要根据具体的设计要求进行设计，对此，不做限制。

[0054] 以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

标题	发布/更新时间	阅读量
数据处理环境中的虚拟节点的增强数据存储	2020-05-08	693
一种电子扇转速调控装置及其控制系统	2020-05-08	286
分析物检测仪表和相关使用方法	2020-05-08	92
一种清分机磁头固定方法	2020-05-08	198
用于可信I/O的安全硬件和软件证明的技术	2020-05-08	947
一种便于调节的操作方便的软件测试设备	2020-05-08	504
用于自主驾驶的异构计算架构硬件/软件协同设计	2020-05-11	637
风电机组的极限载荷降低方法及系统	2020-05-08	602
一种活塞的有限元分析方法	2020-05-08	223
一种计算机软件测试装置	2020-05-08	979

一种基于微服务的大数据实时处理装置

一种基于微服务的大数据实时处理装置

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：