技术领域
[0001] 本
申请涉及计算机技术，尤指一种大规模并行处理系统及数据处理方法。
背景技术
[0002] 大规模并行处理(MPP，Massively Parallel Processing)技术使用多个结构化查询语言(SQL，Structured Query Language)
数据库节点搭建的
数据仓库系统。在执行查询时，查询可以分散到多个SQL数据库节点上执行，再将查询结果汇总后返回给用户。MPP技术基于关系数据库的成熟技术，是伴随着分布式与并行数据库技术的发展而来的。其中，最为关键的技术就是MPP技术能够判断出数据之间的相互依赖关系，将可以进行并行操作的部分分发到各个节点上并行运行，并针对关系数据库中最为常用的等值比较和等值联接(Join)等操作做出特别的优化，将待比较的两个不同表的列按照某种规律进行哈希(hash)处理，根据得到的不同的hash值将数据分发到不同的SQL数据库节点上进行比较处理(也可以被看作是Hash Join的分布式形式)。这种将查询中能进行并行的操作和操作产生的中间结果，通过这样的方式分发到不同的SQL数据库节点上运算，实现了最大程度地并行处理，提高了性能。
[0003] 图1为相关技术中MPP系统的组成示意图，如图1所示，传统的MPP架构，一般会部署两个主节点(Master)来保证服务的高可用，分别是主用主节点(Primary Master)和备用主节点(Standby Master)。正常情况下，只有Primary Master节点接收来自用户的连接
请求，Standby Master节点利用事务日志保持与Primary Master节点的同步，同步一般是实时的；Primary Master节点还要管理本地磁盘的元数据(Meta Date)，其中，元数据被定义为描述数据的数据。可以把元数据简单地理解成最小的数据单位。元数据可以为数据说明其元素或属性(如名称、大小、数据类型、等)，或其结构(如长度、字段、数据列等)，或其相关数据(如位于何处、如何联系、拥有者等)。当Primary Master节点出现故障时，Standby Master节点自动切换成Primary Master节点，以保证原Primary Master节点故障时最后提交的事务可以正常提交，并且使用相同的端口接入来自用户的新的连接请求。
[0004] 传统MPP架构利用日志技术实时同步两台Master节点的数据，并不具备良好的可扩展性，而且维护代价较高，且同时只有一个Master节点即Primary Master节点对外服务，这样，一方面，浪费了
硬件资源，另一方面，由于Standby Master节点并不对外提供服务，因此，请求越多，Primary Master节点的压
力就会越大，从而造成了单个Primary Master节点的处理能力也很可能会成为整个系统的
瓶颈的问题。
发明内容
[0005] 本申请提供了一种大规模并行处理系统及数据处理方法，具有良好的可扩展性，避免系统瓶颈问题。
[0006] 本申请提供了一种大规模并行处理系统，包括：管理节点、两个或两个以上的处理节点、以及存储节点；其中，
[0007] 管理节点，用于接收来自用户的请求并分发给处理节点，以及用于将来自处理节点对用户的请求的处理结果返回给对应的用户；
[0008] 处理节点，用于处理来自管理节点的用户的请求，对存储在存储节点上的元数据进行操作；
[0009] 存储节点，存储处理节点的元数据。
[0010] 可选地，所述大规模并行处理系统还包括调度节点，用于在所述处理节点的
进程或者所述处理节点意外退出后，启动新的处理节点的进程或者处理节点；
[0011] 所述管理节点还用于：将意外退出的处理节点的用户的请求转发给新的处理节点。
[0012] 可选地，所述处理节点还用于：启动时向所述管理节点发送注册请求；
[0013] 所述管理节点还用于：接受所述处理节点的注册请求，并记录注册的处理节点的信息。
[0014] 可选地，所述存储节点设置在第三方数据存储系统。
[0015] 本申请还提供了一种并行处理系统，包括：管理节点、两个或两个以上的处理节点、以及存储节点；其中，
[0016] 管理节点，用于接收来自用户的请求并分发给处理节点；
[0017] 处理节点，用于处理来自管理节点的用户的请求，并对存储在存储节点上的元数据进行操作；
[0018] 存储节点，存储处理节点的元数据。
[0019] 本申请还提供了一种数据处理方法，在至少包括管理节点、两个或两个以上处理节点、以及存储节点的大规模并行处理系统中；包括：
[0020] 处理节点接收来自管理节点分发的请求；
[0021] 处理节点根据请求对存储在存储节点上的元数据进行操作。
[0022] 可选地，所述方法之前还包括：所述处理节点启动时向所述管理节点发送注册请求，以使得注册的处理节点的信息记录在所述管理节点。
[0023] 可选地，在所述处理节点的进程或者所述处理节点意外退出后，还包括：启动新的处理节点的进程或者处理节点。
[0024] 本申请再提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的实现数据处理的方法。
[0025] 本申请又提供了一种实现数据处理的装置，包括
存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：接收并处理来自管理节点分发的请求；根据请求对存储在存储节点上的元数据进行操作。
[0026] 本申请至少包括：管理节点、两个或两个以上的处理节点、以及存储节点；其中，管理节点，用于接收来自用户的请求并分发给处理节点，以及用于将来自处理节点对用户的请求的处理结果返回给对应的用户；处理节点，用于处理来自管理节点的用户的请求，对存储在存储节点上的元数据进行操作；存储节点，存储处理节点的元数据。通过本申请
实施例，一方面，由于各处理节点没有主备之分，均可提供服务，因此处理节点的扩展变得更加容易，使得MPP系统具了有良好的可扩展性，避免了由于单个处理节点提供服务而带来的瓶颈问题；另一方面，将元数据存储管理从处理节点中剥离出来，实现了多个处理节点共享了同一份元数据。
附图说明
[0027] 附图用来提供对本申请技术方案的进一步理解，并且构成
说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
[0028] 图1为相关技术中MPP系统的组成示意图；
[0029] 图2为本申请实施例中MPP系统的组成示意图；
[0030] 图3为本申请数据处理方法的流程示意图。
具体实施方式
[0031] 为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
[0032] 在本申请一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出
接口、网络接口和内存。
[0033] 内存可能包括计算机可读介质中的非永久性存储器，
随机存取存储器(RAM)和/或非易失性内存等形式，如
只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
[0034] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模
块或其他数据。计算机的存储介质的例子包括，但不限于
相变内存(PRAM)、静态随机存取存储器(SRAM)、
动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、
电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他
磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备
访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据
信号和载波。
[0035] 在附图的
流程图示出的步骤可以在诸如一组计算机可执行指令的
计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0036] 图2为本申请实施例中MPP系统的组成示意图，如图2所示，至少包括：管理节点、两个或两个以上处理节点、以及存储节点；其中，
[0037] 管理节点，用于接收来自用户的请求并分发给处理节点，以及用于将来自处理节点对用户的请求的处理结果返回给对应的用户。
[0038] 具体地，管理节点可以使用相关
算法如轮询调度(Round Robin Scheduling)算法或者根据在管理节点自身注册的处理节点的负载情况，将来自用户的请求转发到其中的一个处理节点，比如负载轻的一个处理节点等。
[0039] 处理节点，用于处理来自管理节点的用户的请求，对存储在存储节点上的元数据进行操作。
[0040] 其中，根据请求进行的操作可以包括：插入新的元数据如创建一个新的表、删除元数据如删除一个表、读取元数据如读一个表的详细信息等等。
[0041] 可选地，可以依靠存储节点提供的事务(Transaction)功能保证每个操作的
原子性。
[0042] 存储节点，用于存储处理节点的元数据。
[0043] 存储节点可以设置在第三方数据存储系统，比如开放结构服务(OTS，Open Table Service)系统中。OTS开放结构化存储是对大量结构化和半结构化数据存储和时实查询服务，如主要是大规模、低延迟和强一致的结构化数据。OTS提供海量结构化数据的存储和实时访问，表格存储以实例和表的形式组织数据，通过数据分片和负载均衡技术，实现了规模上的无缝扩展。
[0044] 本申请提供的MPP架构，一方面，由于各处理节点没有主备之分，均可提供服务，因此处理节点的扩展变得更加容易，MPP系统中的处理节点具有了
水平拓展能力，使得MPP系统具了有良好的可扩展性，不再局限于一个处理节点对外提供服务，也就是说，每一个处理节点都可以对外提供服务，这样，使得整个MPP系统处理请求的能力和处理节点的个数形成了良好的正比关系，处理节点的个数越多，本申请整个MPP系统下系统的吞吐量越大，也避免了由于单个处理节点提供服务而带来的瓶颈问题。另一方面，将元数据存储管理从处理节点中剥离出来，即元数据不再存储在本地磁盘，而是放在第三方数据库中，实现了多个处理节点共享同一份元数据。
[0045] 可选地，处理节点还用于：启动时向管理节点发送注册请求；相应地，管理节点还用于：接受处理节点的注册请求，并记录注册的处理节点的信息，比如记录后续通信时使用的处理节点的主机名称(hostname)和端口号(port)。
[0046] 可选地，本申请MPP系统还包括调度节点(图2中未示出)，用于在处理节点的进程或者处理节点意外退出即通常讲的挂掉后，启动新的处理节点的进程或者处理节点即将新的处理节点的进程或者处理节点拉起来。而新的处理节点启动后，会主动注册到管理节点；相应地，管理节点还用于：将挂掉的处理节点上的用户的请求转发给新的处理节点。
[0047] 本申请中，管理节点可以看到新注册的处理节点的信息，因此可以将用户的请求转发给新的处理节点。而用户是
感知不到上述变化的，只会看到一个节点在提供服务。
[0048] 本申请另一实施例还提供了一种并行处理系统，包括：管理节点、两个或两个以上的处理节点、以及存储节点；其中，
[0049] 管理节点，用于接收来自用户的请求并分发给处理节点；
[0050] 处理节点，用于处理来自管理节点的用户的请求，并对存储在存储节点上的元数据进行操作；
[0051] 存储节点，存储处理节点的元数据。
[0052] 可选地，处理节点还用于：将对用户的请求的处理结果返回给对应的用户；或者，将对用户的请求的处理结果返回给管理节点，此时，管理节点还用于：将来自处理节点的处理结果返回给用户。
[0053] 图3为本申请数据处理方法的流程示意图，如图3所示，在至少包括管理节点、两个或两个以上处理节点、以及存储节点的MPP系统中，包括：
[0054] 步骤300：处理节点接收来自管理节点分发的请求。
[0055] 本申请数据处理方法之前还包括：处理节点注册在管理节点。具体包括：
[0056] 处理节点启动时向管理节点发送注册请求；相应地，管理节点会接受处理节点的注册请求，并记录注册的处理节点的信息，比如记录后续通信时使用的处理节点的主机名称(hostname)和端口号(port)。
[0057] 步骤301：处理节点根据请求对存储在存储节点上的元数据进行操作。
[0058] 其中，根据请求进行的操作可以包括：插入新的元数据如创建一个新的表、删除元数据如删除一个表、读取元数据如读一个表的详细信息等等。
[0059] 可选地，可以依靠存储节点提供的Transaction功能保证每个操作的原子性。
[0060] 本申请提供的数据处理方法，一方面，由于各处理节点没有主备之分，均可提供服务，因此处理节点的扩展变得更加容易，处理节点具有了水平拓展能力，使得处理节点所在MPP架构具了有良好的可扩展性，不再局限于一个处理节点对外提供服务，也就是说，每一个处理节点都可以对外提供服务，这样，使得整个MPP架构处理请求的能力和处理节点的个数形成了良好的正比关系，处理节点的个数越多，本申请整个MPP架构下系统的吞吐量越大，也避免了由于单个处理节点提供服务而带来的瓶颈问题。另一方面，将元数据存储管理从处理节点中剥离出来，即元数据不再存储在本地磁盘，而是放在第三方数据库中，这样，多个处理节点共享了同一份元数据。
[0061] 可选地，在处理节点的进程或者处理节点意外退出即通常讲的挂掉后，还包括：启动新的处理节点的进程或者处理节点即将新的处理节点的进程或者处理节点拉起来。
[0062] 新的处理节点启动后，会主动注册到管理节点，这样，管理节点可以将挂掉的处理节点上的用户的请求转发给新的处理节点。
[0063] 本申请中，管理节点可以看到新注册的处理节点的信息，因此可以将用户的请求转发给新的处理节点。而用户是感知不到上述变化的，只会看到一个节点在提供服务。
[0064] 本申请还提供一种实现数据处理的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：接收并处理来自管理节点分发的请求；根据请求对存储在存储节点上的元数据进行操作。
[0065] 本申请再提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的实现数据处理的方法。
[0066] 需要强调的是，只要是并行计算系统都适用本申请提供的上述任一实施例。
[0067] 虽然本申请所揭露的实施方式如上，但所述的内容仅为便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的
修改与变化，但本申请的
专利保护范围，仍须以所附的
权利要求书所界定的范围为准。
