技术领域
[0001] 本
发明属于
大数据技术领域，尤其涉及一种通信数据同步及处理方法和系统。
背景技术
[0002] 在当前的通信领域，通信系统每时每刻都在产生大量的通信数据，特别是拥有呼叫中心系统的企业，每天产生的通信数据是巨大的。例如话务记录、短信记录等。这就对后续
数据处理带来很大的挑战。
[0003] 常规关系型
数据库在达到千万级别记录时，查询性能就开始大幅下降，严重影响了调用方的使用效率，在同步、存储和数据处理方面均存在
瓶颈。
发明内容
[0004] 本发明要解决的技术问题是为了克服
现有技术中使用关系型数据库在同步、存储和数据处理方面存在的瓶颈，提供一种通信数据同步及处理方法和系统。
[0005] 本发明是通过下述技术方案来解决上述技术问题：
[0006] 一种通信数据同步及处理方法，包括：
[0007] 通过Hadoop(一种分布式系统
基础架构)的ZEUS工具(一种调度工具)主动拉取通信系统数据并直接同步至Hive(基于Hadoop的一个
数据仓库)，或，通过HTTP
接口被动接收通信系统数据并存储到消息
中间件，再通过ZEUS工具将所述
消息中间件中的通信系统数据同步至Hive；
[0008] 将不同类型的通信系统数据分别存储到Hive中不同的表中；
[0009] 通过Spark(一种计算引擎)对Hive中的通信系统数据进行分布式计算处理，将处理结果保存至MySQL(关系型数据库)中。
[0010] 较佳地，Hive按时间进行分片存储。
[0011] 较佳地，所述不同类型的通信系统数据至少包括中继类数据和业务类数据；Hive中不同的表至少包括用于存储所述中继类数据的中继记录表和用于存储所述业务类数据的业务记录表。
[0012] 较佳地，所述通信系统数据由呼叫中心系统产生。
[0013] 一种通信数据同步及处理系统，包括：
[0014] 第一数据同步模
块或第二数据同步模块；所述第一数据同步模块用于通过Hadoop的ZEUS工具主动拉取通信系统数据并直接同步至Hive；所述第二数据同步模块用于通过HTTP接口被动接收通信系统数据并存储到消息中间件，再通过ZEUS工具将所述消息中间件中的通信系统数据同步至Hive；以及，
[0015] 数据存储模块，用于将不同类型的通信系统数据分别存储到Hive中不同的表中；
[0016] 数据处理模块，用于通过Spark对Hive中的通信系统数据进行分布式计算处理，将处理结果保存至MySQL中。
[0017] 较佳地，Hive按时间进行分片存储。
[0018] 较佳地，所述不同类型的通信系统数据至少包括中继类数据和业务类数据；Hive中不同的表至少包括用于存储所述中继类数据的中继记录表和用于存储所述业务类数据的业务记录表。
[0019] 较佳地，所述通信系统数据由呼叫中心系统产生。
[0020] 在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
[0021] 本发明的积极进步效果在于：本发明采用分布式非关系型数据库(Hive)和分布式计算
框架(Spark)提升系统存储、同步和处理海量数据的能
力，突破常规关系型数据库的同步、存储和数据处理瓶颈，可以轻松应对几个千万级别表的关联查询及其他运算，提升了在海量数据的场景下系统的处理能力和效率。
附图说明
[0022] 图1为本发明
实施例1的一种通信数据同步及处理方法的
流程图；
[0023] 图2为本发明实施例1的通信系统数据流转示意图；
[0024] 图3为本发明实施例2的一种通信数据同步及处理方法的流程图；
[0025] 图4为本发明实施例2的通信系统数据流转示意图；
[0026] 图5为本发明实施例3的一种通信数据同步及处理系统的示意
框图；
[0027] 图6为本发明实施例4的一种通信数据同步及处理系统的示意框图。
具体实施方式
[0028] 下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
[0029] 实施例1
[0030] 本实施例提供一种通信数据同步及处理方法，其用于通信系统数据的同步、存储和处理，所述通信系统数据可以指代通信系统产生的数据，如呼叫中心系统产生的数据。如图1所示，所述方法包括以下步骤：
[0031] 步骤11：通过Hadoop的ZEUS工具主动拉取通信系统数据并直接同步至Hive。本实施例中，Hive按时间进行分片(Slice)存储，例如按天分片，从而加快数据分片的查询速度。在同步通信系统数据时同样以天为周期将通信系统中的数据同步至Hive中，也即采用相同的时间周期同步通信系统数据以及Hive分片。
[0032] 步骤12：将不同类型的通信系统数据分别存储到Hive中不同的表中。本实施例中，所述不同类型的通信系统数据至少包括中继类数据和业务类数据；Hive中不同的表至少包括用于存储所述中继类数据的中继记录表和用于存储所述业务类数据的业务记录表。其中，中继类数据代表呼入进来经过中继网关被中继网关记录到的话务记录，理论上每通呼入话务一定都有对应的中继记录数据；业务类数据代表呼入进来落地到坐席而被业务方记录的的话务记录，如果没有落地到坐席，该呼入可能不会有业务数据记录。
[0033] 步骤13：通过Spark对Hive中的通信系统数据进行分布式计算处理，将处理结果保存至MySQL中。其中，所述的计算处理根据使用处理需求而定，包括但不限于根据设定的业务规则对中继类数据和业务类数据进行匹配，例如，呼入一般会根据主叫号码、接通时间或结束时间来匹配，即将主叫号码相同的中继类数据和业务类数据相匹配，将接通时间相同的中继类数据和业务类数据相匹配，或将结束时间相同的中继类数据和业务类数据相匹配。
[0034] 图2示出了所述方法中通信系统数据的流转示意图。通信系统数据直接通过ZEUS工具同步至Hive中，再经Spark计算处理，处理结果保存至MySQL中。
[0035] 本实施例的方法主动拉取同步数据、采用分布式非关系型数据库(Hive)和分布式计算框架(Spark)提升系统存储、同步和处理海量数据的能力，突破常规关系型数据库的同步、存储和数据处理瓶颈，可以轻松应对几个千万级别表的关联查询及其他运算，提升了在海量数据的场景下系统的处理能力和效率。尤其是针对呼叫中心系统这类每天产生的实时数据记录量很大的通信系统，通过本实施例使用的大数据技术，将实时数据每天同步到线下的非关系型数据库进行存储，将大大减轻线上系统的压力，并且能完整的保留历史的数据记录，再通过分布式计算框架对同步过来的数据进行计算和加工，大大提高数据处理性能，能很方便对历史的某月某日进行计算处理，提取所需要的数据结果做报表展现。
[0036] 实施例2
[0037] 本实施例提供一种通信数据同步及处理方法，其与实施例1的方法基本相同，不同之处在于，如图3所示，本实施例的方法将实施例1中的步骤11替换为步骤11’：
[0038] 步骤11’：通过HTTP接口被动接收通信系统数据并存储到消息中间件，再通过ZEUS工具将所述消息中间件中的通信系统数据同步至Hive。
[0039] 图4示出了所述方法中通信系统数据的流转示意图。通信系统数据通过接口到消息中间件，再通过ZEUS工具同步至Hive，再经Spark计算处理，处理结果保存至MySQL中。
[0040] 本实施例的方法被动接收同步数据、采用分布式非关系型数据库(Hive)和分布式计算框架(Spark)提升系统存储、同步和处理海量数据的能力，突破常规关系型数据库的同步、存储和数据处理瓶颈，可以轻松应对几个千万级别表的关联查询及其他运算，提升了在海量数据的场景下系统的处理能力和效率。尤其是针对呼叫中心系统这类每天产生的实时数据记录量很大的通信系统，通过本实施例使用的大数据技术，将实时数据每天同步到线下的非关系型数据库进行存储，将大大减轻线上系统的压力，并且能完整的保留历史的数据记录，再通过分布式计算框架对同步过来的数据进行计算和加工，大大提高数据处理性能，能很方便对历史的某月某日进行计算处理，提取所需要的数据结果做报表展现。
[0041] 比较图2和图4，本实施例与实施例1在同步过程中所不同，实施例1中通信系统数据直接通过ZEUS工具同步至Hive中，而实施例2中通信系统数据通过接口到消息中间件，再通过ZEUS工具同步至Hive。在具体应用场景中，可以根据通信系统数据的不同或通信系统的不同，从实施例1和实施例2中选择一种方法完成数据同步及后续的存储和处理，例如对于可直接
接触到的数据(例如常规的中继话务数据、业务话务数据)优选使用实施例1的方法完成数据同步、存储和处理，对于不可直接接触到的数据(例如有转接的话务数据)优选使用实施例2的方法完成数据同步、存储和处理。
[0042] 实施例3
[0043] 本实施例提供一种通信数据同步及处理系统，其用于通信系统数据的同步、存储和处理，所述通信系统数据可以指代通信系统产生的数据，如呼叫中心系统产生的数据。如图5所示，所述系统包括：第一数据同步模块21、数据存储模块22和数据处理模块23。
[0044] 所述第一数据同步模块21用于通过Hadoop的ZEUS工具主动拉取通信系统数据并直接同步至Hive。本实施例中，Hive按时间进行分片(Slice)存储，例如按天分片，从而加快数据分片的查询速度。在同步通信系统数据时同样以天为周期将通信系统中的数据同步至Hive中，也即采用相同的时间周期同步通信系统数据以及Hive分片。
[0045] 所述数据存储模块22用于将不同类型的通信系统数据分别存储到Hive中不同的表中。本实施例中，所述不同类型的通信系统数据至少包括中继类数据和业务类数据；Hive中不同的表至少包括用于存储所述中继类数据的中继记录表和用于存储所述业务类数据的业务记录表。其中，中继类数据代表呼入进来经过中继网关被中继网关记录到的话务记录，理论上每通呼入话务一定都有对应的中继记录数据；业务类数据代表呼入进来落地到坐席而被业务方记录的的话务记录，如果没有落地到坐席，该呼入可能不会有业务数据记录。
[0046] 所述数据处理模块23用于通过Spark对Hive中的通信系统数据进行分布式计算处理，将处理结果保存至MySQL中。其中，所述的计算处理根据使用处理需求而定，包括但不限于根据设定的业务规则对中继类数据和业务类数据进行匹配，例如，呼入一般会根据主叫号码、接通时间或结束时间来匹配，即将主叫号码相同的中继类数据和业务类数据相匹配，将接通时间相同的中继类数据和业务类数据相匹配，或将结束时间相同的中继类数据和业务类数据相匹配。
[0047] 本实施例的系统主动拉取同步数据、采用分布式非关系型数据库(Hive)和分布式计算框架(Spark)提升系统存储、同步和处理海量数据的能力，突破常规关系型数据库的同步、存储和数据处理瓶颈，可以轻松应对几个千万级别表的关联查询及其他运算，提升了在海量数据的场景下系统的处理能力和效率。尤其是针对呼叫中心系统这类每天产生的实时数据记录量很大的通信系统，通过本实施例使用的大数据技术，将实时数据每天同步到线下的非关系型数据库进行存储，将大大减轻线上系统的压力，并且能完整的保留历史的数据记录，再通过分布式计算框架对同步过来的数据进行计算和加工，大大提高数据处理性能，能很方便对历史的某月某日进行计算处理，提取所需要的数据结果做报表展现。
[0048] 实施例4
[0049] 本实施例提供一种通信数据同步及处理方法，其与实施例3的方法基本相同，不同之处在于，如图6所示，本实施例的方法将实施例3中的第一数据同步模块21替换为第二数据同步模块21’：
[0050] 所述第二数据同步模块21’用于通过HTTP接口被动接收通信系统数据并存储到消息中间件，再通过ZEUS工具将所述消息中间件中的通信系统数据同步至Hive。
[0051] 本实施例的系统被动接收同步数据、采用分布式非关系型数据库(Hive)和分布式计算框架(Spark)提升系统存储、同步和处理海量数据的能力，突破常规关系型数据库的同步、存储和数据处理瓶颈，可以轻松应对几个千万级别表的关联查询及其他运算，提升了在海量数据的场景下系统的处理能力和效率。尤其是针对呼叫中心系统这类每天产生的实时数据记录量很大的通信系统，通过本实施例使用的大数据技术，将实时数据每天同步到线下的非关系型数据库进行存储，将大大减轻线上系统的压力，并且能完整的保留历史的数据记录，再通过分布式计算框架对同步过来的数据进行计算和加工，大大提高数据处理性能，能很方便对历史的某月某日进行计算处理，提取所需要的数据结果做报表展现。
[0052] 本实施例与实施例3在同步过程中所不同，实施例3中通信系统数据直接通过ZEUS工具同步至Hive中，而实施例4中通信系统数据通过接口到消息中间件，再通过ZEUS工具同步至Hive。在具体应用场景中，可以根据通信系统数据的不同或通信系统的不同，从实施例3和实施例4中选择一种系统完成数据同步及后续的存储和处理，例如对于可直接接触到的数据(例如常规的中继话务数据、业务话务数据)优选使用实施例3的系统完成数据同步、存储和处理，对于不可直接接触到的数据(例如有转接的话务数据)优选使用实施例4的系统完成数据同步、存储和处理。
[0053] 虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附
权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或
修改，但这些变更和修改均落入本发明的保护范围。
