技术领域
[0001] 本
发明涉及大数据技术领域，尤其涉及一种大数据运营管理系统。
背景技术
[0002] 智慧城市是注重以万物互联、数据驱动、智能创新为特征的融合化发展。新型智慧城市作为城市整体发展战略之一，强调对城市整体数据价值的挖掘应用和新兴技术的创新应用。而“城市大脑“作为城市级平台，在发展需求下应运而生，成为智慧城市
基础设施的核心组成，更是向新型智慧城市全面发展的必要条件。
[0003] “城市大脑”通过汇集政府、企业、社会的城市多源数据资源，动态精准地
感知城市运行体征，实时监测城市的运行状态，涵盖政务服务、交通运行、生态环境、社会治理、医疗教育等各个领域，形成城市大脑“数据湖”。城市大脑的思考过程可以概括为“治理数据，驱动数据，产生智慧”。数据是城市大脑的核心资源，以科学统筹规划布局，基于已建的市级公共数据共享交换平台，推动大数据资源平台的进一步建设，包括：实现全市数据的完整归集与整合，共建共享五大市级数据域；加强数据
质量和安全建设，实现数据全生命周期管理；实现数据智能，使数据贴近和服务于业务，
支撑委办局应用，提升数据价值。
[0004] 为满足“城市大脑”的各项功能，需要一种大数据运营管理系统，该系统通过
数据治理、数据管理和数据的长效运营来支持数据的智能化应用和数据资产管理，支持市或区级数据资产大盘，实现数据资源管理业务过程全生命周期监控，对于夯实城市大脑的数据基础，推动智慧城市建设具有重大意义。
发明内容
[0005] 根据
现有技术中存在的上述问题，现提供一种大数据运营管理系统，通过数据治理、数据管理和数据的长效运营来支持数据的智能化应用和数据资产管理，支持市或区级数据资产大盘，实现数据资源管理业务过程全生命周期监控，对于夯实城市大脑的数据基础，推动智慧城市建设具有重大意义。
[0006] 上述技术方案具体包括：
[0007] 一种大数据运营管理系统，应用于城市级大数据运营管理，其中，所述大数据运营管理系统连接多个外部数据源，所述大数据运营管理系统包括：
[0008] 采集模
块，用于从所述外部数据源采集原始数据；
[0009] 第一
数据库，连接所述采集模块，用于存储采集到的原始数据
[0010] 共享模块，连接所述第一数据库，用于根据预先设置的多种数据共享服务方式，将所述原始数据共享至对应的多个外部共享渠道中；
[0011] 监测模块，连接所述第一数据库，用于对所述原始数据进行数据检查和纠正，以保证所述原始数据的准确性；
[0012] 处理模块，连接所述第一数据库，用于对所述原始数据进行清洗转换并对所述原始数据中的敏感信息进行脱敏处理；
[0013] 分类模块，连接所述处理模块，用于根据数据的属性对所述处理模块处理后的数据进行数据分类；
[0014] 第二数据库，连接所述分类模块，用于对分类后的数据采用分布式文件系统进行存储。
[0015] 优选地，其中，所述第一数据库包括ODS原数据层和SRC近源数据层。
[0016] 优选地，其中，所述第二数据库包括DM专题数据层、DWA主题数据层、DWD基础数据层。
[0017] 优选地，其中，所述数据的属性包括：数据来源、数据类型、关键字段；
[0018] 所述分类模块包括：
[0019] 第一分类单元，用于根据所述关键字段将所述处理模块处理后的数据进行第一种类划分；
[0020] 所述第一种类包括：经济发展状况数据、居民幸福数据、中小企业经营数据、城市交通数据；
[0021] 第二分类单元，用于根据所述数据来源和所述数据类型将所述处理模块处理后的数据进行第二种类划分；
[0022] 所述第二种类包括：一网通办、公共安全、市场监督、公共信用、城市管理、社会治理、城乡建设。
[0023] 优选地，其中，所述采集模块包括：
[0024] 结构化
数据采集单元，用于采集存储于标准数据库中的所述外部数据；
[0025] 半结构化数据采集单元，用于采集所述外部数据中的文件数据资源；
[0026] 非结构化数据采集单元，用于采集所述外部数据中的非结构化数据；
[0027] 消息数据采集单元，用于采集所述外部数据中的来自消息队列的消息数据。
[0028] 优选地，其中，所述文件数据资源包括文件格式数据和日志格式数据。
[0029] 优选地，其中，所述处理模块进一步包括：
[0030] 清洗转换单元，用于对所述外部数据进行清洗转换处理；
[0031] 脱敏单元，用于对所述外部数据中的敏感数据进行脱敏处理。
[0032] 优选地，其中，所述清洗转换处理包括：字段映射、数据翻译、字段拆分、字段合并、字段运算、数据范围过滤、字段过滤和数据条件过滤。
[0033] 优选地，其中，所述脱敏处理包括：替换、重排、加密、截断、掩码和日期偏移取整。
[0034] 优选地，其中，所述数据共享服务方式包括：SQL数据服务，数据表共享数据服务和ESB
数据总线服务。
[0035] 上述技术方案的有益效果在于：
[0036] 通过数据治理、数据管理和数据的长效运营来支持数据的智能化应用和数据资产管理，支持市或区级数据资产大盘，实现数据资源管理业务过程全生命周期监控，对于夯实城市大脑的数据基础，推动智慧城市建设具有重大意义。
附图说明
[0037] 图1是本发明的较佳
实施例中，一种大数据运营管理系统的结构示意图；
[0038] 图2是本发明的较佳实施例中，于图1的基础上，分类模块的内部结构示意图；
[0039] 图3是本发明的较佳实施例中，于图1的基础上，采集模块的内部结构示意图；
[0040] 图4是本发明的较佳实施例中，于图1的基础上，处理模块的内部结构示意图。
具体实施方式
[0041] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0043] 下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0044] 一种大数据运营管理系统，应用于城市级大数据运营管理，如图1所示，其中，大数据运营管理系统连接多个外部数据源，大数据运营管理系统包括：
[0045] 采集模块1，用于从外部数据源采集原始数据；
[0046] 第一数据库2，连接采集模块1，用于存储采集到的原始数据
[0047] 共享模块3，连接第一数据库2，用于根据预先设置的多种数据共享服务方式，将原始数据共享至对应的多个外部共享渠道中；
[0048] 监测模块4，连接第一数据库2，用于对原始数据进行数据检查和纠正，以保证原始数据的准确性；
[0049] 处理模块5，连接第一数据库2，用于对原始数据进行清洗转换并对原始数据中的敏感信息进行脱敏处理；
[0050] 分类模块6，连接处理模块5，用于根据数据的属性对处理模块5处理后的数据进行数据分类；
[0051] 第二数据库7，连接分类模块6，用于对分类后的数据采用分布式文件系统进行存储。在本发明的一个具体实施例中，城市级的大数据运营管理涉及到市、区多级政府，需要与市、区多级政府的大
数据中心或者具有类似职能的大数据局、大数据处、城市运行管理中心合作，通过提供相应的数据
接口来供采集模块1对城市数据进行全量汇聚，全面治理以及全程管理，从而能够支持数据智能化的应用、数据资产管理，支持市级或区级数据资产大盘，实现数据资源管理业务的全生命周期监控。
[0052] 为了实现数据采集的通用性和可扩展性，采集模块1采用适配器模式进行设计，实现适配器的可插拔和可扩展性，通过提供大量的适配器来满足不同数据源和不同种类数据的采集需求。
[0053] 具体的，在上述实施例中，数据共享服务是将管理系统中可连接的数据库资源以接口的形式对外提供数据共享服务，共享模块3可同时提供多种数据共享服务方式，包括：SQL数据服务；数据表共享数据服务；ESB数据总线服务等。
[0054] 作为优选的实施方式，监测模块4通过实时对采集到的数据进行数据治理和检查，从而为大数据分析决策提供可信的数据支持，进而保证大数据运营管理系统能够提供准确、科学的数据。数据质量问题来源于源数据系统、数据集成过程和大数据平台，任何一个环节出现数据质量问题都会造成数据分析结果的不准确，因此，实现对数据采集全生命周期的数据治理和监测尤为重要。
[0055] 在本发明的较佳实施例中，第一数据库2包括ODS原数据层和SRC近源数据层。
[0056] 在本发明的较佳实施例中，第二数据库7包括DM专题数据层、DWA主题数据层、DWD基础数据层。
[0057] 在本发明的较佳实施例中，数据的属性包括：数据来源、数据类型、关键字段；
[0058] 如图2所示，分类模块6包括：
[0059] 第一分类单元60，用于根据关键字段将处理模块5处理后的数据进行第一种类划分；
[0060] 第一种类包括：经济发展状况数据、居民幸福数据、中小企业经营数据、城市交通数据；
[0061] 第二分类单元61，用于根据数据来源和数据类型将处理模块5处理后的数据进行第二种类划分；
[0062] 第二种类包括：一网通办、公共安全、市场监督、公共信用、城市管理、社会治理、城乡建设。
[0063] 在本发明的较佳实施例中，如图3所示，采集模块1包括：
[0064] 结构化数据采集单元10，用于采集存储于标准数据库中的外部数据；
[0065] 半结构化数据采集单元11，用于采集外部数据中的文件数据资源；
[0066] 非结构化数据采集单元12，用于采集外部数据中的非结构化数据；
[0067] 消息数据采集单元13，用于采集外部数据中的来自消息队列的消息数据。
[0068] 具体的，在本实施例中，存储于市、区多级政府的大数据中心中的数据多为结构化数据，其中，关系数据库是目前使用最为广泛的数据库系统，同时，实现对各种类型的数据库、
数据仓库的全方位的适
配对大数据的采集也是非常必要的，结构化数据的采集主要从大数据运营管理系统对接的市、区多级政府的大数据中心的标准数据库中采集数据，其中包括市级委办部
门数据、区级各部门数据、人口数据、公司法人数据、空间地理数据、证照数据和互联网数据等。
[0069] 消息数据采集模块1从消息队列中接收消息数据，并对接收到的消息数据加工处理后存储到
指定的介质中，在一个具体的实施例中，大数据运营管理系统支持HornetQ、ActiveMQ、RabbitMQ、Kafka、ZeroM等消息队列
服务器的数据接收和采集。
[0070] 在本发明的较佳实施例中，文件数据资源包括文件格式数据和日志格式数据。
[0071] 具体的，在本实施例中，半结构化数据采集单元11主要用于采集大数据汇集过程中涉及的大量的文件数据资源，其中包括各种类型的文件格式数据和各种类型的日志格式数据，而非结构化数据采集单元12支持采集数据汇集过程中文件目录、FTP服务器、Samba服务器上的各种类型的非结构化文件数据，包括但不限于文档、图片、视频、音频和网页等内容，非结构化采集单元将采集到的文件存储到运营管理系统中，同时，大数据运营管理系统应当支持2G以上的大文件的采集、传输和存储功能，管理系统可通过拆解包机制来保证数据传输过程中的安全性和可靠性，同时，管理系统还应当支持对采集到的文件进行压缩和加密处理。
[0072] 在本发明的较佳实施例中，如图4所示，处理模块5进一步包括：
[0073] 清洗转换单元50，用于对外部数据进行清洗转换处理；
[0074] 脱敏单元51，用于对外部数据中的敏感数据进行脱敏处理。
[0075] 具体的，在本实施例中，存储模块采用Hadoop的分布式结构化模式对处理后的数据进行存储管理。分布式的管理结构包括交互层、业务应用层、
数据挖掘层等分布式的计算机层面。对于海量信息处理的前提是要通过存储处理的方式向HDFS(分布式文件系统)提供大量规模化的数据存储模式，通过对存储空间的内容重塑，直接对数据进行系统化的预处理和输出计算结果的操作。能在Hadoop计算集群系统的
节点上进行ETL(数据加载)模块的数据挖掘模式，可以让用户通过工具调用顶层数据接口开展海量的数据化处理操作，更好地实现数据流的管理。
[0076] 在本发明的较佳实施例中，清洗转换处理包括：字段映射、数据翻译、字段拆分、字段合并、字段运算、数据范围过滤、字段过滤和数据条件过滤。
[0077] 具体的，在本实施例中，大数据运营管理系统所收纳归集的数据分布在不同的单位，来自不同的数据源，因此各自的标准规范也不一致，在做数据汇聚整合时，需要对采集到的数据进行清洗转换。这就需要提供字段映射、数据翻译、字段拆分、字段合并、字段运算、数据范围过滤、字段过滤、数据条件过滤等数据清洗转换功能。在数据清洗过程中，提供图形化、
可视化的数据清洗配置，简化数据清洗的过程和数据标准转换的过程。
[0078] 在本发明的较佳实施例中，脱敏处理包括：替换、重排、加密、截断、掩码和日期偏移取整。
[0079] 具体的，在本实施例中，大数据运营管理系统在数据汇聚建设过程中，需要保障数据的安全，因为隐私或敏感数据的泄露，会对数据主体的财产、名誉、人身安全、以及合法利益造成严重损害。因此，需要对某些敏感信息通过脱敏规则进行数据的
变形，实现敏感隐私数据的可靠保护。管理系统支持多种的数据脱敏处理方法，包括但不限于：替换、重排、加密、截断、掩码、日期偏移取整等。
[0080] 在本发明的较佳实施例中，数据共享服务方式包括：SQL数据服务，数据表共享数据服务和ESB数据总线服务。
[0081] 具体的，在本实施例中，目录生成模块以数据库的元数据为核心，以政务分类表和主题词表等为控制词表，对数据资源进行网状组织，满足从分类、主题、应用等多个
角度对数据资源进行管理、识别、
定位、发现、评估与选择的工具。
[0082] 数据资源编目体系也是管理数据资源，实现共享和服务的一种工具。通过规范的元数据、分类表和主题词表，可以方便地根据外部功能模块的需要按行业、部门、地域、应用主题和其他使用目的变换出数据资源的各种目录。借助目录系统，可以对数据资源进行识别、导航和定位，以支持公众方便、智能检索和快捷查询、获取和使用数据资源。大数据运营管理系统提供了基于数据目录体系的从资源注册、审核、发布、
申请、使用、授权的全过程管理，将数据资产自动分类为字段/列级别，最大程度地实现数据的复用和资源价值。
[0083] 上述技术方案的有益效果在于：
[0084] 通过数据治理、数据管理和数据的长效运营来支持数据的智能化应用和数据资产管理，支持市或区级数据资产大盘，实现数据资源管理业务过程全生命周期监控，对于夯实城市大脑的数据基础，推动智慧城市建设具有重大意义。
[0085] 以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明
说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
