技术领域
[0001] 本
发明属于大
数据处理与服务技术领域，具体地涉及一种时空大数据智能服务系统。
背景技术
[0002] 进入21世纪以来，世界数据量呈爆炸式增长，“大数据”一词受到社会的广泛关注，GIS也从
地理信息系统(Geographic Information System,GISystem)逐渐向地理信息服务(Geographic Information Service,GIService)发展。许多时空相关的信息可以通过网络连接获得，包括互联网、传感网和
物联网。时空数据的多样性和相关性日益增强，成为了时空大数据，给GIS在
访问、采集、存储、管理、分析和
可视化等方面带来了诸多挑战，包括但不限于：(1)如何利用不同的数据源和数据模型收集和访问时空大数据？(2)如何组织时空大数据和其元数据，以提供高
质量的数据服务？(3)如何在分布式计算环境中部署时空大数据模型和服务？(4)如何利用各种时空大数据相关的数据服务和处理服务开发时空大数据在线分析应用？
[0003] GIS可以利用许多最新的技术来提高它的能
力。本世纪初，谷歌公司实现并提出了GFS谷歌分布式文件系统、Bigtable分布式存储架构和MapReduce分布式处理方法，为大数据文件的分布式管理、大数据表的可扩展存储、大数据集的并行分析提供了新的范式。之后，出现了各种针对大数据
基础设施的开源解决方案，如HDFS、HBase、Spark、Hive、Storm等。由于时空大数据具有其独特的结构特征，因此在将常用的大数据技术应用于GIS时需要一些特殊的策略。利用这些技术的集成系统可以在大数据环境中提供先进的、智能的地理空间信息服务。
[0004] 然而，现有的地理空间信息服务系统仍存在一些问题：(1)用户使用入
门门栏高，系统复杂，学习系统操作需要具备较高的基础；(2)支持接入时空数据源有限；(3)传统空间数据索引方法在分布式环境下效率较低；(4)时空大数据分布式计算发展不成熟，分布式GIS算子匮乏，仅能满足部分应用场景；(5)web工程应用开发效率低，难以复用。
发明内容
[0005] 本发明是为了解决上述问题而进行的，目的在于提供一种支持海量、异构时空数据的接入、管理、分布式存储、在线计算分析与服务、索引效率高、应用场景广泛的时空大数据智能服务系统。
[0006] 本发明提供了一种时空大数据智能服务系统，其特征在于，该服务系统架构由基础设施层、资源管理与服务层以及应用层组成，其中，基础设施层，将经过虚拟化的计算基础资源、存储基础资源和网络基础资源以基础设施即服务的方式通过网络提供给资源管理与服务层进行使用和管理，资源管理与服务层，基于资源目录和元
数据库对各类时空数据资源、计算分析模型资源进行统一管理，并对外提供基于国际标准的网络数据服务、网络处理服务，应用层，基于通用应用模板调用资源管理与服务层的各类标准网络服务，从而进行应用定制。
[0007] 在本发明提供的时空大数据智能服务系统中，还可以具有这样的特征，其中，资源管理与服务层具有
数据中心模
块和模型中心模块，数据中心模块，负责注册和梳理各类时空数据集，按照主题进行编目，支持分布式海量异构数据统一管理，构建内容索引，并至少提供数据浏览、检索、统计、监控功能和标准网络数据服务发布功能，模型中心模块，负责时空数据处理、智能分析、
机器学习等异构模型的统一注册和统一管理，将模型与具体参数绑定形成计算任务，并至少提供模型浏览、检索、统计、监控功能和标准网络处理服务发布功能，应用层具有应用中心功能模块，应用中心模块，负责管理所有的应用模板，可调用由数据中心和模型中心管理与发布的标准数据服务和处理服务，支持各种项目需求进行相应的应用定制、部署，并至少提供应用浏览、检索、统计、监控功能，基础设施层具有系统管理功能模块，系统管理模块，负责管理生产的服务资源信息，对整个系统的运行进行有效监控，及时发现并记录问题，为解决问题提供支持。
[0008] 在本发明提供的时空大数据智能服务系统中，还可以具有这样的特征，其中，模型中心模块包含：模型目录组件，以目录的形式管理各种类型的模型资源，可以对模型目录项进行增删改；模型注册组件，对系统支持的各种类型的模型进行注册，将不同类型的模型部署在不同的运行环境中，并按主题登记到某个模型目录下面进行管理，同时获取模型描述等元数据；模型元数据库组件，对所有模型的元数据进行统一管理，定时更新；模型库组件，管理基础的时空数据处理、智能分析、机器学习模型，支持基于MapReduce、MPI、GPU的计算模型；模型定制组件，能够按某个处理流程将模型进行组合，生成工作流作为新模型注册到模型库组件中；模型管理组件，对模型进行统计、监控、注销，能够基于元数据检索模型，并对相关信息进行可视化；模型服务管理组件，支持OGC标准将模型发布成网络处理服务，同时也支持互联网常用的RESTful服务
接口，并对这些服务进行统一管理。
[0009] 在本发明提供的时空大数据智能服务系统中，还可以具有这样的特征，其中，应用中心模块包含：应用目录组件，以目录的形式按主题分类管理不同的应用；应用模板库组件，对应用模板进行存储管理，至少包括居民时空行为分析应用、城市交通分析应用、
自然灾害分析应用、大气污染分析应用；应用元数据库组件，对所有应用的元数据进行统一管理，定时更新；应用管理组件，支持新应用的创建和已有应用的浏览、检索、统计、监控。
[0010] 在本发明提供的时空大数据智能服务系统中，还可以具有这样的特征，其中，系统管理模块包含：系统概况组件，统计系统的运行概况，至少包括数据量、数据时空分布、模型数、服务
请求数、用户访问量；监控管理组件，提供针对系统
服务器软
硬件资源包括网络、CPU、内存、数据库进行监控管理，支持各种监控任务的增删改查，提供对各监控项进行图表预览；日志管理组件，提供用户日志管理分析、系统日志管理分析、错误日志管理分析、调试日志管理分析、以及日志查询与导出功能；用户管理组件，支持系统用户进行注册、登录、密码
修改、用户信息管理、用户权限管理的功能；
[0011] 配置管理组件，提供系统基本参数的查询与修改、数据备份设置、配置文件的查询与修改功能。
[0012] 发明的作用与效果
[0013] 根据本发明所涉及的时空大数据智能服务系统，该服务系统架构由基础设施层、资源管理与服务层以及应用层组成，基础设施层，将经过虚拟化的计算基础资源、存储基础资源和网络基础资源以基础设施即服务的方式通过网络提供给所述资源管理与服务层进行使用和管理，资源管理与服务层，基于资源目录和元数据库对各类时空数据资源、计算分析模型资源进行统一管理，并对外提供基于国际标准的网络数据服务、网络处理服务，应用层，基于通用应用模板调用所述资源管理与服务层的各类标准网络服务，从而进行应用定制；突破了传统时空数据、
算法和模型的组织管理方式，以三层架构统一管理系统基础设施、时空数据、计算分析模型、应用服务，支持海量、异构时空数据的接入、管理、分布式存储、在线计算分析与可视化，可以在智慧城市各行业智能化服务中推广应用，例如城市管理、社会管理、国土规划等相关市场应用，提高公共服务
水平和公众生活便利性，推动智慧城市行业技术发展。
附图说明
[0014] 图1是本发明的
实施例中时空大数据智能服务系统的总体架构图。
[0015] 图2是本发明的实施例中数据中心模块的结构
框图。
[0016] 图3是本发明的实施例中模型中心模块的结构框图。
[0017] 图4是本发明的实施例中应用中心模块的结构框图。
具体实施方式
[0018] 下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
[0019] <实施例>
[0020] 图1是本发明的实施例中时空大数据智能服务系统的总体架构图。
[0021] 如图1所示，本实施例提供了一种时空大数据智能服务系统，该服务系统由基础设施层、资源管理与服务层、应用层三层架构组成，并且包含了数据中心(Data Store)、模型中心(Model Store)、应用中心(Application Store)、系统管理(System Management)四大功能模块。
[0022] 基础设施层，将经过OpenStack等私有
云软件虚拟化的计算基础资源、存储基础资源和网络基础资源以基础设施即服务的方式通过网络提供给资源管理与服务层进行使用和管理。基础设施层部署了系统管理功能模块。
[0023] 系统管理(System Management)模块，可以管理生产的服务资源信息，对整个系统的运行进行有效监控，能够及时发现问题并记录问题，为解决问题提供协助。
[0024] 系统管理模块由系统概况组件、监控管理组件、日志管理组件、用户管理组件以及配置管理组件组成。各组件的功能为：(1)系统概况组件，统计系统的运行概况，包括数据量、数据时空分布、模型数、服务请求数、用户访问量等；(2)监控管理组件，提供针对系统服务器软硬件资源包括网络、CPU、内存、数据库进行监控管理，支持各种监控任务的增删改查，提供对各监控项进行图表预览；(3)日志管理组件，提供用户日志管理分析、系统日志管理分析、错误日志管理分析、调试日志管理分析、以及日志查询与导出功能；(4)用户管理组件，支持系统用户进行注册、登录、密码修改、用户信息管理、用户权限管理的功能；(5)配置管理组件，提供系统基本参数的查询与修改、数据备份设置、配置文件的查询与修改功能。
[0025] 又如图1所示，资源管理与服务层，基于资源目录和元数据库对各类时空数据资源、计算分析模型资源进行统一管理，并对外提供基于国际标准的网络数据服务、网络处理服务。
[0026] 资源管理与服务层部署了数据中心模块和模型中心模块。
[0027] 数据中心(Data Store)模块，能够注册和梳理现有的各类时空数据集，按照主题进行编目，支持分布式海量异构数据统一管理，构建高效的内容索引，并提供数据浏览、检索、统计、监控等基本功能和标准网络数据服务发布功能。
[0028] 图2是本发明的实施例中数据中心模块的结构框图。
[0029] 如图2所示，数据中心模块由数据资源目录组件、数据源接入组件、数据注册组件、数据元数据库组件、分布式数据存储组件、数据资源管理组件以及数据服务管理组件组成。各组件的功能为：(1)数据资源目录组件，以主题目录的形式管理各种类型的数据资源，基于PostgreSQL/MySQL数据库的数据表支持对数据目录项进行增删改；(2)数据源接入组件，能够接入已有的各种类型的数据来源，包括互联网数据、传感网数据、物联网数据，对已接入的数据源进行管理和监控，并可以将数据
抽取、转换、加载到分布式数据存储组件中；(3)数据注册组件，将已接入数据源中的某个具体数据集进行注册，作为一个数据资源登记到某个数据资源目录下面进行管理，同时也支持将传统GIS数据资源，如来自空间数据文件、空间关系型数据库、空间数据引擎的数据，注册到系统中进行管理；(4)数据元数据库组件，基于PostgreSQL/MySQL数据库的数据表对所有数据资源的元数据，包括数据类型、数据源类型、数据量、数据源地址等，进行统一管理，定时更新；(5)分布式数据存储组件，基于分布式文件系统HDFS、列式数据库HBase等对时空数据进行存储，对时空数据按网格进行划分，同时使用希尔伯特空间填充曲线将二维空间降为一维线进行编码，以提供高效的分布式时空索引从而提高检索效率；(6)数据资源管理组件，对数据资源进行统计、监控、注销，能够基于元数据检索数据资源，支持对数据资源包含的数据进行结构化查询，并对结果进行预览；(7)数据服务管理组件，使用Spring-boot
框架开发，支持基于开放地理空间信息联盟(Open Geospatial Consortium，OGC)提出的国际标准将时空数据发布成标准数据服务，包括网络地图服务(Web Map Service,WMS)、网络要素服务(Web Feature Service,WFS)、网络栅格服务(Web Coverage Service)、网络地图瓦片服务(Web Map Tile Service,WMTS)，同时也支持互联网常用的RESTful服务接口，并对这些服务进行统一管理。
[0030] 又如图1所示，模型中心(Model Store)模块，负责时空数据处理、智能分析、机器学习等异构模型的统一注册和统一管理，可以将模型与具体参数绑定形成计算任务，并提供模型浏览、检索、统计、监控等基本功能和标准网络处理服务发布功能。
[0031] 图3是本发明的实施例中模型中心模块的结构框图。
[0032] 如图3所示，模型中心模块由模型目录组件、模型注册组件、模型元数据库组件、模型库组件、模型管理组件以及模型服务管理组件组成。各组件的功能为：(1)模型目录组件，以目录的形式管理各种类型的模型资源，基于PostgreSQL/MySQL数据库的数据表可以对模型目录项进行增删改；(2)模型注册组件，对系统支持的各种类型的模型进行注册，将不同类型的模型如原生算子、MPI并行算子、GPU并行算子、MapReduece并行算子等，部署在不同的运行环境中，并按主题登记到某个模型目录下面进行管理，同时获取模型描述等元数据；(3)模型元数据库组件，基于PostgreSQL/MySQL数据库的数据表对所有模型的元数据进行统一管理，定时更新；(4)模型库组件，管理基础的时空数据处理、智能分析、机器学习模型，支持基于MapReduce、MPI、GPU开发的
高性能计算模型；(5)模型定制组件，能够按某个处理流程将模型进行组合，生成工作流作为新模型注册到模型库中；(6)模型管理组件，对模型进行统计、监控、注销，能够基于元数据检索模型，并对相关信息进行可视化；(7)模型服务管理组件，使用Spring-boot框架开发，支持基于OGC提出的国际标准将模型发布成网络处理服务(Web Processing Service,WPS)，同时也支持互联网常用的RESTful服务接口，并对这些服务进行统一管理。
[0033] 又如图1所示，应用层，基于通用应用模板调用资源管理与服务层的各类标准网络服务，从而使系统可针对各种项目需求进行相应的应用定制。应用层部署了应用中心功能模块。
[0034] 应用中心(Application Store)模块，管理若干典型的应用模板，可以调用由数据中心和模型中心管理和发布的标准数据服务和模型服务，支持各种项目需求进行相应的应用定制、部署，并提供应用浏览、检索、统计、监控等功能。
[0035] 图4是本发明的实施例中应用中心模块的结构框图。
[0036] 如图4所示，应用中心模块由应用目录组件、应用模板库组件、应用元数据库组件以及应用管理组件组成。各组件的功能为：(1)应用目录组件，以目录的形式按主题分类管理不同的应用，基于PostgreSQL/MySQL数据库的数据表进行管理；(2)应用模板库组件，根据项目经验将典型的应用模板存入到PostgreSQL/MySQL数据库的数据表中进行存储管理，包括居民时空行为分析应用、城市交通分析应用、自然灾害分析应用、大气污染分析应用等；(3)应用元数据库组件，基于PostgreSQL/MySQL数据库的数据表对所有应用的元数据进行统一管理，定时更新；(4)应用管理组件，支持新应用的创建和已有应用的浏览、检索、统计、监控。
[0037] 实施例的作用与效果
[0038] 根据本实施例所涉及的时空大数据智能服务系统，突破了传统时空数据、算法和模型的组织管理方式，以三层架构四大功能模块统一管理系统基础设施、时空数据、计算分析模型、应用服务，支持海量、异构时空数据的接入、管理、分布式存储、在线计算分析与可视化，可以在智慧城市各行业智能化服务中推广应用，包括城市管理、社会管理、国土规划等相关市场应用，提高公共服务水平和公众生活便利性，推动智慧城市行业技术发展。
[0039] 本实施例以数据中心(Data Store)、模型中心(Model Store)和应用中心(Application Store)的形式，以统一服务接口将数据和模型进行发布并组合生成应用，让用户像在商店进行购物一样对数据、模型、应用进行简单方便的查询、浏览、获取和组合，减小用户对系统进行操作的学习门栏，提高系统的易用性。
[0040] 本实施例优化了对关系型数据库、非关系型数据库、大
数据仓库等多种异构时空数据源的读取，通过建立统一的数据抽象层，配置式选择数据源，使系统支持PostGIS数据库，Oracle Spatial数据库，HBase分布式数据库，ArcGIS存储，shp、geojson、csv等文件格式读写，以及多种大数据分布式存储直接读写。
[0041] 本实施例优化了分布式环境下的空间数据索引与查询性能，针对大地
坐标系与投影坐标系数据，基于球面立方体投影、四叉树空间网格划分、希尔伯特空间填充曲线和空间网格
覆盖计算获取最佳网格编码列表存入列式数据库对空间数据进行索引，并通过开发用户自定义函数提供高效的空间查询接口，降低对硬件配置的要求并提高了时空大数据存储和检索性能。
[0042] 本实施例基于Apache Beam框架，将分布式GIS算子用统一的编程接口进行封装，使其能够在任意的分布式计算引擎上进行执行，最终实现一套代码到处执行，可以兼容单机执行，Spark集群执行，Flink集群执行，兼容批计算与流式计算，迁移
执行环境无需重复开发，极大地提高了开发效率和分布式GIS算子的可复用能力。
[0043] 本实施例以工程大数据的形式，对基于系统开发的一系列Web工程应用进行统一管理、监控、分析，针对各种场景案例提供一系列可复用的开发模板，并能直接与系统中的数据服务和模型服务进行绑定，极大提高了web工程应用的开发效率，降低开发成本。
[0044] 本发明的技术方案可以应用于
计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作，适于与计算机系统/服务器一起使用的众所周知的计算系统、环境或配置，包括但不限于：个人计算机系统、服务器计算机系统、基于
微处理器的系统、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
[0045] 计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
[0046] 虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附
权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
