专利汇可以提供一种基于大数据技术的人口基础数据库专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于 大数据 技术的人口 基础 数据库 ,包括DataX组件、Phoenix层和HIVE人口数据库;DataX组件用于实现数据的导入和导出,Phoenix层用于对外提供API数据查询服务;HIVE人口数据库用于接收、处理和存储来自外部的政务系统的人口数据,具体包括STG 缓冲层 、FDM基础层、IDM整合层、ADM集市层。本发明使用大数据技术架构,大大提升了人口基础数据库的数据容量,提高了性能并且更加易于扩展。,下面是一种基于大数据技术的人口基础数据库专利的具体信息内容。
1.一种基于大数据技术的人口基础数据库,其特征在于,包括DataX组件、Phoenix层和HIVE人口数据库:
DataX组件:外部的政务系统的人口数据通过DataX组件导入所述HIVE人口数据库,所述HIVE人口数据库通过DataX组件对外提供人口数据;
Phoenix层:所述Phoenix层用于从HIVE人口数据库获取需要提供实时查询的人口数据,对外提供API数据查询服务;
HIVE人口数据库:所述HIVE人口数据库用于接收、处理和存储来自外部的政务系统的人口数据;
所述HIVE人口数据库具体包括STG缓冲层、FDM基础层、IDM整合层、ADM集市层;
所述STG缓冲层用于通过DataX组件接收来自各个政务系统的原始人口数据后进行存放,对原始人口数据不作处理;其主题按政务系统划分,每个政务系统对应一个主题;
所述FDM基础层用于对STG缓冲层所存储的原始人口数据进行清洗和标准化转换,并对不同政务系统中同一属性的表名和字段名进行统一后存储;其主题划分和所述STG缓冲层保持一致;
所述IDM整合层用于整合经FDM基础层处理后的各个政务系统的人口数据,其包括事实表和维表,事实表用于存储实际的数据,维表用于存储事实表中对象的属性;所述IDM整合层的主题域按人生命周期活动规律划分为四个主题域,包括主要信息、出生死亡信息、关系、活动;所述主要信息主题域中包含人口的基本信息和除了基本信息以外的扩展信息,其中基本信息包括姓名、性别、出生日期、证件、民族、血型;出生死亡主题域包含与人口的出生死亡相关的属性;关系主题域包含社会关系属性;活动主题域包含犯罪信息;
所述ADM集市层用于存储IDM整合层整合得到的人口数据,通过DataX组件对外提供数据服务;其主题域根据实际应用需要确定;
所述Phoenix层中也设有ADM集市层,用于存储HIVE人口数据库的ADM集市层通过DataX组件所提供的需要提供实时查询的人口数据。
2.根据权利要求1所述的人口基础数据库,其特征在于,STG缓冲层的主题包括身份证系统、犯罪系统、出生死亡系统、社保系统、婚姻登记系统、教育管理系统、固定资产登记系统。
3.根据权利要求1所述的人口基础数据库,其特征在于,STG缓冲层对原始人口数据存储设定的时间长度。
4.根据权利要求1所述的人口基础数据库,其特征在于,所述FDM基础层中的表结构,对于码值具有对应的文本内容存储字段,并且FDM基础层中还具有存储被清洗掉的异常数据的表。
5.根据权利要求1所述的人口基础数据库,其特征在于,IDM整合层中,所述事实表和维表的关联关系采用星型模型。
6.根据权利要求1所述的人口基础数据库,其特征在于,IDM整合层中,所述扩展信息包括居住地址、通讯信息、国籍、固定资产、社保;所述人口的出生死亡的相关属性包括出生证明、出生医院、死亡证明、埋葬地点;社会关系属性包括父母、子女、配偶关系;所述犯罪信息包括犯罪记录、犯罪地点、审判结果、所在监狱。
7.根据权利要求1所述的人口基础数据库,其特征在于,所述HIVE人口数据库还包括有DIM维度层,所述DIM维度层用于梳理HIVE人口数据库涉及的维度,分为公共维度和参考维度两个主题域,公共维度是通用的维度,参考维度是各个政务系统中特有的维度;
其中公共维度主题域包含性别维度、国家维度、区域维度、日期维度、婚姻状态维度、人种维度、民族维度、血型维度、联系方式类型维度、学历维度和维度映射表,所述维度映射表是用于在FDM基础层进行标准化转换使用的;参考维度则包含身份证号状态、身份证申请状态、身份证申请类型、身份证制证状态、身份证卡片类型、犯罪类型。
8.根据权利要求1所述的人口基础数据库,其特征在于,所述HIVE人口数据库还包括有TMP临时层,所述TMP临时层用于存放ETL处理过程需要使用的中间临时表。
9.根据权利要求1所述的人口基础数据库,其特征在于,在第一次接入人口数据时使用全量的方式,人口数据依次进入STG缓冲层、FDM基础层、IDM整合层、ADM集市层;首次接入人口数据之后,需要对人口数据进行测试验证工作,确保人口数据按设定的效果进入到人口基础数据库中,并能对外提供数据服务之后,人口基础数据库才进入正常运行阶段;此后数据以增量方式接入人口基础数据库。
10.根据权利要求9所述的人口基础数据库,其特征在于,根据实际的数据需求按日、周、月或者年的方式接入增量数据。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
移动应用上的页面的自动生存期管理 | 2020-05-11 | 849 |
扑杀家畜的埋葬方法 | 2020-05-11 | 622 |
一种地葬结构及具有该结构的模拟城市陵园 | 2020-05-08 | 984 |
塀を利用した区画墓地 | 2020-05-12 | 515 |
樹木葬用納骨装置 | 2020-05-13 | 454 |
살처분 매몰지의 환원 방법, 이를 이용한 유기 비료 제조방법 | 2020-05-15 | 934 |
BIODEGRADABLE COFFIN ASSEMBLY | 2020-05-12 | 997 |
SYSTEMS AND METHODS FOR LOCATING AND/OR MAPPING BURIED UTILITIES USING VEHICLE-MOUNTED LOCATING DEVICES | 2020-05-14 | 598 |
SYSTEME POUR SOUDER UNE BANDE DE PROTECTION SUR UNE ECLISSE DE RAIL ET PROCEDE ASSOCIE | 2020-05-12 | 292 |
액체용 소분용기 | 2020-05-12 | 635 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。