云端大数据系统及其构建方法
专利汇可以提供云端大数据系统及其构建方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及 数据处理 技术领域，公开了一种 云 端 大数据 系统及其构建方法，解决了云端大数据系统的多类型数据源接入和数据在线分析及 可视化 的技术问题，其技术方案要点是将多种类型的数据源进行接入和参数设置，对设置参数后的数据源进行数据处理和数据分析，再根据分析结果生成可视化页面或智能报表，使得云端大数据系统使用简洁，数据对接简单，无需任何技术背景就可以实现数据分析，操作简单，且可视化页面中的数据实时计算，也保证了数据的即时性。，下面是云端大数据系统及其构建方法专利的具体信息内容。
1.一种云端大数据系统，其特征在于，包括：
数据接入模块，接入多类型数据源D，包括：
第一类型选择单元，对接入的所述数据源D的类型进行划分，得到所述数据源D的父类型；
第二类型选择单元，对所述父类型进行划分，得到所述数据源D的子类型；
第一设置单元，根据所述子类型对所述数据源D进行第一设置；
校验单元，对完成所述第一设置的所述数据源D进行校验，所述校验通过则转入预览单元，所述校验未通过则转回所述第一设置单元；
预览单元，对通过校验的所述数据源D进行预览；
第三设置单元，预览完成后，对所述数据源D进行第三设置，得到数据源 ，提交所述数据源 ；
数据处理模块，对所述数据源 进行数据处理；
数据分析模块，对数据处理后的所述数据源 进行数据分析，得到分析结果；
数据应用模块，根据所述分析结果生成可视化页面或智能报表。
2.如权利要求1所述的云端大数据系统，其特征在于，所述数据接入模块还包括第二设置单元，预览完成后，所述第二设置单元对所述数据源D进行第二设置，所述第二设置完成后，再对所述数据源D进行第三设置。
3.如权利要求2所述的云端大数据系统，其特征在于，所述第一设置单元包括格式设置块和流程设置块；所述第二设置单元包括属性过滤设置块、属性重命名设置块、属性格式转换设置块、属性扩充设置块和属性脱密设置块；所述第三设置单元为字段信息设置块，所述字段信息包括数据源名称、导入方式和更新周期。
4.如权利要求3所述的云端大数据系统，其特征在于，所述导入方式包括全量导入和增量导入，所述增量导入包括定时导入和实时导入。
5.如权利要求4所述的云端大数据系统，其特征在于，所述数据处理模块的数据处理方式包括数据清洗、数据筛选、数据过滤、多数据转化、数据集成和数据规约。
6.如权利要求5所述的云端大数据系统，其特征在于，所述数据分析模块包括：
分析单元，对数据进行数据统计、数据分类、数据回归和数据聚类；
挖掘单元，对数据进行挖掘获取有用信息；
所述可视化页面包括WEB页面、手机APP页面和大屏，所述大屏包括LED大屏和电视大屏。
7.如权利要求6所述的云端大数据系统，其特征在于，该系统还包括数据共享模块和安全管理模块，所述数据共享模块实现数据共享，所述安全管理模块对云端大数据系统及数据进行安全管理。
8.如权利要求1-7任一所述的云端大数据系统，其特征在于，所数据源的所述父类型包括文本数据、关系型数据、非关系型数据、大数据平台数据、消息队列数据库、物联网设备协议数据、API数据和公共数据。
9.一种云端大数据系统的构建方法，其特征在于，包括：
接入多类型数据源D；
对接入的所述数据源D的类型进行划分，得到所述数据源D的父类型；
对所述父类型进行划分，得到所述数据源D的子类型；
根据所述子类型对所述数据源D进行第一设置；
对完成所述第一设置的所述数据源D进行校验，所述校验通过则进行预览，所述校验未通过则转回所述第一设置；
对通过校验的所述数据源D进行预览；
预览完成后对所述数据源D进行第三设置，得到数据源，提交所述数据源；
对所述数据源 进行数据处理；
对数据处理后的所述数据源 进行数据分析，得到分析结果；
根据所述分析结果生成可视化页面或智能报表。
10.如权利要求9所述的云端大数据系统的构建方法，其特征在于，所述数据源的接入过程还包括第二设置，预览完成后，对所述数据源D进行第二设置，所述第二设置完成后，再所述数据源D进行第三设置。
11.如权利要求10所述的云端大数据系统的构建方法，其特征在于，所述第一设置包括格式设置和流程设置；所述第二设置包括属性过滤、属性重命名、属性格式转换、属性扩充和属性脱密；所述第三设置为字段信息设置，所述字段信息包括数据源名称、导入方式和更新周期。
12.如权利要求11所述的云端大数据系统的构建方法，其特征在于，所述导入方式包括全量导入和增量导入，所述增量导入包括定时导入和实时导入。
13.如权利要12所述的云端大数据系统的构建方法，其特征在于，所述数据处理的方式包括数据清洗、数据筛选、数据过滤、多数据转化、数据集成和数据规约。
14.如权利要求13所述的云端大数据系统的构建方法，其特征在于，所述数据分析包括：
对数据进行数据统计、数据分类、数据回归和数据聚类；
对数据进行挖掘获取有用信息；
所述可视化页面包括WEB页面、手机APP页面和大屏，所述大屏包括LED大屏和电视大屏。
15.如权利要求9-14任一所述的云端大数据系统的构建方法，其特征在于，数据源的所述父类型包括文本数据、关系型数据、非关系型数据、大数据平台数据、消息队列数据、物联网设备协议数据、API数据和公共数据。
云端大数据系统及其构建方法
技术领域
背景技术
2.对技术人员和分析人员的专业水平要求比较高：大数据分析技术复杂，因此需要专业的大数据人员和数据分析人员，加之不同行业的差异较大，为此还需要领域内的专家，人员的技术水平要求高；
3.整合现有数据困难：企业数据来源十分广泛，文本数据、关系型和非关系型数据库中的数据、物联网设备产生的协议数据、消息队列中的数据、网络营销数据等等，而不同的数据对接大数据平台的方式千差万别，企业接入时十分复杂；
4.开发周期缓慢：无论是数据分析还是数据可视化，都需要很专业的技术和业务能力，加之业务场景的多变性，传统的方法开发周期长，需要不断的升级迭代；
5.数据的质量很难进行监控：数据分析的关键在于数据本身，而数据的来源受到诸如网络、采集设备等诸多因素的影响，因而数据可能传输终端，可能某些信息未采集到，而这些重要的内容在传统的分析中只能依靠后期人为的分析，有严重的滞后性，对之后的分析也产生非常严重的影响；
6.系统安全和数据安全管理复杂：大数据系统庞杂，系统会出现硬件、软件故障、数据明文保存、数据丢失等多种问题。
数据接入模块，接入多类型数据源D，包括：
第一类型选择单元，对接入的所述数据源D的类型进行划分，得到所述数据源D的父类型；
第二类型选择单元，对所述父类型进行划分，得到所述数据源D的子类型；
第一设置单元，根据所述子类型对所述数据源D进行第一设置；
校验单元，对完成所述第一设置的所述数据源D进行校验，所述校验通过则转入预览单元，所述校验未通过则转回所述第一设置单元；
预览单元，对通过校验的所述数据源D进行预览；
第三设置单元，预览完成后，对所述数据源D进行第三设置，得到数据源 ，提交所述数据源 。
数据应用模块，根据所述分析结果生成可视化页面或智能报表。
挖掘单元，对数据进行挖掘获取有用信息；
所述可视化页面包括WEB页面、手机APP页面和大屏，所述大屏包括LED大屏和电视大屏。
对接入的所述数据源D的类型进行划分，得到所述数据源D的父类型；
对所述父类型进行划分，得到所述数据源D的子类型；
根据所述子类型对所述数据源D进行第一设置；
对完成所述第一设置的所述数据源D进行校验，所述校验通过则进行预览，所述校验未通过则转回所述第一设置；
对通过校验的所述数据源D进行预览；
预览完成后对所述数据源D进行第三设置，得到数据源 ，提交所述数据源 。
根据所述分析结果生成可视化页面或智能报表。
对数据进行挖掘获取有用信息；
所述可视化页面包括WEB页面、手机APP页面和大屏，所述大屏包括LED大屏和电视大屏。
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于大数据实时网络流量异常检测方法 | 2020-05-08 | 657 |
| 云端大数据系统及其构建方法 | 2020-05-13 | 853 |
| 一种面向农药残留数据的多维交叉分析方法与系统 | 2020-05-08 | 1041 |
| 一种荒漠植物霸王的微卫星分子标记及其应用 | 2020-05-11 | 366 |
| 一种集污水处理厂和垃圾中转站的节地环保型市政综合体 | 2020-05-15 | 538 |
| 用于托管的分析的动态N维立方体 | 2020-05-11 | 731 |
| 一种用于评价低碳烃氧化催化剂性能的中试试验装置 | 2020-05-13 | 110 |
| 用于内窥成像的记录系统 | 2020-05-15 | 337 |
| 一种水质氨氮在线检测分析系统 | 2020-05-13 | 879 |
| 一种用于储能系统的健康状态在线分析方法、装置及介质 | 2020-05-13 | 741 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
