一种基于监管保护的数据治理可视化方法
阅读：919发布：2020-05-08
专利汇可以提供一种基于监管保护的数据治理可视化方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于监管保护的 数据治理 可视化 方法，包括通过第三方服务 接口 接受 数据处理 请求 ；根据数据处理请求对目标数据进行响应处理并提取指标；通过可视化技术对指标进行可视化处理；对可视化指标监管保护，展示可视化指标，通过数据治理可视化内容的呈现，可以直接判断一个数据治理项目的情况，并在可视化同时提供监管保护。，下面是一种基于监管保护的数据治理可视化方法专利的具体信息内容。
1.一种基于监管保护的数据治理可视化方法，其特征在于，包括：
通过第三方服务接口接受数据处理请求；
根据数据处理请求对目标数据进行响应处理并提取指标；
通过可视化技术对指标进行可视化处理；
对可视化指标监管保护，展示可视化指标。
2.根据权利要求1所述的基于监管保护的数据治理可视化方法，其特征在于，所述根据数据处理请求对目标数据进行响应处理包括数据标准化处理、数据质量处理和元数据治理。
3.根据权利要求2所述的基于监管保护的数据治理可视化方法，其特征在于，所述提取指标包括根据数据源的数据库类型定义提取数据源数据的指标；根据数据标准定义提取数据标准内容的指标；根据数据质量分析结果定义提取数据质量内容的指标；根据元数据的治理结果定义提取元数据的指标。
4.根据权利要求3所述的基于监管保护的数据治理可视化方法，其特征在于，所述目标数据包括数据源数据和元数据。
5.根据权利要求4所述的基于监管保护的数据治理可视化方法，其特征在于，所述对可视化指标监管保护包括数据分级管理、数据授权管理和数据脱敏管理。
6.根据权利要求5所述的基于监管保护的数据治理可视化方法，其特征在于，所述数据分级管理为根据数据权限分配数据，所述数据授权管理为分配数据权限，所述数据脱敏管理为对数据脱敏。
7.根据权利要求6所述的基于监管保护的数据治理可视化方法，其特征在于，所述数据脱敏管理包括根据数据的服务对象或根据数据服务使用者划分数据；针对划分的数据制定脱敏规则；制定脱敏任务发现敏感数据和制定脱敏策略。
8.根据权利要求7所述的基于监管保护的数据治理可视化方法，其特征在于，所述制定脱敏策略包括对敏感数据实施数据遮掩，对敏感数据加密，安全审计和日志审计。
一种基于监管保护的数据治理可视化方法
技术领域
背景技术
[0002] 政府部门、互联网企业、大型集团企业积累沉淀了大量的数据资源。我国已成为产生和积累数据量最大、数据类型最丰富的国家之一，从国家战略和城市战略来看数据已成为第一资源。数据治理平台，通过数据标准治理、数据质量治理、元数据治理、数据监管保护等手段，建立全局的数据标准体系，数据资产可视、质量闭环管理来为政府或企业提供数据全生命周期的治理，提升数据质量，发挥数据价值。数据治理平台需要提供可视化展示，并在可视化展示的同时提供监管保护。
发明内容
[0003] 鉴于上述问题，本发明提出了一种基于监管保护的数据治理可视化方法，提供数据治理平台的可视化展示以及对数据的监管保护，为了达到上述目的，本发明实施例提供了一种基于监管保护的数据治理可视化方法，包括：
[0005] 进一步的，所述根据数据处理请求对目标数据进行响应处理包括数据标准化处理和数据质量处理。
[0006] 进一步的，所述提取指标包括根据数据源的数据库类型定义提取数据源数据的指标；根据数据标准定义提取数据标准内容的指标；根据数据质量分析结果定义提取数据质量内容的指标；根据元数据的治理结果定义提取元数据的指标。
[0007] 进一步的，所述目标数据包括数据源数据和元数据。
[0008] 进一步的，所述对可视化指标监管保护包括数据分级管理、数据授权管理和数据脱敏管理。
[0009] 进一步的，所述数据分级管理为根据数据权限分配数据，所述数据授权管理为分配数据权限，所述数据脱敏管理为对数据脱敏。
[0010] 进一步的，所述数据脱敏管理包括根据数据的服务对象或根据数据服务使用者划分数据；针对划分的数据制定脱敏规则；制定脱敏任务发现敏感数据和制定脱敏策略。
[0011] 进一步的，所述制定脱敏策略包括对敏感数据实施数据遮掩，对敏感数据加密，安全审计和日志审计。
[0012] 本发明实施例提供了一种基于监管保护的数据治理可视化方法，包括通过第三方服务接口接受数据处理请求；根据数据处理请求对目标数据进行响应处理并提取指标；通过可视化技术对指标进行可视化处理；对可视化指标监管保护，展示可视化指标；通过数据治理可视化内容的呈现，可以直接判断一个数据治理项目的情况，并在可视化同时提供监管保护，提供敏感数据制定、数据脱敏的管理。附图说明
[0013] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014] 图1示出了基于监管保护的数据治理可视化方法原理流程图。
具体实施方式
[0015] 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0016] 在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
[0017] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0018] 结合图1，通过第三方服务接口接受数据处理请求；根据数据处理请求对目标数据进行响应处理并提取指标；通过可视化技术对指标进行可视化处理；对可视化指标监管保护，展示可视化指标。可视化技术是利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。它涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综合技术。
[0019] 所述根据数据处理请求对目标数据进行响应处理包括数据标准化处理、数据质量处理和元数据治理。
[0020] 数据标准处理是解决不同部门数据口径不一致：业务数据含义、表示方式和代码皆不统一，数据可信性低；不同业务间共用数据不能有效共享，影响管理决策的科学性的问题。
[0021] 可通过标准管理；业务对象管理；数据标准映射；标准执行任务创建；标准执行模块；任务分析实现对数据的标准化。
[0022] 通过数据质量处理得到数据质量分析结果和数据质量相关的内容，数据质量处理包括发现数据质量问题和管理数据质量问题，其中发现数据质量问题包括将数据质量规则和采集的数据对象关联，得到质量规则包；根据质量规则包的数据质量规则创建稽查任务，通过执行稽查任务将问题数据插入到制定的问题数据库中；对问题数据库中的数据质量问题统计，输出数据质量问题稽查报告。利用质量规则包很好的解决了随着数据质量问题发现要求越来越高、数据越来越复杂的情况下，数据质量规则也难于精确的发现隐藏的数据质量问题，通过更加精确的规则制定和参考数据的使用，让数据质量问题无处遁形。
[0023] 管理数据质量问题，包括制定数据质量监控检核方案，对数据质量监控检核；制定数据质量规则库；按照数据质量规则库定时执行数据质量管控，得到数据质量问题；对数据质量问题管理；对数据质量评估。在此闭环管理的驱动下，对数据质量不断生成新的治理需求，不断解决质量问题，从而持续的提升数据质量。
[0024] 通过元数据治理实现高度整合元数据，根据统一标准进行元数据存储，通过发现数据之间关系，形成全局的数据地图，根据地图内元数据血缘分析，快速定位该数据血缘关系，发现质量问题根源所在，达到快速核实的目的。
[0025] 元数据治理，包括建立元模型，对源系统进行抽象建立元模型，所述元模型对源系统中需要采集的对象进行定义；治理元数据，包括根据元模型定义的采集的对象，实时采集源系统的元数据，并对元模型的元数据进行管理、分析和应用。
[0026] 所述提取指标包括根据数据源的数据库类型定义提取数据源数据的指标；根据数据标准定义提取数据标准内容的指标；根据数据质量分析结果定义提取数据质量内容的指标；根据元数据的治理结果定义提取元数据的指标。
[0027] 所述目标数据包括数据源数据和元数据。
[0028] 所述对可视化指标监管保护包括数据分级管理、数据授权管理和数据脱敏管理。
[0029] 所述数据分级管理为根据数据权限分配数据，所述数据授权管理为分配数据权限，所述数据脱敏管理为对数据脱敏。
[0030] 所述数据脱敏管理包括根据数据的服务对象或根据数据服务使用者划分数据；针对划分的数据制定脱敏规则；制定脱敏任务发现敏感数据和制定脱敏策略。
[0031] 所述制定脱敏策略包括对敏感数据实施数据遮掩，对敏感数据加密，安全审计和日志审计。
[0032] 随着大数据时代的到来,大数据商业价值的挖掘,用户的精准定位,大数据中蕴藏的巨大商业价值被逐步挖掘出来,但是同时也带来了巨大的挑战--个人隐私信息的保护。个人信息与个人行为(比如位置信息、消费行为、网络访问行为)等，这些都是人的隐私，也是我们所关注的一类敏感信息，在大数据价值挖掘的基础上如何保护人的隐私信息，也将是数据脱敏必须解决的难题。
[0033] 数据脱敏管理包括根据数据的服务对象或根据数据服务使用者划分数据；脱敏工作首先根据数据服务的对象进行分类，将未来可能用到数据服务的使用者分为：政府机关、事业单位、企业、社会团队、学术研究机构、创客等。各类服务对象对于相应应用数据的脱敏要求不一样，所以需要根据数据服务对象划分敏感数据。
[0034] 针对划分的数据制定脱敏规则，对于什么服务对象需要进行数据脱敏，对于什么样的数据怎么脱敏，按照什么技术手段进行脱敏，将产生相应的标准和机制。通过规则的定制(可以使正则规则或SQL规则)，确保数据的脱敏是分等级的，针对不同的数据，不同的消费群体，采用不同的脱敏机制；
[0035] 制定脱敏任务发现敏感数据，在设定脱敏规则后，制定脱敏任务，包括任务时间、周期、任务对象等配置，对数据脱敏实行自动化处理。
[0036] 制定脱敏策略，根据不同的场景，脱敏策略包含：数据遮掩、数据加密、安全审计、日志审计四种方式。
[0037] 数据遮掩：对于需要对外进行展示或者在客户端展示的敏感数据，需要按照要求对数据实施遮掩，目前主要采用如表1的方式对数据实施遮掩。
[0038] 表1
[0039]
[0040] 对敏感数据加密，对于敏感级别较高或者完全不对外开放的数据实施存储加密，加密采用信封形式，利用公私钥来实施数据的加密。
[0042] 日志审计，包括应用系统日志：应用日志记录，需记录所有登陆系统、访问、修改、添加、删除数据的行为。至少包含：用户名、IP、MAC地址、时间、事件。每个部门配置一个应用系统审计员定期对应用系统日志进行审计，及时发现异常行为；定期对应用系统登陆情况进行统计，三个月没有登陆系统的账号暂时停用其账号，如需使用时经申请再开通。
[0043] 还包括日志管理，应用系统日志能够将系统消息存入文件或定向发送到日志审计系统上，通过对系统日志内容的分析、归纳，使管理员了解系统目前的状态，检查到安全漏洞、何时何人试图违反安全策略等情况。
[0044] 数据源主要是包括关系型数据库、文件类数据库、大数据库、接口类数据库以及其他数据库，这些数据都将成为采集的对象。
[0045] 数据标准化是企业或组织对数据的定义、组织、监督和保护进行标准化的过程；数据标准化处的方法有很多种，常用的有"最小-最大标准化"、"Z-score标准化"和"按小数定标标准化"等原始数据均转换为无量纲化指标测评值，即各指标值都处于同一个数量级别上，可以进行综合测评分析。组织内因为不同业务对同一数据定义不同、数据描述不同、数据格式不同，导致数据之间难于进行共享交换，因此需要将数据标准化，得到标准数据。数据标准是根据组织建设的标准体系得到，数据标准包括包含不同数据标准的数据标准包，针对标准包的标准进行数据采集，得到数据标准内容，可视化后，帮助客户查阅不同时期标准内容并进行比对；提供标准的全局查询，展现标准内容、订阅、检测、评估、标准覆盖等情况；帮助客户清晰看见组织内标准运行情况。
[0046] 可视化数据标准数据内容包括可视化数据标准差异分析结果(前端分析通过差异分析进行评估，会对标准执行的差异进行比对，识别出不满足数据标准定义的具体情况。分析内容主要从标准和业务对象两个维度进行，从标准维度看，主要反映出那那个业务对象的属性违反了当前指定稽查的标准；从业务对象维度上看，当前业务对象有多少条问题数据，且该问题数据都违反了什么标准或规则。同时对差异分析结果进行导出功能)以及数据标准执行日志分析结果(分析当前业务对象执行情况。主要分析执行错误日志)。
[0047] 数据质量内容包括数据质量监测内容，数据质量评估内容，数据质量综合报告内容，数据质量问题管理内容等。
[0048] 上述数据质量内容是基于数据质量检核得到，根据检核规则检核数据的关键数据项，包括但不限于空值校验、重复校验、格式校验、参照校验、值域校验、一致性校验、逻辑校验、关系校验等。
[0049] 空值校验：指校验数据列是否存在空数据项。
[0050] 重复校验：指校验同一实体属性是否存在两个同一值。
[0051] 格式校验：指校验数据格式是否符合标准。
[0052] 参照校验：指校验某个数据值是否在该数据中存在。
[0053] 值域校验：指校验数据值是否符合标准所规定的值域内容。
[0054] 一致性校验：指校验同一实体在两表内值是否保持一致。
[0055] 逻辑校验：指校验数据值是否符合业务逻辑要求以及常识逻辑要求。
[0056] 关系校验：指校验数据主外键关联关系是否存在。
[0057] 根据数据质量测量指标得到数据质量问题，定义数据质量测量指标包含：完整性、一致性、重复性、正确性、合规性、关联性，根据质量指标含义制定相关质量检测规则，如完整性是检测实体缺失、属性缺失、记录缺失和字段值缺失四个方面内容，对于不符合规则的数据，即认为此数据具有完整性问题，并把此部分数据归入数据质量问题数据。
[0058] 完整性：指数据仓库中数据之间的参照完整性是否存在或一致，完整性是检测实体缺失、属性缺失、记录缺失和字段值缺失四个方面内容。
[0059] 重复性：指度量哪些数据是重复数据或者数据的哪些属性是重复的。
[0060] 一致性：指代表数据(语义)的正确性。其目的是检测数据中的不一致或冲突。
[0061] 规范性：指数据是否按统一格式存储。
[0062] 正确性：指数据是否正确体现在可证实的数据源上。
[0063] 关联性：指度量哪些关联的数据缺失或者未建立索引。
[0064] 时效性：指数据在需要的时间是否有效。
[0065] 建立数据质量评价模型对数据质量做出量化诊断和评价。
[0066] 元数据的治理包括通过对元数据统一采集、存储、整合、分析，得到数据之间关系，提供数据检索、数据地图、元数据分析，元数据治理结果包括元数据采集结果、存储结果、整合结果、分析结果、数据之间关系结果、数据检索结果、数据地图和元数据分析结果。
[0067] 本发明提供了一种基于监管保护的数据治理可视化方法，包括通过第三方服务接口接受数据处理请求；根据数据处理请求对目标数据进行响应处理并提取指标；通过可视化技术对指标进行可视化处理；对可视化指标监管保护，展示可视化指标。为数据治理平台提供可视化展示，并在可视化展示的同时提供监管保护。
[0068] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
[0069] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0070] 以上对本发明所提供的一种数据分析方法和系统进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 浸矿剂迁移测验系统及浸矿剂迁移转化试验系统 | 2020-05-08 | 95 |
| 一种基于采动影响的地表土壤理化性质变化模拟系统 | 2020-05-08 | 133 |
| 交通拥堵的治理方法及装置 | 2020-05-11 | 436 |
| 一种考虑单位成本效用的低电压治理方案的评估方法 | 2020-05-11 | 788 |
| 一种扬尘污染智能治理系统及方法 | 2020-05-12 | 278 |
| 一种土地污染修复的方法 | 2020-05-11 | 399 |
| 一种快速监测评定选择湿烟羽的装置和方法 | 2020-05-11 | 265 |
| 一种基于航班风险前置的运行控制系统及方法 | 2020-05-13 | 37 |
| 一种兼顾三相不平衡治理的直流充电控制方法及系统 | 2020-05-11 | 705 |
| 煤矿工作面回采期间矿压预测治理方法及系统 | 2020-05-11 | 607 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈