首页 / 技术领域 / 数据治理 / 专利数据
序号 专利名 申请号 申请日 公开(公告)号 公开(公告)日 发明人
161 一种埋点数据质量治理方法 CN202210553372.1 2022-05-20 CN114817171A 2022-07-29 沈浩; 任新才
发明公开了一种埋点数据质量治理方法,基于对Spark和Flink的预处理,在构建的离线数仓和实时数仓的基础上,利用Impala建立离线表与实时表的联合视图,并在实时任务的过程中,当有新埋点产生时,实时更新上述Impala联合视图,并在次日离线表完成T‑1数据的解析后更新联合视图作为实时校验的数据源,同时定义埋点校验的规则,保存至后端mysql。前端发起post请求,后台接收请求解析参数,启动任务,筛选数据源,依据校验规则进行校验,并将校验结果写入mysql中保存,当前端监控到相应结果数据更新后,进行异步展示。本发明可以及时发现埋点错误数据,保证埋点数据质量,具有优越的高效性能。
162 基于电信行业的数据治理系统和方法 CN202111294878.7 2021-11-03 CN114022114B 2022-07-15 付刚; 陈绍栋; 杨杰聪; 林涌瀚
发明提供基于电信行业的数据治理系统和方法,该系统包括:数据获取模获取来自电信业务系统的电信业务数据;敏感分析模块进行敏感数据分析,并对敏感数据进行脱敏处理,得到脱敏处理后的电信业务数据;分类存储模块进行分级分类处理并进行分级分类存储管理;数据授权模块对应用者进行授权管理;数据探查模块供已授权的应用者对存储的电信业务数据进行探查;标准化模块根据应用标签建立数据标准;数据建模模块基于数据标准对探查数据进行数据建模;数据检查模块对建模后的元数据进行检查,得到数据检查结果;输出模块完成数据的统一输出。本发明有助于协助完成电行业数据自动化管理;提高数据管理的安全性。
163 一种基于链的政务数据治理平台 CN202210052153.5 2022-01-18 CN114553882A 2022-05-27 彭新永
发明公开了一种基于链的政务数据治理方法及平台,属于区块链技术领域,用于解决政务数据治理过程复杂且安全性低的技术问题。方法包括:接收联盟链成员或外部应用发送的政务数据;根据业务需求,确定所述政务数据的受理方式以及审批方式,并将受理结果以及审批结果上传到区块链中进行存储;根据所述政务数据的数据类型,对所述政务数据进行相应的预处理;将预处理后的所述政务数据上传到区块链,生成对应的数据区块,并将所述数据区块与主链进行锚定;在需要进行跨链共享的联盟链成员之间创建数据通道,并在所述联盟链成员之间实现跨链共享。
164 电网数据治理平台及方法 CN202111565897.9 2021-12-20 CN114356940A 2022-04-15 陈彬; 董灿; 萧展辉; 唐力
发明提供电网数据治理平台及方法,该平台包括:元数据管理模,其从各个业务数据当中提取对其进行描述的元数据及各个元数据的全链关系和关联关系;本体建模模块,其对业务数据和元数据进行聚类,根据聚类结果和多个元数据相互之间的语义关系建立本体模型;数据资产目录模块,其以知识图谱形式展示本体模型;数据标准管理模块,其建立相应业务数据的数据标准;数据质量检查模块,其根据数据标准进生成数据质量检查规则,对相应元数据所描述的业务数据进行质量检查;质量问题修复模块,其定位有质量问题的业务数据并获取修复案例,生成质量问题修复实例进行修复,并将修复好的业务数据返回给业务系统进行更新,并同步更新展示的数据内容。
165 一种依据数据治理的停电预警方法 CN202111333397.2 2021-11-11 CN114048904A 2022-02-15 康雨萌; 俞阳; 何玮; 嵇友浪; 孙少辰; 钱旭盛
发明公开了一种依据数据治理实现停电预警的方法,将停电语用信息转化为电子信息,形成停电数据;对数据进行处理,抽取出训练集和测试集;通过反复训练得到多个预警模型,选择泛化能最强的模型写入营销2.0系统,当系统获取到停电数据后,模型筛选出受影响的线路并发送预警通知,筛选出了停电敏感用户名单发送给相关供电单位,并形成相关分析及图表,作为供电所、营业厅日常工作的常规预警示意图。本发明将停电信息整合为完整的数据模,并形成了停电预警相关算法。在突发性停电中,能够快速反应,给台区和用电户分别进行停电预警,规避用电户投诉险。数据累积形成数仓,对未来的停电分析、设备分析、用电户分析等,都具有潜在价值。
166 一种数据安全治理方法和系统 CN202111243031.6 2021-10-25 CN113962808A 2022-01-21 纪磊磊
发明公开了一种数据安全治理方法和系统,属于数据安全技术领域,包括:将操作第一数据的时间戳、操作后的第一数据内容、操作后的第一数据内容哈希值、操作后的第一数据的分级标识和第一账号,存储于操作前的第一数据存储位置处;对操作前后的第一数据加密形成操作前后的第一加密数据;将操作前后的第一加密数据与操作第一数据时的时间戳、第一账号和第一数据的分级标识一起,形成第一数据交易;可以系统有效的对数据从产生到销毁全流程的操作进行记录,且记录内容有据可查,方便追溯数据全生命流程的流转情况。
167 一种数据治理系统以及方法 CN202010683514.7 2020-07-15 CN113946568A 2022-01-18 王苏栋; 张学武; 贾森
发明适用数据处理技术领域,提供了一种数据治理系统以及方法,包括:数据源管理器,用于获取待处理数据的源数据信息;数据模型建立器,用于根据源数据信息,建立与源数据信息对应的数据模型,数据模型配置有预设数据治理规则;治理脚本生成器,用于获取数据模型的模型信息;根据所述模型信息以及预设数据治理规则,生成数据治理脚本,以使治理脚本运行器运行所述数据治理脚本,完成对待处理数据的治理;本发明以数据模型作为标准的导向,将繁杂的数据进行了标准和格式的规范,避免了在数据治理过程中出现数据结构混杂,标准和格式不统一的现象;实现降低了数据治理的工作量,以及规避了传统的数据治理需要人工编写代码、存储过程等繁杂操作。
168 一种无人机配电网营配数据治理方法 CN202111106617.8 2021-09-22 CN113887756A 2022-01-04 谭毓卿; 张海林; 王兴顺; 薛晓慧; 郭志华; 孟祥甫; 李沛然; 梁珑; 展毅晟; 郑海婷; 秦浦真; 惠远鑫; 张俊超; 马晓琴; 芦国云; 郭妍; 谢占兰; 卢涛; 冯小霞; 刘有文; 严隆兴; 余国栋
发明涉及电网巡检技术领域,特别涉及无人机智能巡检技术领域。一种无人机配电网营配数据治理方法,包括对无人机配电网智能采集巡检系统的移动端、主站端、数据中枢、接口服务的改进。其中主移动端在勘测模基础上扩大了设备采集范围以及功能性改造,数据中枢则对设备台账数据、GIS网架数据的生成规则进行优化,促进与PMS接口数据服务的一致性,同时新增接口共享功能,将无人机采集数据同步至PMS系统,实现基础数据治理工作。本发明提出的技术方案提高了现场无人机采集效率,有效解决数据采集不规范,数据多头收集的问题。
169 一种政务数据治理方法及系统 CN202111019377.8 2021-09-01 CN113806345A 2021-12-17 张兆勇; 任传慧
发明涉及数据治理技术领域,具体提供了一种政务数据治理方法,具有以下步骤:S1、搭建数据治理服务申请系统,发布数据治理服务目录;S2、部登录数据治理服务申请系统,搜索数据治理服务、提交服务申请单;S3、数据治理服务团队接受到服务申请,开展服务;S4、需求部门对服务结果进行确认验收,提交服务交付单;S5、不断服务积累、提取总结可复用元素,形成专题数据产品。与现有技术相比,本发明以服务代项目,创新服务方式,简化服务流程,无需项目立项、层层上报、层层审批等繁琐环节,需求部门仅需通过提交数据治理服务工单的方式,即可获取相关服务内容。
170 数据仓库模型的治理系统 CN202111019380.X 2021-09-01 CN113568990A 2021-10-29 郭青松
发明涉及一种数据仓库模型的治理系统,包括:规范模型开发模、模型监控模块和模型指标层级分类模块;规范模型开发模块用于根据预设模型开发规范检测模型指标数据,得出检测结果,并将检测结果发送给预设终端;模型监控模块用于获取模型指标数据质量信息,并根据预设模型指标监控规则的执行数据得到模型指标数据监控结果;预设模型指标监控规则根据模型指标数据质量信息确定出;模型指标层级分类模块用于获取待分类模型指标数据,并对待分类模型指标数据进行模型指标分类,得到模型指标层级分类元数据。本发明提高了数据模型的质量,有利于数据模型的推广,且本发明多为智能处理模型数据,使得本发明具有人成本低的优点。
171 数据治理方法及装置、电子设备 CN202110838912.6 2021-07-23 CN113468161A 2021-10-01 刘圣财
申请提供一种数据治理方法及装置、电子设备。该方法包括:配置业务对应的业务标准数据集,基于所述业务标准数据集构建与原始库表中字段的映射关系,并生成继承于所述业务标准数据集中主题库模型的明细库表;其中,所述业务标准数据集包含所述业务对应的主题库模型;在将所述原始库表中数据进行数据清洗后的标准化数据存储到继承了所述原始库表的字段信息的标准库表后,将不同标准库表中相同字段的字段值,存储到所述明细库表中所述相同字段下;根据所述业务标准数据集和原始库表中字段的映射关系,配置所述明细库表中每个字段值的权威值;针对所述明细库表中每个字段,将权威值为高的字段值作为融合后的字段值存储到主题库表中对应的字段下。
172 业务场景下数据治理方法及装置 CN202110760692.X 2021-07-06 CN113342861A 2021-09-03 罗林; 曾仲大; 贺莉苹; 陈爱明; 牛文巍; 李明; 窦一博
发明实施例提供一种业务场景下数据治理方法及装置,所述方法包括:提取数据库中的原始数据,并获取原始数据对应的业务场景,根据业务场景的类型对原始数据进行分类,得到各个类型的业务数据;对业务场景中的各个业务节点进行梳理,构建业务场景对应的业务流,并根据业务流确定对应的数据流;获取业务场景的数据要求,根据数据要求对数据流中的业务数据进行数据治理;得到数据治理后的业务流中的治理业务数据,并将业务流中的治理业务数据进行汇总,形成业务体系的拓扑关系。采用本方法能够在进行多个业务场景下的多种数据治理时,在保证各项数据一致性的前提下,也保证了数据治理的效率。
173 学生数据安全治理方法和系统 CN202011151606.7 2020-10-26 CN112149095B 2021-06-29 王鑫
发明提供了学生数据安全治理方法和系统,其能够对学生数据信息进行预处理以及将满足预设优先级别条件的学生数据信息进行加密,并通过面部轮廓信息比对验证和密码输入状态信息验证这两个不同的验证方式对用户当前的访问请求的正常与否进行双重分析,从而大大提高对用户访问请求的正常性验证的准确性以及有效地提高学生数据信息的访问安全性和数据管理效率。
174 一种海量数据质量管理与治理的系统 CN201911356107.9 2019-12-25 CN113032376A 2021-06-25 鲁红军
一种海量数据质量管理与治理的系统,系统用于将各种数据进行集中管理,对数据进行综合治理,并将治理后的数据采用数据模型服务的方式对外提供数据服务支持;其中,元数据管理模分别依次连接于数据采集模块、数据融合模块、数据模型模块;所述数据模型模块分别连接于数据服务模块和数据可视化模块;数据采集模块经由数据清洗模块连接于数据模型模块;数据清洗模块与数据融合模块双向连接。本发明高效的数据驱动处理机制,通过监控数据变化根据制定的数据治理规则自动进行数据治理,根据硬件资源情况动态控制资源使用情况,最大限度利用硬件资源提高数据治理效率。
175 一种基于领域数据治理的处理平台 CN202110217375.3 2021-02-26 CN112817960A 2021-05-18 褚艳云
发明涉及计算机领域。基于领域数据治理的处理平台,数据采集,用于用户端获取原始的输入数据;安全管理模块,为不同的色配置不同的权限,权限括输入数据的权限、访问数据的权限、修改数据的权限。本专利对用户权限的配置行了细化和量化,特别是在将位置信息、设备标识作为权限配置参数后,基于领域据治理的处理平台不仅能识别数据的上传者是谁,还能识别在哪里上传的,用的哪设备,安全级别高,数据可追溯。
176 一种实现数据治理的方法及装置 CN201811592485.2 2018-12-25 CN109800069B 2021-04-30 耿正熙; 张毅然
申请实施例公开了一种实现数据治理的方法及装置;上述实现数据治理的方法,包括:响应于数据治理页面上接收到的添加命令,给待治理的原始数据创建用于数据治理的算子;基于创建的算子,构建有向无环图;调度执行基于有向无环图生成的数据治理任务。本申请实施例提供的实现数据治理的方法及装置,可以降低数据治理的技术槛,并提高数据治理效率。
177 知识产权数据采集和治理方法与系统 CN202010808982.2 2020-08-12 CN112069238A 2020-12-11 许灵慧; 吴朋; 单绍娟; 肖燕
发明提供的一种知识产权数据采集和治理方法与系统,能够对原始的多形式的数据源进行加工处理,得到标准化、可靠的数据,同时每条信息都具有相关的标引,为后续的检索、分析提供源数据支持,本发明从多个知识产权数据源获取知识产权数据,根据知识产权数据的类型进行数据解析和清洗处理,并将处理后的知识产权数据转存入知识产权数据资源库,并根据系统预设规则对知识产权数据添加标签,所述标签用以定义知识产权数据,所述多个知识产权数据通过标签建立关联,以形成知识产权数据的聚类。
178 一种不可算台区数据治理方法及系统 CN201911298485.6 2019-12-17 CN111125075A 2020-05-08 李刚; 刘浩宇; 李野; 顾强; 赵宝国; 杨光; 季浩; 何泽昊; 董得龙; 吕伟嘉; 张兆杰; 卢静雅; 翟术然; 乔亚男; 陈娟; 许迪; 赵紫敬; 孙虹; 卫天超
发明涉及一种不可算台区数据治理系统,其特征在于:包括如下步骤:(1)建立持久化原始数据区;(2)建立数据整合区;(3)建立数据汇总区;(4)建设数据质量管理;(5)数据完整性管理、对数据合理性规则进行判定。本发明首先将用电数据中的不可算数据进行了梳理,并针对异常数据情况,提出使用离群点检测来标识异常数据。在此基础上,从数据挖掘的需求出发,综合运用剔除数据,线性插值补齐等方法,针对每一小类数据提出相应的清洗措施,从而获得合格高质量的用电数据,实现自贸区不可算台区的数据的治理,大幅提升整体数据质量。
179 数据治理任务运行方法及装置 CN201910824853.X 2019-09-02 CN110515737A 2019-11-29 裴博润; 张毅然
发明提供了一种数据治理任务运行方法,包括:在服务器上配置数据治理任务;设置所述数据治理任务的工作模式和运行时间区间;根据所述工作模式和运行时间区间运行所述数据治理任务。在本发明中,通过为不同的数据治理任务设置不同的工作模式以及运行时间区间,从而解决了在数据治理任务过程中,由于抢夺资源导致任务运行失败或多任务运行时效率过低的问题,提供了数据治理任务运行效率。
180 一种基于链的数据治理系统 CN201910779290.7 2019-08-22 CN110472886A 2019-11-19 张晓东; 陈利人
发明公开了一种基于链的数据治理系统,该系统基于联盟链技术实现,该系统包括功能性节点智能合约,其中,功能性节点包括:数据节点和管理节点,智能合约包括:资源类合约、授权类合约、访问类合约和问题类合约,且智能合约与数据管控关键流程相对应,将流程中各环节执行结果上链记录,其中,数据管控关键流程包括:资源发布更新流程、数据访问授权流程、数据访问流程和问题解决流程。该系统基于城市大数据管理平台,利用大数据治理的流程、方法,对已汇聚的数据按层级开展目录和数据的清洗,采用区块链技术,将目录上链,解决目录更新、数据与目录挂接及授权监控、多方共同确权机制的技术支撑等问题。
QQ群二维码
意见反馈