首页 / 专利库 / 物理 / 质量中心 / 一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法

一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法

阅读:851发布:2020-05-12

专利汇可以提供一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及数据 质量 自动监测技术领域,特别涉及一种可以配置的维护中心操作维护中心北向 接口 的数据质量自动监测的方法。本发明通过长期对OMC北向接口的维护运维经验,结合LTE网管系统对北向接口的数据质量的要求,对接口数据的及时性、完整性、有效性以及指标的准确性进行监测,建立数据质量监控方法和机制,发现北向接口数据质量潜在的问题,提供全面的数据质量报告, 预防 和控制问题的扩大。通过此方法和系统可以处理不同类型、厂家北向接口的监测,发现数据隐患,以配置规则为依据,自动、及时发现北向接口的数据质量不足,主动预警,并给出评估报告,更好的 支撑 网管应用。同时降低人 力 维护成本、提高接口 稳定性 。,下面是一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法专利的具体信息内容。

1.一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法,具体包括以下步骤:
A、数据接口的连通性监测,周期向被监测接口发送数据包,接口收到后及时返回信息,表示接口状态正常,同时记录返回时延及返回结果;
B、数据及时性监测,是对北向接口产生数据报告的及时性进行检查,检验北向接口数据源是否按要求产生数据、形成了相应的数据报告文件;
C、数据完整性监测,检查北向接口数据报告中是否包含所有配置采集的网元以及数据类型,将元数据管理中配置的网元个数和现网采集到的网元个数对比,统计出接入比例;
D、数据有效性监测,检验北向接口提供的数据对象是否有效;
E、数据准确性监测,针对无线参数、性能数据、测量报告参数值,可进行合理性区间设置;对于超出合理性区间的数据,给出异常的预警,及时发现异常原因;针对不同检查项目中关键指标的取值,设定相应指标的阈值,阈值定义有上限、下限阈值定义;指标根据不同的时段设置多个阈值区间,以便显示出不同的异常级别;
F、把对北向接口的监测结果进行记录,对问题进行分类;形成北向接口的数据质量报告,根据收集的有关数据及过程问题的处理经验总结形成了数据质量知识库
2.根据权利要求1所述的一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法,其特征在于,所述的步骤A中,发送的数据包返回时延超过5s无返回,表示接口目前连通性不正常。
3.根据权利要求1所述的一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法,其特征在于,所述的步骤B中,根据数据产生周期的长短对不同周期数据延时提出要求,报告产生的时间延迟若大于时延要求的值则出现数据延迟,在元数据管理中配置各类数据的数据报告文件时延限,对于超出时延门限的数据进行及时的预警。
4.根据权利要求1所述的一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法,其特征在于,所述的步骤C中,需保证采集数据的完整性,对于没有采集到的数据进入补采流程,要求各类数据的初次采集完整率至少为98%,补采后达到100%。
5.根据权利要求1或4所述的一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法,其特征在于,所述的步骤C中,完整性监测不仅针对网元个数的完整性进行检查,同时对数据报告中以网元为单位的数据类型进行核查,统计网元数据的完整性,采集网元的数据初次完整率至少为95%,补采后达到100%。
6.根据权利要求1所述的一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法,其特征在于,所述的步骤D中,检验北向接口提供的数据对象是否有效包括以下内容:
a、文件内容包括文件头和文件体两部分;文件需要有明显的开始和结束的标识;
b、数据对象格式是否符合标准要求;
c、接口文件和接口描述文件是否相符;
d、报告文件字段顺序是否与标准一致;
e、属性字段是否缺失和记录是否缺失;
f、数据取值是否在界定的值域范围内,数据格式、类型和业务规则是否一致;
对于不符合有效性规则的数据及时进行预警,数据初次采集的有效性至少要达到99%以上,对于无效的数据进行重新补采,补采后数据有效性达到100%。
7.根据权利要求1所述的一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法,其特征在于,所述的步骤F中,问题分类分为以下三类:
a、监测生成的问题;
b、评估发现的问题;
c、手工提交的问题。

说明书全文

一种可以配置的维护中心操作维护中心北向接口的数据质

量自动监测的方法

技术领域

[0001] 本发明涉及数据质量自动监测技术领域,特别涉及一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法。

背景技术

[0002] 随着运营商全业务运营的发展,网络规模不断扩大,网络结构日益复杂。尤其是4G时代的带来,需要将LTE设备纳入网管,满足LTE网络的网管维护需求,在LTE网络建设完
成的同时网管能够提供完善的运维支撑手段,网络的复杂性对网络管理维护提出了新的要
求,对于底层的数据层来说,不再要求在该层实现所有的管理应用,而是更多地强调接口和
数据的可用性。在维护过程中,因LTE设备入网应用时间不长,尤其是OMC(维护中心操作
维护中心)北向接口还不稳定,经常发现数据不完整、不及时的问题,整体的北向接口数据
质量达不到网管的要求,而且经常无法进行问题定位,导致网管系统的可用性下降,若网络
管理数据质量不高,造成可信度下降,影响业务的管理。
[0003] 数据质量的重要性不亚于业务功能,数据质量是业务正常运转的重要保障。运维人员经常质疑从网管系统获得的数据是否完整、准确、可信,最终影响业务开通效率,如资
源数据不精确,更新不及时,导致设备或端口信息不能真实反映当前使用情况,严重影响业
务的开通和使用。
[0004] 数据质量管理需要作为日常的工作,就像业务受理系统每天处理业务一样,每天进行数据管理的日常工作,因此需要建立一个闭环管理机制,及时发现、分析、修正数据,提升整个数据的可用性,建一个自动、闭环的数据质量监测体系势在必行。
[0005] 目前数据质量的监测主要靠人工或者与部分IT手段相结合的方式,但是因为缺乏一个完整的监测体系和方法,目前监测效率和效果都不理想。
[0006] 因此需要通过一个自动化的方法来提升监测提升数据质量,并充分发挥数据产生的价值,提升服务能,降低运维成本,确保网络安全运行,为业务发展提供有力支撑。

发明内容

[0007] 为了规避监测维度不够、分析深度和广度不够的问题,本发明从采用多个维度逐一监测的方式,结合长期对OMC北向接口的维护运维经验和网管系统对北向接口的数据质
量的要求,对北向接口的连通性、及时性、完整性、有效性结合指标的准确性进行监测,建立有效的数据质量监控机制,通过监测发现北向接口数据质量潜在的问题,提供全面及时的
数据质量报告,预防和控制错误范围的扩大。
[0008] 本发明所采用的技术方案如下:一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法,具体包
括以下步骤:
A、数据接口的连通性监测,周期向被监测接口发送数据包,接口收到后及时返回信息,
表示接口状态正常,同时记录返回时延及返回结果;
B、数据及时性监测,是对北向接口产生数据报告的及时性进行检查,检验北向接口数
据源是否按要求产生数据、形成了相应的数据报告文件;
C、数据完整性监测,检查北向接口数据报告中是否包含所有配置采集的网元以及数据
类型,将元数据管理中配置的网元个数和现网采集到的网元个数对比,统计出接入比例;
D、数据有效性监测,检验北向接口提供的数据对象是否有效;
E、数据准确性监测,针对无线参数、性能数据、测量报告参数值,可进行合理性区间设
置;对于超出合理性区间的数据,给出异常的预警,及时发现异常原因;针对不同检查项目
中关键指标的取值,设定相应指标的阈值,阈值定义有上限、下限阈值定义;指标根据不同
的时段设置多个阈值区间,以便显示出不同的异常级别;
F、把对北向接口的监测结果进行记录,对问题进行分类;形成北向接口的数据质量报
告,根据收集的有关数据及过程问题的处理经验总结形成了数据质量知识库
[0009] 步骤A中,发送的数据包返回时延超过5s无返回,表示接口目前连通性不正常。
[0010] 步骤B中,根据数据产生周期的长短对不同周期数据延时提出要求,报告产生的时间延迟若大于时延要求的值则出现数据延迟,在元数据管理中配置各类数据的数据报告
文件时延限,对于超出时延门限的数据进行及时的预警。
[0011] 步骤C中,需保证采集数据的完整性,对于没有采集到的数据进入补采流程,要求各类数据的初次采集完整率至少为98%,补采后达到100%。
[0012] 步骤C中,完整性监测不仅针对网元个数的完整性进行检查,同时对数据报告中以网元为单位的数据类型进行核查,统计网元数据的完整性,采集网元的数据初次完整率
至少为95%,补采后达到100%。
[0013] 步骤D中,检验北向接口提供的数据对象是否有效包括以下内容:a、文件内容包括文件头和文件体两部分;文件需要有明显的开始和结束的标识;
b、数据对象格式是否符合标准要求;
c、接口文件和接口描述文件是否相符;
d、报告文件字段顺序是否与标准一致;
e、属性字段是否缺失和记录是否缺失;
f、数据取值是否在界定的值域范围内,数据格式、类型和业务规则是否一致;
对于不符合有效性规则的数据及时进行预警,数据初次采集的有效性至少要达到99%
以上,对于无效的数据进行重新补采,补采后数据有效性达到100%。
[0014] 步骤F中,问题分类分为以下三类:a、监测生成的问题;
b、评估发现的问题;
c、手工提交的问题。
[0015] LTE:是3GPP(3rd Generation Partnership Project)主导的通用移动通信系统技术的长期演进(Long Term Evolution )
OMC:网络操作维护中心
北向接口:接入和管理的接口
网元:网络中的设备,网络管理中可以监视和管理的最小单位
元数据:描述数据的数据,描述数据属性(property)信息,用来指示数据来源、数据类
型、数据有效期和有效性等属性的管理和应用等
连通性:数据接口能正常连接、登录,对请求及时响应
及时性:指数据采集、传送、处理、装载的及时性,其中最关键的环节是采集。采集及时
性考察数据准备的及时性,含源数据传送和获取及时性等。
[0016] 完整性:是指数据是否完整,描述的数据要素、要素属性及要素关系存在或不存在,主要包括实体缺失、属性缺失、记录缺失等。
[0017] 有效性:描述数据取值是否在界定的值域范围内,主要包括格式、类型、值域和业务规则的有效性。有效性的规则可以在元数据管理模中进行设置。
[0018] 准确性:主要是指标算法数据处理过程的准确性。这个准确性主要是通过元数据管理中定义的指标的算法、数据处理顺序和人工检查相结合的方式来保证。
[0019] 本发明把对北向接口长期维护经验,多维度、多视深入分析同时结合了LTE(Long Term Evolution长期演进技术)网管对北向接口的要求实现了对接口数据质量进
行全方位的监测。从接口的连通性、可登录行开始,对接口进行监测,不但实现了接口的本
身数据报告的分析,而且对报告的内容进行了多维度的分析,尤其是对报告中的数据指标
进行准确性分析,极大地提升了数据的透明度,能准确定位数据问题,找到数据问题的根
源。能及时、自动、主动的发现问题,避免了事后再分析查找效率低下的情况,通过信息化
手段,实现维护的自动化和标准化;通过总结数据的特点并分类,对不同类别的数据分别采
取不同的维护措施,充分发挥了IT系统的处理能力,实现系统的自动化维护,并且把数据
质量呈现给最终使用者,使数据的应用更有可靠性。实现闭环式隐患管理,以达到“安全运
行,防患未然”的目标。
[0020] 本发明提供的技术方案带来的有益效果是:1、通过自动的监测方法,实现了网管数据的数据完整、无字段缺失,且与现网网元实际
配置数量相符;所有配置均有相对应的数据,而且数据准确,真实反映现网实际运行状态,
数据均能在规定时延内完成采集并处理呈现,及时反映现网实际状况;
2、提升了网元的运维效率,提高了网络的稳定性,为网络的稳定运行提供了有力的支
撑。减少了维护成本,提高了工作效率;
3、即使新的网元入网应用后,仅仅在配置添加相应的配置规则和读取运行数据就可以
实现自动监测,具有很好的扩展性,通过此种方法和系统,极大的提高了工作效率,减少了
维护人员的工作量。
附图说明
[0021] 图1为本发明的一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法的整个处理流程图

具体实施方式

[0022] 为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
[0023] 实施例一如附图1所示,本实施例的方法包括以下步骤:
1、对于监测规则以及元数据管理进行规则配置。以被监控对象为中心,从数据类型、数
据项、采集、处理的整个过程进行规则配置,包括:
A、采集源配置,配置内容如下表:
ID数据源名称 数据源协议类型 服务器IP 端口号 登录用户名 登录口令

B、采集规则配置,配置内容如下表:
ID数据类型 数据报告类型 采集粒度 时延要求

C、检查规则配置,配置内容如下表:
ID数据类型 数据报告类型 采集粒度 时延要求 需采集网元数量 需采集对象数量 包含指标的数量

D、对于检查异常需要告警的规则配置,配置内容如下:
ID 检查规则ID 异常告警内容关键字 告警呈现方式

2、北向接口连通性检查,从配置表中读取出需要检测的数据源的配置数据,根据配置
数据的内容检测北向接口的IP地址的连通性,周期性(周期一般设定为1分钟)的向北向
接口的IP发包(ping),记录时延及返回结果。检测结果入数据库
[0024] 数据源连通性检查内容如下表:ID数据源名称 数据源协议类型 服务器IP 检测时间 检测类型 连通时延 丢包率 连通结果

3、数据源及时性检查,从配置的规则中读取出需检测数据的源周期及时延要求,对数
据源(北向接口)产生数据报告的及时性进行检查,检测是否按要求产生数据、形成了相应
的数据报告文件 。
[0025] 数据及时检查内容如下表:(注:对于超过12小时仍未生成的文件,标记为未生成)
ID 数据源名数据源协议类服务器数据集名数据体标数据开始时数据结束时检测时数据按时生成标数据生成时称 型 IP 称 示 间 间 间 示 间

4、数据完整性检查,检查北向接口数据报告中是否包含所有配置采集的网元及数据类
型,和现网实际采集到的网元数对比。
[0026] 数据完整性检查内容如下表:ID 数据源名称 数据集名称 数据表名称 数据开始时间 数据结束时间 检测时间 实际网元数 配置网元数 差异网元数

5、数据有效性检查,检查北向接口数据报告业务数据对象以及数据格式、文件格式等
是否有效。
[0027] 数据有效性检查内容如下表:ID 数据源名称 数据集名称 数据表名称 数据项名称 数据开始时间 数据结束时间 数据项有效标示 数据项实际值

6、数据准确性监测,针对无线参数、资源数据、性能数据、MR参数值,可进行合理性区间
设置;对于超出合理性区间的数据,给出异常的预警,及时发现异常原因。
[0028] 数据准确性检测内容如下表:ID 数据源名数据集名数据表名数据指标名数据开始时数据结束时间数据指标准确标数据指标实际值 指标配置范围称 称 称 称 间 示


[0029] 以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈