首页 / 专利库 / 人工智能 / 数据库知识发现 / Data processing method

Data processing method

阅读:410发布:2021-01-02

专利汇可以提供Data processing method专利检索,专利查询,专利分析的服务。并且PURPOSE:To prevent the occurrence of a new data defect in data groups of a data base system and the danger of work based on defective data. CONSTITUTION:A program 35 collates all of data in an object data base 10 with data in another data base 20 to detect the data noncoincidence and registers the result as a data noncoincidence information group 50. Before actual data retrieval at the time of data retrieval, the data noncolncidence information group 50 is retrieved with respect to a pertinent item, and if it is found there, information indicating that data noncoincidence is already detected for this data item is outputted. At the time of data update, the data noncoincidence information group 50 is retrieved with respect to a pertinent data item, and if it exists there, data noncoincidence information related to this data item is deleted from the data noncoincidence information group 50.,下面是Data processing method专利的具体信息内容。

【特許請求の範囲】
  • 【請求項1】 データベース・システムなどで管理している複数データの集まりからなるデータ群におけるデータ不一致があるものに関して、そのデータの検索あるいは更新を行うデータ処理方法であって、予めデータ不一致を検出した時のデータ群中のデータ不一致の情報群(データ不一致情報群)を登録しておき、データ検索時、該当データがデータ不一致情報群にあれば、該当データにはデータ不一致が既に検出済みであることを出力することを特徴とするデータ処理方法。
  • 【請求項2】 請求項1に記載のデータ処理方法において、データ更新時、該当データがデータ不一致情報群にあれば、該当データに関するデータ不一致情報を削除することを特徴とするデータ処理方法。
  • 说明书全文

    【発明の詳細な説明】

    【0001】

    【産業上の利用分野】本発明は、データベース・システム等で管理している複数データ項目からなるデータの集まりからなるデータ群のデータ不良を含むはデータ不一致に関して、そのデータの検索あるいは更新を行うデータ処理方法に関するものである。

    【0002】

    【従来の技術】データベース・システム等で管理しているデータ群には、あってはならないことであるが、実際にはデータ不良が存在する(参考文献としては、Huh
    Y Uet al.:Data quality,Information and softw
    are technology,Vol.32,No.8,pp. 559−5
    65(1990)など)。 ここで、データ不良とは、あるデータ項目の値(value)が、例えば、血液型が正しくは、“A型”であるのに、データ群中では、“B
    型”となっているなど、値の誤りを示すものである。

    【0003】以下に、従来におけるデータ・チェック、
    即ち、データ不良の検出方法について説明する。

    【0004】データ不良の検出では、データベースシステム中のデータ群と実体(現実の世界の情報を言う)との比較を行うわけであるが、この実体との比較は、通常の場合、多大な時間と人手を要する。 そのため、従来は簡易な手段として、対象とするデータベースシステムとは別のデータベースで、共通しているデータ項目(かならずしも同値ではない)に関し、値を突き合わせることで、データ不良の存在を検出する方法が採られる場合が多かった。

    【0005】図5に、従来のかかるデータ不良検出方法の構成図を示す。 図において、10はデータ不良検出を行う対象データベース(DB−a)、20は比較するための別のデータベース(DB−b)、30は両者のデータベースの等価のデータ項目間の値の突き合わせを行うデータ不良検出プログラム、40はデータ不良検出プログラム30の実行結果を示す出リストである。

    【0006】定期的に実行するデータ不良検出処理は、
    必ず対象データベース10と比較する別のデータベース20とで行うものとする。

    【0007】まず、データ不良検出プログラム30は、
    対象データベース10と別データベース20のそれぞれのデータ群から、キー値の一致するデータ同士を選択する。 次に、1対のデータの対応するデータ項目同士の突き合わせを行い、“同一の意味を持つ値であるか否か”
    を判定する。 同一の意味を持つ値で無い場合は、データ不一致として、出力リスト40に出力する。 なお、データ項目によっては、両者のコード体系が違う場合も有り、その場合は、データ変換後、突き合わせを行うことになる。 以上の処理を、対象データベース10の全データについて行う。 その後、出力リスト40をもとに、データ不良を検証し、データ不良については修正することになる。

    【0008】なお、出力リスト40には、データ不一致の情報を出力するといった意味は、データ不良検出プログラム30が通常完全ではないため、データ不良では無いが、“データ不一致”として、リストに出力されるから、結局のところ、出力リスト40は、データ不一致の情報群ということである。 これは、同一の意味を持つ値であるか否かという判定のケース分けが複雑なため、完全プログラム化することが効率的でないという理由からである。

    【0009】上述したように、データベースシステムには、データ不良が存在するために、業務処理としては、 本来業務としてのデータ検索/更新処理業務(本来処理) データ修正処理業務:運用中におけるデータ不良発見あるいはお客様申告によるデータ修正 の2つがある。

    【0010】ここで、データ不良に関して、以下の特徴がある。 データ不良検出/データ不良の判断 〜 正解値の把握 〜 データ修正に至るまでに、多大な時間と人手を要している。 データ不良の可能性があるが、未だ該当データ項目が特定できていないものがある。 (例1)どちらかが誤っているのであるが、該当データベースの方かは検証できていない場合 (例2)複数データ項目の組合せに関するデータ不良で、データ不良が、複数の内、どこのデータ項目かが不明の場合 上述したように、結局ところ、データベース中のデータには、 データ不良であるもの データ不良と判断できなく、データ不良の可能性があるもの の両方が存在していることになる。

    【0011】従来、データベースシステムの中には、データ不一致に関する情報が管理されていないため、以下の問題点があった。

    【0012】(問題点1)既にデータ更新処理業務で、
    データ不良であったデータ項目が更新されていたが、その後、データ修正業務でさらに更新をした結果、新たにデータ不良となる場合がある。 〈例〉顧客系のデータベースシステムの場合 時刻T1:データ不良検出時 該当データ項目の値が、正しくは、“AAA”であるのに、“BBB”となっていた。 時刻T2:本来業務としてのデータ更新処理時 お客様注文により、“BBB”に更新した。 (この更新値は、時刻T1のデータ不良とたまたま同じ) 時刻T3:データ修正処理時 データ修正処理業務で、“AAA”に修正した(更新)。

    【0013】(問題点2)データ不良を検出していながら、データ不良が修正されていなかったため、不良データをもとに、その後の処理(例えば、工事など)を実施してしまう危険性があるが、そのガードができない。

    【0014】

    【発明が解決しようとする課題】上述したように、従来のデータ不良の検出方法においては、出力リストしかなく、データベースシステム中に、データ不一致に関する情報が一切管理されていないことにより、新たなデータ不良が発生したり、あるいは不良データに基づいて作業を行う危険性を避けられないという問題点があった。

    【0015】本発明の目的は、上記のごとき問題点を解決するにあり、新たなデータ不良の発生、及び不良データをもとに作業をするという危険性を自動的に避けることを可能とするデータ処理方法を提供することにある。

    【0016】

    【課題を解決するための手段】上記目的を達成するために、請求項1の発明では、データベース・システムなどで管理している複数データの集まりからなるデータ群におけるデータ不良等のあるものに関して、そのデータの検索あるいは更新を行う場合、予めデータ不一致を検出した時のデータ群中のデータ不一致の情報群(データ不一致情報群)を登録しておき、データ検索時、該当データがデータ不一致情報群にあれば、該当データにはデータ不一致が既に検出済みであることを出力するようにしたことである。

    【0017】また、請求項2の発明では、データ更新時、該当データがデータ不一致情報群にあれば、該当データに関するデータ不一致情報を削除するようにしたことである。 なお、請求項2の発明は、請求項1のデータ処理方法において、データ更新がデータ不良に係わるものであった場合、更新された後も、データ不一致情報群にデータ不一致情報が残ってしまうという問題に対処するものである。

    【0018】

    【作用】本発明では、登録済みのデータ不一致情報群をもとに、データ検索時は、該当データがデータ不一致情報群にあれば、該当データにはデータ不一致が既に検出済みであることを出力することができ、また、データ更新時には、該当データがデータ不一致情報群にあれば、
    該当データに関するデータ不一致情報を削除することができるから、新たなデータ不良の発生、及び不良データをもとに作業するという危険性を避けることが自動的に可能になる。

    【0019】

    【実施例】以下、本発明の一実施例を図面を用いて具体的に説明する。

    【0020】図1は、本発明の一実施例の構成図であり、10はデータ不良検出を行う対象データベース(D
    B−a)、20は比較するための別のデータベース(D
    B−b)、35は両者のデータベースの等価なデータ項目間の値の突き合わせを行うデータ不良検出プログラム、45はデータ不良検出プログラム35の実行結果としての出力リスト、50はデータ不良検出プログラム3
    5の実行結果として登録する対象データベース10のデータ不一致の情報群である。

    【0021】初めに、対象データベース10のデータ不一致情報群50の登録処理について説明する。

    【0022】まず、データ不良検出プログラム35は、
    対象データベース10と別データベース20のそれぞれのデータ群から、キー値の一致するデータ同士を選択する。 これは、従来技術の場合と同等である。 次に、1対のデータの対応するデータ項目同士の値の突き合わせを行い、“同一の意味を持つ値であるか否か”を判定する。 同一意味を持つ値で無い場合は、データ不一致として、データ不一致情報のレコードをデータ不一致情報群50に書き出す。 以上の処理を、対象データベース10
    の全データについて行う。 これで、データ不一致情報群50の登録が完了する。

    【0023】図2は、データ不一致情報群50の1レコードの論理的な構成を示したものであり、対象データベース10及び別データベース20のデータを一意に識別するキー値71、データ項目を識別する情報であるデータ項目識別情報72、そのデータの属性73、基準になる値(この場合は、別データベース20の該データの該データ項目における値)74、対象データベース10の該データの該データ項目の値75から構成されている。
    なお、データ1件につき、n件のデータ不良があれば、
    n件分のデータ不一致情報レコードが並ぶことになる。

    【0024】次に、本来のアプリケーションプログラム(AP)で行うデータ検索及び更新処理における処理手順を説明する。

    【0025】〈データ検索処理〉図3に、本発明によるデータ検索処理のフローチャートを示す。 本来のデータの検索処理(処理104)を行う前に、処理101〜1
    03を実行する。 まず、検索に指定されたデータの該当データ項目に関して、データ不一致情報群50を検索する(処理101)。 次に、検索結果の有無(有り:データ不一致)を調べる(処理102)。 もし無ければ、何もしない。 有れば、該当データ項目に関するデータ不一致情報を表示/出力する(処理103)。 次に、本来の処理であるデータ検索処理ステートメントを発行する(処理104)。

    【0026】〈データ更新処理の場合〉図4には、本発明によるデータ更新処理フローチャートを示す。 データの更新には、以下の3種類がある。 新規データの追加 (SQLでは、INSERTステートメント) データ項目値の変更(SQLでは、UPDATEステートメント) データの削除 (SQLでは、DELETEステートメント) まず、データ更新処理ステートメントを発行して、指定されたデータ項目について、更新する(処理111)。
    次に、更新に指定されたデータの該当データ項目に関して、データ不一致情報群50を検索する(処理11
    2)。 次に、検索結果の有無(有り:データ不一致)を調べる(処理113)。 もし無ければ、何もしない。 もし有りの場合、データ不一致情報群50により、該当データの該当データ項目に関するデータ不一致情報レコードを削除する(処理114)。

    【0027】また、上記手順を変更して、本来のデータ更新の直前において、念のため、該当更新に関連するデータ不一致情報があれば、出力することも容易に可能である。

    【0028】なお、INSERTステートメントについては、新規データ追加であり、データ不一致情報群には該当レコードは無いので、この手順で処理する必は無い。

    【0029】以上、本発明の一実施例について説明したが、本発明は、図1乃至図4を用いて説明した実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。 例えば、本実施例では、A
    Pロジックの本来の更新系ステートメント発行の前後で、登録済みのデータ不一致情報群を検索/更新する方法で示したが、登録済みのデータ不一致情報群の検索/
    更新ができる方法であれば、どんな方法であってもよい。 また、データ不一致情報群は、データベースのテーブルとしてもよいし、単にファイルでもよい。

    【0030】

    【発明の効果】以上説明したように、本発明によれば、
    登録済みのデータ不一致情報群をもとに、データ検索時は、該当データがデータ不一致情報群にあれば、該当データにはデータ不一致が既に検出済みであることを出力することでき、また、データ更新時には、該当データがデータ不一致情報群にあれば、該当データに関するデータ不一致情報を削除することができるため、新たなデータ不良の発生、及び不良データをもとに作業するという危険性を避けることができる。

    【図面の簡単な説明】

    【図1】本発明の一実施例の構成図である。

    【図2】本発明によるデータ不一致情報の1レコードの構成例を示す図である。

    【図3】本発明によるデータ検索処理における処理手順を示す図である。

    【図4】本発明によるデータ更新処理における処理手順を示す図である。

    【図5】従来のデータ不良検出方法の構成例を示す図である。

    【符号の説明】

    10 対象データベース 20 比較するための別データベース 35 データ不良検出プログラム 45 出力リスト 50 データ不一致情報群

    高效检索全球专利

    专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

    我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

    申请试用

    分析报告

    专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

    申请试用

    QQ群二维码
    意见反馈