【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、製造業、流通業、電力等のサービス業で用いられるデータベースの個別の属性間からルールを抽出するデータマイニングシステムに関するものである。

【０００２】

【従来の技術】まず、データベースの中のデータから知識を発見していくデータマイニングの一つの例としてバスケット分析について説明する。 これは同時購買の傾向を示すルールを膨大な購買データの中から抽出していくもので、そのルールとしては、例えば「パンを買う時は、同時に牛乳を買う」といったものが挙げられる。 これを通常「パン→牛乳」といった形で該当する購買品から成る論理式で記述する。 当然、「パンを買っているが、牛乳は買っていない」購買データも存在することが考えられ、全ての購買データがこのルールを満たす訳ではないため、成り立つデータの割合が高いルールのみが抽出されることになる。 このルールの抽出、棄却の目安となる二つの数値として「ルールの対象となる購買データの購買データ全体に対する割合」（これを支持度と称す）と「ルールの左辺に該当するデータに対する、ルールの左辺と右辺と同時に満たすデータの割合」（これを確信度と称す）があり、前者はルールの一般性、後者はルールの正確さを示している。 バスケット分析では、この二つの数値に対するしきい値をあらかじめ決めておき、候補となるルールの数値がそのしきい値を越えるか否かを求めることによってルールとしての抽出の有無を判断する。

【０００３】従って、あるルールの候補が与えられた場合、各々の購買データについて左辺の商品を含むか、またそれと同時に右辺の商品を含むかどうかを調べて全体の集計を求めるのが処理の基本となる。

【０００４】図１０は、電子情報通信学会技術研究報告Ｖｏｌ． ９５ Ｎｏ． ４０８ ＣＰＹＳ９５−９５「Ｉ
ＢＭにおけるデータマイニング技術」に開示されている超並列計算機を用いたバスケット分析によるデータマイニングシステムを模式的に示したものである。 並列化のアルゴリズムそのものについては、同文献のｐ３０に示されている。 図に示すように、このシステムは、システム全体を制御する制御用マシン２０と複数の超並列マシン３０とで構成されている。 制御用マシン２０は、生の購買データの集合を大容量のディスク装置等に格納した購買データベース２１と、この購買データベース２１を分割して複数の超並列マシン３０に転送する購買データ分割手段２２とルールとなる候補を設定して検証するルール候補設定・検証手段２３を備え、各超並列マシン３
０は、分割して転送されてきた購買データを大容量のディスク装置等に格納した分割購買データベース３２
（ｎ）（ｎは正の整数）と、購買データの検索と集計を行う購買データ検索・集計手段３１とを備えている。

【０００５】以下、動作について説明する。 購買データベース２１は購買データ分割手段２２によって分割され、超並列マシン３０の有する大容量のディスク装置等に分割購買データベース３２（ｎ）として格納される。
システム全体を制御する制御用マシン２０ではルール候補設定・検証手段２３がルールと考えられる候補を生成し、各並列マシン３０に送る。 次に各並列マシン３０では購買データ検索・集計手段３１によってルール検証に必要なデータを検索し、その集計値を制御用マシン２０
に返す。 ルール候補設定、検証手段２３では各超並列マシン３０の集計した値を合計し、購買データ全体での集計値を出し、ルールの検証を行う。 以上の動作を候補として挙げられるルール全てについて繰り返す。

【０００６】

【発明が解決しようとする課題】以上のように、従来においては、極めて大容量の購買データ全てについて検索する必要があり、全件検索を高速化するために超並列計算機を用いて性能を出していた。 そのためハードウェアのコストが高価である上、超並列計算機を動作させるための特別な並列プログラミングを組まねばならず、それができるシステムコンサルタントの援助を必要としていた。

【０００７】また、従来においては、購買品の組み合わせ全てを対等に扱うためルールの候補の全てを検証しなければならず、「どのようなルールが生成され易いか、
あるいは重要か」というバイアスを反映させることによる検証するルールの絞り込みを行うことができなかった。

【０００８】この発明は、上記のような問題点を解決するためになされたもので、通常のマシンでのマイニングを実現し、従来の通常のマシンと同様のプログラミングによる処理を可能とし、コストの削減を可能にすることを目的とする。

【０００９】また、検証するルールをバイアスを用いることにより、購買データの検索を行う以前に絞り込むことにより処理の効率化を図ることを目的とする。

【００１０】

【課題を解決するための手段】この発明に係わるデータマイニングシステムは、予め想定されるルールを設定したルールベースと、商品とこの商品の有する属性情報とを対応させた商品データと、生の購買データであるレシートデータの集合であるレシートデータベースと、前記ルールベースと前記商品データによりルールの生成に最適な商品の属性を求めると共に、求めた属性を基に前記レシートデータベースを検索して多次元データを生成し、この多次元データを基に生成するルールの候補を設定し、設定したルールを構成する要素の全ての組み合わせから与えられた支持度を満足するルールを選択し、選択したルールの中で与えられた確信度を満足するルールを選択するデータマイニング手段と、を備えるようにしたものである。

【００１１】また、前記データマイニング手段は、ルールの生成に最適な商品の属性をルールを構成する要素についての重複度を用いて求めるようにしたものである。

【００１２】また、前記ルールベースは、専門家が有するノウハウを基に作成したルールによって構築するようにしたものである。

【００１３】また、前記ルールベースは、過去のデータマイニングによって生成されたルールによって構築するようにしたものである。

【００１４】また、前記ルールベースは、前記レシートデータベースからサンプリングにより数を限定して事前のマイニングによって生成されたルールを用いて構築するようにしたものである。

【００１５】また、前記データマイニング手段にレシートデータから商品名を含む第１のテーブルを、前記商品データと前記求めた属性とを対応付けた第２のテーブルとを生成する手段を設け、この第１のテーブルと第２のテーブルにより多次元データを生成するソータ装置を備えるようにしたものである。

【００１６】また、前記多次元データを多面的に表示する表示制御手段を備えるようにしたものである。

【００１７】この発明に係わるデータマイニング方法は、以下の工程を有するものである。 （ａ）予め想定されるルールをルールベースとして生成する工程、（ｂ）商品とこの商品の属性情報を対応させた商品データベースを生成する工程、（ｃ）前記ルールベースと前記商品データベースとを用いてルールを生成するのに最適な商品の属性を求める工程、（ｄ）求めた属性を基にレシートデータから多次元データを生成する工程、（ｅ）生成した多次元データを基にルール候補を生成して、このルール候補の要素を構成するすべての組み合わせからシステムに設定された支持度を満足するルールを選択する工程、（ｆ）選択したルールの中からシステムに設定された確信度を満足するルールを選択する工程。

【００１８】また、前記最適な商品の属性を求める工程は、ルールを構成する要素についての重複度を用いて求める工程とするものである。

【００１９】

【発明の実施の形態】図１は、この発明によるデータマイニングシステムの一実施の形態を示す構成図である。
図において、１はデータマイニングを実行するサーバマシンで、このサーバマシン１は多次元データの生成、データを検索する検索式の生成および処理結果を出力するデータマイニング手段２、販売店における購買品に関する商品データ、即ち商品名とこの商品名に対応する品目、販売場所、メーカ名等の属性情報で構成された商品データを格納した商品データベース６、後述のルールベース生成方法により予め生成されるルールが格納されたルールベース７、販売店における生の購買データであるレシートデータを大容量のディスク装置等に格納したレシートデータベース９を管理すると共にレシートデータおよびその検索命令を受けて、検索結果を出力する大福帳データベース手段８、およびデータマイニング手段２
により生成・参照される多次元データを格納した多次元データベース１１を管理すると共に多次元データ操作命令を受けて、操作結果を出力する多次元データベース手段１０を備えている。 １３はトランザクションデータを処理するサーバマシンで、このサーバマシン１３は実時間で発生するトランザクションデータ（購買データ）を格納したトランザクションデータベース１５とトランザクションデータを管理すると共にトランザクションデータを受けて、購買データ（レシートデータ）を出力するオンラインデータベース手段１４を備えている。

【００２０】サーバマシン１とサーバマシン１３とは例えば、ＬＡＮにより接続されていてトランザクションデータが発生するたびに、その情報は、サーバマシン１のデータマイニング手段２に伝達され、大福帳データベース手段８によりレシートデータベース９に格納される。
また、データマイニング手段２は、多次元データ作成手段３、ルール候補設定・検証手段４および多次元データ構造決定手段５を備えている。 また、多次元データベース手段１０には、データの高速処理を行うために高速ソータ装置１２の接続が可能な構成となっている。 なお、
この明細書においては、データベースとは、データの集合とデータを格納するディスク装置等の器の両方を指すものとし、データベース手段とは、データベースをアクセスするアクセスメソッドを指すものとする。

【００２１】この実施の形態におけるデータマイニングシステムおよびデータマイニング方法は、データマイニングの対象となる販売店における生のレシートデータを集積して、この集計データをバスケット分析を用いて同時購買ルールの抽出を行うものである。

【００２２】以下、図を参照しながら、この実施の形態における動作について詳細に説明する。 まず、オンラインデータベース手段１４について説明する。 オンラインデータベース手段１４はオンライントランザクション処理に用いられる基幹系のデータを取扱う。 この実施の形態におけるオンラインデータベース手段１４は、一般的なリレーショナルデータベースが有する基本的な機能と共に、データの更新を行う毎に、発生したレシートデータをデータマイニング手段２を経由して大福帳データベース手段８に転送する機能を備えている。

【００２３】次に大福帳データベース手段８について説明する。 従来から大福帳システムと呼ばれるものがあり、ここで使用されるデータベースは、データを発生順に格納していくもので、データの更新は行われず、基本的にはデータの追加のみがなされるものである。 この実施の形態で使用する大福帳データベース手段８は、この従来の大福帳システムにおけるベータベースのアクセスメソッドを用いて、発生順にレシートデータを大容量データベース（レシートデータベース９）に格納してデータベースを管理するものである。

【００２４】次に多次元データベース手段１０について説明する。 多次元データベース手段１０は多次元データを生成する機能を有すると共に生成された多次元データを管理し、それに対するアクセスメソッドを提供するものである。 この多次元データベース１１については従来からデータベースのキーの数に相当する次元を作るＯＬ
ＡＰ（Ｏｎ Ｌｉｎｅ Ａｎａｌｙｔｉｃａｌ Ｐｒｏ
ｃｅｓｓｉｎｇ）と呼ばれるものがあり、この実施の形態では、このＯＬＡＰを用いるものとする。 他の形式のデータから多次元データを生成する際には高速ソータ装置１２を用いて変換するデータをソートすることによって、高速処理を実現することも可能である。 また、多次元データベース手段１０に表示制御機能を付加することにより、様々な検索要求に対して多次元データベース１
１にダイシングあるいはスライシング処理を施して検索結果をあらゆる角度から多面的に表示することが可能である。

【００２５】次にこの実施の形態における最も特徴とするデータマイニング手段２について説明する。 データマイニング手段２は多次元データに対する検索要求を作成し、その結果に対して統計処理を施してルールを抽出する手段である。 ルールは「Ａ→Ｂ」という形をしており、これは、「商品Ａを買う人は商品Ｂも買う」ということを意味している。 また、このデータマイニング手段２は、上述のように多次元データ操作手段３、ルール候補設定・検証手段４、多次元データ構造決定手段５の３
つの手段から成り立っている。 以下にこのデータマイニング手段２が他の手段と連携してルール生成を行う手順について説明する。

【００２６】図２は、この実施に形態におけるデータマイニングの処理の流れを示すフローチャート図である。
図２に示すように、このデータマイニング処理は、大きく３つのステップから成り立っている。 まず、ステップ１００における購買品のカテゴリ化では、商品データベース６とルールベース７をバイアスとして購買品のカテゴリ化、多次元データの構造決定を行う。 ステップ２０
０におけるデータ集計では、集計値を格納した多次元データベース１１の生成、更新が行われる。 ステップ３０
０におけるルール生成では、ルール候補の設定と、集計値を基にしたルール候補の検証が行われる。 以下に各ステップの詳細について説明する。

【００２７】まず最初のステップ１００における購買品のカテゴリ化ついて説明する。 このステップ１００はデータマイニング手段２を構成する一手段である多次元データ構造決定手段５によって実行される。 まず多次元データ作成のためのバイアスを設定するためにルールベース７に格納されているルールデータの検索を行う。 ルールベース７上の各ルールは「商品Ａ→商品Ｂ」という形式で、同時にその重要度を示す数値である価値を有しており、この価値は実際の購買データ上で成り立つ数（支持度）、確度（確信度）、専門家の判断によって与えられた数値等によって決められる。 なお、ルールベースの作成方法としては、以下の３つの方法を用意している。

【００２８】（１）第一の方法 第一の方法は専門家が、経験を基に格納するルールを決定するものである。 各ルールの価値はそれを格納することを決定した専門家自身の判断によって数値が与えられる。

【００２９】（２）第二の方式 第二の方式は過去のデータマイニングによる結果によってルールベースを構築するものである。 各ルールの価値はその支持度と確信度の積で決定される。

【００３０】（３）第三の方式 第三の方式はレシートデータの集合からランダムに抜き出されたより少ないレシートデータでルール抽出を行い、その結果によってルールベースを構築するものである。 各ルールの価値はその支持度と確信度の積で決定される。 この方法によるルール抽出はデータ量が少ないため処理を高速に行うことができる。

【００３１】図３は、ステップ１００におけるカテゴリ化の詳細な処理を示すフローチャート図である。 また、
図４は、データマイニング手段２が有する商品データベース６のデータ形式を示す図で、各購買品は、商品名とそれに該当する品目、販売場所、メーカ等の属性からなるテーブルによって構成される。 このデータの形式、構造は専門家によって決められ、一旦作成されると扱う購買品が変わらない限り固定のデータである。

【００３２】以下、図３のフローチャート図を参照しながら、データマイニング手段２がルールデータベース７
と商品データベース６を用いてデータマイニングのバイアス設定としての購買品のカテゴリ化を行う手順を説明する。

【００３３】ここでは、例として、ルールデータベース７の中にルールデータとして「Ａ，Ｂ→Ｃ：価値１０」
が格納されているものとして説明する。 まずステップ１
１０において、このルールの中に出現する購買品（即ちＡ，Ｂ，Ｃ）を抽出し、ステップ１２０において、生成された集合（Ａ，Ｂ，Ｃ）について商品データベース６
の検索を行う。 次にステップ１３０において、商品データベース７に設定された購買品の各属性について重複度を計算する。 この例では、属性を品目とする場合には（Ａ，Ｂ，Ｃ）が（弁当、飲料、菓子）と全て異なるので重複度は０、属性を販売場所とする場合には（棚１、
棚２、棚１）でＡとＣが棚１で一致するので重複度は１、属性をメーカとする場合には（Ｍ社、Ｍ社、Ｍ社）
と全てが一致するので重複度は２となる。 次にステップ１４０において、重複度と価値の積を計算する。 そしてこれをルールデータベース７に格納されている全てのルールについて計算し、ステップ１５０において、その和を以下の計算により求める。 Σ（ルールベース中の全ルールについて）重複度＊価値 これを、商品データベース６の各属性毎（即ち、品目、
販売場所、メーカ名等）に計算する。 そして、ステップ１６０において、最も値の少ない属性をカテゴリ化に使う属性として決定する。 何故ならば、即ち、この属性を用いるのがルールとして最も適切と判断されるからである。 以下の説明では、品目が属性として決定されたこととして説明を続ける。 この場合には、商品は（品目が弁当に該当する購買品）、（品目が飲料に該当する購買品）、（品目が菓子に該当する購買品）といったようにカテゴリ化される。

【００３４】次にステップ２００のデータ集計について説明する。 このステップ２００はデータマイニング手段２を構成する一手段である多次元データ操作手段３によって実行される。 ここでは大福帳データベース手段８が管理するレシートデータベース９とデータマイニング手段２が管理する商品データベース６とカテゴリ化属性から（この場合、属性としては品目）、多次元データが作成される。 作成される多次元データは図５のように各次元に相当する購買品が並べられ対応するセルにその集計値、例えば（弁当次元＝Ａ、菓子次元＝Ｃ、飲料次元＝
Ｄ）のセルには購買品Ａ，Ｃ，Ｄを含むレシートデータの数が入る。 なお、この実施の形態では大福帳データベース手段８には図５に示すような形式のレシートデータの集積がレシートデータの発生順に格納されているとする。 大福帳データベース手段８はレシートデータが一件発生する毎に何番目に発生したかを示すレシート番号を付与し、データベース９の最後尾にそれを加える。 このデータから多次元データを作成する方法としては以下の２つの方式を用意してある。

【００３５】第一の方法 第一の方法では、データマイニング手段２はレシートデータが発生する度にそのレシートデータを大福帳データベース手段８を通じて検索して、検索された購買品を商品データベース６と照らし合わせてカテゴリに分類し、
カテゴリ毎の全ての組み合わせを生成し、各組み合わせの該当する多次元データのセルの集計値を１増やす命令を多次元データベース手段１０に送る。 図６の例においてレシート番号１のレシートデータが発生した時には、
まず購買品を分類すると弁当（Ａ）、菓子（Ｃ，Ｅ）、
飲料（Ｄ）となり、組み合わせは（Ａ，Ｃ，Ｄ）と（Ａ，Ｅ，Ｄ）が生成され、多次元データの（弁当次元、菓子次元、飲料次元）＝（Ａ，Ｃ，Ｄ），（Ａ，
Ｅ，Ｄ）の二つのセルの集計値が一つ増えることになる。

【００３６】第二の方式 第二の方式では、まずデータマイニング手段２は大福帳データベース手段８にレシートデータ９の検索命令を出し、レシートデータの中から必要な属性の絞り込みを行い、図７のようなテーブルを作成する。 次にデータマイニング手段２はカテゴリ化を行う属性と商品データベース６から図８のようなテーブルを作成する。 そして図７
と図８の二つのテーブルを多次元データベース手段１０
に送り、さらに各次元に配置されるカテゴリである品目を指定した集計値の多次元データ生成命令を多次元データベース手段１０に送る。 多次元データベース手段１０
では図７のテーブルと図８のテーブルを高速ソータ装置１２に用いてソートした後結合し、各レシート番号毎に各カテゴリ全ての組み合わせを生成し、図９に示すようなテーブルを作成する。 そして、図９に示すテーブル形式のデータを再度高速ソータ装置１２でソートして多次元データの各次元の値に対応するレシートの数を集計し、その値を多次元データの該当するセルに格納する。

【００３７】次にステップ３００のルール生成について説明する。 このステップ３００はデータマイニング手段２を構成する手段であるルール候補設定・検証手段５と多次元データ操作手段３によって実行される。 以下に多次元データベース手段１０で生成された集計値の多次元データ１１から、ルール生成を行う手順を説明する。 ルール候補設定・検証手段４では多次元データの各次元に相当するカテゴリ間の購買品の全ての組み合わせからルールの候補を生成し、ユーザからシステムに対して予め指定された支持度、確信度を満たすかどうか判断する。
例えば（弁当、菓子、飲料）＝（Ａ，Ｃ，Ｄ）の組み合わせの中からは［Ａ，Ｃ，Ｄ］，［Ａ，Ｃ］，［Ａ，
Ｄ］，［Ｃ，Ｄ］，［Ａ］，［Ｃ］，［Ｄ］の各々の集計値の検索が行われる。 このうち、例えば［Ａ，Ｃ，
Ｄ］については多次元データの該当するセルの集計値、
［Ａ，Ｃ］では弁当がＡ、飲料がＣのセル全ての集計値の合計、［Ａ］では弁当がＡのセル全ての集計値の合計が採られる。 合計値は多次元データの作成時、あるいは更新時に多次元データベース手段１０によって自動的に計算、更新される。 多次元データ操作手段３では各々の集計値を多次元データ１１から検索するための検索式を作成し、多次元データベース手段１０に送る。 検索結果は多次元データ操作手段３へ返されそれを基にルール候補設定・検証手段４による候補ルールの検証が行われる。 例えば検索結果として［Ａ，Ｃ，Ｄ］と［Ａ，Ｃ］
の集計が与えられ支持度を上回り、 ［Ａ，Ｃ，Ｄ］の集計値／［Ａ，Ｃ］の集計値 が与えられた確信度を上回る時、［Ａ，Ｃ→Ｄ］なるルールが抽出されることになる。 この実施の形態におけるデータマイニングでは以上の検証を全ての多次元上の組み合わせについて行い、ルールを抽出する。

【００３８】

【発明の効果】以上のように、この発明によれば、予め想定されるルールを設定したルールベースと、商品とこの商品の有する属性情報とを対応させた商品データと、
生の購買データであるレシートデータの集合であるレシートデータベースと、前記ルールベースと前記商品データによりルールの生成に最適な商品の属性を求めると共に、求めた属性を基に前記レシートデータベースを用いて多次元データを生成するようにしたので、ルールの抽出および検証に大容量のデータベースを使用する必要が無く、一般的なマシンで処理することが可能となる。 また、検証するルールをカテゴリ間でのルールに絞ることができ、生成するルールはルールベースによるバイアスを反映したものとなる。

【００３９】また、多次元データを生成するための商品の属性を商品の有する属性の重複度を用いて求めるようにしたので、ルールベース中のルールの特徴を生かしたルールのみに候補を絞ることができる。

【００４０】また、ルールベースを専門家が有するノウハウを基に作成したルールによって構築するようにしたので、専門家のノウハウを活用できるので、初めてルールベースを構築するときには有効である。

【００４１】また、ルールベースを過去のデータマイニングによって生成されたルールによって構築するようにしたので、学習効果を生かすことができ適切なルールベースを構築することができる。

【００４２】また、ルールベースをレシートデータベースからサンプリングにより数を限定して事前のマイニングによって作成されたルールにより構築するようにしたので、ルールベースの構築が容易となる。

【００４３】また、高速ソータ装置を設けるようにしたので、異なる形式のデータから多次元データを高速に作成することができる。

【００４４】また、前記多次元データを多面的に表示するようにしたので、表示された集計値の多次元データを事前にユーザが分析することによって、どの部分に重点を置いてデータマイニングを行うか等の目安が立て易くなる。

【００４５】また、予め想定されるルールをルールベースとして生成する工程と、商品とこの商品の属性情報を対応させた商品データベースを生成する工程と、前 記ルールベースと前記商品データベースとを用いてルールを生成するのに最適な商品の属性を求める工程と、を有するようにしたので、検証するルールをカテゴリ間でのルールに絞ることができ、生成するルールはルールベースによるバイアスを反映したものとなる。 従って、データの処理量が従来に比べると遥かに少なくて済み、一般的なマシンでデータマイニングを実行することができる。

【００４６】また、最適な商品の属性を求める工程において、多次元データを生成するための商品の属性を商品の有する属性の重複度を用いて求めるようにしたので、
ルールベース中のルールの特徴を生かしたルールのみに候補を絞ることができる。

【図面の簡単な説明】

【図１】 この発明によるデータマイニングシステムの一実施の形態の構成を示す図である。

【図２】 実施の形態におけるデータマイニングの処理手順を示すフローチャート図である。

【図３】 購買品のカテゴリ化の詳細を示すフローチャート図である。

【図４】 商品データの１例を示すである。

【図５】 集計値の多次元データの例を示す図である。

【図６】 レシートデータの１例を示す図である。

【図７】 レシートデータの属性絞り込みによって生成されるテーブルを示す図である。

【図８】 商品データとカテゴリ化の属性によって生成されるテーブルを示す図である。

【図９】 レシート番号と多次元データ上で可能な購買品の組み合わせを示すテーブル図である。

【図１０】 従来のデータマイニングシステムの構成を示す図である。

【符号の説明】

２ データマイニング手段、３ 多次元データ操作手段、４ ルール候補設定・検証手段、５ 多次元データ構造決定手段、６ 商品データベース、７ ルールベース、８ 大福帳データベース手段、９ レシートデータベース、１０ 多次元データベース手段、１１ 多次元データベース、１２ 高速ソータ装置、１４ オンラインデータベース手段、１５ トランザクションデータベース。