【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ分類方法及び装置及びデータ分類プログラムを格納した記憶媒体に係り、特に、目的関数を変えることで分類精度の向上を図ったSupport Vector Machineを用いたデータ分類方法及び装置及びデータ分類プログラムを格納した記憶媒体に関する。

【０００２】大量のデータが流通している情報産業界では、データの効率的な分類が求められている。 中でも、
Support Vector Machineを用いた分類方法は、高い分類精度を上げることが知られており、広範囲の分野で使用されている。 本発明は、当該Support Vector Machineを用いたデータ分類方法及び装置及びデータ分類プログラムを格納した記憶媒体に関する。

【０００３】

【従来の技術】従来のSupport Vector Machine（参考文献 V.Vapnik. The Nature of Statistical Learning Th
eory. Springer-Verlag, New York, 1995.参照) を用いたデータ分類について述べる。 正しい例である正例と誤った例である負例の２つのクラスのいずれかに属すｒ個の訓練データのベクトルの集合を、 （ｘ ₁ ，ｙ ₁ ），… （ｘ _r ，ｙ _r ） とする。 ここで、ｘ _iは、データｉの特徴ベクトルでｎ
次元のベクトルである。 また、ｙ _iは、データｉが正例の場合＋１の値をとり、負例の場合には、−１の値をとるスカラの変数である。 データ分類では、データ中に出現する特徴ｗ _k （但し、ｋは、１≦ｋ≦ｎの整数）がテキスト中に出現する場合、ｗ _k ＝１、出現しない場合をｗ _k ＝０としてデータをベクトルｘ _i ＝（ｗ ₁ ，ｗ ₂ ，
…，ｗ _n ）で表す。 データがあるカテゴリに含まれる場合を正例、含まれない場合を負例として、各カテゴリに対してSupport Vector Machineを構成する。

【０００４】これらのデータをｎ次元Euclid空間上の （ｗ・ｘ）＋ｂ＝０ なる超平面で分離する。 この際、近接する正例と負例のデータ間の距離が大きい方が、精度よくテストデータを分類できる。 ここで、正例側の分離超平面と呼ばれる （ｗ・ｘ）＋ｂ＝１ （１） なる超平面と負例側の分離超平面と呼ばれる （ｗ・ｘ）＋ｂ＝−１ （２） を定義する。

【０００５】２つの分離超平面間の距離は、

【０００６】

【数４】

【０００７】である。 この距離を最大にするためには、
‖ｗ‖を最小化すればよい。 その関数のとる値が最小値の時、‖ｗ‖が最適値をとるような関数を目的関数と呼ぶ。 この場合、目的関数Φは以下に示すものになる。

【０００８】

【数５】

【０００９】ここで、ξ _iは訓練データｘ _i （ｉは１からｒまでの整数）の正例／負例が分離超平面によって分離できない場合の分離超平面からの距離を表す非負の変数である。 右辺第一項は、二つの分離超平面ｗ・ｘ＋ｂ
＝１と、ｗ・ｘ＋ｂ＝−１間の距離を表し、この項の値が小さいほど分離超平面間の距離が大きい。 右辺第二項のＣを除いた部分は、分離できなかった訓練データが２
つの超平面、ｗ・ｘ＋ｂ＝１あるいは、ｗ・ｘ＋ｂ＝−
１からの距離の和で誤差項（誤差項：正例の場合、ｗ・
ｘ＋ｂ＝１からの距離と、負例の場合、ｗ・ｘ＋ｂ＝−
１からの距離との和）と呼ぶ。 Ｃは、第一項と第二項の重視の度合いを決める正値（０以上）のパラメータである。 Ｃの値が大きいときは、訓練データの超平面からの誤差が大きく評価されて、Ｃの値が小さい時は、相対的に分離超平面間の距離の大きさが重視される。

【００１０】

【発明が解決しようとする課題】しかしながら、上記従来のSupport Vector Machineを用いたデータ分類では、
正例と負例の２つのカテゴリに分けられるデータについて学習を行った場合、正例／負例が未知のデータに対して、訓練データのデータ量が多いカテゴリ（正例もしくは負例）に判定する傾向があり、判定精度が低くなる原因の一つになっている。

【００１１】本発明は、上記の点に鑑みなされたもので、訓練データにおいて、データ量が多いカテゴリに判定する傾向を緩和し、判定精度を高くすることが可能なデータ分類方法及び装置及びデータ分類プログラムを格納した記憶媒体を提供することを目的とする。

【００１２】

【課題を解決するための手段】本発明（請求項１）は、
サポートベクトルマシン(Support Vector Machine)を用いたデータ分類方法において、正例データと負例データ用の二種類の重み付けパラメータを誤差項に持つ目的関数を持つ。

【００１３】本発明（請求項２）は、目的関数のパラメータＣを訓練データｘが正例に属す場合と負例に属す場合で区別し、目的関数を、Ｃ _p 、Ｃ _nを非負の実数とし、

【００１４】

【数６】

【００１５】とする。 図１は、本発明の原理を説明するための図である。 本発明（請求項３）は、正例と負例の２つのクラスに属す訓練データが入力されると（ステップ１）、該訓練データに応じた目的関数の最小化を行い（ステップ２）、最小化された目的関数を用いて分離超平面を構成し（ステップ３）、テストデータが入力されると、分離超平面の正例または、負例のいずれかのカテゴリに分類し（ステップ４）、分類された分類結果を出力する（ステップ５）。

【００１６】本発明（請求項４）は、Support Vector M
achineを用いたデータ分類装置であって、正例データと負例データ用の二種類の重み付けパラメータを誤差項に持つ目的関数を持つ。 本発明（請求項５）は、目的関数のパラメータＣを訓練データｘが正例に属す場合と負例に属す場合で区別し、目的関数を、Ｃ _p 、Ｃ _nを非負の実数とし、

【００１７】

【数７】

【００１８】とする。 図２は、本発明の原理構成図である。 本発明（請求項６）は、正例と負例の２つのクラスに属す訓練データが入力されると、該訓練データに応じた目的関数の最小化を行う目的関数最小化手段１０と、
最小化された目的関数を用いて分離超平面を構成し、テストデータが入力されると、分離超平面の正例または、
負例のいずれかのカテゴリに分類し、分類された分類結果を出力する分類判定手段２０とを有する。

【００１９】本発明（請求項７）は、Support Vector M
achineを用いたデータ分類装置に搭載されるデータ分類プログラムを格納した記憶媒体であって、正例データと負例データ用の二種類の重み付けパラメータを誤差項に持つ目的関数を持つ。 本発明（請求項８）は、目的関数のパラメータＣを訓練データｘが正例に属す場合と負例に属す場合で区別し、目的関数を、Ｃ _p 、Ｃ _nを非負の実数とし、

【００２０】

【数８】

【００２１】とするプロセスを含む。 本発明（請求項９）は、正例と負例の２つのクラスに属す訓練データが入力されると、該訓練データに応じた目的関数の最小化を行う目的関数最小化プロセスと、最小化された目的関数を用いて分離超平面を構成し、テストデータが入力されると、分離超平面の正例または、負例のいずれかのカテゴリに分類し、分類された分類結果を出力する分類判定プロセスとを有する。

【００２２】上記のように、本発明では、上記の目的関数中のＣ _pとＣ _nの２つのパラメータのうち、訓練データ量が正例の方が多ければ、Ｃ _p ＜Ｃ _n 、負例の方が多ければ、Ｃ _p ＞Ｃ _nとすれば、データの少ないカテゴリのデータも正しく判定しやすくなり、データ分類の精度が向上する。

【００２３】

【発明の実施の形態】本発明では、Support Vector Mac
hineを用いた分類において目的関数のパラメータＣを訓練データｘが正例に属す場合と、負例に属す場合で区別し、目的関数を、

【００２４】

【数９】

【００２５】とする。 なお、Ｃ _p ，Ｃ _nは共に非負の実数である。 本発明では、上記のような目的関数を使用することを特徴とする。 図３は、本発明のデータ分類装置の構成を示す。 同図に示すデータ分類装置は、目的関数最小化部１０と分類判定部２０から構成される。

【００２６】目的関数最小化部１０は、訓練データ３０
が入力されると、当該訓練データに応じた目的関数の最小化を行い、最適なｗ及びｂを算出する。 分類判定部２
０は、目的関数最小化部１０で算出されたｗとｂを用いて、分離超平面を構成し、入力される分類対象データ（テストデータ）に対して、正例／負例のいずれかのカテゴリに分類した分類結果を出力する。

【００２７】

【実施例】以下、図面と共に本発明の実施例を説明する。 本実施例として、訓練データ及びテストデータに、
ＲＷＣＰテキストコーパス（参考文献：豊浦潤、徳永健伸、井佐原均、岡隆一、ＲＷＣにおける分類コード付きテキストデータベースの開発、情報処理学会研究報告Ｎ
ＬＣ96-13 ． ＩＥＩＣＥ，１９９６，参照）を用いて説明する。 当該コーパスは、１９９４年版の毎日新聞の約３万件の記事に、国際十進分類法に基づくＵＤＣコード（参考文献：情報科学技術協会、国際十進分類法、丸善，１９９４．参照）を付与したものである。

【００２８】これらの記事の中から頻度の高い１０種類の分類コード（スポーツ、刑法、政府、教育、交通、軍事、国際関連、言語活動、演劇、作物）が付与されたデータ２０００記事を選び、１０００記事を訓練データ、
残りの１０００記事をテストデータ、つまり、分類対象データとした。 訓練データとテストデータ数を以下の表に示す。

【００２９】

【表１】

【００３０】これらの、記事に対して形態素解析を行った後、一つの記事の中に特定の名詞及び固有名詞の出現するか否かを記事の特徴とみなし、特徴ベクトルを構成した。 分類装置は、上記の１０種類の分類に対象して、
１０台の分類装置を構成する。 例えば、スポーツに関する分類装置においては、スポーツの分類コードが付与されたデータを正例、付与されていないデータを負例とし、テストデータに対して正例／負例のいずれかのカテゴリに入るかを判定する。 よって、スカラの変数ｙ _iも分類装置毎に設定する。

【００３１】次に、データ分類装置の動作について説明する。 まず、１０００個の訓練データが入力されると、
目的関数最小化部１０は、訓練データに応じた目的関数の最小化を行い、最適なｗ及びｂを算出する。 次に、分類判定部２０は、目的関数最小化部１０で算出されたｗ
及びｂを用いて分離超平面を構成し、入力される１００
０個のテストデータに対して、正例／負例のいずれかのカテゴリに分類し、分類結果を出力する。

【００３２】分類精度を評価するために、適合率、再現率、Ｆ値（参考文献：BMSundheim. Overview of the
Fourth Message Understanding Evaluation and Confer
ence. Proceedings of Fourth Message Understanding
Conference, pp. 3-29, 1992. 参照) を用いた。 各分類毎に、分類モデルと正解の正例と負例の数から、 ａ：正解が正例で分類モデルも正例と判断した数； ｂ：正解が負例で分類モデルも正例と判断した数； ｃ：正解が正例で分類モデルも負例と判断した数； とを考える。 すると、適合率Ｐ、再現率Ｒは、次のように定義される。

【００３３】

【数１０】

【００３４】また、Ｆ値は適合率、再現率より、

【００３５】

【数１１】

【００３６】で表される。 ここで、βは重み付けパラメータで本実施例ではβ＝１とした。 本発明において、Ｃ
_p ＝３０とＣ _n ＝８とした場合と従来の方法により、Ｃ
＝１０ ¹²とした場合を比較した結果を以下に示す。

【００３７】

【表２】

【００３８】Ｆ値は、０から１までの値をとり、１に近いほど精度が高いので、各カテゴリともＣを分離した方が分類精度が高く、本発明がデータ分類の精度を上げるのに有効であることが分かる。 また、図３に示す（５）
式に示す目的関数を用いる目的関数最小化部１０と分類判定部２０をプログラムとして構築しておき、データ分類装置として利用されるコンピュータに接続されるディスク装置や、フロッピー（登録商標）ディスク、ＣＤ−
ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際にインストールすることにより、容易に本発明を実現できる。

【００３９】なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。

【００４０】

【発明の効果】上述のように、本発明によれば、正例／
負例が未知のデータに対して、訓練データのデータ量が多いカテゴリに誤って判定する傾向が緩和させるデータ分類精度が向上する、という効果が得られる。

【図面の簡単な説明】

【図１】本発明の原理を説明するための図である。

【図２】本発明の原理構成図である。

【図３】本発明のデータ分類装置の構成図である。

【符号の説明】

１０ 目的関数最小化手段、目的関数最小化部 ２０ 分類判定手段、分類判定部 ３０ 訓練データ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 春野 雅彦 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール人間情 報通信研究所内 Ｆターム(参考） 5B075 ND02 NR02 NR12 PR06 QM08