权利要求

本発明は、アンサンブル学習を用いてラベル有りデータだけでなくラベル無しデータも学習することによる予測精度の高い半教師あり学習方法、半教師あり学習装置及び半教師あり学習プログラムに関する。

ラベル有りデータを訓練データとして学習機械に学習させたうえで、テストデータのラベルを予測する学習方式は、教師あり学習と呼ばれている。

教師あり学習の方法としては、ブースティング、バギング、サポートベクターマシンなどが有名であり、様々なデータにおいて適用されている。 ブースティング、バギング、サポートベクターマシンについては、非特許文献１乃至３に記載されている。

しかしながら、教師あり学習で高精度の分類器を構成するためには十分な量の訓練データが必要である。 この点、一般的にはデータを人手でラベル付けするために、十分な量の訓練データを得るためには非常に時間や労力を要するという問題がある。 また、得られたデータの分布に偏りが大きい場合は、テストデータに対する予測精度が低いという問題が指摘されている。

これらの問題に対して、半教師あり学習と呼ばれる手法が提案されている。 従来のブースティングやサポートベクターマシンの方法論を拡張することにより、半教師あり学習が実現されている事例が非特許文献４乃至７に記載されている。

ここで、半教師あり学習とは、訓練データだけでなく、ラベル無しデータあるいはテストデータの分布も考慮した学習方式を指し、訓練データが少数の場合であっても高精度の分類器を構成することを目的とする学習方式をいう。

なお以下の説明では、ラベル無しデータおよびテストデータを単にテストデータと記載する。
Y Freund, RE Schapire, A decision-theoretic generalization of on-line learning and an application to boosting, Journal of Computer and System Sciences, 1997, 23-27. L. Breiman, Bagging Predictors, Machine Learning, 1996, 123-140. JP Vert, K. Tsuda and B. Scholkopf, " A primer on kernel methods ",in Kernel Methods in Computational Biology, MIT Press, 2004, 35-70. F.d'Alche Buc, Y. Grandvalet, and C. Ambroise, Semi-supervised margin boost, Advances in Neural Information Processing Systems 14, MIT Press, 2002. Y. Grandvalet, F.d'Alche Buc, and C. Ambroise, Boosting mixture models for semi-supervised learning, ICANN, Springer-Verlag, 2002, 41-48. KP Benett, A. Demiriz, and R. Macin, Exploiting unlabeled data in ensemble methods, SIGKDD, ACM, 2002. O. Chapelle and A. Zien, Semi-supervised classification by low density separation, In Proceedings of the Tenth International Workshop on Artificial Intelligence and Statistics, 2005. J Friedman, Greedy Function Approximation: A Gradient Boosting Machine, The Annals of Statistics, 2001, 1189-1232. Boaz Leskes, The Value of Agreement, a New Boosting Algorithm, Master Thesis, Section Computational Science and Institute for Logic, Language & Computation, University of Amsterdam, 2005. A. Buja and YS Lee, Data Mining Criteria for Tree-Based Regression and Classification, Proceedings of KDD 2001, 27-36. UCI Machine Learning Repository Content Summary ［平成１９年９月１２日検索］、インターネット 〈http://mlearn.ics.uci.edu/MLSummary.html〉

もっとも、上記した非特許文献４乃至７に記載の方法では、以下に示すような問題点がある。

まず、非特許文献４及び５に記載の方法は、ブースティングに用いる下位学習機械として半教師あり学習を行う学習機械が必要であり、従来の教師あり学習の手法を用いることができない。 そのため、適用可能なデータ形式に制限があり汎用性に乏しいという問題がある。 また、大規模データに対して、計算時間を要するという問題もある。

一方、非特許文献６に記載の方法では、非特許文献４，５において問題であったブースティングの下位学習機械として、教師あり学習の学習機械を用いることが可能である。 しかし、学習の定式化に問題があるため、分類精度の向上効果が乏しく、性能が劣化する場合もあることが報告されている。

また、非特許文献７に記載の方法では、サポートベクターマシンの目的関数にテストデータに関する損失関数を導入しているが、計算方法や最適化法が煩雑なため、多数の学習パラメータのチューニングや計算時間を要する問題がある。

そこで、本発明は上述した問題点を鑑み、学習理論に基づき、ブースティングを用いてラベル無しデータに対する予測値の分散を最小化しつつ訓練データの損失関数も最小化することで、下位学習機械として教師あり学習を適用可能な汎用的かつ学習パラメータの少ない実用的な高精度の分類器を提供することを目的とする。

本発明の第１の観点によれば、方法としてアンサンブル学習に基づく半教師あり学習方法において、記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶ステップと、前記データ記憶ステップにおいて記録した訓練データに基づいて教師あり学習を行う初期学習ステップと、前記初期学習ステップにおいて算出されたデータを記憶する算出結果記憶ステップと、前記データ記憶ステップにおいて記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶ステップで記憶しているデータに基づいて教師あり学習を反復的に行う学習ステップとを備えることを特徴とする半教師あり学習方法が提供される。

更に、本発明の第２の観点によれば、第１の装置としてアンサンブル学習に基づく半教師あり学習装置において、訓練データを記憶する訓練データ記憶部と、ラベル無しデータおよびテストデータを記憶するテストデータ記憶部と、訓練データにより教師あり学習を行う初期学習部と、勾配を記憶するパラメータ記憶部と、訓練データとラベル無しデータおよびテストデータを結合し、教師あり学習を反復的に行う学習部と、学習された判別関数を記憶する判別関数記憶部と、判別関数を用いてテストデータのラベルを予測する判別部を備えることを特徴とする半教師あり学習装置が提供される。

更に、本発明の第３の観点によれば、第２の装置としてアンサンブル学習に基づく半教師あり学習装置において、記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶手段と、前記データ記憶手段において記録した訓練データに基づいて教師あり学習を行う初期学習手段と、前記初期学習手段において算出されたデータを記憶する算出結果記憶手段と、前記データ記憶手段において記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶手段で記憶しているデータに基づいて教師あり学習を反復的に行う学習手段とを備えることを特徴とする半教師あり学習装置が提供される。

更に、本発明の第４の観点によれば、第１のプログラムとしてアンサンブル学習に基づく半教師あり学習プログラムにおいて、訓練データを記憶する訓練データ記憶機能と、ラベル無しデータおよびテストデータを記憶するテストデータ記憶機能と、訓練データにより教師あり学習を行う初期学習機能と、勾配を記憶するパラメータ記憶機能と、訓練データとラベル無しデータおよびテストデータを結合し、教師あり学習を反復的に行う学習機能と、学習された判別関数を記憶する判別関数記憶機能と、判別関数を用いてテストデータのラベルを予測する判別機能をコンピュータに実現させることを特徴とする半教師あり学習プログラムが提供される。

更に、本発明の第５の観点によれば、第２のプログラムとしてアンサンブル学習に基づく半教師あり学習プログラムにおいて、記憶データ、テストデータ及びラベル無しデータを記憶するデータ記憶機能と、前記データ記憶機能において記録した訓練データに基づいて教師あり学習を行う初期学習機能と、前記初期学習機能において算出されたデータを記憶する算出結果記憶機能と、前記データ記憶機能において記録した訓練データとラベル無しデータの属性を結合したデータ及び前記算出結果記憶機能で記憶しているデータに基づいて教師あり学習を反復的に行う学習機能とをコンピュータに実現させることを特徴とする半教師あり学習プログラムが提供される。

本発明によれば、訓練データだけでなく、ラベル無しデータの分布も学習することから、少数の訓練データから高精度の分類器を構成することが可能になる。

次に、本発明の実施形態について図面を用いて説明する。

本発明は訓練データだけなくテストデータも用いて、ブースティングによる学習を行い、下位学習機械として任意の教師あり学習の学習機械を利用することで、訓練データが少ない状況においても、高精度の分類器を構成する新しい方法である。 以下に本発明を実施するための形態について、図面を参照して説明する。

図１を参照すると、本発明の実施形態は、キーボード等の入力装置１と、プログラム制御により動作するデータ処理装置２と、情報を記憶する記憶装置３と、ディスプレイ装置や印刷装置等の出力装置４を備える。

データ処理装置２は、初期学習部２１と、学習部２２と、判別部２３を備える。

初期学習部２１は、訓練データのみを用いてブースティングによる学習を行い、テストデータの勾配を計算する部分である。 学習部２２は、訓練データ及びテストデータの勾配をラベルとしてブースティングによる学習を行い、判別関数を更新する部分である。 判別部２３は、学習された判別関数を用いてテストデータのラベルを予測する部分である。

記憶装置３は、訓練データを格納する訓練データ記憶部３１と、テストデータを格納するテストデータ記憶部３２と、損失関数の勾配を格納するパラメータ記憶部３３と、判別関数を格納する判別関数記憶部３４を備える。

次に図１、図２及び図３を参照して、本発明を実施するための形態の動作について、説明する。

まず、入力装置１によって実行指示が与えられ、訓練データ記憶部３１及びテストデータ記憶部３２からデータ処理装置２に訓練データとテストデータが入力される（図２、ステップＡ１）。

次に、初期学習部２１により、訓練データを用いた判別関数Ｆの教師あり学習が行われる（図２、ステップＡ４）。 なお初期学習部２１の具体的動作（ステップＡ２及びステップＡ３）については下記する。

そして、判別関数を反復的に更新し（図２、ステップＡ５）、判別関数による訓練データの勾配を計算する（図２、ステップＡ６）。

その後、算出された勾配がパラメータ記憶部３３、判別関数が判別関数記憶部３４に記憶される。

図２を参照して、初期学習部２１の具体的な動作について、説明する。

まず、訓練データ記憶部３１とテストデータ記憶部３２から訓練データ及びテストデータがデータ処理装置２に入力される（図２、ステップＡ１）。

次に初期学習部２１は、反復回数にｔ _１ 、縮小パラメータにν _１を設定する（図２、ステップＡ２）。 また、反復回数を計数する指示パラメータＴを１に初期化する（図２、ステップＡ３）。

訓練データを用いた判別関数Ｆの教師あり学習を行う（図２、ステップＡ４）。

ラウンドＴ−１で得られた判別関数Ｆ _Ｔ−１に、学習により得られた判別関数Ｆを加えることにより、判別関数Ｆ _Ｔとして更新する（図２、ステップＡ５）。 数式として、以下に示す。

ここで、ν

_１ （０＜ν

_１ ≦１）は縮小パラメータであり、オーバーフィッティングを防ぐ正則化のために導入されている。 ν１が導入されていることにより汎化誤差を最小にするようなＦ

_Ｔに収束することとなる。

次に、判別関数Ｆ _Ｔを用いて、損失関数を最小化する訓練データの勾配を求める（図２、ステップＡ６）。

ここで、教師あり学習におけるブースティングの損失関数は、訓練データにおける誤り率を最小化することにより、テストデータの誤り率も同時に最小化することを目的として、設計されている。 非特許文献８には、勾配ブースティングと呼ばれる方法で損失関数を判別関数により微分することで、損失関数の最小化方向を探索するという方法が記載されている。

具体的な損失関数としては、以下の数式で表されるような関数がある。

ここで、Ｌは損失関数、ｙｉはｉ番目のデータのクラスラベル、ｙｉ∈（−１，１）、Ｆ（ｘｉ）は判別関数であり、ｉ番目のデータの属性ｘｉが与えられたときの出力を表す。 損失関数は凸関数であるので、損失関数ＬをＦ（ｘｉ）で微分し、負をとることによって、損失関数の最小化方向が得られる。

ここで、ｇｉはデータｘｉの勾配であり、Ｄｌａｂｅｌｅｄは訓練データの属性とラベルの組の集合である。

次に、反復回数の指示パラメータＴに１を加える（図２、ステップＡ７）。 そしてＴの値が予め定めた定数ｔに達すれば、学習を終了する。 一方、定数ｔに達していない場合は、勾配をラベルとした判別関数の教師あり学習（図２、ステップＡ４）に戻る（図２、ステップＡ８）。

次に、判別関数Ｆ _Ｔを用いてテストデータの勾配を算出する（図２、ステップＡ９）。

ここで、テストデータはラベル無しデータである。 そのため、テストデータについては、訓練データと同じ損失関数や勾配を用いることができない。 しかし、非特許文献９において、下位学習機械の集合から得られるラベル無しデータの予測値の分散を小さくすることにより、ブースティングの汎化性能が向上できることが示されている。 すなわち、ラベル無しデータの予測値の分散を最小にするような勾配を、テストデータについて求めれば性能を向上させることが可能である。

そこで、逐次的に分散を最小化することのできる勾配を以下のようにして導出する。 下位学習機械の数がＬと下位学習機械の数がＬ＋１における予測値の分散をそれぞれ、VＬ，ＶＬ＋１とすると、

と書ける。 ここで、ｆｌはｌ番目に学習された判別関数であり、ｘｉはテストデータである。 ここで、Ｌ＋１番目の下位学習機械で求めるべき勾配をｇとすると、

と書き直すことができる。 ｇはΔＶ＝ＶＴ−ＶＴ＋１を最大化するように求めればよい。 そこで、ｇによりΔＶの微分が０になるようにｇを定める。

ここで、ΔＶがｇに関する２階微分が常に負であることから、凹関数であり、大域的な最大値を求めることができることが保証されている。 また、上記のｇをΔＶに代入すると、ΔＶ＞０であるので、単調に分散を減少させることができる。

初期学習部２１によって得られた訓練データとテストデータの勾配はパラメータ記憶部３３に格納し、学習された判別関数Ｆ _Ｔは判別関数記憶部３４に格納する。

初期学習部２１は勾配ブースティングと同一のアルゴリズムであり、テストデータの勾配を複数の判別関数から予測値の分散を求めるために学習を行う。

次に、学習部２２の動作を図３を用いて説明する。

まず、訓練データ記憶部３１とテストデータ記憶部３２から訓練データ及びテストデータが学習部２２に入力される。 また、初期学習部２１によって得られた訓練データとテストデータの勾配がパラメータ記憶部３３から学習部２２に入力される（図３、ステップＢ１）。

反復回数ｔ _２ 、縮小パラメータν _２が設定される（図３、ステップＢ２）。 反復回数を計数する指示パラメータＴを１に初期化し（図３、ステップＢ３）、訓練データとテストデータの勾配をラベルとして訓練データ及びテストデータを用いた判別関数Ｆの教師あり学習を行う（図３、ステップＢ４）。

次に、ラウンドＴ−１で得られた判別関数Ｆ _Ｔ−１に、学習により得られた判別関数Ｆを加えることにより、判別関数Ｆ _Ｔとして更新する（図３、ステップＢ５）。
得られた判別関数Ｆ _Ｔを用いて、訓練データ及びテストデータの勾配を計算する（図３、ステップＢ６）。

初期学習部２１と同様にして、訓練データ及びテストデータの勾配をそれぞれで求めた後、反復回数の指示パラメータＴに１を加える（図３、ステップＢ７）。

Ｔが予め定めた定数ｔ _２に達すれば、学習を終了する。 一方、達していない場合は、勾配をラベルとした判別関数の教師あり学習（図３、ステップＢ４）に戻る（図３、ステップＢ８）。 学習された判別関数は判別関数記憶部３４に格納する。

判別学習部２３では、テストデータをテストデータ記憶部３２から入力し、判別関数記憶部３４から判別関数を入力し、テストデータのラベルを予測する。

ラベル情報としては、例えば医学・生物学分野の場合、疾患や薬効の有無、病態の進行度の他に生存時間などを用いることができる。 教師付き学習の方法としては、例えばバギング、ブースティングなどのアンサンブル学習や、サポートベクターマシン、決定木、生存木を用いることができる。 なお、上記したラベル情報や教師付き学習方法は例示であり、他のラベル情報や教師付き学習方法を利用することも可能である。

そして、テストデータの予測結果は出力装置４から出力される。

なお、半教師あり学習装置は、ハードウェア、ソフトウェア又はこれらの組合せにより実現することができる。

次に、本発明の実施例について説明する。

実施に用いるデータとして、糖尿病に関する臨床情報を機械学習ベンチマークデータのＵＣＩレポジトリ（非特許文献１１参照）から取得した。

糖尿病発症の有無（属性名：ｄｉａｂｅｔｅｓ）を診察された７６８人の患者のうち臨床情報８項目に基づき、性能評価を行った。 ７６８人の患者のうち糖尿病と診断された者は２６８人、発症していないと診断された者は５００人である。 臨床情報の属性における欠損値については、カテゴリーデータについては、最頻カテゴリー、数値データについては、中央値により補完した。

本発明の学習パラメータとして、縮小パラメータν _１ ，ν _２ ＝１とし、訓練データの損失関数として、勾配ブースティングのＡｄａｂｏｏｓｔタイプの指数関数を用いた。 下位学習機械としては、決定木の１つであるＣＡＲＴを用いた。 ＣＡＲＴの詳細については、非特許文献１０に記載されている。 なお説明の便宜上、本発明の方法をＳＳＢｏｏｓｔ（Ｓｅｍｉ−Ｓｕｐｅｒｖｉｓｅｄ Ｂｏｏｓｔｉｎｇ）と記載する。

本発明の対照法として、訓練データのみを用いた勾配ブースティングとＣＡＲＴを用いた。 なお、勾配ブースティングの詳細は非特許文献８に記載されている。 便宜上、対照法をＡｄａｂｏｏｓｔと記載する。 ＳＳＢｏｏｓｔはＡｄａｂｏｏｓｔと全く同様に訓練データについて学習を２０回行い（ｔ１＝２０）、その後、２０回テストデータの勾配も用いて学習を行った（ｔ２＝２０）。

Ａｄａｂｏｏｓｔの反復回数は４０回とした。 ＳＳＢｏｏｓｔとＡｄａｂｏｏｓｔは計４０回の反復学習を行い、同等の条件下で、公平な性能比較を行った。 性能比較の結果を図４に示す。

図４に示された結果から、本発明の方法ＳＳＢｏｏｓｔはＡｄａｂｏｏｓｔ及びＣＡＲＴと比較して、分類性能が常に高いことが分かる。

以上より、本発明を実施することにより下位学習機械として教師あり学習を適用可能な高精度の分類器を実現する事ができる。

本発明の実施形態の基本的構成を表す図である。

本発明の実施形態における初期学習部の処理手順を示すフローチャートである。

本発明の実施形態における反復学習部の処理手順を示すフローチャートである。

本発明の実施形態の対照法として、訓練データのみを用いた勾配ブースティングとＣＡＲＴを用いた性能比較の結果を表す図である。

符号の説明

１ 入力装置２ データ処理装置３ 記憶装置４ 出力装置２１ 初期学習部２２ 学習部２３ 判別手段３１ 訓練データ記憶部３２ テストデータ記憶部３３ パラメータ記憶部３４ 判別関数記憶部