Learning from Positive and Unlabeled Data with a Selection Bias

PU 学習は、正例と未ラベルデータだけから分類器を学習する方法です。標準的な理論は、ラベルの付いた正例が正例全体から無作為に選ばれていることを仮定しますが、現実のデータでこの仮定はしばしば破れます。この研究は、正例の選ばれ方に偏りがある状況を定式化し、その下でも分類器を学習できる方法を提案しました。

研究が扱う問題

購買履歴からの見込み客推定では「買った人」だけが正例として観測され、医療データでは診断済みの患者だけが正例になります。このとき、目立つ顧客ほど先に見つかり、症状の重い患者ほど先に診断されるという形で、ラベルの付き方には特徴に依存した偏りが生じます。無作為なラベル付けを仮定する従来の PU 学習をこうしたデータに使うと、学習された分類器は偏りの影響を受けます。この研究は、偏りの生じ方について現実的な仮定を置いたうえで、どこまで分類を学習できるかを問うものです。

提案した方法

ラベルの付きやすさが特徴に依存することを認めたうえで、その付きやすさと分類したい確率との間に成り立つ関係を仮定として明示し、その仮定の下で一致性が成り立つ学習手順を導きます。提案手法は、既存の PU 学習の推定量を、偏りを織り込んだ形に組み替えるものです。

主な結果と成立条件

提案手法が仮定の下で分類器を学習できることを理論的に示し、ベンチマークデータでの実験により、偏りのあるデータで、無作為なラベル付けを仮定する手法よりも良い分類性能を確認しました。仮定が成り立たないほど強い偏りがある場合には、この保証はそのまま適用できません。方法と仮定の正確な記述は論文本体を参照してください。

先行研究との関係

PU 学習の定式化は Elkan と Noto に始まります（2008年、Learning classifiers from only positive and unlabeled data）。統計的なリスク推定に基づく学習理論は du Plessis らが整え（2015年、Convex Formulation for Learning from Positive and Unlabeled Data）、深層モデルでの過学習対策として Kiryo らの非負リスク推定があります（2017年、Positive-Unlabeled Learning with Non-Negative Risk Estimator）。これらはラベル付き正例の無作為抽出（selected completely at random）を仮定しており、この研究はその仮定を緩めた設定を扱った点で系譜を広げました。PU 学習全体の見取り図としては Bekker と Davis の概説（2020年、Learning from positive and unlabeled data: a survey）があります。

利用できる状況

正例のラベルが「見つかった順」に付いていくようなデータ、たとえば既存顧客、診断済み患者、発見済みの不正だけが分かっている状況での分類に使えます。この研究を起点に、潜在顧客の特定や処置効果推定への応用が続いており、弱教師あり学習のページで系列を説明しています。

論文と資料

• 論文（OpenReview）
• 論文一覧の項目

BibTeX

@inproceedings{pu-learning-selection-bias,
  author       = {Masahiro Kato and Takeshi Teshima and Junya Honda},
  title        = {Learning from Positive and Unlabeled Data with a Selection Bias},
  year         = {2019},
  booktitle    = {International Conference on Learning Representations (ICLR)},
  url          = {https://openreview.net/forum?id=rJzLciCqKm},
}

関連する研究テーマ

• 弱教師あり学習
• 因果推論