Non-negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation

密度比推定は、異常検知やドメイン適応の基礎となる方法で、Bregman ダイバージェンスの最小化として統一的に定式化できます。この研究は、深層ニューラルネットワークのような柔軟なモデルでこの最小化を行うと、経験損失の性質を突いて訓練損失だけを不自然に下げる過学習（train-loss hacking と命名）が生じることを示し、経験損失に非負化の補正を加えることで推定を安定させました。

研究が扱う問題

二つの分布の密度比を直接推定する方法は、Bregman ダイバージェンスの経験近似を最小化する形で書けます。この経験近似は、真のダイバージェンスと違って下に有界でない場合があり、表現力の高いモデルは、データに合う密度比を学ぶ代わりに、損失を際限なく下げる方向へ最適化されてしまいます。カーネル法など制約の強いモデルでは目立たなかったこの問題が、深層モデルでは推定を壊す規模で現れます。

提案した方法

経験損失のうち、本来は非負であるべき部分が負に沈むことが過学習の入口になっている点に着目し、その部分を非負に補正した損失を提案しました。補正は多くの Bregman ダイバージェンスに同じ形で適用でき、既存の学習手順への変更も小さく済みます。

主な結果と成立条件

補正した推定量について汎化誤差の上界を示しました。実験では、通常データを基準に外れを検出する異常検知（inlier-based outlier detection）で、補正なしの推定より良好な性能を確認しています。保証は汎化誤差上界の形で与えられるものであり、あらゆる異常検知の設定で最良であることを主張するものではありません。

先行研究との関係

密度比を直接推定する方法論は杉山将らが体系化し（2012年、Density Ratio Estimation in Machine Learning）、二乗損失による uLSIF（2009年、A Least-squares Approach to Direct Importance Estimation）はその代表です。経験損失の非負化という発想は、PU 学習で Kiryo らが提案した非負リスク推定（2017年、Positive-Unlabeled Learning with Non-Negative Risk Estimator）と共通しています。この研究は、その発想を Bregman ダイバージェンス最小化の一般形へ持ち込み、深層密度比推定の過学習という問題に対して理論保証つきの補正を与えました。

利用できる状況

異常の実例が少なく、通常データとの比較で異常を見つけたい場面で、深層モデルの表現力を使いながら安定した推定を行えます。画像や時系列など、特徴を自動で学びたいデータで特に有効です。異常検知への位置づけは異常検知のページで説明しています。

論文と資料

• 論文（PMLR）
• プレプリント（arXiv）
• 論文一覧の項目

BibTeX

@inproceedings{non-negative-bregman-density-ratio-estimation,
  author       = {Masahiro Kato and Takeshi Teshima},
  title        = {Non-negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation},
  year         = {2021},
  booktitle    = {International Conference on Machine Learning (ICML)},
  eprint       = {2006.06979},
  archivePrefix = {arXiv},
  url          = {https://proceedings.mlr.press/v139/kato21a.html},
}

関連する研究テーマ

• 密度比推定
• 異常検知