CATE Lasso: Conditional Average Treatment Effect Estimation with High-Dimensional Linear Regression

Masahiro Kato and Masaaki Imaizumi。2023年。プレプリント（arXiv:2310.16819）。 English

共変量の次元が標本数を超えるような状況で、個人ごとの処置効果、すなわち条件付き平均処置効果（CATE）を推定する方法を提案しました。高次元の回帰では通常、係数の多くが 0 だという疎性を仮定しますが、この研究は各処置の回帰モデルには疎性を置かず、二つのモデルの係数の差にだけ罰則をかける Lasso を作り、一致性を示しています。

研究が扱う問題

CATE は、共変量で条件づけたときの二つの処置の期待結果の差であり、効果が個人によってどう違うかを表します。これを線形回帰で推定する場合、共変量の次元が標本数より大きいと、最小二乗法の解は一致性のような性質を失います。そこで Lasso のような疎性を前提とする方法が使われますが、各処置の結果を説明する係数の大半が 0 だという仮定は、いつも妥当とは限りません。

提案した方法

出発点は、二つの回帰モデルの係数を、処置によって値が変わる部分と、処置によらず共通する部分に分けられる、という仮定です。CATE は二つのモデルの差ですから、共通部分は差を取ると消え、処置によって変わる部分だけが残ります。したがって、各モデル自体が疎でなくても、CATE の係数のうち 0 でないものは処置によって変わる部分に限られます。論文はこの性質を暗黙の疎性（implicit sparsity）と呼び、係数そのものではなく二つのモデルの係数の差に ℓ1 罰則をかける Lasso を構成しました。

主な結果と成立条件

暗黙の疎性のもとで、提案した推定量が CATE について一致性を持つことを示しました。興味深いのは、各処置の回帰モデルの係数それぞれについては一致性を示せないのに、その差である CATE については示せる点です。条件は、処置によって変わる係数の個数が少ないことであり、各モデルが疎である場合もこの条件に含まれます。傾向スコアや条件付き期待値といった撹乱母数を推定せずに済むことも、逆確率重みづけや二重頑健な方法と比べた利点です。シミュレーションでは、最小二乗法や通常の Lasso を使う T-learner と比べて、二乗誤差の平方根が小さくなることを確かめています。処置によって変わる係数の個数を増やすほど、提案手法の性能は最小二乗法に近づきます。

先行研究との関係

高次元の線形回帰に ℓ1 罰則を使う方法は Tibshirani の Lasso に始まります（1996年、Regression Shrinkage and Selection Via the Lasso）。CATE 推定の方法は、Künzel らが整理したメタ学習器の枠組みで比較されることが多く（2019年、Metalearners for estimating heterogeneous treatment effects using machine learning）、この研究が提案する推定量は、処置ごとに回帰を当てはめる T-learner に属します。Nie と Wager の R-learner は Robinson の分解を使い（2021年、Quasi-oracle estimation of heterogeneous treatment effects）、Kennedy の DR-learner は二重頑健な擬似結果を作ってから回帰します（2023年、Towards optimal doubly robust estimation of heterogeneous causal effects）。どちらも傾向スコアや条件付き期待値の推定を必要とし、共変量が高次元だとその推定自体に疎性のような仮定が要ります。この研究は、そこを迂回して CATE の構造だけを使う点が違います。

利用できる状況

変数を多く持つ顧客データや医療データで、誰に効果が出やすいかを見たい場面を想定しています。結果を説明する要因が多くても、処置によって効き方が変わる要因は限られる、という見立てが立つときに向きます。

論文と資料

BibTeX

@misc{cate-lasso,
  author       = {Masahiro Kato and Masaaki Imaizumi},
  title        = {CATE Lasso: Conditional Average Treatment Effect Estimation with High-Dimensional Linear Regression},
  year         = {2023},
  eprint       = {2310.16819},
  archivePrefix = {arXiv},
  url          = {https://arxiv.org/abs/2310.16819},
}