適応的実験計画
A/B テストの精度は、処置の割り当て方だけでなく、誰を実験に含めるかにも左右されます。このテーマでは、実験の途中で得た結果を使って割当と対象の選択を逐次更新し、限られた標本で処置効果を精度よく推定する実験設計を研究しています。代表的な成果は、ICML 2024 に口頭発表として採択された Active Adaptive Experimental Design for Treatment Effect Estimation with Covariate Choices（Kato, Oga, Komatsubara, and Inokuchi, 2024）です。
扱う問題
実験の設計では、誰を実験に含めてどの処置を割り当てるかに加えて、途中の結果を次の割当にどう反映し、集めた標本から効果をどう推定するかまで、一連の選択を決める必要があります。従来の適応的実験は、このうち処置の割当確率の更新を主に扱ってきました。私たちの研究では、どのような共変量を持つ対象を実験に含めるかという標本の選択まで同時に最適化すると、平均処置効果の推定分散の理論限界をさらに下げられることを示し、その限界を達成する実験設計と推定量を提案しました。
実験費用が高く標本を増やせない、実験期間を延ばせない、といった制約の下で結論の精度を上げたい場面を想定しています。
中心となる研究
Active Adaptive Experimental Design のページで、問題設定、提案した実験設計、理論的な保証を説明しています。
研究の系列
- 2024年
- Adaptive Experimental Design for Policy Learning。効果の推定ではなく、誰に処置を割り当てるべきかという方策の学習を目的とした実験設計。
- 2021年
- Policy Choice and Best Arm Identification: Asymptotic Analysis of Exploration Sampling。実験終了後に最良の施策を選ぶ問題の漸近分析。
- 2020年
- Efficient Adaptive Experimental Design for Average Treatment Effect Estimation。処置割当を逐次更新して平均処置効果を効率よく推定する初期の研究。
先行研究との関係
平均処置効果の推定分散がどこまで下げられるかという理論限界は、Hahn の研究（1998年、On the Role of the Propensity Score in Efficient Semiparametric Estimation of Average Treatment Effects）で導かれました。この限界を実験設計に生かし、処置の割当確率を適応的に最適化する方法は Hahn、Hirano、Karlan の研究（2011年、Adaptive Experimental Design Using the Propensity Score）が確立しています。私たちの研究は、割当確率に加えて実験対象の共変量分布まで設計変数に含めることで、この系譜を一般化したものです。
ビジネスとの接続
広告や施策の検証で実験の回数や予算が限られている、医療や製造のように1標本の費用が高い、といった場面で、同じ予算からより確かな結論を引き出すための設計を提供します。実験設計や効果検証の進め方に関するご相談はお問い合わせフォームからどうぞ。