分布外検出のための極めてシンプルなアクティベーション形状化

機械学習モデルの訓練と展開の間には明確な分離が存在するため、展開段階で遭遇するすべてのシナリオを訓練段階で予測することは不可能であり、したがって訓練の進展にのみ依存する手法には限界がある。分布外（Out-of-Distribution, OOD）検出は、モデルが未知の状況をどのように処理できるかを厳しく検証する重要な分野であり、「モデルは自分が知らないことを認識しているか？」という問いに答える能力を問う。既存のOOD検出手法は、追加の訓練ステップや追加データ、あるいは学習済みネットワークへの大幅な修正を必要とするものが多い。これに対して、本研究では、非常に単純かつ後処理型（post-hoc）、実行時（on-the-fly）に適用可能な活性化形状調整手法「ASH（Activation Shaping at Inference）」を提案する。この手法では、後段のレイヤーにおけるサンプルの活性化の大部分（例：90％）を削除し、残りの一部（例：10％）を単純化または軽度に調整する。この形状調整は推論時に行われ、訓練データから算出された統計情報は一切不要である。実験結果から、このような単純な処理によって、分布内（in-distribution）と分布外の識別が著しく向上し、ImageNet上で最先端のOOD検出性能を達成することが可能であると同時に、分布内精度に顕著な低下は見られなかった。動画、アニメーション、コードは以下のURLで公開されている：https://andrijazz.github.io/ash