Command Palette
Search for a command to run...
分布シフトに対するロバスト性のための有効なベースライン
分布シフトに対するロバスト性のための有効なベースライン
Sunil Thulasidasan Sushil Thapa Sayera Dhaubhadel Gopinath Chennupati Tanmoy Bhattacharya Jeff Bilmes
概要
訓練時に見未曾見の入力カテゴリに直面した際に、自信を持って予測を下さないことは、ディープラーニングシステムの安全な展開において重要な要件である。一見すると単純なこの要件は、実際のディープラーニングでは極めて困難な課題となっており、モデルがこのような状況において過度に自信を持つ予測を下してしまう傾向がある。本研究では、放棄(abstention)の原則に基づく、シンプルながら極めて効果的な分布外検出(out-of-distribution detection)のアプローチを提案する。具体的には、未知のクラスに属するサンプルに遭遇した際に、予測を中止する(放棄する)ことが望ましい行動である。本手法は、追加の「放棄クラス」を持つネットワークを採用し、多数の分布外(OoD)サンプルを含む未整理なデータセットを用いてラベル付けされた「放棄クラス」として追加したデータで学習を行う。このようにして、モデルは分布内と分布外のサンプルを効果的に識別する能力を学習する。我々は、この相対的にシンプルなアプローチを、分布外検出およびディープラーニングにおける不確実性モデリングの分野で提案された多数の複雑な手法と比較し、画像認識およびテキスト分類の幅広いベンチマークとディープアーキテクチャにおいて、実証的にその有効性を示した。多くの場合、既存のアプローチを顕著な差で上回っている。本手法のシンプルさと高い有効性を踏まえ、今後のこの分野の研究において、本アプローチを新たな追加ベースラインとして採用すべきであると提言する。