低データ転移学習のためのディープアンサンブル

低データ環境下では、スクラッチから良好な教師ありモデルを学習することは困難である。そのため、実務家たちは転移学習を活用して事前学習済みモデルを用いる。アンサンブルは、実証的および理論的にも強力な予測モデルを構築する有望な手法であるが、異なるランダム初期化で複数の深層ネットワークを訓練する従来のアプローチは、事前学習済み重みを用いた転移学習のニーズと矛盾する。本研究では、事前学習済みモデルからアンサンブルを構成するさまざまな手法を検討する。我々は、事前学習そのものが多様性の有効な源であることを示し、任意の下流データセットに対して効率的に適した事前学習済みモデルのサブセットを特定する実用的なアルゴリズムを提案する。本手法は単純である：最近傍精度を用いて事前学習済みモデルをランク付けし、最も良いモデルを小さなハイパーパラメータサーチで微調整した後、検証クロスエントロピーを最小化するように貪欲にアンサンブルを構築する。19の異なる下流タスク（Visual Task Adaptation Benchmark）において、強力なベースラインと比較して評価した結果、2,000を超える事前学習済みモデルの中から選択しても、はるかに低い推論予算で最先端の性能を達成した。また、ImageNetの変種においても本アンサンブルの性能を評価し、分布シフトに対するロバスト性の向上を示した。