NAS-OoD: 分布外一般化のためのニューラルアーキテクチャサーチ

分布外一般化（Out-of-Distribution, OoD）に関する最近の進展は、ディープラーニングモデルが分布シフトに対して有する頑健性を明らかにしている。しかし、従来の研究は不変リスク最小化やドメイン一般化、安定学習などのOoDアルゴリズムに焦点を当てており、ディープモデルのアーキテクチャがOoD一般化に与える影響については考慮されていない。このため、最適な性能が得られない可能性がある。ニューラルアーキテクチャ探索（Neural Architecture Search, NAS）手法は、訓練データ上の性能に基づいてアーキテクチャを探索するが、これによりOoDタスクに対する一般化性能が劣化する可能性がある。本研究では、OoD一般化に対する頑健なニューラルアーキテクチャ探索（NAS-OoD）を提案する。この手法は、勾配降下法を用いて生成されたOoDデータにおける性能に基づいてアーキテクチャを最適化する。具体的には、異なるニューラルアーキテクチャによって計算された損失を最大化するようにデータ生成器を学習し、アーキテクチャ探索の目的は合成されたOoDデータの損失を最小化する最適なアーキテクチャパラメータを見つけることである。データ生成器とニューラルアーキテクチャはエンドツーエンドの形で共同最適化され、ミニマックス学習プロセスにより、さまざまな分布シフトに対して良好な一般化性能を示す頑健なアーキテクチャが効果的に発見される。広範な実験結果から、NAS-OoDは深層モデルを用いてもパラメータ数を大幅に削減しつつ、さまざまなOoD一般化ベンチマークで優れた性能を達成することが確認された。さらに、実際の産業データセット上でも、最先端手法と比較して誤差率を70％以上低減するという成果が得られ、本手法の実用性が実証された。