ロバスト性の多様な側面：分布外一般化に関する批判的分析

本研究では、画像のスタイル変化、ぼやけ具合、地理的場所、カメラの操作など、複数の実世界における分布シフトを含む4つの新しい実世界分布シフトデータセットを紹介する。これらの新データセットを用いて、これまでに提案された分布外（out-of-distribution）ロバスト性を向上させる手法を総括的に評価し、実証的に検証した。その結果、従来の研究で主張されていたものとは異なり、より大きなモデルを用いることや人工的なデータ拡張（data augmentation）を導入することで、実世界における分布シフトに対してロバスト性が向上することが明らかになった。また、人工的なロバスト性ベンチマークでの改善が、実世界の分布シフトにまで一般化されることも確認されたが、これは過去の研究における主張と矛盾する結果である。本研究では、データ拡張が実世界の分布シフトに対しても有効であるという観察に基づき、新たなデータ拡張手法を提案した。この手法は、既存の最先端技術を上回り、1000倍のラベル付きデータで事前学習されたモデルをも凌駕する性能を発揮した。全体として、テクスチャや局所的な画像統計量に関する分布シフトに対しては、ある種の手法が一貫して効果を発揮することが分かったが、地理的変化など他の種類の分布シフトに対しては効果が限定的であることも明らかになった。本研究の結果から、今後の研究では、複数の分布シフトを同時に考慮する必要があることが示された。なぜなら、評価したすべての手法が一貫してロバスト性を向上させるものではないことが、本研究で実証されたからである。