Mixup 訓練について: 深層ニューラルネットワークの改善されたキャリブレーションと予測不確実性

Mixup~\cite{zhang2017mixup} は、深層ニューラルネットワークの学習において、訓練中に画像とその関連ラベルのランダムなペアを凸結合（convex combination）して追加のサンプルを生成する最近提案された手法です。実装が簡単であるにもかかわらず、画像分類におけるデータ拡張方法として驚くほど効果的なことが示されています：Mixup を使用して訓練された DNN は、多くの画像分類ベンチマークで分類性能に顕著な向上が見られます。本研究では、これまで触れられていなかった Mixup 訓練の側面 -- Mixup 訓練されたモデルのキャリブレーションと予測不確実性 -- を議論します。我々は、Mixup を使用して訓練された DNN が通常の方法で訓練された DNN よりも大幅にキャリブレーションが良くなっていることを発見しました -- つまり、予測されるソフトマックススコアが正解予測の実際の確率をよりよく示す指標となっています。我々は数々の画像分類アーキテクチャとデータセット（大規模データセットである ImageNet を含む）に対して実験を行い、この結果が得られることを確認しました。さらに、特徴量だけを混合するだけでは同じようなキャリブレーション効果が得られないことを見出し、Mixup 訓練におけるラベル平滑化（label smoothing）がキャリブレーション改善に重要な役割を果たしていることを発見しました。最後に、Mixup で訓練された DNN は外れ値データやランダムノイズデータに対する過信予測（over-confident predictions）にあまり陥らないことも観察されました。我々は、神経망においてさえ分布内データでも一般的に見られる過信傾向がハードラベルでの訓練の結果である可能性が高いと結論付けました。これは予測不確実性が重要な懸念事項となる分類タスクにおいて Mixup の利用を推奨しています。