DADA：微分可能な自動データ拡張

データ拡張（Data Augmentation, DA）技術は、データの多様性を高めることを目的としており、その結果、より汎化性能の優れた深層ネットワークの学習が可能となる。初期の研究であるAutoAugmentは、強化学習を用いて最適なDAポリシーの探索を自動化した。しかし、AutoAugmentは極めて計算コストが高く、広範な適用に制限がある。その後の研究として、Population Based Augmentation（PBA）やFast AutoAugmentが効率性の向上を図ったが、依然として最適化の速度がボトルネックとなっている。本論文では、計算コストを著しく低減する「微分可能な自動データ拡張（Differentiable Automatic Data Augmentation, DADA）」を提案する。DADAはGumbel-Softmaxを用いて離散的なDAポリシー選択を微分可能な最適化問題に緩和する。さらに、偏りのない勾配推定器であるRELAXを導入し、効率的かつ有効な1パス最適化戦略により、効率的かつ正確なDAポリシーの学習を実現する。本研究ではCIFAR-10、CIFAR-100、SVHN、ImageNetの各データセット上で広範な実験を実施した。さらに、下流の検出タスクにおける事前学習において、自動DAの価値を示した。実験結果から、DADAは最先端技術と比較して少なくとも1桁以上高速でありながら、非常に類似した精度を達成することが明らかになった。実装コードはGitHubにて公開されている（https://github.com/VDIGPKU/DADA）。