要約
最近の自動データ拡張手法は、最先端の性能を達成しているものの、その設計空間および導出される拡張戦略には依然として強い人間の事前知識（ヒューリスティック）が組み込まれている。本研究では、探索されたデータ拡張と併せて手動で選定されたデフォルトの拡張を固定するのではなく、完全に自動化されたデータ拡張探索手法であるDeep AutoAugment（DeepAA）を提案する。DeepAAは、収束するまで1段階ずつ拡張層を積み重ねることで、完全に新しいマルチレイヤー構造のデータ拡張パイプラインを段階的に構築する。各拡張層においては、元データと拡張データの勾配間のコサイン類似度を、分散が小さい方向に沿って最大化するように方策を最適化する。実験の結果、デフォルトの拡張を一切使用せずに、従来の手法と同等の高い性能を達成する拡張方策を学習可能であることが示された。広範なアブレーション研究により、正則化された勾配マッチングがデータ拡張方策探索において有効な手法であることが確認された。本研究のコードは以下のURLで公開されている：https://github.com/MSU-MLSys-Lab/DeepAA。