17日前

AutoMix:ミックスアップの力を解き放つことで強力な分類器を実現する

Zicheng Liu, Siyuan Li, Di Wu, Zihan Liu, Zhiyuan Chen, Lirong Wu, Stan Z. Li
AutoMix:ミックスアップの力を解き放つことで強力な分類器を実現する
要約

データミキシング拡張手法は、深層ニューラルネットワークの汎化能力を向上させる上で有効であることが実証されている。初期の手法は手動で設計されたポリシー(例:線形補間)を用いてサンプルを混合していたが、近年の手法では、サリエンシー情報を利用して複雑なオフライン最適化により混合サンプルとラベルを一致させるアプローチが採用されている。しかしながら、こうした手法では、混合ポリシーの精度と最適化の複雑さの間にトレードオフが生じる問題がある。本研究では、この課題に対処するため、新たな自動ミキシング(AutoMix)フレームワークを提案する。本フレームワークでは、ミキシングポリシーをパラメータ化し、最終的な分類目的に直接的に寄与するように設計されている。具体的には、AutoMixはミキシング分類を「混合サンプル生成」と「ミキシング分類」という二つのサブタスクに再定式化し、それぞれに対応するサブネットワークを設け、バイレベル最適化フレームワークで同時解決する。混合サンプル生成の側では、対応する混合ラベルによる直接的な教師信号のもとで、パッチ単位の関係性をモデル化する学習可能な軽量なミキシング生成モジュール「Mix Block」を設計した。また、バイレベル最適化における劣化や不安定性を防ぐために、エンドツーエンドでの訓練を可能にするモーメンタムパイプラインを導入した。9つの画像ベンチマークにおける広範な実験により、AutoMixが、さまざまな分類シナリオおよび下流タスクにおいて、最先端手法と比較して優れた性能を発揮することが確認された。