4ヶ月前

PC-DARTS: メモリ効率の高いアーキテクチャ探索のための部分チャネル接続

Yuhui Xu; Lingxi Xie; Xiaopeng Zhang; Xin Chen; Guo-Jun Qi; Qi Tian; Hongkai Xiong
PC-DARTS: メモリ効率の高いアーキテクチャ探索のための部分チャネル接続
要約

異なるiable アーキテクチャ探索(DARTS)は、効果的なネットワークアーキテクチャを見つけるための高速な解決策を提供しましたが、スーパーネットワークと最適なアーキテクチャの同時訓練において大きなメモリおよび計算オーバーヘッドが問題でした。本論文では、ネットワーク空間の探索における冗長性を削減するためにスーパーネットワークの一部だけをサンプリングする新しい手法、すなわち部分接続DARTS(Partially-Connected DARTS)を提案します。これにより、性能を損なうことなくより効率的な探索を行うことが可能となります。特に、チャンネルのサブセットで操作探索を行い、残りの部分はショートカットでバイパスします。この戦略は、異なるチャンネルをサンプリングすることによってスーパーネットワークのエッジ選択に不整合が生じる可能性があります。私たちはエッジ正規化を使用してこれを軽減し、新しい一連のエッジレベルパラメータを追加することで探索における不確実性を低減します。メモリコストの削減により、PC-DARTSはより大きなバッチサイズで訓練でき、その結果、速度が速く且つ訓練の安定性が高いという利点があります。実験結果は提案手法の有効性を示しています。具体的には、CIFAR10でのアーキテクチャ探索に0.1 GPU日間しか必要とせず2.57% の誤認識率を達成し、ImageNet(モバイル設定下)では3.8 GPU日間で24.2% のトップ-1誤認識率という最先端の結果を得ました。私たちのコードは以下のURLから利用可能です: https://github.com/yuhuixu1993/PC-DARTS.注:「異なるiable」は「differentiable」の誤訳です。「微分可能」または「Differentiable」と表記すべきです。修正后的翻译:微分可能なアーキテクチャ探索(DARTS)は、効果的なネットワークアーキテクチャを見つけるための高速な解決策を提供しましたが、スーパーネットワークと最適なアーキテクチャの同時訓練において大きなメモリおよび計算オーバーヘッドが問題でした。本論文では、ネットワーク空間の探索における冗長性を削減するためにスーパーネットワークの一部だけをサンプリングする新しい手法、すなわち部分接続DARTS(Partially-Connected DARTS)を提案します。これにより、性能を損なうことなくより効率的な探索を行うことが可能となります。特に、チャンネルのサブセットで操作探索を行い、残りの部分はショートカットでバイパスします。この戦略は、異なるチャンネルをサンプリングすることによってスーパーネットワークのエッジ選択に不整合が生じる可能性があります。私たちはエッジ正規化を使用してこれを軽減し、新しい一連のエッジレベルパラメータを追加することで探索における不確実性を低減します。メモリコストの削減により、PC-DARTSはより大きなバッチサイズで訓練でき、その結果として速度が速く且つ訓練の安定性が高いという利点があります。実験結果は提案手法の有効性を示しており、具体的にはCIFAR10でのアーキテクチャ探索に0.1 GPU日間しか必要とせず2.57% の誤認識率を達成し、ImageNet(モバイル設定下)では3.8 GPU日間で24.2% のトップ-1誤認識率という最先端の結果を得ました。私たちのコードは以下のURLから利用可能です: https://github.com/yuhuixu1993/PC-DARTS.