16日前

学習率カリキュラム

Florinel-Alin Croitoru, Nicolae-Catalin Ristea, Radu Tudor Ionescu, Nicu Sebe
学習率カリキュラム
要約

大多数のカリキュラム学習手法は、データサンプルを難易度順に並べ替えるアプローチを必要とするが、これはしばしば実装が煩雑である。本研究では、ニューラルネットワークの各層に対して異なる学習率を用いることで、初期の訓練エポックにおいてデータに依存しないカリキュラムを構築する新たなカリキュラム学習手法「Learning Rate Curriculum(LeRaC)」を提案する。具体的には、LeRaCは入力に近い層ほど高い学習率を割り当て、入力から遠い層に近づくにつれて学習率を段階的に低下させる。初期の訓練イテレーションでは、各層の学習率が異なる速度で増加し、やがてすべての層で同じ値に達する。以降は通常の訓練手順に従ってモデルを学習する。このアプローチにより、サンプルの難易度を事前に並べ替える必要がなく、あらゆるニューラルネットワークアーキテクチャと互換性を持ちながら、モデルレベルでのカリキュラム学習戦略を実現する。その結果、アーキテクチャに依存せずに高い性能を達成できる。本研究では、コンピュータビジョン(CIFAR-10、CIFAR-100、Tiny ImageNet、ImageNet-200、Food-101、UTKFace、PASCAL VOC)、自然言語処理(BoolQ、QNLI、RTE)、音声(ESC-50、CREMA-D)の領域から構成される12のデータセットにおいて、広範な実験を実施した。また、様々なアーキテクチャ(畳み込みニューラルネットワーク:ResNet-18、Wide-ResNet-50、DenseNet-121、YOLOv5、再帰型ネットワーク:LSTM、Transformer:CvT、BERT、SepTr)を対象に評価を行った。従来の訓練手法および最先端のデータに依存しないカリキュラム学習手法である「Smoothingによるカリキュラム(CBS)」と比較した結果、LeRaCはすべてのデータセットおよびモデルにおいて、標準訓練手法に対する一貫した性能向上を示した。さらに、訓練時間の観点からもCBSを大きく上回り、標準訓練手法に追加コストを伴わない(LeRaCは標準的な訓練プロセスと同等の計算コストで実行可能)。本研究のコードは、以下のURLから無料で公開されている:https://github.com/CroitoruAlin/LeRaC。

学習率カリキュラム | 最新論文 | HyperAI超神経