LLaMA-Adapter: ゼロ初期化アテンションを用いた言語モデルの効率的な微調整

私たちは LLaMA-Adapter を提案します。これは、LLaMA を効率的に指示に従うモデルに微調整するための軽量な適応手法です。52,000 件の自己指示デモンストレーションを使用して、LLaMA-Adapter は凍結された LLaMA 7B モデルに対してわずか 1.2M の学習可能なパラメータを導入し、8 個の A100 GPU 上で微調整にかかる時間は 1 時間未満です。具体的には、学習可能な適応プロンプトのセットを採用し、これを上位のトランスフォーマー層の単語トークンの前に追加します。その後、ゼロ初期化された注意機構とゼロゲーティングを提案します。これにより、新しい指示情報を LLaMA に適応的に注入しながら、事前学習された知識を効果的に保持することができます。私たちの効率的な訓練により、LLaMA-Adapter は高品質な応答を生成でき、完全に微調整された 7B パラメータを持つ Alpaca と同等の性能を達成しています。さらに、言語コマンドだけでなく、当手法は画像条件付き LLaMA モデルの多モーダル指示にも簡単に拡張できます。これにより、ScienceQA および COCO Caption ベンチマークでの優れた推論性能が得られます。また、ゼロ初期化された注意機構を伝統的な視覚および言語タスクでの他の事前学習モデル（ViT, RoBERTa）の微調整に評価した結果も示しており、当手法の優れた汎化能力が確認されました。コードは https://github.com/OpenGVLab/LLaMA-Adapter で公開されています。