要約
本研究は、プロンプトチューニングにおける「ベース・ニューディールマ（Base-New Tradeoff: BNT）」のジレンマを克服した。すなわち、チューニングされたモデルがベース（またはターゲット）タスクに対して優れた一般化性能を発揮するほど、新しいタスクへの一般化性能が低下し、逆もまた然りというトレードオフ関係である。具体的には、ベースタスクと新しいタスクの学習された特徴を詳細に分析した結果、BNTは「チャネルバイアス（channel bias）」に起因することが明らかになった。すなわち、特徴チャネルの大部分がベースタスク固有の知識によって占められ、新タスクに重要であるタスク共有知識が崩壊してしまうことが原因である。これを解決するため、本研究では「デカップルド・プロンプトチューニング（Decoupled Prompt Tuning: DePT）」フレームワークを提案する。DePTは、プロンプトチューニングの過程において、ベースタスク固有の知識を特徴チャネルから分離し、独立した特徴空間に移動させることで、元の特徴空間にタスク共有知識を最大限に保持する。その結果、新しいタスクに対するゼロショット一般化性能が向上する。重要な点として、DePTは既存のプロンプトチューニング手法と直交しており、すべての既存手法を向上させることができる。11のデータセットにおける広範な実験により、DePTの高い柔軟性と有効性が確認された。本研究のコードおよび事前学習済みモデルは、https://github.com/Koorye/DePT にて公開されている。