エキスパートモデルを用いたスケーラブルな転移学習

事前学習された表現の転移は、新しいタスクに対するサンプル効率を向上させ、計算リソースの要求を低減することができる。しかし、転移に用いられる表現は通常、汎用的なものであり、特定の下流タスクの分布に適合されていない。本研究では、シンプルでありながら効果的な戦略を用いて、専門家表現（expert representations）の転移を検討する。既存のラベル構造を活用して多様な専門家を学習し、各ターゲットタスクに対して計算コストが低い性能プロキシを用いて関連する専門家を選択する。この戦略により、タスク転移プロセスがスケーラブルとなる。なぜなら、転移の過程で事前学習データを再び参照する必要がなく、ターゲットタスクごとに追加の計算リソースが極めて少なくて済むからである。その結果、競合手法と比較して2〜3桁の高速化が実現される。さらに、多数の専門家を一つのモデルに圧縮できるアダプタベースのアーキテクチャを提案する。2つの異なるデータソース上で本手法を評価した結果、いずれのケースにおいても20以上の多様な視覚タスクでベースラインを上回る性能を達成した。