要約
クロスドメイン・ファーソットラーニング（CDFSL）手法は、一般的にタスク非特異的パラメータとタスク特異的パラメータでモデルをパラメータ化します。タスク特異的パラメータの適応のために、最近のアプローチでは固定された最適化戦略が利用されていますが、異なるドメインや目標タスクにおいてその効果が必ずしも最適ではない可能性があります。この問題に対処するため、私たちは新しい適応機構であるタスク特異的前処理勾配降下法（Task-Specific Preconditioned gradient descent, TSP）を提案します。私たちの手法はまず、各メタトレーニングドメインの特性を捉えるドメイン特異的前処理器（Domain-Specific Preconditioners, DSPs）をメタ学習します。その後、これらの前処理器はタスク係数を使用して線形結合され、タスク特異的前処理器が形成されます。この前処理器は勾配降下法に適用され、最適化が目標タスクに適応します。また、前処理器を正定値に制約することで、前処理された勾配が最も急な降下方向に向かうように誘導します。Meta-Datasetにおける実験評価では、TSPが多様な実験シナリオにおいて最先端の性能を達成することが示されました。