Instruct-IPT: 重み調節を用いた統合画像処理トランスフォーマー

低レベルビジョンモデルのサイズが大きすぎ、計算コストが高いため、複数の低レベルビジョンタスクを同時に処理するためのオールインワンモデルが人気となっています。しかし、既存のオールインワンモデルはタスク範囲と性能に制限があります。これらの制限を克服するために、私たちは Instruct-IPT -- 多様な画像復元タスク（ノイズ除去、ブラー除去、雨除去、霧除去、雪除去など）に対応可能なオールインワン画像処理トランスフォーマー (IPT) を提案します。ほとんどの研究では特徴量適応手法を提案していますが、私たちはそれらが非常に異なるタスクに対応できないことを示し、重み調節という特定のタスクに適応する重みを調整する方法を提案します。まず、タスク感度のある重みを探し、その上にタスク固有のバイアスを導入します。次に、効果的な圧縮戦略のためにランク分析を行い、バイアスに対して低ランク分解を行います。さらに、一般的なバックボーンモデルとタスク固有のバイアスを同時に更新する同期学習を提案します。これにより、モデルは一般知識とタスク固有の知識を同時に学習するよう指示されます。私たちの単純ながら効果的な方法により、Instruct-IPT は異なる特性を持つタスク間で協力し合いながらも低いコストでより良いパフォーマンスを発揮できます。追加機能として、Instruct-IPT は人間からのプロンプトを受け取ることができます。私たちは Instruct-IPT の実験を行い、多様なタスクに対する私たちの方法の効果性を示しました。また、拡散型ノイズ除去器にも私たちの方法を効果的に拡張しました。コードは https://github.com/huawei-noah/Pretrained-IPT で公開されています。