事前学習済み画像処理トランスフォーマー

現代のハードウェアの計算能力が急速に向上していることにより、大規模データセットで学習された事前学習済みの深層学習モデル（例：BERT, GPT-3）は、従来の手法を上回る効果を示しています。この大きな進歩は主に、トランスフォーマーとその変種アーキテクチャの表現能力に起因しています。本論文では、低レベルのコンピュータビジョンタスク（例：ノイズ除去、超解像、雨除去）について研究し、新しい事前学習済みモデルである画像処理トランスフォーマー（IPT）を開発しました。トランスフォーマーの能力を最大限に引き出すために、有名なImageNetベンチマークを使用して大量の劣化画像ペアを生成することを提案します。IPTモデルはこれらの画像上でマルチヘッドおよびマルチテールで学習されます。さらに、異なる画像処理タスクへの適応性を高めるために対照学習が導入されています。これにより、ファインチューニング後に目的のタスクに対して効率的に利用できるようになります。単一の事前学習済みモデルだけで、IPTは様々な低レベルベンチマークにおいて現行の最先端手法を上回っています。コードは以下のURLから入手可能です：https://github.com/huawei-noah/Pretrained-IPT および https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/IPT