要約
マスク自動符号化器（Masked AutoEncoders: MAE）は、幅広い下流タスクにおいて優れた性能を発揮する堅牢な自己教師付き学習フレームワークとして登場している。より困難な事前タスクを設定し、豊かな視覚表現を学習するため、従来のランダムマスキングに代えて、敵対的ガイド付きや教師モデルガイド付きといったより洗練されたマスキング戦略の導入が行われてきた。しかしながら、これらの戦略は入力データに依存するため、モデルの複雑性を増加させ、マスクパターンを生成するための追加計算を必要とするという課題がある。このことから以下の疑問が生じる：入力データに依存せず、追加の計算コストを伴わずにMAEの性能をランダムマスキングを超えて向上させることは可能だろうか？本研究では、データに依存しないシンプルかつ効果的な手法であるColorMAEを提案する。ColorMAEは、ランダムノイズをフィルタリングすることで異なるバイナリマスクパターンを生成する。画像処理におけるカラーノイズの特性に着想を得て、空間的および意味的事前知識を異なる形で持つマスクパターンを生成するための4種類のフィルタを検討した。ColorMAEはネットワーク内に追加の学習可能なパラメータも、計算負荷も一切不要であるが、学習された表現の質を著しく向上させる。広範な実証的評価を通じて、ランダムマスキングと比較して本戦略が下流タスクにおいて優れた性能を示すことを実証した。特に、ベースラインMAE実装と比較して、セマンティックセグメンテーションタスクにおいてmIoUが2.72向上することを報告した。