CARAFE: コンテンツ認識型特徴量再構築

特徴量アップサンプリングは、現代の畳み込みネットワークアーキテクチャ（例：特徴ピラミッド）において重要な操作であり、物体検出やセマンティック/インスタンス分割などの密集予測タスクにおいてその設計が極めて重要です。本研究では、この目的を達成するために普遍的で軽量かつ非常に効果的なオペレータであるContent-Aware ReAssembly of FEatures (CARAFE)を提案します。CARAFEには以下の魅力的な特性があります：(1) 大きな視野範囲。以前の手法（例：双線形補間）がサブピクセル近傍のみを利用するのに対し、CARAFEは大きな受容野内でコンテキスト情報を集約することができます。(2) コンテンツに応じた処理。すべてのサンプルに対して固定されたカーネルを使用する（例：逆畳み込み）のではなく、CARAFEはインスタンス固有のコンテンツに応じた処理を可能とし、適応的なカーネルを即座に生成します。(3) 軽量で高速な計算。CARAFEはわずかな計算負荷しか導入せず、現代のネットワークアーキテクチャに容易に統合できます。我々は物体検出、インスタンス/セマンティック分割および欠損補完における標準ベンチマークで包括的な評価を行いました。CARAFEは各タスクにおいて一貫して大幅な改善（それぞれ1.2%、1.3%、1.8%、1.1dB）を示し、計算負荷もほとんどありません。これによりCARAFEは将来の研究における強力な構成要素として大きな可能性を持つことが示されました。コードとモデルは https://github.com/open-mmlab/mmdetection から入手可能です。