SegNeXt: semantic segmentationのための畳み込み注意設計の再考

私たちはセマンティックセグメンテーション用の単純な畳み込みネットワークアーキテクチャであるSegNeXtを提案します。最近のトランスフォーマーに基づくモデルは、自己注意が空間情報を効率的に符号化するため、セマンティックセグメンテーション分野で主流となっています。本論文では、トランスフォーマーの自己注意機構よりも、畳み込み注意がコンテキスト情報を符号化する上でより効率的かつ効果的な方法であることを示します。成功したセグメンテーションモデルが持つ特性を見直すことで、パフォーマンス向上に寄与するいくつかの重要な構成要素を発見しました。これにより、安価な畳み込み演算を使用した新しい畳み込み注意ネットワークを設計することに着想を得ました。特別な工夫なしに、私たちのSegNeXtはADE20K、Cityscapes、COCO-Stuff、Pascal VOC、Pascal Context、iSAIDなどの人気ベンチマークにおいて、従来の最先端手法を大幅に上回る性能を達成しています。特に、SegNeXtはEfficientNet-L2 w/ NAS-FPN（1/10のパラメータのみを使用）と比較してPascal VOC 2012テストリーダーボードで90.6%のmIoU（平均交差率）を達成し、ADE20Kデータセットにおいて同等または少ない計算量で約2.0%のmIoU改善を達成しています。コードはhttps://github.com/uyzhang/JSeg (Jittor) および https://github.com/Visual-Attention-Network/SegNeXt (Pytorch) から入手可能です。