リアルタイムインスタンスセグメンテーションのためのスパースインスタンスアクティベーション

本論文では、概念的に新しく、効率的で、完全に畳み込み型のリアルタイムインスタンスセグメンテーションフレームワークを提案します。従来のインスタンスセグメンテーション手法は、物体検出に大きく依存し、バウンディングボックスや密集した中心点に基づいてマスク予測を行っていました。これに対して、我々は新しい物体表現として、各前景物体の情報量の多い領域を強調するための疎なインスタンス活性化マップ（instance activation maps）を提案します。次に、認識とセグメンテーションのために、これらの強調された領域に基づいて特徴量を集約してインスタンスレベルの特徴量を得ます。さらに、二部グラフの最適マッチング（bipartite matching）に基づき、インスタンス活性化マップが一対一のスタイルで物体を予測できるため、後処理での非最大値抑制（Non-Maximum Suppression, NMS）を回避できます。この単純かつ効果的な設計により、SparseInstは非常に高速な推論速度を持ち、COCOベンチマークにおいて40 FPSと37.9 APを達成しており、速度と精度において既存の手法を大幅に上回っています。コードとモデルは https://github.com/hustvl/SparseInst で公開されています。