高品質なインスタンスセグメンテーションのためのマスクトランスファイナー

2段階型およびクエリベースのインスタンスセグメンテーション手法は、著しい成果を上げている。しかし、これらの手法が生成するマスクは依然として粗いものである。本論文では、高品質かつ効率的なインスタンスセグメンテーションを実現する「Mask Transfiner」を提案する。従来の密なテンソル上で処理を行うのではなく、Mask Transfinerは画像領域を四分木（quadtree）に分解し、それを表現する。本手法はTransformerベースのアプローチを採用し、検出された誤りが生じやすい木構造のノードのみを処理し、並列的に自己修正を行う。これらのスパースなピクセルは全体のピクセル数のわずかな割合に過ぎないが、最終的なマスク品質において極めて重要である。この特性により、Mask Transfinerは計算コストを低く抑えつつ、極めて高精度なインスタンスマスクを予測可能となる。広範な実験により、Mask Transfinerが3つの代表的なベンチマークにおいて、現在のインスタンスセグメンテーション手法を上回ることを実証した。特にCOCOおよびBDD100Kでは、2段階型およびクエリベースのフレームワークをそれぞれ+3.0のマスクAPで大幅に改善し、Cityscapesでは+6.6の境界APを達成した。本研究のコードおよび学習済みモデルは、http://vis.xyz/pub/transfiner にて公開される予定である。