PointRend：画像セグメンテーションをレンダリングとして捉える

本稿では、物体およびシーンの高品質かつ効率的な画像セグメンテーションを実現するための新規手法を提示する。従来のコンピュータグラフィックスにおける効率的レンダリング手法を、ピクセルラベル付けタスクにおける過サンプリングおよび不足サンプリングの課題と類比することで、画像セグメンテーションをレンダリング問題として捉える独自の視点を構築した。この視点から、点ベースのレンダリング（Point-based Rendering）を意味する「PointRend」と呼ばれるニューラルネットワークモジュールを提案する。PointRendは、反復的分割アルゴリズムに基づいて適応的に選定された位置において点ベースのセグメンテーション予測を実行するモジュールであり、既存の最先端モデルの上に構築することで、インスタンスセグメンテーションおよびセマンティックセグメンテーションの両タスクに柔軟に適用可能である。一般的なアイデアの具体的な実装は多数可能であるが、本研究ではシンプルな設計でも優れた結果が得られることを示した。定性的には、従来手法で過度に滑らかに処理されてしまう領域において、PointRendは明確な物体境界を出力する。定量的な評価では、COCOおよびCityscapesの両データセットにおいて、インスタンスセグメンテーションおよびセマンティックセグメンテーションのいずれにおいても顕著な性能向上が確認された。PointRendの効率性により、従来手法と比較してメモリや計算コストの観点から現実的でなかった出力解像度の実現が可能となった。実装コードは、https://github.com/facebookresearch/detectron2/tree/master/projects/PointRend にて公開されている。