要約
意味分割と物体検出の研究は最近急速な進展を遂げています。しかし、前者のタスクでは同一物体の異なるインスタンスに関する概念がなく、後者のタスクは粗いバウンディングボックスレベルで動作します。本稿では、各ピクセルに物体クラスとインスタンス識別ラベルを割り当てるセグメンテーションマップを生成するインスタンスセグメンテーションシステムを提案します。多くのアプローチは、物体検出器をボックスではなくセグメントを生成するために適応させています。これに対して、我々の方法は初期の意味分割モジュールに基づいており、これがインスタンスサブネットワークにフィードされます。このサブネットワークは、初期のカテゴリレベルのセグメンテーションと物体検出器の出力からの手がかりを使用し、エンドツーエンドのCRF（条件随伴場）内でインスタンスを予測します。当モデルのこの部分は動的に実体化され、画像ごとに可変数のインスタンスを生成します。我々のエンドツーエンドアプローチはポストプロセッシングを必要とせず、画像全体を考慮します。独立した提案を処理する代わりに、あるピクセルが複数のインスタンスに属することはできません。さらに、Pascal VOCおよびCityscapesデータセットでの最先端結果（特に高いIoU閾値において）により示されるように、遥かに精密なセグメンテーションが達成されています。