空間埋め込みとクラスタリング帯域幅の共同最適化によるインスタンスセグメンテーション

現在の最先端のインスタンスセグメンテーション手法は、自動運転のようなリアルタイムアプリケーションには適していないという問題があります。これらのアプリケーションでは、高精度を維持しながら高速な実行時間が求められます。現行の主要な提案ベースの手法は高い精度を達成していますが、処理速度が遅く、固定された低解像度でマスクを生成します。一方、提案不要の手法は高解像度でマスクを生成でき、しばしばより速いですが、提案ベースの手法と同等の精度には達しません。本研究では、提案不要のインスタンスセグメンテーション向けに新しいクラスタリング損失関数を提案します。この損失関数は、同じインスタンスに属するピクセルの空間埋め込みを引き寄せるとともに、インスタンス固有のクラスタリング帯域幅を共同で学習し、結果として得られるインスタンスマスクの交差率（Intersection-over-Union）を最大化します。高速なアーキテクチャと組み合わせることで、ネットワークは高精度を維持しつつリアルタイムでインスタンスセグメンテーションを行うことができます。我々は困難なCityscapesベンチマークにおいて方法を評価し、2MP画像に対して10fps以上で最高の結果（Mask R-CNN比5%向上）を得ました。コードは https://github.com/davyneven/SpatialEmbeddings から入手可能です。