ワンショットインスタンスセグメンテーション

私たちはワンショットインスタンスセグメンテーションの問題に取り組んでいます。つまり、新しいかつこれまで未知のオブジェクトカテゴリの例画像が与えられた場合、複雑なシーン内にあるそのカテゴリのすべてのオブジェクトを見つけてセグメンテーションを行うことです。この挑戦的な新タスクに対処するために、Siamese Mask R-CNNを提案します。これはMask R-CNNを拡張し、参照画像とシーンの両方をエンコードするシアムバックボーンを導入することで、参照カテゴリに対する検出とセグメンテーションを可能にします。MS Cocoでの実証結果を通じて、ワンショット設定における課題を示しています。インスタンスセグメンテーションに関する知識を新しいオブジェクトカテゴリに転移させるのは非常にうまくいっていますが、検出ネットワークを参照カテゴリに向けることはより困難であることがわかりました。私たちの研究は、ワンショットインスタンスセグメンテーションの最初の強力なベースラインを提供し、より強力で柔軟なシーン解析アルゴリズムに関するさらなる研究への刺激となることを期待しています。コードは以下のURLから入手できます: https://github.com/bethgelab/siamese-mask-rcnn