DeepCut: グラフニューラルネットワークを用いた教師なしセグメンテーション

画像セグメンテーションはコンピュータビジョンにおける基本的なタスクです。教師あり手法の学習に必要なデータアノテーションは労力がかかるため、教師なし手法の開発が促進されています。現在のアプローチでは、事前学習済みネットワークから深層特徴を抽出してグラフを構築し、k-meansや正規化カットなどの古典的なクラスタリング手法を後処理ステップとして適用することが多いです。しかし、このアプローチは特徴にエンコードされた高次元情報を見かけ上のスカラー類似度に還元してしまう欠点があります。この制約に対処するために、本研究では軽量なグラフニューラルネットワーク（GNN）を導入し、古典的なクラスタリング手法の代わりに同じクラスタリング目的関数を最適化します。既存の方法とは異なり、当社のGNNは局所画像特徴間のペアワイズ類似度と生の特徴を両方入力として取り扱います。生の特徴とクラスタリング目的関数との直接的な接続により、異なるグラフ間でのクラスタ分類を暗黙的に行うことができ、追加の後処理ステップなしで部分セマンティックセグメンテーションが実現できます。また、古典的なクラスタリング目的関数が自己教師あり損失関数として定式化され、画像セグメンテーションGNNの学習に利用できる方法を示します。さらに、相関クラスタリング（Correlation-Clustering, CC）目的を使用してクラスタ数を定義せずにクラスタリングを行い、kパラメータ不要なクラスタリングを可能にします。提案手法は物体位置特定、セグメンテーション、および部分セマンティックセグメンテーションタスクに適用され、複数のベンチマークで最先端の性能を超える結果を得ています。