ゼロラベルセマンティックセグメンテーションにおける自己学習の詳細な検討

学習中に観測されなかった未見クラスのセグメンテーションを可能にする能力は、セマンティックセグメンテーションに必要な高コストなアノテーションを削減する可能性を有するため、深層学習における重要な技術的課題である。これまでのゼロラベルセマンティックセグメンテーションの手法は、視覚的・意味的埋め込みや生成モデルを学習することでこの課題に取り組んできた。しかし、これらの手法は、既知クラスに対して学習信号が存在しないため、過学習を引き起こしやすいという問題がある。本論文では、テスト時に既知クラスと未見クラスの両方をセグメンテーションする必要がある、より困難な一般化ゼロラベルセマンティックセグメンテーションというタスクに着目する。我々の仮定は、未見クラスのピクセルが訓練画像内に存在する可能性があるが、アノテーションが付与されていないということである。本研究のアイデアは、未見クラスに関する潜在的な情報を、未ラベルピクセルに対して自己生成した偽ラベル（pseudo-label）を用いてモデルを監視することで捉えることにある。具体的には、同一画像の異なる変換（augmentation）から生成された偽ラベルの共通部分（交差）を用いることで、ノイズの多い偽ラベルをフィルタリングする一貫性正則化項（consistency regularizer）を提案する。本フレームワークは、偽ラベルを生成し、人間によるアノテーション済みデータと偽ラベル付きデータを用いてモデルを再学習する。このプロセスを複数回繰り返すことで、モデルの性能を段階的に向上させる。その結果、PascalVOC12およびCOCO-Stuffデータセットにおいて、困難な一般化ゼロラベルセマンティックセグメンテーション設定において、より複雑な戦略を採用した既存手法を上回る新たな最先端（state-of-the-art）性能を達成した。