自己教師ありセマンティックセグメンテーションにおける適応的アンバランス補正学習

限られた、あるいは偏ったデータのため、半教師付きセマンティックセグメンテーションは、特定のカテゴリにおいて性能が低くなる傾向がある。例えば、Cityscapesデータセットには長尾型のラベル分布が見られ、その中で尾部（tail）に属するカテゴリに対して特に顕著な性能低下が生じる。既存の手法はほとんどがこの問題を無視しており、カテゴリ間を等しく扱っている。代表的な手法である一貫性正則化や擬ラベル法は、むしろ性能が低いカテゴリの学習を損なう可能性がある。これは、これらのカテゴリに対する予測や擬ラベルが不正確になりがちであり、未ラベルデータに対する学習を誤った方向に導くためである。本研究では、この問題に着目し、半教師付きセマンティックセグメンテーションのための新たなフレームワーク、すなわち「適応的等価化学習（Adaptive Equalization Learning: AEL）」を提案する。AELは、信頼度バンク（confidence bank）を用いてトレーニング中にカテゴリごとの性能を動的に追跡し、性能が良いカテゴリと悪いカテゴリのトレーニングを適応的にバランスさせる。この信頼度バンクを指標として、性能が低いカテゴリに学習を傾ける3つの戦略を実装している。1）性能が低いカテゴリがコピーまたはカットされる機会を増やす、適応的コピー・ペーストおよびカットミックスのデータ拡張法；2）性能が低いカテゴリのピクセルがより多くサンプリングされるようになる、適応的なデータサンプリング戦略；3）擬ラベルによるトレーニングノイズを軽減する、シンプルながら効果的な再重み付け手法。実験の結果、AELはCityscapesおよびPascal VOCのベンチマークにおいて、さまざまなデータ分割プロトコル下で最先端の手法を大きく上回る性能を達成した。コードはGitHubで公開されている：https://github.com/hzhupku/SemiSeg-AEL