自己監督型深度推定を用いたセマンティックセグメンテーションの改善のための3つの方法

セマンティックセグメンテーションのための深層ネットワークの学習には、大量のラベル付き訓練データが必要となるが、実際にはセグメンテーションマスクのラベリング作業が極めて人的負荷が高いため、大きな課題となっている。この問題に対処するため、ラベルなし画像シーケンスからの自己教師付き単眼深度推定を活用して強化された、半教師ありセマンティックセグメンテーションのフレームワークを提案する。特に、以下の3つの主要な貢献を提示する：(1) 自己教師付き深度推定で学習された特徴からセマンティックセグメンテーションへ知識を転移する手法を提案し、(2) シーンの幾何構造を用いて画像とラベルを融合する強力なデータ拡張を実装し、(3) 学習における深度推定の難易度と深度特徴の多様性を、学生-教師フレームワーク内で活用して、セマンティックセグメンテーションのラベリングに最も有用なサンプルを選択する。本手法はCityscapesデータセット上で検証され、すべての3つのモジュールが顕著な性能向上を示し、半教師ありセマンティックセグメンテーションにおいて最先端の結果を達成した。実装コードは以下のURLで公開されている：https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth。