17日前
LABELMAKER:RGB-Dトラジェクトリから自動的に意味的ラベルを生成する
Silvan Weder, Hermann Blum, Francis Engelmann, Marc Pollefeys

要約
意味付加(セマンティックアノテーション)は、認識モデルの学習や評価において不可欠であるが、その取得には非常に高いコストがかかる。本研究では、人間の介入を一切不要として、RGB-Dスキャンに対して、ScanNetなどの手動アノテーション済みデータセットと同等(あるいはそれ以上)の精度でラベルを生成できる完全自動化された2D/3Dラベリングフレームワークを提案する。本手法は、最先端のセグメンテーションモデルのアンサンブルと、ニューラルレンダリングを用いた3Dリフティングに基づいている。LabelMakerパイプラインの有効性を実証するため、ScanNetデータセットに対して著しく優れたラベルを生成し、これまでアノテーションが行われていなかったARKitScenesデータセットを自動的にラベリングした。コードおよびモデルは、https://labelmaker.org にて公開されている。