2ヶ月前
ロバストな単眼深度推定に向けて:ゼロショットクロスデータセット転送のためのデータセットの混合
René Ranftl; Katrin Lasinger; David Hafner; Konrad Schindler; Vladlen Koltun

要約
単眼深度推定の成功は、大規模で多様な訓練データセットに依存しています。異なる環境において大規模に高密度の真値深度を取得する難しさから、特徴とバイアスが異なる複数のデータセットが登場しました。私たちは、これらのデータセットの注釈が互換性がない場合でも訓練中に複数のデータセットを混在させるためのツールを開発しました。特に、深度範囲やスケールの変化に対して不変である堅牢な訓練目標を提案し、異なるソースからのデータを組み合わせるための原理に基づいた多目的学習の使用を推奨し、エンコーダーを補助タスクで事前学習することの重要性を強調しています。これらのツールを用いて、5つの多様な訓練データセット(其中包括新しい大量データ源:3D映画)を使用して実験を行いました。当アプローチの汎化能力を示すために、ゼロショットクロスデータセット転送(つまり、訓練中に見なかったデータセットでの評価)を使用しました。実験結果は、補完的なソースからのデータ混合が単眼深度推定に大きく貢献することを確認しています。当アプローチは競合する手法よりも明確に優れており、多様なデータセットにおいて新たな最先端技術となっています。いくつかの結果は補足ビデオ(https://youtu.be/D46FzVyL9I8)で示されています。