MarrNet: 3D-Formrekonstruktion durch 2,5D-Skizzen

Die Rekonstruktion von 3D-Objekten aus einem einzelnen Bild ist ein hochgradig unterbestimmtes Problem, das starke a priori Kenntnisse über plausibele 3D-Formen erfordert. Dies stellt für lernbasierte Ansätze Herausforderungen dar, da 3D-Objektannotierungen in realen Bildern selten sind. Frühere Arbeiten wählten die Ausbildung auf synthetischen Daten mit Ground-Truth-3D-Informationen, leiden aber bei der Prüfung auf realen Daten unter dem Domänenanpassungsproblem (domain adaptation). In dieser Arbeit schlagen wir MarrNet vor, ein von Anfang bis Ende ausbildbares Modell, das sequentiell 2.5D-Skizzen und die 3D-Objektform schätzt. Unsere entkoppelte, zweistufige Formulierung hat drei Vorteile. Erstens sind im Vergleich zur vollständigen 3D-Form 2.5D-Skizzen viel einfacher aus einem 2D-Bild zu rekonstruieren; Modelle, die 2.5D-Skizzen rekonstruieren, sind auch wahrscheinlicher in der Lage, von synthetischen zu realen Daten zu übertragen. Zweitens können Systeme für die 3D-Rekonstruktion aus 2.5D-Skizzen ausschließlich aus synthetischen Daten lernen. Dies liegt daran, dass wir realistische 2.5D-Skizzen leicht rendern können, ohne Variationen des Objektauftritts in realen Bildern wie Beleuchtung und Textur modellieren zu müssen. Dies verringert das Domänenanpassungsproblem weiterhin. Drittens leiten wir differenzierbare projektive Funktionen von der 3D-Form zu den 2.5D-Skizzen ab; der Rahmen ist daher von Anfang bis Ende auf realen Bildern ausbildbar und erfordert keine menschlichen Annotationen. Unser Modell erreicht den aktuellen Stand der Technik in der Rekonstruktion von 3D-Formen (state-of-the-art performance on 3D shape reconstruction).