Command Palette
Search for a command to run...
Ein Punktsatzgenerierungsnetzwerk für die 3D-Objektrekonstruktion aus einer einzigen Bildaufnahme
Ein Punktsatzgenerierungsnetzwerk für die 3D-Objektrekonstruktion aus einer einzigen Bildaufnahme
Fan Haoqiang Su Hao Guibas Leonidas
Zusammenfassung
Die Generierung von 3D-Daten mittels tiefer neuronaler Netze erlangt in der Forschungsgemeinschaft zunehmend Aufmerksamkeit. Die meisten bestehenden Ansätze stützen sich auf reguläre Darstellungen wie Volumengitter oder Bildkollektionen; diese Darstellungsformen verschleiern jedoch die natürliche Invarianz 3D-Formen gegenüber geometrischen Transformationen und weisen zudem eine Reihe weiterer Nachteile auf. In diesem Artikel behandeln wir das Problem der 3D-Rekonstruktion aus einer einzigen Bildaufnahme und generieren dabei eine direkte Ausgabeform – die Koordinaten von Punktwolken. Dabei taucht ein besonderes und interessantes Problem auf: Das Groundtruth-Objekt für ein gegebenes Eingabebild kann mehrdeutig sein. Getrieben von dieser unkonventionellen Ausgabestruktur und der inhärenten Mehrdeutigkeit der Groundtruth entwickeln wir eine neuartige Architektur, eine spezifische Verlustfunktion und ein innovatives Lernparadigma, die effektiv sind. Unser endgültiger Ansatz ist ein bedingter Formensampler, der in der Lage ist, aus einer einzigen Eingabebild mehrere plausibel erscheinende 3D-Punktwolken vorherzusagen. Experimente zeigen, dass unser System nicht nur state-of-the-art Methoden auf Benchmarks zur 3D-Rekonstruktion aus einzelnen Bildern übertrifft, sondern auch eine starke Leistung bei der 3D-Form-Vervollständigung erzielt und vielversprechende Fähigkeiten zur Generierung mehrerer plausibler Vorhersagen aufweist.