Ecken für Layout: End-to-End Layout-Rekonstruktion aus 360-Bildern

Das Problem der 3D-Layout-Rekonstruktion in Innenräumen ist seit über einem Jahrzehnt ein zentrales Forschungsthema. Dennoch bestehen noch mehrere wesentliche Herausforderungen, die bisher nicht gelöst wurden. Zu den wichtigsten zählen insbesondere die impliziten oder expliziten Annahmen, die von den meisten Stand-of-the-Art-Methoden über die Szenen gemacht werden – beispielsweise kastenförmige oder Manhattan-Layouts. Zudem sind aktuelle Methoden rechenintensiv und nicht für Echtzeit-Anwendungen wie Roboter-Navigation und AR/VR geeignet. In dieser Arbeit präsentieren wir CFL (Corners for Layout), das erste End-to-End-Modell zur 3D-Layout-Rekonstruktion auf 360°-Bildern. Unsere experimentellen Ergebnisse zeigen, dass wir den aktuellen Stand der Technik durch Lockerung der Annahmen über die Szene und zu geringeren Kosten übertreffen. Darüber hinaus demonstrieren wir, dass unser Modell durch die Verwendung von EquiConvs besser auf Variationen der Kameraposition verallgemeinert als herkömmliche Ansätze. EquiConvs sind eine Art von Faltung, die direkt auf der sphärischen Projektion angewendet wird und daher invariant gegenüber den equirektangularen Verzerrungen ist.CFL Webseite: https://cfernandezlab.github.io/CFL/