ATISS: Autoregressive Transformers für die Synthese von Innenraumbildern

Die Fähigkeit, realistische und vielfältige Inneneinrichtungsanordnungen automatisch oder auf der Grundlage teilweiser Eingaben zu synthetisieren, öffnet viele Anwendungen, von verbesserten interaktiven 3D-Tools bis hin zur Datensynthese für Training und Simulation. In dieser Arbeit stellen wir ATISS vor, eine neuartige autoregressive Transformer-Architektur zur Erstellung vielfältiger und plausibler synthetischer Innenräume, die nur den Raumtyp und dessen Grundriss benötigt. Im Gegensatz zu früheren Arbeiten, die die Szene-Synthese als Sequenzgenerierung formulieren, erzeugt unser Modell Räume als ungeordnete Mengen von Objekten. Wir argumentieren, dass diese Formulierung natürlicher ist, da sie ATISS allgemein nützlich macht über die vollautomatische Synthese von Raumlayouts hinaus. Zum Beispiel kann das gleiche trainierte Modell in interaktiven Anwendungen für die allgemeine Szenenvervollständigung verwendet werden, bei der teilweisen Neuarrangierung von Räumen mit beliebigen vom Benutzer angegebenen Objekten sowie bei der Vorschlagsfunktion für Objekte in teilweise eingerichteten Räumen. Um dies zu ermöglichen, nutzt unser Modell die Permutationsäquivarianz des Transformers bei der Bedingung auf teilweise Szenen und wird so trainiert, dass es permutationsinvariant bezüglich der Reihenfolge der Objekte ist. Unser Modell wird end-to-end als autoregressives Generativmodell trainiert, wobei lediglich beschriftete 3D-Bounding-Boxen als Supervision verwendet werden. Bewertungen anhand von vier Raumtypen im 3D-FRONT-Datensatz zeigen, dass unser Modell konsistent plausibelere Raumlayouts erzeugt, die realistischer sind als bestehende Methoden. Zudem verfügt es über weniger Parameter, ist einfacher zu implementieren und zu trainieren und läuft bis zu 8-mal schneller als bestehende Methoden.