HyperAIHyperAI

Command Palette

Search for a command to run...

ATISS: Autoregressive Transformers für die Synthese von Innenraumbildern

Despoina Paschalidou Amlan Kar Maria Shugrina Karsten Kreis Andreas Geiger Sanja Fidler

Zusammenfassung

Die Fähigkeit, realistische und vielfältige Inneneinrichtungsanordnungen automatisch oder auf der Grundlage teilweiser Eingaben zu synthetisieren, öffnet viele Anwendungen, von verbesserten interaktiven 3D-Tools bis hin zur Datensynthese für Training und Simulation. In dieser Arbeit stellen wir ATISS vor, eine neuartige autoregressive Transformer-Architektur zur Erstellung vielfältiger und plausibler synthetischer Innenräume, die nur den Raumtyp und dessen Grundriss benötigt. Im Gegensatz zu früheren Arbeiten, die die Szene-Synthese als Sequenzgenerierung formulieren, erzeugt unser Modell Räume als ungeordnete Mengen von Objekten. Wir argumentieren, dass diese Formulierung natürlicher ist, da sie ATISS allgemein nützlich macht über die vollautomatische Synthese von Raumlayouts hinaus. Zum Beispiel kann das gleiche trainierte Modell in interaktiven Anwendungen für die allgemeine Szenenvervollständigung verwendet werden, bei der teilweisen Neuarrangierung von Räumen mit beliebigen vom Benutzer angegebenen Objekten sowie bei der Vorschlagsfunktion für Objekte in teilweise eingerichteten Räumen. Um dies zu ermöglichen, nutzt unser Modell die Permutationsäquivarianz des Transformers bei der Bedingung auf teilweise Szenen und wird so trainiert, dass es permutationsinvariant bezüglich der Reihenfolge der Objekte ist. Unser Modell wird end-to-end als autoregressives Generativmodell trainiert, wobei lediglich beschriftete 3D-Bounding-Boxen als Supervision verwendet werden. Bewertungen anhand von vier Raumtypen im 3D-FRONT-Datensatz zeigen, dass unser Modell konsistent plausibelere Raumlayouts erzeugt, die realistischer sind als bestehende Methoden. Zudem verfügt es über weniger Parameter, ist einfacher zu implementieren und zu trainieren und läuft bis zu 8-mal schneller als bestehende Methoden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp