HyperAIHyperAI

Command Palette

Search for a command to run...

Zero-Shot-Metrik-Tiefe mit einem feldbetrachtungsbedingten Diffusionsmodell

Saurabh Saxena Junhwa Hur Charles Herrmann Deqing Sun David J. Fleet

Zusammenfassung

Obwohl Methoden zur monokularen Tiefenschätzung auf Standardbenchmarks erhebliche Fortschritte erzielt haben, bleibt die zero-shot-metrische Tiefenschätzung weiterhin ungelöst. Zu den zentralen Herausforderungen zählen die gemeinsame Modellierung von Innen- und Außenbereichen, die oft erheblich unterschiedliche Verteilungen von RGB und Tiefenwerten aufweisen, sowie die Tiefenskala-Ambiguität aufgrund unbekannter Kameraintrinsika. Kürzlich wurden spezialisierte Multi-Head-Architekturen vorgeschlagen, um Innen- und Außenbereiche gemeinsam zu modellieren. Im Gegensatz dazu setzen wir auf ein generisches, aufgabeunabhängiges Diffusionsmodell mit mehreren Innovationen: So ermöglicht die Log-Skala-Parameterisierung der Tiefe die gemeinsame Modellierung von Innen- und Außenbereichen, die Bedingung auf den Blickwinkel (Field-of-View, FOV) dient zur Bewältigung der Skalenambiguität, und die synthetische Erweiterung des FOV während des Trainings trägt dazu bei, über die begrenzten Kameraintrinsika in den Trainingsdatensätzen hinaus generalisieren zu können. Zudem erreicht unsere Methode, DMD (Diffusion for Metric Depth), durch die Verwendung einer vielfältigeren Trainingsmischung als üblich und einer effizienten Diffusionsparameterisierung eine Reduktion des relativen Fehlers (REL) um 25 % auf zero-shot-Innenbereichen und um 33 % auf zero-shot-Außenbereichen gegenüber dem aktuellen State-of-the-Art – und das mit nur einer geringen Anzahl von Entrauschungsschritten. Für eine Übersicht siehe https://diffusion-vision.github.io/dmd


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Zero-Shot-Metrik-Tiefe mit einem feldbetrachtungsbedingten Diffusionsmodell | Paper | HyperAI