HyperAIHyperAI

Command Palette

Search for a command to run...

TransDSSL: Transformer-basierte Tiefenschätzung mittels selbstüberwachtem Lernen

Yukyung Choi Soomnim Hwang Namil Kim Jeongmin Shin Daechan Han

Zusammenfassung

In letzter Zeit wurden Transformer aufgrund ihrer Fähigkeit, langreichweitige räumliche Abhängigkeiten in Bildern effektiv zu erfassen, weit verbreitet für verschiedene Aufgaben im Bereich des maschinellen Sehens eingesetzt und zeigen vielversprechende Ergebnisse. Dennoch existieren bisher nur wenige Studien, die die Anwendung von Transformers in der selbstüberwachten Tiefenschätzung untersuchen. Beim Ersetzen der CNN-Architektur durch Transformer im Rahmen selbstüberwachten Lernens der Tiefenschätzung treten mehrere Probleme auf, darunter eine instabile mehrskalige photometrische Verlustfunktion bei Verwendung von Transformers sowie eine unzureichende Fähigkeit, lokale Details zu erfassen. In diesem Artikel stellen wir ein auf Aufmerksamkeit basierendes Dekodiermodul, das sogenannte Pixel-Wise Skip Attention (PWSA), vor, das dazu beiträgt, feine Details in Merkmalskarten zu verbessern, während gleichzeitig der globale Kontext, der durch Transformer bereitgestellt wird, erhalten bleibt. Darüber hinaus schlagen wir die Nutzung einer Selbst-Distillation-Verlustfunktion in Kombination mit einer ein- skaligen photometrischen Verlustfunktion vor, um die Instabilität des Transformer-Trainings durch korrekte Trainingssignale zu mildern. Wir zeigen, dass das vorgeschlagene Modell präzise Vorhersagen für große Objekte und dünne Strukturen erzielt, die sowohl globale Kontextinformationen als auch lokale Details erfordern. Unser Modell erreicht auf den Benchmarks KITTI und DDAD eine state-of-the-art Leistung unter den selbstüberwachten monokularen Tiefenschätzmethoden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp