Tiefe unter beliebigen Bedingungen

Wir stellen Depth Anything at Any Condition (DepthAnything-AC) vor, ein grundlegendes Modell zur monokularen Tiefenschätzung (MDE), das in der Lage ist, verschiedene Umgebungsbedingungen zu bewältigen. Vorherige grundlegende MDE-Modelle erzielen beeindruckende Ergebnisse in allgemeinen Szenen, jedoch performieren sie nicht gut in komplexen offenen Welten mit herausfordernden Bedingungen wie Lichtveränderungen, ungünstigem Wetter und durch Sensoren verursachten Verzerrungen. Um die Herausforderungen der Datenknappheit und der Unfähigkeit, aus beschädigten Bildern hochwertige Pseudo-Labels zu generieren, zu überwinden, schlagen wir ein Paradigma des unüberwachten Konsistenzregulierungsfine-tunings vor, das nur eine relativ geringe Menge an nicht gekennzeichneten Daten erfordert. Darüber hinaus schlagen wir die räumliche Distanzbeschränkung (Spatial Distance Constraint) vor, um das Modell explizit dazu anzuhalten, patchbasierte relative Beziehungen zu lernen. Dies führt zu klareren semantischen Grenzen und genauereren Details. Experimentelle Ergebnisse zeigen die Zero-Shot-Fähigkeiten von DepthAnything-AC bei verschiedenen Benchmarks auf, einschließlich Benchmarks für reale ungünstige Wetterbedingungen, synthetische Korruptionsbenchmarks und allgemeine Benchmarks.Projektseite: https://ghost233lism.github.io/depthanything-AC-pageCode: https://github.com/HVision-NKU/DepthAnythingAC