HyperAIHyperAI

Command Palette

Search for a command to run...

Chitransformer: Hin zu zuverlässiger Stereo-Wiedergabe aus Hinweisen

Shihao Ji Qing Su

Zusammenfassung

Aktuelle Stereo-Abstandsschätzungstechniken stoßen auf Herausforderungen durch begrenzten Suchraum, verdeckte Bereiche und enorme Datengrößen. Während die Tiefenschätzung aus einer einzigen Bildquelle diesen Schwierigkeiten entgeht und mit den extrahierten monokularen Merkmalen zufriedenstellende Ergebnisse erzielen kann, fehlt der monokulären Vorhersage aufgrund des Fehlens stereoskopischer Beziehungen die zuverlässige Grundlage, insbesondere in dynamischen oder stark strukturierten Umgebungen. Um diese Probleme in beiden Szenarien zu bewältigen, stellen wir eine selbstüberwachte, binokulare Tiefenschätzungsmethode vor, die sich am optischen Chiasma im menschlichen visuellen System orientiert. Dabei wird ein Vision-Transformer (ViT) mit gated positional cross-attention (GPCA)-Schichten entworfen, um musterempfindliche Merkmalsretrieval zwischen Blickrichtungen zu ermöglichen, während gleichzeitig die umfassende Kontextinformation durch Selbst-Attention-Aggregation erhalten bleibt. Die monokularen Merkmale aus einer einzelnen Ansicht werden anschließend bedingt durch eine Mischschicht mit den rekonstruierten Musterpaaren korrigiert. Diese Kreuzverbindung ist biologisch analog zum optischen Chiasma und begründet den Namen ChiTransformer. Unsere Experimente zeigen, dass diese Architektur gegenüber aktuellen state-of-the-art-Methoden zur selbstüberwachten Stereoabstandsschätzung eine signifikante Verbesserung um 11 % erzielt und sowohl auf rektilinearen als auch auf nicht-rektilinearen (z. B. Fisheye) Bildern eingesetzt werden kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp