HyperAIHyperAI

Command Palette

Search for a command to run...

Einzelbild-Tiefenschätzung, trainiert durch Tiefeninformation aus Fokusunterschieden

["name": "Shir Gur" "affiliation": "Tel Aviv University [email protected]" "name": "Lior Wolf" "affiliation": "Facebook AI Research and Tel Aviv University [email protected]"]

Zusammenfassung

Die Schätzung von Tiefeninformation aus einzelnen RGB-Bildern ist eine grundlegende Aufgabe in der Computer Vision, die am direktsten durch überwachtes Deep Learning gelöst wird. Im Bereich des unüberwachten Lernens von Tiefeninformation aus einem einzelnen RGB-Bild wird die Tiefe nicht explizit angegeben. Bestehende Arbeiten in diesem Bereich verwenden entweder ein Stereo-Paar, ein monokulares Video oder mehrere Ansichten und trainieren ein Tiefenschätzungsnetzwerk unter Verwendung von Verlustfunktionen, die auf Struktur-aus-Bewegung (Structure-from-Motion) basieren. In dieser Arbeit stützen wir uns hingegen auf Tiefeninformationen aus Fokus-Hinweisen. Das Lernen basiert auf einer neuartigen Point-Spread-Funktion (PSF)-Faltungsschicht, die ortsspezifische Kerne anwendet, die sich aus dem Unschärfekreis (Circle-of-Confusion) an jeder Bildposition ergeben. Wir evaluieren unsere Methode an Daten, die aus fünf gängigen Datensätzen für Tiefenschätzung und Lichtfeldbilder abgeleitet sind, und präsentieren Ergebnisse, die den überwachten Methoden auf den KITTI- und Make3D-Datensätzen gleichkommen und unüberwachte Lernansätze übertreffen. Da das Phänomen der Tiefeninformation aus Unscharfe nicht datensatzspezifisch ist, vermuten wir, dass das darauf basierende Lernen weniger stark an den spezifischen Inhalt jedes Datensatzes überanpassen würde. Unsere Experimente zeigen tatsächlich, dass dies der Fall ist: Ein mit unserer Methode trainiertes Schätzmodell liefert bessere Ergebnisse auf anderen Datensätzen als direkt überwachte Methoden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Einzelbild-Tiefenschätzung, trainiert durch Tiefeninformation aus Fokusunterschieden | Paper | HyperAI