HyperAIHyperAI

Command Palette

Search for a command to run...

Bewegung im Dunkeln erkennen

Vladlen Koltun Minh N. Do Qifeng Chen Chen Chen

Zusammenfassung

Kürzlich wurde tiefes Lernen mit beeindruckenden Ergebnissen für die Bildgebung bei extrem niedrigem Licht eingesetzt. Trotz des Erfolgs bei der Verarbeitung einzelner Bilder bleibt die Verarbeitung von Videos bei extrem niedrigem Licht weiterhin eine Herausforderung, da die Sammlung von Rohdaten von Videos mit entsprechendem Referenzbild (Ground Truth) aufgrund der Schwierigkeiten bei der Aufnahme von Langzeitbelichtungen in dynamischen Szenen nicht praktikabel ist. Die Methode der Langzeitbelichtung, die für die Verarbeitung einzelner Bilder verwendet wurde, ist bei sich bewegenden Szenen nicht anwendbar. In diesem Artikel präsentieren wir eine tiefenlernbasierte Verarbeitung von sehr dunklen Rohvideos mit einer Beleuchtungsstärke von etwa einem Lux. Um diese Forschungslinie zu unterstützen, haben wir ein neues Datensatz für Rohdaten bei niedrigem Licht zusammengestellt, bei dem hochauflösende Rohdaten in Echtzeit aufgenommen wurden. Bei dieser Lichtstärke ist das Signal-Rausch-Verhältnis äußerst niedrig (negativ, wenn in Dezibel gemessen), sodass die herkömmlichen Bildverarbeitungspipelines in der Regel versagen. Wir stellen eine neue Methode vor, um dieses anspruchsvolle Problem zu lösen. Durch die sorgfältige Gestaltung eines lernbasierten Verarbeitungspipelines und die Einführung einer neuen Verlustfunktion zur Förderung der zeitlichen Stabilität, trainieren wir ein Siamese-Netzwerk an statischen Rohvideos, für die Referenzbilder verfügbar sind, sodass das Netzwerk zur Verarbeitung dynamischer Szenen im Testzeitpunkt generalisiert. Experimentelle Ergebnisse zeigen, dass der vorgestellte Ansatz die derzeit besten Modelle für Burst-Verarbeitung, Einzelbildverarbeitung sowie blinden zeitlichen Konsistenz übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp