Zeit-Zuordnung unter Verwendung von Raum-Zeit-Aufmerksamkeit
{Sing Bing Kang Feng Zhou Michael F. Cohen}

Abstract
Wir beschreiben einen neuen Ansatz zur Erzeugung von Videoinhalten mit regulärer Geschwindigkeit und niedriger Frame-Rate (LFR) aus einer hochfrequenten Eingabe (HFR), wobei die wesentlichen Momente des Originals erhalten bleiben. Wir bezeichnen diesen Ansatz als Zeitabbildung (time-mapping), eine zeitbasierte Analogie zur räumlichen Tonmapping-Technik von hochdynamischem Bereich (HDR) zu niedrigem dynamischem Bereich (LDR). Unser Ansatz leistet folgende Beiträge: (1) eine robuste räumlich-zeitliche Aufmerksamkeitsmethode zur Bewertung der visuellen Relevanz, (2) eine Umzeitungstechnik zur zeitlichen Neuabtastung basierend auf der Frame-Relevanz und (3) zeitliche Filter zur Verbesserung der Darstellung auffälliger Bewegungen. Die Ergebnisse unserer räumlich-zeitlichen Aufmerksamkeitsmethode auf einer Benchmark-Datenbank zeigen, dass sie den aktuellen Stand der Technik erreicht. Zudem wird in einer Benutzerstudie die Überlegenheit unseres Ansatzes gegenüber direkteren Methoden zur HFR-zu-LFR-Zeitabbildung nachgewiesen.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| video-salient-object-detection-on-davis-2016 | TIMP | AVERAGE MAE: 0.185 MAX E-MEASURE: 0.680 S-Measure: 0.574 |
| video-salient-object-detection-on-davsod | TIMP | Average MAE: 0.206 S-Measure: 0.534 max E-Measure: 0.582 |
| video-salient-object-detection-on-davsod-1 | TIMP | Average MAE: 0.245 S-Measure: 0.503 max E-measure: 0.616 |
| video-salient-object-detection-on-davsod-2 | TIMP | Average MAE: 0.190 S-Measure: 0.530 max E-measure: 0.665 |
| video-salient-object-detection-on-fbms-59 | TIMP | AVERAGE MAE: 0.192 MAX F-MEASURE: 0.465 S-Measure: 0.576 |
| video-salient-object-detection-on-uvsd | TIMP | Average MAE: 0.171 S-Measure: 0.541 max E-measure: 0.662 |
| video-salient-object-detection-on-visal | TIMP | Average MAE: 0.170 S-Measure: 0.612 max E-measure: 0.743 |
| video-salient-object-detection-on-vos-t | TIMP | Average MAE: 0.192 S-Measure: 0.546 max E-measure: 0.640 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.