HyperAIHyperAI

Command Palette

Search for a command to run...

Schnelle Lokalisierung von Videobildwechseln mit tiefen strukturierten Modellen

Shitao Tang Litong Feng Zhanghui Kuang Yimin Chen Wei Zhang

Zusammenfassung

Die Erkennung von Video-Szenenwechseln ist ein entscheidender Vorverarbeitungsschritt in der Videoanalyse. Frühere Studien konzentrierten sich darauf, plötzliche Inhaltsänderungen zwischen Frames durch Ähnlichkeitsmessungen zu erkennen, wobei Mehrebenenoperationen häufig verwendet werden, um Übergänge unterschiedlicher Längen zu behandeln. Allerdings sind die Lokalisierung von graduellen Übergängen aufgrund der hohen visuellen Ähnlichkeit benachbarter Frames noch wenig erforscht. Schnitte (Cut shot transitions) sind abrupte semantische Unterbrechungen, während graduelle Szenenwechsel (gradual shot transitions) neben den graduellen semantischen Unterbrechungen auch niedrigstufige räumlich-zeitliche Muster aufweisen, die durch Videoeffekte wie Dissolve verursacht werden. Um dieses Problem anzugehen, schlagen wir ein strukturiertes Netzwerk vor, das in der Lage ist, diese beiden Arten von Szenenwechseln mit gezielten Modellen getrennt zu erkennen. Berücksichtigend die Kompromisse zwischen Geschwindigkeit und Leistung haben wir einen intelligenten Rahmen entworfen. Mit einer TITAN-GPU kann die vorgeschlagene Methode eine 30-fache Echtzeitgeschwindigkeit erreichen. Experimente mit den öffentlichen Datenbanken TRECVID07 und RAI zeigen, dass unsere Methode den Stand der Technik übertreffen kann. Um einen hochleistungsfähigen Szenenwechsel-Detektor zu trainieren, haben wir eine neue Datenbank namens ClipShots beigesteuert, die 128636 schnelle Übergänge und 38120 graduelle Übergänge aus 4039 Online-Videos enthält. ClipShots sammelt absichtlich kurze Videos, um schwierigere Fälle zu berücksichtigen, die durch Handkameraschwankungen, große Objektbewegungen und Verdeckungen verursacht werden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp