HyperAIHyperAI

Command Palette

Search for a command to run...

Folgen Sie den Regeln: Schlussfolgerungen für die Videoanomalieerkennung mit großen Sprachmodellen

Yuchen Yang; Kwonjoon Lee; Behzad Dariush; Yinzhi Cao; Shao-Yuan Lo

Zusammenfassung

Die Videoanomalieerkennung (VAD) ist für Anwendungen wie Sicherheitsüberwachung und autonomes Fahren von entscheidender Bedeutung. Bestehende VAD-Methoden liefern jedoch wenig Begründung für ihre Erkennungen, was das Vertrauen der Öffentlichkeit in reale Einsatzszenarien erschwert. In dieser Arbeit greifen wir auf einen Schlussfolgerungsrahmen zurück, um VAD zu bearbeiten. Obwohl große Sprachmodelle (LLMs) revolutionäre Schlussfolgerungsfähigkeiten gezeigt haben, stellen wir fest, dass ihre direkte Anwendung bei VAD unzureichend ist. Insbesondere das implizite Wissen, das in LLMs vortrainiert wurde, konzentriert sich auf allgemeine Kontexte und kann daher nicht auf jedes spezifische reale VAD-Szenario angewendet werden. Dies führt zu Starrheit und Ungenauigkeit. Um dieses Problem zu lösen, schlagen wir AnomalyRuler vor, ein neuartiges regelbasiertes Schlussfolgerungsframework für VAD mit LLMs. AnomalyRuler besteht aus zwei Hauptphasen: Induktion und Deduktion. Im Induktionsstadium werden dem LLM wenige normale Referenzbeispiele präsentiert, die es dann zusammenfasst, um Muster zu identifizieren und eine Reihe von Regeln zur Erkennung von Anomalien abzuleiten. Die Deduktionsphase folgt diesen abgeleiteten Regeln, um anomale Frames in Testvideos zu identifizieren. Zudem entwickeln wir Strategien zur Regelaggregation, Wahrnehmungsvergleichtheit und robusten Schlussfolgerungen, um die Robustheit von AnomalyRuler weiter zu verbessern. AnomalyRuler ist der erste Schlussfolgerungsansatz für die One-Class-VAD-Aufgabe, der nur wenige normale Beispiele als Eingabe benötigt und keine vollständige Trainingsphase erfordert. Dies ermöglicht eine schnelle Anpassung an verschiedene VAD-Szenarien. Ausführliche Experimente anhand vier VAD-Benchmarks zeigen die erstklassige Erkennungsleistung und Schlussfolgerungsfähigkeit von AnomalyRuler. AnomalyRuler ist Open-Source und verfügbar unter: https://github.com/Yuchen413/AnomalyRuler


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Folgen Sie den Regeln: Schlussfolgerungen für die Videoanomalieerkennung mit großen Sprachmodellen | Paper | HyperAI