Folgen Sie den Regeln: Schlussfolgerungen für die Videoanomalieerkennung mit großen Sprachmodellen

Die Videoanomalieerkennung (VAD) ist für Anwendungen wie Sicherheitsüberwachung und autonomes Fahren von entscheidender Bedeutung. Bestehende VAD-Methoden liefern jedoch wenig Begründung für ihre Erkennungen, was das Vertrauen der Öffentlichkeit in reale Einsatzszenarien erschwert. In dieser Arbeit greifen wir auf einen Schlussfolgerungsrahmen zurück, um VAD zu bearbeiten. Obwohl große Sprachmodelle (LLMs) revolutionäre Schlussfolgerungsfähigkeiten gezeigt haben, stellen wir fest, dass ihre direkte Anwendung bei VAD unzureichend ist. Insbesondere das implizite Wissen, das in LLMs vortrainiert wurde, konzentriert sich auf allgemeine Kontexte und kann daher nicht auf jedes spezifische reale VAD-Szenario angewendet werden. Dies führt zu Starrheit und Ungenauigkeit. Um dieses Problem zu lösen, schlagen wir AnomalyRuler vor, ein neuartiges regelbasiertes Schlussfolgerungsframework für VAD mit LLMs. AnomalyRuler besteht aus zwei Hauptphasen: Induktion und Deduktion. Im Induktionsstadium werden dem LLM wenige normale Referenzbeispiele präsentiert, die es dann zusammenfasst, um Muster zu identifizieren und eine Reihe von Regeln zur Erkennung von Anomalien abzuleiten. Die Deduktionsphase folgt diesen abgeleiteten Regeln, um anomale Frames in Testvideos zu identifizieren. Zudem entwickeln wir Strategien zur Regelaggregation, Wahrnehmungsvergleichtheit und robusten Schlussfolgerungen, um die Robustheit von AnomalyRuler weiter zu verbessern. AnomalyRuler ist der erste Schlussfolgerungsansatz für die One-Class-VAD-Aufgabe, der nur wenige normale Beispiele als Eingabe benötigt und keine vollständige Trainingsphase erfordert. Dies ermöglicht eine schnelle Anpassung an verschiedene VAD-Szenarien. Ausführliche Experimente anhand vier VAD-Benchmarks zeigen die erstklassige Erkennungsleistung und Schlussfolgerungsfähigkeit von AnomalyRuler. AnomalyRuler ist Open-Source und verfügbar unter: https://github.com/Yuchen413/AnomalyRuler