Lernen von Prompt-verbesserten Kontextmerkmalen für die schwach beschriftete Video-Anomalieerkennung
Die Anomalieerkennung in Videos unter schwacher Aufsicht stellt erhebliche Herausforderungen dar, insbesondere aufgrund des Fehlens frame-level-Anmerkungen während des Trainings. Obwohl frühere Forschungsarbeiten Graph-Convolution-Netze und Selbst-Attention-Mechanismen in Kombination mit einer auf mehreren Instanzen basierenden (Multiple Instance Learning, MIL) Klassifikationsverlustfunktion eingesetzt haben, um zeitliche Beziehungen zu modellieren und diskriminative Merkmale zu lernen, verwenden diese Ansätze häufig mehrfach verzweigte Architekturen, um lokale und globale Abhängigkeiten getrennt zu erfassen. Dies führt zu einer erhöhten Anzahl an Parametern und steigenden Rechenkosten. Zudem vernachlässigt die grobgranulare Trennbarkeit zwischen Klassen, die durch die binäre Einschränkung des MIL-basierten Verlustes gegeben ist, die fein granulare Unterscheidbarkeit innerhalb anormaler Klassen. Um diesem Problem entgegenzuwirken, präsentieren wir in diesem Artikel einen schwach überwachten Anomalieerkennungsrahmen, der sich auf eine effiziente Kontextmodellierung und eine verbesserte semantische Diskriminierbarkeit konzentriert. Wir stellen einen Temporal Context Aggregation (TCA)-Modul vor, der umfassende Kontextinformationen durch Wiederverwendung der Ähnlichkeitsmatrix und Implementierung einer adaptiven Fusion erfasst. Darüber hinaus schlagen wir einen Prompt-Enhanced Learning (PEL)-Modul vor, der semantische Vorwissen durch wissensbasierte Prompts integriert, um die diskriminative Fähigkeit von Kontextmerkmalen zu stärken und gleichzeitig die Trennbarkeit zwischen Anomalie-Unterklassen zu gewährleisten. Umfangreiche Experimente bestätigen die Wirksamkeit der einzelnen Komponenten unseres Ansatzes und zeigen eine konkurrenzfähige Leistung bei reduzierter Anzahl an Parametern und geringerem Rechenaufwand auf drei anspruchsvollen Benchmarks: UCF-Crime, XD-Violence und ShanghaiTech-Datensatz. Insbesondere zeigt unsere Methode eine signifikante Verbesserung der Erkennungsgenauigkeit bestimmter Anomalie-Unterklassen, was ihre praktische Relevanz und Effektivität unterstreicht. Unser Quellcode ist verfügbar unter: https://github.com/yujiangpu20/PEL4VAD.