Prototypisches Kalibrieren ambiguer Stichproben für die Erkennung von Mikro-Aktionen
Die Erkennung von Mikro-Aktionen (Micro-Action Recognition, MAR) hat aufgrund ihrer wichtigen Rolle als Form der nichtverbalen Kommunikation in sozialen Interaktionen zunehmend an Bedeutung gewonnen und bietet vielversprechendes Potenzial für Anwendungen in der Analyse menschlicher Kommunikation und Emotionen. Aktuelle Ansätze ignorieren jedoch oft die inhärente Mehrdeutigkeit von Mikro-Aktionen, die durch den breiten Kategorienbereich und die subtilen visuellen Unterschiede zwischen den Kategorien entsteht. Diese Vernachlässigung beeinträchtigt die Genauigkeit der Erkennung von Mikro-Aktionen. In dieser Arbeit schlagen wir ein neues Prototypisches Kalibrierungsnetzwerk zur Entschärfung der Mehrdeutigkeit (Prototypical Calibrating Ambiguous Network, PCAN) vor, um diese Mehrdeutigkeit zu lösen und zu reduzieren.Zunächst verwenden wir einen hierarchischen Aktionbaum, um mehrdeutige Beispiele zu identifizieren und sie in verschiedene Mengen von mehrdeutigen Beispielen von Falsch-Negativen und Falsch-Positiven zu kategorisieren, wobei sowohl Körper- als auch Aktionsebenenkategorien berücksichtigt werden. Zweitens implementieren wir ein Modul zur kontrastiven Verfeinerung mehrdeutiger Beispiele, um diese durch Regulierung des Abstands zwischen mehrdeutigen Beispielen und ihren entsprechenden Prototypen zu kalibrieren. Dieser Kalibrierungsprozess zielt darauf ab, Falsch-Negative (FN)-Beispiele näher an ihre jeweiligen Prototypen heranzuziehen und Falsch-Positive (FP)-Beispiele weiter von ihren zugehörigen Prototypen zu entfernen.Darüber hinaus schlagen wir eine neue Verlustfunktion zur Stärkung der Prototypenvielfalt vor, um das Modell durch Verstärkung der Unterschiede zwischen verschiedenen Prototypen leistungsfähiger zu machen. Schließlich schlagen wir eine prototypengeführte Korrektur vor, um Vorhersagen durch Einbeziehung der Repräsentativität der Prototypen zu verbessern. Ausführliche Experimente auf einem Benchmark-Datensatz zeigen die überlegene Leistung unserer Methode im Vergleich zu bestehenden Ansätzen. Der Code ist unter https://github.com/kunli-cs/PCAN verfügbar.