HyperAIHyperAI

Command Palette

Search for a command to run...

Prototypisches Kalibrieren ambiguer Stichproben für die Erkennung von Mikro-Aktionen

Kun Li Dan Guo* Guoliang Chen* Chunxiao Fan Jingyuan Xu Zhiliang Wu Hehe Fan Meng Wang*

Zusammenfassung

Die Erkennung von Mikro-Aktionen (Micro-Action Recognition, MAR) hat aufgrund ihrer wichtigen Rolle als Form der nichtverbalen Kommunikation in sozialen Interaktionen zunehmend an Bedeutung gewonnen und bietet vielversprechendes Potenzial für Anwendungen in der Analyse menschlicher Kommunikation und Emotionen. Aktuelle Ansätze ignorieren jedoch oft die inhärente Mehrdeutigkeit von Mikro-Aktionen, die durch den breiten Kategorienbereich und die subtilen visuellen Unterschiede zwischen den Kategorien entsteht. Diese Vernachlässigung beeinträchtigt die Genauigkeit der Erkennung von Mikro-Aktionen. In dieser Arbeit schlagen wir ein neues Prototypisches Kalibrierungsnetzwerk zur Entschärfung der Mehrdeutigkeit (Prototypical Calibrating Ambiguous Network, PCAN) vor, um diese Mehrdeutigkeit zu lösen und zu reduzieren.Zunächst verwenden wir einen hierarchischen Aktionbaum, um mehrdeutige Beispiele zu identifizieren und sie in verschiedene Mengen von mehrdeutigen Beispielen von Falsch-Negativen und Falsch-Positiven zu kategorisieren, wobei sowohl Körper- als auch Aktionsebenenkategorien berücksichtigt werden. Zweitens implementieren wir ein Modul zur kontrastiven Verfeinerung mehrdeutiger Beispiele, um diese durch Regulierung des Abstands zwischen mehrdeutigen Beispielen und ihren entsprechenden Prototypen zu kalibrieren. Dieser Kalibrierungsprozess zielt darauf ab, Falsch-Negative (FN)-Beispiele näher an ihre jeweiligen Prototypen heranzuziehen und Falsch-Positive (FP)-Beispiele weiter von ihren zugehörigen Prototypen zu entfernen.Darüber hinaus schlagen wir eine neue Verlustfunktion zur Stärkung der Prototypenvielfalt vor, um das Modell durch Verstärkung der Unterschiede zwischen verschiedenen Prototypen leistungsfähiger zu machen. Schließlich schlagen wir eine prototypengeführte Korrektur vor, um Vorhersagen durch Einbeziehung der Repräsentativität der Prototypen zu verbessern. Ausführliche Experimente auf einem Benchmark-Datensatz zeigen die überlegene Leistung unserer Methode im Vergleich zu bestehenden Ansätzen. Der Code ist unter https://github.com/kunli-cs/PCAN verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp