Extraktion von zwischenpersonlichen Hinweisen für das Lernen der Körperparten-Interaktivität in der HOI-Erkennung

Die Erkennung von Mensch-Objekt-Interaktionen (Human-Object Interaction, HOI) spielt eine entscheidende Rolle bei der Aktivitätsverstehens. Obwohl erhebliche Fortschritte erzielt wurden, bleibt die Lernung von Interaktionsfähigkeit ein herausforderndes Problem in der HOI-Erkennung: Bestehende Methoden generieren oft überflüssige negative H-O-Paar-Vorschläge und sind nicht effektiv darin, interaktive Paare zu extrahieren. Obwohl die Interaktionsfähigkeit sowohl auf Ganzkörper- als auch auf Körperteil-Ebene untersucht wurde und die H-O-Paarung unterstützt, konzentrieren sich frühere Arbeiten lediglich auf eine einzelne Person (d. h. aus einer lokalen Perspektive) und vernachlässigen dabei die Informationen über andere Personen im Bild. In diesem Artikel argumentieren wir, dass die gleichzeitige Analyse von Körperteilen mehrerer Personen nützliche und ergänzende Hinweise zur Interaktionsfähigkeit liefern kann. Genauer gesagt, um die Interaktionsfähigkeit von Körperteilen aus einer globalen Perspektive zu lernen: Bei der Klassifizierung der Interaktionsfähigkeit eines Zielkörperteils werden nicht nur visuelle Hinweise aus dem eigenen Körper des Zielobjekts, sondern auch aus anderen Personen im Bild berücksichtigt. Wir erstellen Körperteil-Saliency-Karten basierend auf Self-Attention, um informationsreiche Hinweise zwischen Personen zu extrahieren und die ganzheitlichen Beziehungen zwischen allen Körperteilen zu lernen. Wir evaluieren die vorgeschlagene Methode anhand etablierter Benchmarks wie HICO-DET und V-COCO. Durch unsere neue Perspektive erreicht das ganzheitliche globale-lokale Lernen der Körperteil-Interaktionsfähigkeit signifikante Verbesserungen gegenüber dem Stand der Technik. Der Quellcode ist unter https://github.com/enlighten0707/Body-Part-Map-for-Interactiveness verfügbar.