HyperAIHyperAI

Command Palette

Search for a command to run...

Untersuchung eines strukturbewussten Transformers über Interaktionsvorschläge für die Erkennung von Mensch-Objekt-Interaktionen

Yong Zhang Yingwei Pan Ting Yao Rui Huang Tao Mei Chang-Wen Chen

Zusammenfassung

Neuere hochleistungsstarke Techniken zur Erkennung von Mensch-Objekt-Interaktionen (Human-Object Interaction, HOI) wurden stark durch Transformer-basierte Objekterkennungssysteme (z. B. DETR) beeinflusst. Dennoch leiten die meisten dieser Ansätze parametrische Interaktionsabfragen direkt über eine herkömmliche Transformer-Architektur in einer einstufigen Form in eine Menge von HOI-Vorhersagen um. Dadurch bleiben reichhaltige inter- oder intra-Interaktionsstrukturen ungenutzt. In dieser Arbeit stellen wir einen neuartigen Transformer-ähnlichen HOI-Erkennungsalgorithmus vor, den sogenannten Structure-aware Transformer over Interaction Proposals (STIP), zur HOI-Erkennung. Diese Architektur zerlegt den Prozess der Vorhersage einer HOI-Menge in zwei aufeinanderfolgende Phasen: Zunächst wird eine Interaktionsvorschlagsgenerierung durchgeführt, gefolgt von der Transformation der nicht-parametrischen Interaktionsvorschläge in HOI-Vorhersagen mittels eines struktur-awareen Transformers. Der struktur-awareer Transformer erweitert die herkömmliche Transformer-Architektur durch die zusätzliche Kodierung der global semantischen Struktur zwischen Interaktionsvorschlägen sowie der lokalen räumlichen Struktur von Mensch- und Objekt-Elementen innerhalb jedes einzelnen Interaktionsvorschlags, um die HOI-Vorhersagen zu verbessern. Umfangreiche Experimente auf den Benchmarks V-COCO und HICO-DET belegen die Wirksamkeit von STIP, wobei gegenüber den aktuellen State-of-the-Art-HOI-Erkennern überlegene Ergebnisse erzielt werden. Der Quellcode ist unter \url{https://github.com/zyong812/STIP} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp