HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Mixture-Kernel Graph Attention Network für die Situationserkennung

{ Leonid Sigal Mohammed Suhail}

Mixture-Kernel Graph Attention Network für die Situationserkennung

Abstract

Die Verarbeitung von Bildern jenseits auffälliger Handlungen erfordert das Schlussfolgern bezüglich der Szenenkontexte, Objekte sowie deren Rollen im jeweiligen Ereignis. Die Situationserkennung wurde kürzlich als Aufgabe eingeführt, die gleichzeitige Schlussfolgerungen über Verben (Aktionen) und eine Menge semantischer Rollen- sowie Entitäts-(Nomen-)Paare in Form von Aktionsrahmen beinhaltet. Die Beschriftung eines Bildes mit einem Aktionsrahmen erfordert die Zuweisung von Werten (Nomen) zu den Rollen basierend auf dem beobachteten Bildinhalt. Zu den inhärenten Herausforderungen zählen die reichhaltigen bedingten strukturierten Abhängigkeiten zwischen den Ausgabewerten der Rollenzuweisungen sowie die insgesamt geringe semantische Dichte. In diesem Paper stellen wir eine neuartige Mischkern-Attention-Graph Neural Network (GNN)-Architektur vor, die speziell darauf ausgelegt ist, diese Herausforderungen zu bewältigen. Unsere GNN ermöglicht eine dynamische Graphstruktur während des Trainings und der Inferenz durch den Einsatz eines Graph-Attention-Mechanismus sowie kontextbewusster Interaktionen zwischen Rollenpaaren. Wir belegen die Wirksamkeit unseres Modells und der getroffenen Designentscheidungen durch Experimente am imSitu-Benchmark-Datensatz, wobei wir Genauigkeitsverbesserungen von bis zu 10 % gegenüber dem Stand der Technik erreichen.

Benchmarks

BenchmarkMethodikMetriken
grounded-situation-recognition-on-swigKernel GraphNet
Top-1 Verb: 43.27
Top-1 Verb u0026 Value: 35.41
Top-5 Verbs: 68.72
Top-5 Verbs u0026 Value: 55.62
situation-recognition-on-imsituKernel GraphNet
Top-1 Verb: 43.27
Top-1 Verb u0026 Value: 35.41
Top-5 Verbs: 68.72
Top-5 Verbs u0026 Value: 55.62

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp