HyperAIHyperAI

Command Palette

Search for a command to run...

Situationserkennung auf Basis von Transformers

junhyeong Cho*1 [email protected] Youngseok Yoon*1 [email protected] Hyeonjun Lee*2 [email protected] Suha Kwak1,2 [email protected]

Zusammenfassung

Grounded Situation Recognition (GSR) ist die Aufgabe, bei der nicht nur eine auffällige Aktion (Verb) klassifiziert wird, sondern auch Entitäten (Nomen) zusammen mit ihren semantischen Rollen und deren Positionen im gegebenen Bild vorhergesagt werden. Inspiriert von dem bemerkenswerten Erfolg von Transformers in visuellen Aufgaben, schlagen wir ein GSR-Modell vor, das auf einer Transformer-Encoder-Decoder-Architektur basiert. Der Aufmerksamheitsmechanismus unseres Modells ermöglicht eine genaue Verb-Klassifikation durch effektives Erfassen hochstufiger semantischer Merkmale eines Bildes und erlaubt dem Modell, flexibel mit den komplexen und bildabhängigen Beziehungen zwischen den Entitäten umzugehen, was zu einer verbesserten Nomen-Klassifikation und -Lokalisierung führt. Unser Modell ist die erste Transformer-Architektur für GSR und erreicht den aktuellen Stand der Technik in jeder Bewertungsmaßzahl des SWiG-Benchmarks. Unser Code ist unter https://github.com/jhcho99/gsrtr verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp