HyperAIHyperAI

Command Palette

Search for a command to run...

Graph-basierte Modellierung hochwertiger Relationen für die Langzeit-Aktionserkennung

Wei-Shi Zheng Haoxin Li Kun-Yu Lin Jiaming Zhou

Zusammenfassung

Langfristige Aktionen beinhalten viele wichtige visuelle Konzepte, beispielsweise Objekte, Bewegungen und Teilaktionen, sowie verschiedene Beziehungen zwischen diesen Konzepten, die wir grundlegende Beziehungen nennen. Diese grundlegenden Beziehungen beeinflussen sich während der zeitlichen Entwicklung langfristiger Aktionen wechselseitig, wodurch hochordentliche Beziehungen entstehen, die für die Erkennung langfristiger Aktionen entscheidend sind. In diesem Artikel schlagen wir ein graphenbasiertes Modul zur Modellierung hochordentlicher Beziehungen (Graph-based High-order Relation Modeling, GHRM) vor, um hochordentliche Beziehungen in langfristigen Aktionen für die Erkennung langfristiger Aktionen auszunutzen. Im GHRM wird jede grundlegende Beziehung in langfristigen Aktionen durch einen Graphen modelliert, wobei jeder Knoten einen Abschnitt in einem langen Video darstellt. Zudem integriert das GHRM bei der Modellierung jeder einzelnen grundlegenden Beziehung Informationen aus allen anderen grundlegenden Beziehungen, wodurch hochordentliche Beziehungen in langfristigen Aktionen effektiv ausgenutzt werden können. Um die hochordentlichen Beziehungen entlang der Zeitachse noch besser zu erfassen, entwerfen wir eine GHRM-Schicht, die aus einem Temporal-GHRM-Zweig und einem Semantic-GHRM-Zweig besteht, die jeweils lokale zeitliche hochordentliche Beziehungen und globale semantische hochordentliche Beziehungen modellieren sollen. Die experimentellen Ergebnisse auf drei Datensätzen zur Erkennung langfristiger Aktionen – Breakfast, Charades und MultiThumos – belegen die Wirksamkeit unseres Ansatzes.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Graph-basierte Modellierung hochwertiger Relationen für die Langzeit-Aktionserkennung | Paper | HyperAI