Boundary Content Graph Neural Network für die Generierung von zeitlichen Aktionen-Vorschlägen

Die Generierung zeitlicher Aktionenvorschläge spielt eine wichtige Rolle bei der Verständnis von Videoaktionen und erfordert die präzise Lokalisierung hochwertiger Aktioninhalte. Allerdings ist es äußerst schwierig, zeitliche Vorschläge mit sowohl genauen Grenzen als auch hochwertigen Aktioninhalten zu generieren. Um dieses Problem anzugehen, schlagen wir ein neues Boundary Content Graph Neural Network (BC-GNN) vor, das die tiefsinnigen Beziehungen zwischen den Grenzen und dem Inhalt zeitlicher Vorschläge durch Graph-Neuronale Netze modelliert. Im BC-GNN werden die Grenzen und Inhalte zeitlicher Vorschläge als Knoten und Kanten des Graph-Neuronalen Netzes betrachtet, wobei sie spontan miteinander verbunden sind. Anschließend wird eine neue Graph-Rechenoperation vorgeschlagen, um die Merkmale von Kanten und Knoten zu aktualisieren. Danach werden ein aktualisiertes Edge und die beiden Knoten, die es verbindet, verwendet, um Grenzwahrscheinlichkeiten und Inhaltsvertrauenswerte zu prognostizieren. Diese Werte werden dann kombiniert, um einen endgültigen hochwertigen Vorschlag zu generieren. Experimente wurden auf zwei Hauptdatensätzen durchgeführt: ActivityNet-1.3 und THUMOS14. Ohne zusätzliche Verfeinerungen erreicht das BC-GNN bessere Ergebnisse als bisherige Stand-of-the-Art-Methoden in den Aufgaben der Generierung zeitlicher Aktionenvorschläge sowie der Detektion zeitlicher Aktionen.