Hierarchisches Selbst-Attention-Netzwerk für die Aktionslokalisierung in Videos

Diese Arbeit präsentiert ein neuartiges hierarchisches Selbst-Attention-Netzwerk (HISAN), das zur Generierung von räumlich-zeitlichen Tuben für die Aktionslokalisierung in Videos eingesetzt wird. Der Kerngedanke von HISAN besteht darin, das zweistromige convolutionale Neuronale Netzwerk (CNN) mit einem hierarchischen bidirektionalen Selbst-Attention-Mechanismus zu kombinieren, der zwei Ebenen bidirektionaler Selbst-Attention umfasst und somit sowohl langfristige zeitliche Abhängigkeiten als auch räumliche Kontextinformationen effizient erfassen kann, um eine präzisere Aktionslokalisierung zu ermöglichen. Zudem wird ein Algorithmus zur Sequenzneubewertung (Sequence Rescoring, SR) eingesetzt, um das Problem unkonsequenter Detektionswerte zu lösen, das durch Verdeckung oder Hintergrundstörungen verursacht wird. Darüber hinaus wird ein neues Fusionsverfahren vorgeschlagen, das nicht nur die Erscheinungs- und Bewegungsinformationen aus dem zweistromigen Netzwerk, sondern auch die Bewegungssalienz integriert, um die Auswirkungen von Kamerabewegungen zu reduzieren. Simulationen zeigen, dass der vorgeschlagene Ansatz auf den weit verbreiteten Datensätzen UCF101-24 und J-HMDB eine konkurrenzfähige Leistung im Vergleich zu aktuellen Spitzenverfahren hinsichtlich Genauigkeit der Aktionslokalisierung und -erkennung erzielt.