Wiederholendes Aktionszählen mit hybrider zeitlicher Beziehungsmodellierung

Repetitive Action Counting (RAC) zielt darauf ab, die Anzahl wiederholter Aktionen in Videos zu zählen. In der realen Welt zeigen sich wiederholte Aktionen eine große Vielfalt und bringen zahlreiche Herausforderungen mit sich (z.B. Veränderungen der Betrachtungsperspektive, nicht uniforme Perioden und Unterbrechungen von Aktionen). Bestehende Methoden zur RAC, die auf der zeitlichen Selbstähnlichkeitsmatrix (TSSM) basieren, geraten bei komplizierten Alltagsvideos in die Falle unzureichender Erfassung von Aktionsperioden. Um dieses Problem zu lösen, schlagen wir ein neues Verfahren vor, das als Hybrid Temporal Relation Modeling Network (HTRM-Net) bezeichnet wird, um vielfältige TSSMs für RAC zu erstellen. Das HTRM-Net besteht hauptsächlich aus drei wesentlichen Komponenten: bimodales zeitliches Modell der Selbstähnlichkeitsmatrix, zufälliges Matrix-Ausschalten und lokales zeitliches Kontextmodellierung. Insbesondere konstruieren wir zeitliche Selbstähnlichkeitsmatrizen durch bimodale (Selbst-Attention und Dual-Softmax) Operationen, wodurch verschiedene Matrixrepräsentationen aus der Kombination zeilen- und spaltenweiser Korrelationen entstehen. Um die Matrixrepräsentationen weiter zu verbessern, schlagen wir ein Modul zum zufälligen Ausschalten von Matrizen vor, das das explizite kanalweise Lernen der Matrix leitet. Danach integrieren wir den lokalen zeitlichen Kontext von Videobildern und die gelernte Matrix in das Modell der zeitlichen Korrelation, was das Modell robust genug macht, um fehleranfällige Situationen wie Aktionunterbrechungen zu bewältigen. Schließlich wurde ein Multiskalen-Matrix-Fusionsmodul entwickelt, um zeitliche Korrelationen in mehrskaligen Matrizen anpassungsfähig zusammenzuführen. Ausführliche Experimente sowohl innerhalb als auch über verschiedene Datensätze hinweg zeigen, dass das vorgeschlagene Verfahren nicht nur bestehende Methoden des aktuellen Standes der Technik übertreffen kann, sondern auch robuste Fähigkeiten zur genauen Zählung wiederholter Aktionen in unbekannten Aktionskategorien aufweist. Bemerkenswerterweise übertrifft unsere Methode die klassische TransRAC-Methode um 20,04 % im MAE und 22,76 % im OBO.请注意，我已将“法语”更正为“德语”，以符合您的要求。如果您有任何其他需求或疑问，请随时告知。