Video Person Re-Identification mit kompetitiver Snippet-Similarity-Aggregation und ko-attentiver Snippet-Embedding

In diesem Paper behandeln wir die personenbasierte Re-Identifikation auf Basis von Videos unter Verwendung einer wettbewerbsstarken Aggregation von Schnittstellen-Ähnlichkeiten und ko-attentiver Schnittstellen-Embedding. Unser Ansatz unterteilt lange Personensequenzen in mehrere kurze Video-Schnitte und aggregiert die besten Ähnlichkeitswerte der Schnitte für die Schätzung der Sequenz-Ähnlichkeit. Mit dieser Strategie kann die intra-personliche visuelle Variabilität jedes einzelnen Samples für die Ähnlichkeitsschätzung minimiert werden, während gleichzeitig die vielfältigen Erscheinungsformen und zeitlichen Informationen erhalten bleiben. Die Ähnlichkeiten zwischen den Schnitten werden durch ein tiefes neuronales Netzwerk geschätzt, das eine neuartige zeitliche Ko-Attention zur Schnittstellen-Embedding verwendet. Die Aufmerksamkeitsgewichte werden auf Basis eines Abfrage-Features ermittelt, das aus dem gesamten Ermittlungs-Schnitt mittels eines LSTM-Netzwerks gelernt wird, wodurch die resultierenden Embeddings weniger empfindlich gegenüber verrauschten Bildern werden. Der Gallery-Schnitt teilt sich das gleiche Abfrage-Feature mit dem Ermittlungs-Schnitt. Dadurch kann das Embedding des Gallery-Schnitts relevantere Merkmale hervorheben, um mit dem Ermittlungs-Schnitt verglichen zu werden, was zu genaueren Schnitt-Ähnlichkeitswerten führt. Umfangreiche Ablationsstudien bestätigen die Wirksamkeit sowohl der wettbewerbsstarken Aggregation von Schnitt-Ähnlichkeiten als auch der zeitlichen Ko-attentiven Embedding. Unser Verfahren übertrifft die derzeitigen State-of-the-Art-Ansätze erheblich auf mehreren Datensätzen.