Adversarial Bipartite Graph Learning für Video Domain Adaptation

Domain-Adaptation-Techniken, die sich auf die Anpassung von Modellen zwischen verteilungsunterschiedlichen Domänen konzentrieren, werden im Bereich der Videoerkennung aufgrund der erheblichen räumlichen und zeitlichen Verschiebungen zwischen der Quell- (d. h. Trainings-) und der Ziel-(d. h. Test-)Domäne selten untersucht. Daher sind jüngere Ansätze zur visuellen Domain-Adaptation, die adversariales Lernen nutzen, um die Quell- und Zielvideo-Repräsentationen zu vereinheitlichen und die Transferfähigkeit der Merkmale zu stärken, auf Videos nicht besonders effektiv. Um diese Limitation zu überwinden, lernen wir in diesem Artikel stattdessen einen domainspezifischen Video-Klassifikator, anstatt domäneninvariante Repräsentationen zu erlernen, und stellen einen adversarialen bipartiten Graphen-(ABG)-Lernrahmen vor, der die Interaktionen zwischen Quelle und Ziel direkt über eine Netztopologie aus einem bipartiten Graphen modelliert. Konkret werden Quell- und Zielbilder als heterogene Knoten abgebildet, während die Kanten zwischen den beiden Knotentypen die Affinität zwischen ihnen messen. Durch Nachrichtenübertragung aggregiert jeder Knoten Merkmale von seinen heterogenen Nachbarn, wodurch die Merkmale derselben Klasse gleichmäßig gemischt werden. Die explizite Exposition des Video-Klassifikators gegenüber solchen cross-domain-Repräsentationen sowohl im Trainings- als auch im Teststadium macht unser Modell weniger abhängig von den beschrifteten Quelldaten und führt somit zu einer besseren Generalisierung auf der Ziel-Domäne. Um die Modellkapazität weiter zu steigern und die Robustheit des vorgeschlagenen Architekturen bei anspruchsvollen Transferaufgaben zu überprüfen, erweitern wir das Modell auf eine semi-supervised-Situation, indem wir zusätzlich einen videobasierten bipartiten Graphen einsetzen. Umfangreiche Experimente an vier Benchmarks belegen die Wirksamkeit des vorgeschlagenen Ansatzes gegenüber den Stand-of-the-Art-Methoden im Bereich der Videoerkennung.