Hierarchisches domänenangepasstes Merkmalslernen für die Vorhersage von Video-Salienz

In dieser Arbeit schlagen wir eine 3D-vollkonvolutionale Architektur für die Vorhersage von Video-Salienz vor, die hierarchische Überwachung auf Zwischenkarten (als Conspicuity-Karten bezeichnet) anwendet, die mithilfe von Merkmalen generiert werden, die auf verschiedenen Abstraktionsebenen extrahiert wurden. Wir ergänzen den grundlegenden hierarchischen Lernmechanismus um zwei Techniken für Domänenanpassung und domänenbezientes Lernen. Für die erste Technik befördern wir das unüberwachte Lernen hierarchischer allgemeiner Merkmale durch Gradienteninversion auf mehreren Skalen, um die Generalisierungsfähigkeiten des Modells auf Datensätzen zu verbessern, für die während des Trainings keine Annotationen bereitgestellt werden. Bei der Domänenanpassung verwenden wir domänenbezogene Operationen (nämlich Priorisierungen, Glättung und Batch-Normalisierung), indem wir die gelernten Merkmale auf einzelne Datensätze spezialisieren, um die Leistung zu maximieren. Die Ergebnisse unserer Experimente zeigen, dass das vorgeschlagene Modell bei überwachter Salienzvorhersage einen Stand-der-Technik-Akkuratz erreicht. Wenn das grundlegende hierarchische Modell mit domänenbezogenen Modulen versehen wird, verbessert sich die Leistung weiter und übertreffen unsere Ergebnisse drei von fünf Metriken im DHF1K-Benchmark die der aktuellen Stand-der-Technik-Modelle und erreichen bei den anderen beiden Metriken die zweitbesten Werte. Testen wir es hingegen in einem unüberwachten Domänenanpassungssetting und aktivieren hierarchische Gradienteninversionschichten, erzielen wir eine Leistung, die vergleichbar mit der der überwachten Stand-der-Technik-Modelle ist.