HyperAIHyperAI

Command Palette

Search for a command to run...

Hierarchisches domänenangepasstes Merkmalslernen für die Vorhersage von Video-Salienz

G. Bellitto F. Proietto Salanitri S. Palazzo F. Rundo D. Giordano C. Spampinato

Zusammenfassung

In dieser Arbeit schlagen wir eine 3D-vollkonvolutionale Architektur für die Vorhersage von Video-Salienz vor, die hierarchische Überwachung auf Zwischenkarten (als Conspicuity-Karten bezeichnet) anwendet, die mithilfe von Merkmalen generiert werden, die auf verschiedenen Abstraktionsebenen extrahiert wurden. Wir ergänzen den grundlegenden hierarchischen Lernmechanismus um zwei Techniken für Domänenanpassung und domänenbezientes Lernen. Für die erste Technik befördern wir das unüberwachte Lernen hierarchischer allgemeiner Merkmale durch Gradienteninversion auf mehreren Skalen, um die Generalisierungsfähigkeiten des Modells auf Datensätzen zu verbessern, für die während des Trainings keine Annotationen bereitgestellt werden. Bei der Domänenanpassung verwenden wir domänenbezogene Operationen (nämlich Priorisierungen, Glättung und Batch-Normalisierung), indem wir die gelernten Merkmale auf einzelne Datensätze spezialisieren, um die Leistung zu maximieren. Die Ergebnisse unserer Experimente zeigen, dass das vorgeschlagene Modell bei überwachter Salienzvorhersage einen Stand-der-Technik-Akkuratz erreicht. Wenn das grundlegende hierarchische Modell mit domänenbezogenen Modulen versehen wird, verbessert sich die Leistung weiter und übertreffen unsere Ergebnisse drei von fünf Metriken im DHF1K-Benchmark die der aktuellen Stand-der-Technik-Modelle und erreichen bei den anderen beiden Metriken die zweitbesten Werte. Testen wir es hingegen in einem unüberwachten Domänenanpassungssetting und aktivieren hierarchische Gradienteninversionschichten, erzielen wir eine Leistung, die vergleichbar mit der der überwachten Stand-der-Technik-Modelle ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp