HyperAIHyperAI

Command Palette

Search for a command to run...

Deep Multimodal Neural Architecture Search

Zhou Yu Yuhao Cui Jun Yu Meng Wang Dacheng Tao Qi Tian

Zusammenfassung

Die Gestaltung effektiver neuronaler Netzwerke ist von grundlegender Bedeutung für das tiefe multimodale Lernen. Die meisten bestehenden Ansätze konzentrieren sich auf eine einzelne Aufgabe und entwerfen neuronale Architekturen manuell, wodurch diese hochgradig aufgabenspezifisch sind und sich schwer auf unterschiedliche Aufgaben verallgemeinern lassen. In diesem Paper stellen wir einen generalisierten Rahmen für das neuronale Architektursuchverfahren im tiefen multimodalen Lernen (MMnas) für verschiedene multimodale Lernaufgaben vor. Gegeben multimodale Eingaben definieren wir zunächst eine Menge elementarer Operationen und bauen daraufhin einen tiefen Encoder-Decoder-basierten einheitlichen Hauptkern (unified backbone) auf, wobei jeder Encoder- oder Decoder-Block einer aus einem vordefinierten Operationspool gesuchten Operation entspricht. Auf diesem einheitlichen Hauptkern werden task-spezifische Kopfmodule angefügt, um verschiedene multimodale Lernaufgaben zu bewältigen. Mittels eines gradientenbasierten NAS-Algorithmus werden die optimalen Architekturen für unterschiedliche Aufgaben effizient gelernt. Umfangreiche Ablationsstudien, umfassende Analysen sowie vergleichende Experimente zeigen, dass das resultierende MMnasNet im Vergleich zu bestehenden State-of-the-Art-Ansätzen erheblich bessere Ergebnisse erzielt – über drei multimodale Lernaufgaben (auf mehr als fünf Datensätzen), darunter Visual Question Answering, Image-Text-Matching und Visual Grounding.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp