HyperAIHyperAI

Command Palette

Search for a command to run...

Compression du modèle LXMERT pour la réponse aux questions visuelles

Maryam Hashemi Ghazaleh Mahmoudi Sara Kodeiri Hadi Sheikhi Sauleh Eetemadi

Résumé

Les modèles pré-entraînés à grande échelle tels que LXMERT gagnent en popularité pour l’apprentissage de représentations croisées entre texte et image dans le cadre de tâches vision-langage. Selon l’hypothèse du ticket de loterie, les modèles de traitement du langage naturel (NLP) et de vision par ordinateur contiennent des sous-réseaux plus petits capables d’être entraînés de manière isolée jusqu’à atteindre des performances optimales. Dans ce travail, nous combinons ces observations afin d’évaluer l’existence de tels sous-réseaux entraînables dans LXMERT lorsqu’il est finement ajusté sur la tâche de VQA. Par ailleurs, nous menons une analyse coût-bénéfice en fonction de la taille du modèle en étudiant jusqu’où l’on peut procéder à une élagage (pruning) sans perte significative de précision. Nos résultats expérimentaux montrent qu’il est possible de réduire efficacement la taille de LXMERT de 40 % à 60 % tout en n’acceptant qu’une perte de précision de 3 %.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp