HyperAIHyperAI

Command Palette

Search for a command to run...

Distiller des traductions avec une prise de conscience visuelle

Julia Ive extsuperscript1 Pranava Madhyastha extsuperscript2 Lucia Specia extsuperscript2

Résumé

Les travaux précédents sur la traduction multimoale par machine ont montré que les informations visuelles ne sont nécessaires que dans des cas très spécifiques, par exemple en présence de mots ambigus où le contexte textuel n'est pas suffisant. En conséquence, les modèles ont tendance à apprendre à ignorer ces informations. Nous proposons une approche de traduction et d'affinement où les images ne sont utilisées que par un décodeur de seconde étape. Cette approche est formée conjointement pour générer une première version de traduction de qualité et pour améliorer cette version en (i) faisant un meilleur usage du contexte textuel de la langue cible (contextes gauche et droit) et (ii) en utilisant le contexte visuel. Cette méthode conduit à des résultats d'état de l'art. De plus, nous montrons qu'elle possède la capacité de corriger les erreurs ou les omissions de mots dans la langue source.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp