HyperAIHyperAI

Command Palette

Search for a command to run...

Réseau de Décodage Réflexif pour la Légendisation d'Images

Lei Ke; Wenjie Pei; Ruiyu Li; Xiaoyong Shen; Yu-Wing Tai

Résumé

Les méthodes de légendage d'images les plus avancées se concentrent principalement sur l'amélioration des caractéristiques visuelles, tandis que moins d'attention a été portée à l'utilisation des propriétés inhérentes du langage pour améliorer la performance du légendage. Dans cet article, nous montrons que la cohérence lexicale entre les mots et le paradigme syntaxique des phrases sont également importants pour générer des légendes d'images de haute qualité. En suivant le cadre traditionnel encodeur-décodeur, nous proposons le Réseau de Décodage Réflexif (RDN) pour le légendage d'images, qui renforce à la fois la dépendance de longue séquence et la perception de position des mots dans un décodeur de légende. Notre modèle apprend à porter une attention collaborative aux caractéristiques visuelles et textuelles tout en percevant la position relative de chaque mot dans la phrase afin de maximiser l'information transmise dans la légende générée. Nous évaluons l'efficacité de notre RDN sur les jeux de données COCO pour le légendage d'images et obtenons des performances supérieures aux méthodes précédentes. Des expériences supplémentaires révèlent que notre approche est particulièrement avantageuse pour les cas difficiles impliquant des scènes complexes à décrire par des légendes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Réseau de Décodage Réflexif pour la Légendisation d'Images | Articles | HyperAI