HyperAIHyperAI

Command Palette

Search for a command to run...

Un cadre fondé sur une architecture encodeur-décodeur pour la génération de légendes d’images en hindi

Sivaji Bandyopadhyay Thoudam Doren Singh Alok Singh

Résumé

Dans les derniers temps, l’activité de recherche sur la génération de légendes d’images a attiré l’attention de nombreux chercheurs. Ce travail vise à aborder le problème de la génération de légendes en hindi à l’aide du jeu de données Hindi Visual Genome. L’hindi est la langue officielle et la plus parlée en Inde. Dans un pays linguistiquement diversifié comme l’Inde, il est essentiel de proposer un moyen permettant aux individus de comprendre les entités visuelles dans leur langue maternelle. Dans cet article, une architecture basée sur un encodeur-décodeur est proposée, dans laquelle un réseau de neurones convolutifs (CNN) est utilisé pour encoder les caractéristiques visuelles d’une image, tandis qu’un réseau de mémoire à court terme empilé (sLSTM) combiné à des réseaux LSTM unidirectionnels et bidirectionnels est employé pour générer les légendes en hindi. Pour représenter les caractéristiques visuelles d’une image, un modèle pré-entraîné basé sur VGG19 est utilisé, tandis que l’architecture sLSTM est mise en œuvre au niveau du décodeur pour la génération des légendes. Le modèle est évalué sur le jeu de données Hindi Visual Genome afin de valider les performances de l’approche proposée, et une vérification croisée est réalisée sur les légendes en anglais à l’aide du jeu de données Flickr. Les résultats expérimentaux montrent que le modèle proposé est supérieur, tant sur le plan qualitatif que quantitatif, aux approches de pointe actuelles pour la génération de légendes en hindi.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp