HyperAIHyperAI

Command Palette

Search for a command to run...

Parvenir à une égalité humaine en réponse aux questions visuelles

Résumé

La tâche de réponse aux questions visuelles (Visual Question Answering, VQA) repose sur une analyse conjointe d’images visuelles et de langage naturel afin de répondre à une question textuelle formulée à propos d’une image. Elle s’est imposée comme un sujet de recherche populaire au cours de la dernière décennie, avec une croissance continue des applications concrètes dans divers domaines. Ce papier présente nos récentes recherches menées sur AliceMind-MMU (ALIbaba’s Collection of Encoder-decoders from Machine IntelligeNce lab of Damo Academy – MultiMedia Understanding), un modèle qui obtient des résultats comparables, voire légèrement supérieurs, à ceux des êtres humains sur des tâches de VQA. Ces performances sont atteintes grâce à une amélioration systématique du pipeline de VQA, comprenant : (1) un pré-entraînement basé sur une représentation visuelle et textuelle exhaustive ; (2) une interaction intermodale efficace fondée sur l’apprentissage de l’attention ; et (3) un nouveau cadre d’extraction de connaissances intégrant des modules experts spécialisés pour faire face à la complexité des tâches de VQA. L’approche différenciée adaptée aux différents types de questions visuelles, en fonction des compétences spécifiques requises, joue un rôle crucial dans l’optimisation des performances de notre architecture VQA jusqu’au niveau humain. Une série d’expériences étendues et une analyse approfondie sont menées afin de démontrer l’efficacité de cette nouvelle approche.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp