Die Aufgabe des Visual Question Answering (VQA) nutzt sowohl visuelle Bildanalyse als auch Sprachanalyse, um eine textuelle Frage im Zusammenhang mit einem Bild zu beantworten. In den letzten zehn Jahren hat sie sich zu einem beliebten Forschungsthema entwickelt und findet zunehmend Anwendung in realen Szenarien. In diesem Artikel beschreiben wir unsere neuesten Forschungsergebnisse im Rahmen von AliceMind-MMU (ALIbaba’s Collection of Encoder-decoders from Machine IntelligeNce lab of Damo Academy – MultiMedia Understanding), das Ergebnisse erzielt, die der menschlichen Leistung gleichkommen oder sogar leicht übertreffen. Dies wird durch eine systematische Verbesserung des VQA-Pipelines erreicht, die folgende drei Aspekte umfasst: (1) Vortrainings mit umfassender Repräsentation visueller und textualer Merkmale; (2) effektive multimodale Interaktion mittels Lernen des Fokussierens (learning to attend); und (3) einen neuartigen Wissensmining-Framework mit spezialisierten Expertenmodulen für die komplexe VQA-Aufgabe. Die gezielte Behandlung verschiedener Arten visueller Fragen mit entsprechendem fachlichem Spezialwissen spielt eine entscheidende Rolle bei der Steigerung der Leistungsfähigkeit unserer VQA-Architektur auf menschliches Niveau. Um die Wirksamkeit des neuen Forschungsansatzes zu belegen, wurden umfangreiche Experimente und detaillierte Analysen durchgeführt.