HyperAIHyperAI

Command Palette

Search for a command to run...

Multimodales Differenzierungsnetzwerk für die Generierung visueller Fragen

Badri N. Patro; Sandeep Kumar; Vinod K. Kurmi; Vinay P. Namboodiri

Zusammenfassung

Die Erstellung natürlicher Fragen aus einem Bild ist eine semantische Aufgabe, die das Verwenden von visueller und sprachlicher Modalität erfordert, um multimodale Repräsentationen zu lernen. Bilder können mehrere visuelle und sprachliche Kontexte aufweisen, die für die Frageerstellung relevant sind, insbesondere Orte, Bildunterschriften und Schlagwörter. In dieser Arbeit schlagen wir die Verwendung von Exemplaren vor, um den relevanten Kontext zu erhalten. Dies erreichen wir durch den Einsatz eines Multimodalen Differenzialnetzes (Multimodal Differential Network), das natürliche und ansprechende Fragen erzeugt. Die generierten Fragen zeigen eine bemerkenswerte Ähnlichkeit zu natürlichen Fragen, wie durch eine menschliche Studie bestätigt wurde. Darüber hinaus beobachten wir, dass der vorgeschlagene Ansatz bei den quantitativen Metriken (BLEU, METEOR, ROUGE und CIDEr) erheblich über den Stand der Technik hinausgeht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp