HyperAIHyperAI

Command Palette

Search for a command to run...

Neurales Selbstgespräch: Bildverstehen durch kontinuierliches Fragen und Antworten

Yezhou Yang Yi Li Cornelia Fermuller Yiannis Aloimonos

Zusammenfassung

In dieser Arbeit betrachten wir das Problem der kontinuierlichen Entdeckung von Bildinhalten durch aktives Stellen von bildbasierten Fragen und anschließendes Beantworten dieser Fragen. Die wesentlichen Komponenten umfassen ein Modul zur Generierung visueller Fragen (Visual Question Generation, VQG) und ein Modul zur Beantwortung visueller Fragen, bei denen Rekurrente Neuronale Netze (Recurrent Neural Networks, RNN) und Faltungsschicht-Neuronale Netze (Convolutional Neural Networks, CNN) eingesetzt werden. Angenommen wird ein Datensatz, der Bilder, Fragen und deren Antworten enthält; beide Module werden gleichzeitig trainiert, wobei der Unterschied darin besteht, dass VQG die Bilder als Eingabe verwendet und die entsprechenden Fragen als Ausgabe erzeugt, während VQA Bilder und Fragen als Eingabe verwendet und die entsprechenden Antworten als Ausgabe erzeugt. Wir bewerten den Selbstgesprächsprozess subjektiv mit Hilfe von Amazon Mechanical Turk, was die Effektivität des vorgeschlagenen Verfahrens zeigt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp