HyperAIHyperAI
vor 2 Monaten

Der Neuro-Symbolische Konzept-Lerner: Interpretation von Szenen, Wörtern und Sätzen durch natürliche Überwachung

Jiayuan Mao; Chuang Gan; Pushmeet Kohli; Joshua B. Tenenbaum; Jiajun Wu
Der Neuro-Symbolische Konzept-Lerner: Interpretation von Szenen, Wörtern und Sätzen durch natürliche Überwachung
Abstract

Wir schlagen den Neuro-Symbolischen Konzept-Lerner (NS-CL) vor, ein Modell, das visuelle Konzepte, Wörter und die semantische Analyse von Sätzen ohne explizite Überwachung dieser Elemente lernt; stattdessen lernt unser Modell einfach durch Betrachten von Bildern und Lesen von dazugehörigen Fragen und Antworten. Unser Modell erstellt eine objektbasierte Szenerendarstellung und übersetzt Sätze in ausführbare, symbolische Programme. Um das Lernen der beiden Module zu verbinden, verwenden wir ein neuro-symbolisches Schließungsmodul, das diese Programme auf der latente Szenerendarstellung ausführt. Analog zum menschlichen Konzeptlernen lernt das Perceptionsmodul visuelle Konzepte basierend auf der sprachlichen Beschreibung des bezeichneten Objekts. Gleichzeitig erleichtern die gelernten visuellen Konzepte das Erlernen neuer Wörter und die Analyse neuer Sätze. Wir nutzen curriculum-basiertes Lernen, um die Suche im großen kompositionellen Raum von Bildern und Sprache zu leiten. Ausführliche Experimente zeigen die Genauigkeit und Effizienz unseres Modells beim Lernen visueller Konzepte, Wortrepräsentationen und der semantischen Analyse von Sätzen. Darüber hinaus ermöglicht unsere Methode eine einfache Verallgemeinerung auf neue Objekteigenschaften, Kompositionen, sprachliche Konzepte, Szenarien und Fragen sowie sogar auf neue Programmierbereiche. Sie befähigt auch Anwendungen wie visuelle Fragebeantwortung und bidirektionale Bilder-Text-Retrieval.请注意,这里有一些术语的翻译:- Neuro-Symbolic Concept Learner: Neuro-Symbolischer Konzept-Lerner (NS-CL)- Scene representation: Szenerendarstellung- Semantic parsing: semantische Analyse- Curriculum learning: curriculum-basiertes Lernen- Word representations: Wortrepräsentationen- Image-text retrieval: Bilder-Text-Retrieval这些翻译在科技或学术领域中是通用的,以保持专业性。

Der Neuro-Symbolische Konzept-Lerner: Interpretation von Szenen, Wörtern und Sätzen durch natürliche Überwachung | Neueste Forschungsarbeiten | HyperAI