NeSyCoCo: Ein neuro-symbolischer Konzeptkomponist für zusammengesetzte Generalisierung

Kompositionelle Generalisierung ist entscheidend für künstliche Intelligenz-Agenten, um komplexe visuell-sprachliche Schlussfolgerungsaufgaben zu lösen. Neuro-symbolische Ansätze haben Versprechen gezeigt, kompositionelle Strukturen zu erfassen, stoßen jedoch auf kritische Herausforderungen: (a) die Abhängigkeit von vordefinierten Prädikaten für symbolische Darstellungen, was die Anpassungsfähigkeit einschränkt, (b) die Schwierigkeit, Prädikate aus Rohdaten zu extrahieren, sowie (c) die Verwendung nicht-differenzierbarer Operationen zur Kombination primitiver Konzepte. Um diese Probleme anzugehen, stellen wir NeSyCoCo vor, einen neuro-symbolischen Rahmen, der große Sprachmodelle (LLMs) nutzt, um symbolische Darstellungen zu generieren und diese in differenzierbare neuronale Berechnungen abzubilden. NeSyCoCo führt drei Innovationen ein: (a) die Erweiterung natürlicher Spracheingaben um Abhängigkeitsstrukturen, um die Ausrichtung mit symbolischen Darstellungen zu verbessern, (b) die Verwendung verteilter Wortrepräsentationen, um vielfältige, sprachlich motivierte logische Prädikate mit neuronalen Modulen zu verknüpfen, und (c) die Verwendung einer weichen Komposition normalisierter Prädikatsscores, um die Ausrichtung zwischen symbolischer und differenzierbarer Schlussfolgerung zu erreichen. Unser Framework erreicht state-of-the-art Ergebnisse auf den kompositionellen Generalisierungsbenchmarks ReaSCAN und CLEVR-CoGenT und zeigt robuste Leistung auch bei neuen Konzepten im CLEVR-SYN-Benchmark.