Constraints-Guided Diffusion Reasoner für neuro-symbolisches Lernen

Die Fähigkeit von neuronalen Netzen, komplexe logische Constraints zu lernen und symbolische Schlussfolgerungen zu ziehen, stellt eine zentrale Herausforderung dar. Der Brückenschlag zwischen neuronalen und symbolischen Ansätzen erfordert oft eine Steuerung der Ausgabeverteilung des neuronalen Netzes hin zu den vorgegebenen symbolischen Bedingungen. Während Diffusionsmodelle bemerkenswerte generative Fähigkeiten in verschiedenen Domänen gezeigt haben, nutzen wir diese leistungsfähige Architektur hier zur Durchführung neuro-symbolischer Lernprozesse und zur Lösung logischer Rätsel. Unser auf Diffusionsmodellen basierender Ansatz verfolgt eine zweistufige Trainingsstrategie: Im ersten Stadium wird die grundlegende Schlussfolgerungsfähigkeit entwickelt, während im zweiten Stadium das systematische Lernen logischer Constraints im Vordergrund steht. Um im zweiten Stadium starke (hard) Constraints auf die neuronalen Ausgaben aufzuerlegen, formulieren wir den Diffusions-Reasoner als ein Markov-Entscheidungsproblem und feinjustieren ihn innovativ mittels eines verbesserten Proximal-Policy-Optimierungsverfahrens (PPO). Wir nutzen eine regelbasierte Belohnungssignale, die aus der logischen Konsistenz der neuronalen Ausgaben abgeleitet wird, und setzen eine flexible Strategie zur Optimierung der Policy des Diffusions-Reasoners ein. Wir evaluieren unsere Methode an mehreren klassischen Benchmarks für symbolische Schlussfolgerung, darunter Sudoku, Labyrinthrätsel, Pfadfindung und Präferenzlernens. Experimentelle Ergebnisse zeigen, dass unser Ansatz herausragende Genauigkeit und logische Konsistenz bei neuronalen Netzwerken erreicht.