Command Palette
Search for a command to run...
DDRprog: Ein CLEVR-Differenzierbarer Dynamischer Reasoning-Programmierer
DDRprog: Ein CLEVR-Differenzierbarer Dynamischer Reasoning-Programmierer
Joseph Suarez Justin Johnson Li Fei-Fei
Zusammenfassung
Wir präsentieren ein neues Framework für dynamisches differenzierbares Schließen (Dynamic Differentiable Reasoning, DDR), das es ermöglicht, Verzweigungsprogramme und die sie zusammensetzenden Funktionen gemeinsam zu lernen. Dies löst ein erhebliches Problem der Nichtdifferenzierbarkeit, das jüngere dynamische Architekturen behindert hat. Wir wenden unser Framework auf zwei Szenarien an, in denen wir zwei hoch kompakte und dateneffiziente Architekturen verwenden: DDRprog für CLEVR-Visuelle Fragebeantwortung und DDRstack für die Auswertung von umgekehrten polnischen Notationen (Reverse Polish Notation, RPN). DDRprog verwendet einen rekurrenten Controller, um modulare neuronale Programme sowohl vorherzusagen als auch auszuführen, die direkt dem zugrundeliegenden Fragenlogik entsprechen; es spaltet explizit Unterprozesse ab, um logische Verzweigungen zu verarbeiten. Durch die effektive Nutzung zusätzlicher struktureller Überwachung erreichen wir eine erhebliche Verbesserung im Vergleich zu früheren Ansätzen in Bezug auf die Konsistenz von Teilgaben und eine geringfügige Steigerung der Gesamtgenauigkeit. Wir demonstrieren zudem die Vorteile der strukturellen Überwachung im RPN-Szenario: Die Einbeziehung einer Stack-Voraussetzung in DDRstack ermöglicht es unserem Ansatz, sich auf lange Ausdrücke zu verallgemeinern, bei denen ein LSTM den Auftrag nicht erfüllt.