ProTo: Programmgesteuerter Transformer für programmgesteuerte Aufgaben

Programme, die semantische und strukturelle Informationen umfassen, spielen eine wichtige Rolle in der Kommunikation zwischen Menschen und Agenten. Um allgemeine Programm-Executor zu erlernen, die Wahrnehmung, Denken und Entscheidungsfindung vereinen, formulieren wir programmgeführte Aufgaben, bei denen das Erlernen des Ausführens eines gegebenen Programms auf der beobachteten Aufgabenbeschreibung basiert. Des Weiteren schlagen wir den Programmgeführten Transformer (ProTo) vor, der durch die Nutzung von Cross-Attention und maskierter Selbst-Aufmerksamkeit sowohl semantische als auch strukturelle Anleitungen eines Programms integriert, um Nachrichten zwischen der Spezifikation und den Routinen im Programm zu übermitteln. ProTo führt ein Programm in einem gelernten latente Raum aus und verfügt über eine stärkere Darstellungsfähigkeit als frühere neurale symbolische Ansätze. Wir zeigen, dass ProTo die bisherigen Stand-der-Kunst-Methoden bei GQA visuellen Schlussfolgerungen und 2D Minecraft Policy Learning-Datensätzen deutlich übertrifft. Zudem demonstriert ProTo eine bessere Generalisierungsfähigkeit für unbekannte, komplexe und menschlich verfasste Programme.