HyperAIHyperAI

Command Palette

Search for a command to run...

ProTo: Programmgesteuerter Transformer für programmgesteuerte Aufgaben

Zhao Zelin ; Samel Karan ; Chen Binghong ; Song Le

Zusammenfassung

Programme, die semantische und strukturelle Informationen umfassen, spielen eine wichtige Rolle in der Kommunikation zwischen Menschen und Agenten. Um allgemeine Programm-Executor zu erlernen, die Wahrnehmung, Denken und Entscheidungsfindung vereinen, formulieren wir programmgeführte Aufgaben, bei denen das Erlernen des Ausführens eines gegebenen Programms auf der beobachteten Aufgabenbeschreibung basiert. Des Weiteren schlagen wir den Programmgeführten Transformer (ProTo) vor, der durch die Nutzung von Cross-Attention und maskierter Selbst-Aufmerksamkeit sowohl semantische als auch strukturelle Anleitungen eines Programms integriert, um Nachrichten zwischen der Spezifikation und den Routinen im Programm zu übermitteln. ProTo führt ein Programm in einem gelernten latente Raum aus und verfügt über eine stärkere Darstellungsfähigkeit als frühere neurale symbolische Ansätze. Wir zeigen, dass ProTo die bisherigen Stand-der-Kunst-Methoden bei GQA visuellen Schlussfolgerungen und 2D Minecraft Policy Learning-Datensätzen deutlich übertrifft. Zudem demonstriert ProTo eine bessere Generalisierungsfähigkeit für unbekannte, komplexe und menschlich verfasste Programme.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp