Zeyi Sun Yuhang Cao Jianze Liang Qiushi Sun Ziyu Liu Zhixiong Zhang et al

Abstract

Autonome Agenten für graphische Benutzeroberflächen (GUIs) stoßen in spezialisierten Domänen wie der wissenschaftlichen Datenverarbeitung auf erhebliche Herausforderungen, da sowohl langfristige Planung als auch präzise Ausführung erforderlich sind. Bestehende Ansätze leiden unter einem Kompromiss: Generalistische Agenten zeichnen sich durch eine herausragende Planungsfähigkeit aus, verfügen jedoch über eine schlechte Ausführungsleistung, während spezialisierte Agenten genau das Gegenteil zeigen. Kürzlich vorgestellte kompositionelle Frameworks versuchen, diese Lücke zu schließen, indem sie einen Planer und einen Ausführer kombinieren; sie sind jedoch typischerweise statisch und nicht trainierbar, wodurch eine Anpassung an Erfahrungen unmöglich wird. Dies stellt eine kritische Einschränkung dar, insbesondere angesichts der Seltenheit hochwertiger Daten in wissenschaftlichen Domänen. Um diese Limitationen zu überwinden, stellen wir CODA vor – ein neuartiges und trainierbares kompositionelles Framework, das einen Generalisten-Planer (Cerebrum) mit einem Spezialisten-Ausführer (Cerebellum) integriert und über ein speziell entwickeltes zweistufiges Trainingspipeline-Verfahren optimiert wird. Im ersten Schritt, der Spezialisierung, wenden wir einen entkoppelten GRPO-Ansatz an, um für jede wissenschaftliche Anwendung einzeln einen Experten-Planer zu trainieren, wobei wir von einer kleinen Menge an Aufgabenverläufen ausgehen. Im zweiten Schritt, der Generalisierung, aggregieren wir alle erfolgreichen Verläufe der spezialisierten Experten zu einem konsolidierten Datensatz, der anschließend zur überwachten Feinabstimmung des finalen Planers genutzt wird. Dadurch verfügt CODA über eine robuste Ausführungsleistung sowie eine Fähigkeit zur Übertragung über Domänen hinweg. Auf vier anspruchsvollen Anwendungen des ScienceBoard-Benchmarks evaluiert, übertrifft CODA signifikant die Baselines und etabliert eine neue State-of-the-Art-Leistung unter Open-Source-Modellen.