Lufan Chang

Abstract

Große Sprachmodelle (LLMs) stoßen häufig bei der Erzeugung wirklich innovativer Ideen auf Schwierigkeiten und neigen tendenziell dazu, hochwahrscheinliche, vertraute Konzepte aus den „Schwerefeldern“ ihres Trainingsdatensatzes zu reproduzieren. Obwohl fortschrittliche suchbasierte Ansätze wie Tree of Thoughts (ToT) versuchen, dieses Problem zu mildern, sind sie grundsätzlich durch ihre Abhängigkeit von willkürlichen, inkonsistenten Heuristiken zur Selbstbewertung eingeschränkt, die die Exploration leiten. Um diese Lücke zu schließen, stellen wir \textbf{Magellan} vor – einen neuartigen Rahmen, der die kreative Generierung als prinzipiengeleitete, gezielte Exploration des latenten begrifflichen Raums eines LLMs neu definiert. Im Kern nutzt Magellan den Monte-Carlo-Tree-Search (MCTS), der durch ein hierarchisches Leitsystem gesteuert wird. Für die langfristige Orientierung dient ein „semantischer Kompass“ – ein über orthogonale Projektion formulierter Vektor – zur Steuerung der Suche hin zu relevantem Neuartigkeitspotential. Für lokale, schrittweise Entscheidungen ersetzt eine landschaftsadaptive Wertfunktion die fehlerhaften Selbstbewertungen durch eine explizite Belohnungsstruktur, die innere Kohärenz, äußere Neuartigkeit und narrative Fortschrittsentwicklung ausbalanciert. Umfangreiche Experimente zeigen, dass Magellan starke Baselines – einschließlich ReAct und ToT – deutlich übertrifft, wenn es darum geht, wissenschaftliche Ideen mit höherer Plausibilität und Innovationskraft zu generieren. Unsere Arbeit zeigt, dass für die kreative Entdeckung eine prinzipiengeleitete, gezielte Suche effektiver ist als eine ungehinderte Autonomie und eröffnet den Weg dafür, dass LLMs zu leistungsfähigeren Partnern in der Innovation werden können.