Entwicklung von Prompts im Kontext: Eine offene, selbstreplizierende Perspektive

Wir schlagen ein neues Paradigma für die Gestaltung von Prompts vor, das herkömmliche Ansichten im Bereich der Anweisungen für große Sprachmodelle (LLMs) herausfordert. Während traditionelle Ansätze gut formulierte Anweisungen und Beispiele für kontextabhängiges Lernen (ICL) bevorzugen, zeigen wir, dass das zufällige Auswählen von Beispielen zu scheinbar unzusammenhängendem „Kauderwelsch“ die Leistung bei verschiedenen Aufgaben erstaunlich verbessern kann. Bemerkenswerterweise übertreffen diese „Kauderwelsch“-Prompts stets oder erreichen mindestens die Leistung der besten automatischen Prompt-Optimierungstechniken, wobei sie erhebliche Verbesserungen bringen, unabhängig von der Ausrichtung des LLM. Dennoch ist es nicht trivial, eine effektive Pruning-Strategie zu finden, da existierende Attributionsmethoden und Prompt-Kompressionsalgorithmen robuste Ergebnisse liefern können und menschliches Intuitivvermögen hierbei versagt. In diesem Zusammenhang schlagen wir einen selbstlernenden Prompt-Optimierungsrahmen vor: PromptQuine. Dieses evolutionäre Suchframework findet automatisch die Pruning-Strategie unter Verwendung nur geringer Datenmengen. Ähnlich wie die in der Natur auftretende Komplexität – wie Symbiose und Selbstorganisation – als Reaktion auf Ressourcenbeschränkungen entsteht, entwickelt unser Framework unkonventionelle aber hochwirksame Prompts, indem es ausschließlich auf die Tokens innerhalb des Kontexts zurückgreift. Wir demonstrieren seine Effektivität bei Klassifikationsaufgaben, Multiple-Choice-Fragen, Generierungsaufgaben und mathematischem Schließen über verschiedene LLMs hinweg und erreichen dabei gute Laufzeiteffizienz. Wir hoffen, unsere Erkenntnisse können mechanistische Studien zum kontextabhängigen Lernen fördern und einen Aufruf zur Aktion bilden, um den Weg für offener gestaltete Suchalgorithmen zu ebnen, die noch effektiveres LLM-Prompting ermöglichen.