Edward Y. Chang Ethan Y. Chang

Abstract

Große Sprachmodelle können ihre Antworten verändern, selbst bei harmlosen Änderungen, die in der Praxis den Ausschlag geben: Bei RAG-Systemen wechseln die Ausgaben, wenn Passagen umsortiert werden; beim Feintuning gehen Invarianzen, die während der Vortrainingsphase erlernt wurden, verloren; Debatten- oder Chain-of-Thought-Prompts nehmen abhängig von der Pfadwahl unterschiedliche Wege; und Compiler-Fusionen oder -Umordnungen stören die Logits in der Nähe von Entscheidungsgrenzen. Diese Fehler verletzen die intendierten Invarianzen, stören den kontinuierlichen Integrationsprozess und zwingen Teams, zwischen Sicherheit und Geschwindigkeit zu wählen. Die Effekte sind klein, aber über Schichten und Positionen verteilt, empfindlich gegenüber der Kontextlänge und der Evaluierungsreihenfolge und erfordern bei der Behebung erheblichen Aufwand durch erneutes Training oder formale Verifikation. Wir stellen WILSON vor, eine minimale, nachträgliche Diagnosesuite, die einfache Schleifen- und Umordnungsprüfungen an internen Repräsentationen in systemweite Signale umwandelt. WILSON kombiniert eine nullinvers-geführte Krümmungskarte über Positionen und Schichten – berechnet mittels JVPs (Jacobian-Vector-Produkte) und Hutchinson-Proben – mit Aktivierungslevel-Commutatoren, die Umordnungsrisiken erkennen. Die Signale sind kostengünstig zu berechnen, modellunabhängig für Standard-Transformers und als Schwellwerte sowie CSV-Artefakte für Orchestrierungssysteme exportierbar. Damit lassen sich konkrete Maßnahmen ergreifen: RAG vor Ordnungseffekten schützen, Feintuning-Regressionen erkennen, Debattenpfade und lange Mehrschritt-Kontexte stabilisieren sowie Fusionen oder Umordnungen im Einsatz kontrollieren. Kurz gesagt: WILSON hilft, Fehler vorherzusehen und sichere Optimierungen zu genehmigen, sodass Zuverlässigkeit und Durchsatz gemeinsam steigen können – ohne dass die Modellarchitektur oder das Training verändert werden muss.