MIT-Forscher erkunden Positionsvoreingenommenheit bei Sprachmodellen.

Die Forschung hat gezeigt, dass große Sprachmodelle (LLMs) Informationen am Anfang und Ende eines Dokuments oder einer Konversation überbewerten, während sie die Mitte vernachlässigen. Dieser "Positionseffekt" bedeutet, dass ein Rechtsanwalt, der ein LLM-gestütztes virtuelles Assistenten nutzt, um einen bestimmten Ausdruck in einem 30-seitigen Eid zu finden, eher erfolgreich sein wird, wenn der gesuchte Text auf den ersten oder letzten Seiten steht. Wissenschaftler vom Massachusetts Institute of Technology (MIT) haben das Mechanismus hinter diesem Phänomen entdeckt und ein theoretisches Framework entwickelt, um zu untersuchen, wie Informationen durch die maschinelles-Lern-Architektur von LLMs fließen. Sie fanden heraus, dass bestimmte Designentscheidungen, die die Verarbeitung von Eingabedaten steuern, den Positionseffekt verursachen können. Ihre Experimente zeigten, dass Modellarchitekturen, insbesondere solche, die die Verteilung von Informationen über die Eingabewörter beeinflussen, den Positionseffekt verursachen oder verstärken können. Darüber hinaus tragen auch die Trainingsdaten zur Schwierigkeit bei. Das Framework kann dazu genutzt werden, diesen Effekt in zukünftigen Modellen zu diagnostizieren und zu korrigieren. Dies könnte zu verlässlicheren Chatbots führen, die während langer Konversationen besser beim Thema bleiben, zu medizinischen KI-Systemen, die Patientendaten gerechter bewerten, und zu Code-Assistenten, die mehr Aufmerksamkeit auf alle Teile eines Programms richten. Diese Modelle sind schwarzgeboxte Systeme, sodass Nutzer des LLMs wahrscheinlich nicht wissen, dass der Positionseffekt ihre Modelle inkonsistent machen kann. Nutzer geben einfach ihre Dokumente in beliebiger Reihenfolge ein und erwarten, dass das Modell funktioniert. Durch besseres Verständnis der zugrunde liegenden Mechanismen können diese Modelle jedoch verbessert werden, indem man diese Einschränkungen angeht, erklärt Xinyi Wu, eine Doktorandin am MIT Institute for Data, Systems, and Society (IDSS) und am Laboratory for Information and Decision Systems (LIDS), sowie erste Autorin des Papers zu dieser Forschung. Die Co-Autoren umfassen Yifei Wang, einen Postdoc am MIT, Stefanie Jegelka, eine außerordentliche Professorin für Elektrotechnik und Informatik (EECS) und Mitglied des IDSS und des Computer Science and Artificial Intelligence Laboratory (CSAIL), sowie Ali Jadbabaie, Professor und Leiter des Departments of Civil and Environmental Engineering, ein Kernmitglied des IDSS und Principal Investigator im LIDS. Die Ergebnisse werden auf der International Conference on Machine Learning präsentiert. Große Sprachmodelle wie Claude, Llama und GPT-4 basieren auf einer Art neuronalem Netzwerk, bekannt als Transformer. Diese Modelle sind darauf ausgelegt, sequenzielle Daten zu verarbeiten, indem sie Sätze in Segmente namens Token aufteilen und die Beziehungen zwischen Tokens erlernen, um vorherzusagen, welche Wörter als Nächstes kommen. Das Aufmerksamkeitsmechanismus, der durch verbundene Schichten von Datenverarbeitungsknoten funktioniert, ermöglicht es Tokens, selektiv auf verwandte Tokens zu achten, was die Modelle in dieser Hinsicht sehr effizient macht. Allerdings wird die Berechnung schnell unhandlich, wenn jeder Token mit jedem anderen Token in einem 30-seitigen Dokument interagieren muss. Daher nutzen Ingenieure oft Maskierungstechniken, die die Wörter, auf die ein Token achten kann, begrenzen. Ein kausales Maskieren erlaubt beispielsweise nur, auf Wörter zu achten, die vor ihm stehen. Um dem Modell zu helfen, die Position jedes Wortes in einem Satz zu verstehen, verwenden Ingenieure auch positionale Codierungen, die die Leistung verbessern. Die MIT-Forscher entwickelten ein graphenbasiertes theoretisches Framework, um zu erkunden, wie diese Modellierungsentscheidungen – Maskierungstechniken und positionale Codierungen – den Positionseffekt beeinflussen. Wu erläutert: "Alles ist im Aufmerksamkeitsmechanismus miteinander verflochten, wodurch es sehr schwierig ist, ihn zu studieren. Graphen bieten eine flexible Sprache, um die abhängigen Beziehungen zwischen Wörtern im Aufmerksamkeitsmechanismus zu beschreiben und diese Beziehungen über mehrere Schichten hinweg zu verfolgen." Ihre theoretische Analyse deutete darauf hin, dass kausale Maskierung das Modell in Richtung des Anfangs der Eingabe verformt, selbst wenn dieses Bias nicht in den Daten vorhanden ist. Wenn die frühen Wörter für den Sinn eines Satzes relativ unwichtig sind, kann die kausale Maskierung das Transformer-Modell trotzdem dazu veranlassen, mehr Aufmerksamkeit auf seinen Anfang zu lenken. Wu betont: "Obwohl es oft zutrifft, dass frühe und späte Wörter in einem Satz wichtiger sind, können diese Biases bei Aufgaben, die nicht der natürlichen Sprachgenerierung dienen, wie Rangfolge oder Informationsabruf, extrem schädlich sein." Je größer das Modell wird, desto stärker wird dieser Bias verstärkt, da frühere Teile der Eingabe häufiger in den Schlussfolgerungsprozess des Modells eingebunden werden. Es wurde auch festgestellt, dass die Nutzung positionaler Codierungen, um Wörter stärker mit benachbarten Wörtern zu verbinden, den Positionseffekt mildern kann. Allerdings kann dieser Effekt in Modellen mit mehr Aufmerksamkeitsschichten verdünnt werden. Wu fügt hinzu: "Wenn Sie wissen, dass Ihre Daten auf eine bestimmte Weise verformt sind, sollten Sie auch Ihr Modell feintunen, neben der Anpassung Ihrer Modellierungsentscheidungen." Nach der Entwicklung des theoretischen Frameworks führten die Forscher Experimente durch, in denen sie die Position der richtigen Antwort in Textsequenzen für eine Informationsabrufaufgabe systematisch variierten. Die Experimente zeigten ein Phänomen, das "im Mittel verloren" genannt wird, bei dem die Abrufgenauigkeit einem U-förmigen Muster folgte. Die Modelle performten am besten, wenn die richtige Antwort am Anfang der Sequenz stand. Die Genauigkeit nahm ab, je näher sie dem Mittel kam, bevor sie sich etwas erhöhte, wenn die richtige Antwort nahe am Ende war. Letztendlich deuten ihre Ergebnisse darauf hin, dass die Verwendung einer anderen Maskierungstechnik, das Entfernen zusätzlicher Aufmerksamkeitsschichten oder das strategische Einsatz von positionalen Codierungen den Positionseffekt reduzieren und die Genauigkeit des Modells verbessern könnte. Jegelka betont: "Durch eine Kombination aus Theorie und Experimenten konnten wir die Folgen von Modellierungsentscheidungen untersuchen, die zu Beginn nicht klar waren. Wenn man ein Modell in kritischen Anwendungen nutzen möchte, muss man wissen, wann es funktioniert, wann nicht, und warum." Diese Forscher bieten einen seltenen theoretischen Einblick in den Aufmerksamkeitsmechanismus, der das Herzstück des Transformer-Modells bildet. Sie liefern eine überzeugende Analyse, die seit langem bestehende Eigenheiten des Transformer-Verhaltens klärt und zeigt, dass Aufmerksamkeitsmechanismen, insbesondere mit kausalen Maskierungen, Modelle inhärent dazu neigen, den Anfang von Sequenzen zu bevorzugen. Das Paper kombiniert mathematische Klarheit mit Einblicken in die Funktionsweise realer Systeme, was es zu einer bemerkenswerten Arbeit macht, so Amin Saberi, Professor und Direktor des Stanford University Center for Computational Market Design, der nicht an der Arbeit beteiligt war. Die Forschung wird teilweise unterstützt durch das U.S. Office of Naval Research, die National Science Foundation und eine Alexander-von-Humboldt-Professur.