Künstlicher Hivemind: Die offene Homogenität von Sprachmodellen (und darüber hinaus)
Liwei Jiang Yuanjun Chai Margaret Li Mickel Liu Raymond Fok Nouha Dziri Yulia Tsvetkov Maarten Sap Yejin Choi

Abstract
Große Sprachmodelle (LMs) stoßen häufig bei der Erzeugung vielfältiger, menschenähnlicher kreativer Inhalte auf Schwierigkeiten, was Bedenken hinsichtlich einer langfristigen Homogenisierung menschlicher Gedanken durch wiederholte Exposition gegenüber ähnlichen Ausgaben aufwirft. Dennoch bleiben skalierbare Methoden zur Bewertung der Vielfalt von LM-Ausgaben begrenzt, insbesondere jenseits eng begrenzter Aufgaben wie der Zufallszahl- oder Namensgenerierung oder jenseits wiederholter Stichproben aus einem einzigen Modell. Um diese Lücke zu schließen, stellen wir Infinity-Chat vor – eine großskalige Datensammlung mit 26.000 vielfältigen, realweltbezogenen, offenen Nutzeranfragen, die eine breite Palette plausibler Antworten zulassen, ohne dass eine einzige Referenzantwort existiert. Wir präsentieren die erste umfassende Taxonomie zur Charakterisierung des gesamten Spektrums offener Anfragen, die an LMs gerichtet werden, bestehend aus sechs Hauptkategorien (z. B. kreative Inhaltsgenerierung, Brainstorming & Ideenfindung), die sich weiter in 17 Unterkategorien unterteilen. Anhand von Infinity-Chat führen wir eine großskalige Studie zum Phänomen der Moden-Kollaps (mode collapse) bei LMs durch und offenbaren einen deutlichen „künstlichen Schwarmgeist“-Effekt bei der offenen Generierung durch LMs, gekennzeichnet durch (1) intra-modellmäßige Wiederholung, bei der ein einzelnes Modell konsistent ähnliche Antworten erzeugt, und noch ausgeprägter durch (2) inter-modellhafte Homogenität, bei der verschiedene Modelle auffallend ähnliche Ausgaben liefern. Infinity-Chat enthält zudem 31.250 menschliche Annotationen, sowohl absolute Bewertungen als auch paarweise Präferenzen, wobei pro Beispiel 25 unabhängige menschliche Bewertungen vorliegen. Dies ermöglicht die Untersuchung sowohl kollektiver als auch individueller menschlicher Präferenzen im Kontext offener Anfragen. Unsere Ergebnisse zeigen, dass aktuelle Spitzenmodelle, Belohnungsmodelle und LM-Beurteiler weniger gut an menschliche Bewertungen angepasst sind bei Modellgenerierungen, die unterschiedliche, individuelle Präferenzen der Beurteiler hervorrufen, obwohl sie vergleichbare Gesamtqualität aufweisen. Insgesamt stellt Infinity-Chat die erste großskalige Ressource dar, die systematisch die Analyse realweltbezogener offener Anfragen an LMs ermöglicht und kritische Erkenntnisse liefert, um zukünftige Forschungsansätze zur Minderung langfristiger KI-Sicherheitsrisiken durch den künstlichen Schwarmgeist zu leiten.
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.