HyperAIHyperAI

Command Palette

Search for a command to run...

vor 2 Tagen

Künstlicher Hivemind: Die offene Homogenität von Sprachmodellen (und darüber hinaus)

Liwei Jiang Yuanjun Chai Margaret Li Mickel Liu Raymond Fok Nouha Dziri Yulia Tsvetkov Maarten Sap Yejin Choi

Künstlicher Hivemind: Die offene Homogenität von Sprachmodellen (und darüber hinaus)

Abstract

Große Sprachmodelle (LMs) stoßen häufig bei der Erzeugung vielfältiger, menschenähnlicher kreativer Inhalte auf Schwierigkeiten, was Bedenken hinsichtlich einer langfristigen Homogenisierung menschlicher Gedanken durch wiederholte Exposition gegenüber ähnlichen Ausgaben aufwirft. Dennoch bleiben skalierbare Methoden zur Bewertung der Vielfalt von LM-Ausgaben begrenzt, insbesondere jenseits eng begrenzter Aufgaben wie der Zufallszahl- oder Namensgenerierung oder jenseits wiederholter Stichproben aus einem einzigen Modell. Um diese Lücke zu schließen, stellen wir Infinity-Chat vor – eine großskalige Datensammlung mit 26.000 vielfältigen, realweltbezogenen, offenen Nutzeranfragen, die eine breite Palette plausibler Antworten zulassen, ohne dass eine einzige Referenzantwort existiert. Wir präsentieren die erste umfassende Taxonomie zur Charakterisierung des gesamten Spektrums offener Anfragen, die an LMs gerichtet werden, bestehend aus sechs Hauptkategorien (z. B. kreative Inhaltsgenerierung, Brainstorming & Ideenfindung), die sich weiter in 17 Unterkategorien unterteilen. Anhand von Infinity-Chat führen wir eine großskalige Studie zum Phänomen der Moden-Kollaps (mode collapse) bei LMs durch und offenbaren einen deutlichen „künstlichen Schwarmgeist“-Effekt bei der offenen Generierung durch LMs, gekennzeichnet durch (1) intra-modellmäßige Wiederholung, bei der ein einzelnes Modell konsistent ähnliche Antworten erzeugt, und noch ausgeprägter durch (2) inter-modellhafte Homogenität, bei der verschiedene Modelle auffallend ähnliche Ausgaben liefern. Infinity-Chat enthält zudem 31.250 menschliche Annotationen, sowohl absolute Bewertungen als auch paarweise Präferenzen, wobei pro Beispiel 25 unabhängige menschliche Bewertungen vorliegen. Dies ermöglicht die Untersuchung sowohl kollektiver als auch individueller menschlicher Präferenzen im Kontext offener Anfragen. Unsere Ergebnisse zeigen, dass aktuelle Spitzenmodelle, Belohnungsmodelle und LM-Beurteiler weniger gut an menschliche Bewertungen angepasst sind bei Modellgenerierungen, die unterschiedliche, individuelle Präferenzen der Beurteiler hervorrufen, obwohl sie vergleichbare Gesamtqualität aufweisen. Insgesamt stellt Infinity-Chat die erste großskalige Ressource dar, die systematisch die Analyse realweltbezogener offener Anfragen an LMs ermöglicht und kritische Erkenntnisse liefert, um zukünftige Forschungsansätze zur Minderung langfristiger KI-Sicherheitsrisiken durch den künstlichen Schwarmgeist zu leiten.

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Künstlicher Hivemind: Die offene Homogenität von Sprachmodellen (und darüber hinaus) | Forschungsarbeiten | HyperAI