Sprachmodelle (LMs) stoßen häufig bei der Erzeugung vielfältiger, menschenähnlicher kreativer Inhalte auf Schwierigkeiten, was Bedenken hinsichtlich einer langfristigen Vereinheitlichung menschlicher Gedanken durch wiederholte Exposition gegenüber ähnlichen Ausgaben aufwirft. Doch skalierbare Methoden zur Bewertung der Vielfalt von LM-Ausgaben bleiben begrenzt, insbesondere über eng definierte Aufgaben wie die Generierung zufälliger Zahlen oder Namen hinaus oder über wiederholtes Sampling aus einem einzelnen Modell hinaus. Wir stellen Infinity-Chat vor, eine großskalige Datensammlung mit 26.000 vielfältigen, realweltbezogenen, offenen Nutzeranfragen, die eine breite Palette plausibler Antworten zulassen, ohne dass eine einzige Referenzantwort existiert. Wir führen die erste umfassende Taxonomie zur Charakterisierung des gesamten Spektrums offener Anfragen an LMs ein, die sechs oberste Kategorien (z. B. Brainstorming und Ideenfindung) umfasst, die sich weiter in 17 Untergruppen unterteilen. Anhand von Infinity-Chat präsentieren wir eine groß angelegte Studie zum Phänomen der Moden-Kollaps in LMs und offenbaren einen deutlichen „künstlichen Schwarmgeist“-Effekt bei der offenen Generierung durch LMs, gekennzeichnet durch (1) Intra-Modell-Wiederholung, bei der ein einzelnes Modell konsistent ähnliche Antworten erzeugt, und noch ausgeprägter durch (2) Inter-Modell-Homogenität, bei der verschiedene Modelle auffällig ähnliche Ausgaben liefern. Infinity-Chat enthält zudem 31.250 menschliche Annotationen, sowohl absolute Bewertungen als auch paarweise Präferenzen, wobei pro Beispiel 25 unabhängige menschliche Bewertungen vorliegen. Dies ermöglicht die Untersuchung sowohl kollektiver als auch individueller menschlicher Präferenzen gegenüber offenen Anfragen. Unsere Ergebnisse zeigen, dass LMs, Belohnungsmodelle und LM-Judges weniger gut kalibriert sind gegenüber menschlichen Bewertungen bei Modellgenerierungen, die unterschiedliche, individuelle Präferenzen der Annotationen hervorrufen, trotz vergleichbarer Gesamtqualität. Insgesamt stellt Infinity-Chat die erste großskalige Ressource dar, um realweltbezogene offene Anfragen an LMs systematisch zu untersuchen und kritische Erkenntnisse bereitzustellen, die zukünftige Forschungsrichtungen zur Minderung langfristiger KI-Sicherheitsrisiken durch den „künstlichen Schwarmgeist“ leiten können.