Les modèles de langage (LM) peinent souvent à produire un contenu créatif diversifié et humain, suscitant des inquiétudes quant à une homogénéisation à long terme de la pensée humaine, due à une exposition répétée à des sorties similaires. Pourtant, les méthodes évolutives d’évaluation de la diversité des sorties des LM restent limitées, en particulier au-delà de tâches étroites telles que la génération de nombres aléatoires ou de noms, ou au-delà de l’échantillonnage répété à partir d’un seul modèle. Pour combler ce manque, nous introduisons Infinity-Chat, un jeu de données à grande échelle comprenant 26 000 requêtes ouvertes, réelles et diversifiées posées par des utilisateurs, qui admettent une large gamme de réponses plausibles sans vérité de référence unique. Nous proposons la première taxonomie complète pour caractériser le spectre complet des requêtes ouvertes adressées aux LM, comprenant 6 catégories principales (par exemple, génération de contenu créatif, cerveau d’idées et idéation), qui se subdivisent en 17 sous-catégories. Grâce à Infinity-Chat, nous menons une étude à grande échelle sur le phénomène de « mode collapse » (effondrement de mode) dans les LM, révélant un effet marqué de « ruche artificielle » (Artificial Hivemind) dans la génération ouverte, caractérisé par (1) une répétition intra-modèle, où un même modèle produit de manière constante des réponses similaires, et plus encore (2) une homogénéité inter-modèles, où différents modèles produisent des sorties remarquablement similaires. Infinity-Chat inclut également 31 250 annotations humaines, comprenant des évaluations absolues et des préférences par paires, avec 25 annotations indépendantes par exemple. Cela permet d’étudier à la fois les préférences humaines collectives et les préférences spécifiques à l’individu face à des requêtes ouvertes. Nos résultats montrent que les meilleurs modèles actuels, les modèles de récompense et les juges LM sont moins bien calibrés par rapport aux évaluations humaines lorsqu’ils génèrent des sorties suscitant des préférences d’annotateurs idiosyncrasiques, malgré une qualité globale comparable. Dans l’ensemble, Infinity-Chat constitue la première ressource à grande échelle pour étudier de manière systématique des requêtes ouvertes du monde réel adressées aux LM, offrant des aperçus cruciaux pour orienter la recherche future visant à atténuer les risques d’innovation à long terme posés par le phénomène de « ruche artificielle ».