大規模言語モデル（LM）は、多様で人間らしい創造的コンテンツを生成する際にしばしば困難を抱え、類似した出力への繰り返しの暴露によって人類の思考が長期的に均質化する懸念が生じている。しかし、ランダムな数値や名前の生成といった狭義のタスクや、単一モデルからの繰り返しサンプリングを超えて、LM出力の多様性を評価するスケーラブルな手法は依然として限られている。このギャップを埋めるために、我々は26,000件の多様で現実世界に即したオープンエンド型ユーザークエリから構成される大規模データセット「Infinity-Chat」を提案する。このデータセットは、単一の正解が存在しないが、幅広い妥当な回答が想定される質問を収録しており、実世界の創造的対話に即した状況を反映している。さらに、LMに提示されるオープンエンド型プロンプトの全範囲を体系的に特徴づけるために、初めて包括的な分類体系を構築した。この分類体系は、6つの上位カテゴリ（例：創造的コンテンツ生成、ブレインストーミング・アイディエーションなど）から構成され、さらに17のサブカテゴリに細分化されている。Infinity-Chatを用いて、LMにおけるモード崩壊（mode collapse）の大規模な分析を実施した結果、LMのオープンエンド生成において顕著な「人工的ハーミンズ（Artificial Hivemind）効果」が明らかになった。この効果は、(1) モデル内での反復性、すなわち単一モデルが一貫して類似した回答を生成する傾向、および(2) モデル間の均質性、すなわち異なるモデルが著しく類似した出力を生成する傾向という2つの側面で特徴づけられる。また、Infinity-Chatには、各サンプルに対して25人の独立した人間アノテーターによる絶対評価とペアワイズ選好評価を含む合計31,250件の人間アノテーションが含まれており、オープンエンドクエリに対する集団的および個人特有の好みを分析することが可能である。本研究の結果から、最先端のLM、報酬モデル、およびLMジャッジは、アノテーターごとに異なる個別的好みを引き出す生成結果において、人間の評価に対して十分にキャリブレーションされていないことが示された一方で、全体的な品質は比較的同等を維持している。総じて、Infinity-Chatは、LMに対する現実世界のオープンエンドクエリを体系的に研究するための初めての大規模リソースであり、人工的ハーミンズが引き起こす長期的なAI安全リスクを軽減するための今後の研究を導く上で重要な知見を提供している。