언어 모델(LMs)은 종종 다양한 인간과 유사한 창의적 콘텐츠를 생성하는 데 어려움을 겪으며, 유사한 출력에 반복적으로 노출됨으로써 인간 사고의 장기적 동질화에 대한 우려를 제기한다. 그러나 랜덤 숫자나 이름 생성과 같은 좁은 범위의 작업을 넘어서거나, 단일 모델에서 반복 샘플링을 넘어서는 맥락에서 언어 모델 출력의 다양성을 평가할 수 있는 확장 가능한 방법은 여전히 제한적이다. 본 연구에서는 인간의 실제 생활에서 발생하는 26,000개의 다양한 개방형 사용자 질의를 포함한 대규모 데이터셋인 Infinity-Chat을 제안한다. 이 데이터셋은 단일 정답이 없으며, 다양한 타당한 답변이 가능한 개방형 질문을 수록하고 있다. 또한, 언어 모델에 제시되는 개방형 프롬프트의 전반적인 스펙트럼을 체계적으로 특성화하기 위한 최초의 종합적 분류 체계를 제시한다. 이 분류 체계는 ‘브레인스토밍 및 아이디어 도출’과 같은 6개의 상위 카테고리로 구성되며, 이는 17개의 하위 카테고리로 세분화된다. Infinity-Chat을 기반으로 언어 모델의 모드 붕괴(mode collapse)에 대한 대규모 연구를 수행하여, 개방형 생성 과정에서 뚜렷한 인공 허브마인드(artificial hivemind) 현상이 존재함을 밝혀냈다. 이 현상은 (1) 모델 내 반복성, 즉 단일 모델이 일관되게 유사한 응답을 생성하는 경향과, 더 심각한 (2) 모델 간 동질성, 즉 서로 다른 모델이 놀라울 정도로 유사한 출력을 생성하는 경향을 특징으로 한다. Infinity-Chat은 각 예시에 대해 25개의 독립적인 인간 평가를 포함한 총 31,250개의 인간 주관적 평가(절대 평가 및 쌍별 선호 평가)를 수록하고 있어, 개방형 질문에 대한 집단적 및 개인별 인간 선호를 분석할 수 있는 기반을 제공한다. 연구 결과, 인간 평가에서 각 평가자가 고유한 선호를 보이는 생성 결과에 대해서는 언어 모델, 보상 모델, 언어 모델 평가자 모두 인간 평가와의 일치도가 낮은 것으로 나타났다. 이는 전반적인 품질 수준은 유사하게 유지되고 있음에도 불구하고, 인간 선호와의 일치도가 낮음을 의미한다. 종합적으로, INFINITY-CHAT는 언어 모델에 대한 현실 세계의 개방형 질문을 체계적으로 연구할 수 있는 최초의 대규모 자원을 제공하며, 인공 허브마인드가 초래하는 장기적 AI 안전 위험을 완화하기 위한 향후 연구를 안내하는 핵심 통찰을 제시한다.