INFINITY-CHAT, 2025 von der University of Washington in Zusammenarbeit mit der Carnegie Mellon University, dem Allen Institute for Artificial Intelligence und weiteren Institutionen veröffentlicht, ist der erste umfangreiche Datensatz, der offene Fragen von Nutzern aus der Praxis beantwortet. Die zugehörigen Forschungsarbeiten… Künstliches Kollektivbewusstsein: Die offene Homogenität von Sprachmodellen (und darüber hinaus) Diese Arbeit, die auf der NeurIPS 2025 als bestes Paper (DB-Track) ausgezeichnet wurde, hat zum Ziel, Schlüsselfragen wie die Vielfalt der Sprachmodelle bei der offenen Generierung, Unterschiede in den menschlichen Präferenzen und den "künstlichen Schwarmeffekt" systematisch zu untersuchen.

Dieser Datensatz enthält über 26.000 offene Nutzerfragen und bietet ein umfassendes System zur Klassifizierung von Anfragen mit 6 Hauptkategorien und 17 Unterkategorien. Er umfasst außerdem Antworten von über 70 Sprachmodellen und 31.250 menschliche Annotationen (einschließlich absoluter Bewertungen und paarweiser Präferenzen), wobei durchschnittlich 25 Annotatoren jedes Beispiel bewertet haben. Der Datensatz besteht aus vier Hauptteilen: einem Korpus offener Fragen, mehrstufigen Klassifizierungsbezeichnungen, modellgenerierten Ergebnissen und umfangreichem menschlichem Feedback.