CA‑1-Datensatz Zur Ausrichtung Menschlicher Präferenzen

*Dieser Datensatz unterstützt die Online-Nutzung.Klicken Sie hier, um zu springen.

CA‑1, kurz für Collective Alignment 1, wurde 2025 von OpenAI veröffentlicht. Es konzentriert sich auf menschliche Werturteile und Präferenzen hinsichtlich des Standardverhaltens von KI-Modellen. Es handelt sich um einen Datensatz zum menschlichen Feedbackverhalten, der modellgenerierte Inhalte und Bewertungen von Kommentatoren kombiniert.

Der Datensatz besteht aus 1.078 Vergleichselementen und 18.384 Bewertungen von 1.012 Kommentatoren sowie demografischen Informationen und Bewertungsgründen. Er eignet sich für die Untersuchung von Unterschieden in der Gruppenausrichtung, die Festlegung von Modellverhaltensnormen und die Entwicklung wertsensitiver Belohnungsmechanismen.

Datenzusammensetzung:

• Vergleich der Eingabeaufforderungen: Jedes Element enthält eine synthetische Eingabeaufforderung und vier entsprechende Kandidatenantworten (A–D), die zum Vergleich der Unterschiede in den Wertpräferenzen zwischen verschiedenen Antworten verwendet werden.
• Kommentatoren: Hier werden die grundlegenden demografischen Informationen jedes Kommentators erfasst, darunter Alter, Geschlecht, Bildungsniveau und Herkunftsland, um die Unterschiede in den Wertpräferenzen verschiedener Personengruppen zu analysieren.
• Zusammengeführte Vergleiche – Kommentatoren: Dabei werden Eingabeaufforderungen, Antworten der Kandidaten und Bewertungen der Kommentatoren zusammen mit Kontextinformationen zu den Kommentatoren kombiniert, um eine vollständige Karte mit Eingabeaufforderungen, Antworten, Bewertungen und demografischen Merkmalen zu erstellen.