MMPR-v1.2-Prompts ist eine Sammlung von Prompt-Korpora für multimodales Präferenzlernen. Sie wurde 2024 vom Shanghai Artificial Intelligence Laboratory in Zusammenarbeit mit der Tsinghua-Universität, der Fudan-Universität und anderen Institutionen veröffentlicht. Die zugehörigen Ergebnisse sind:Verbesserung der Argumentationsfähigkeit multimodaler großer Sprachmodelle durch gemischte Präferenzoptimierung“, dessen Ziel es ist, das Training und die Bewertung von Modellen bei komplexen visuell-sprachlichen Denkaufgaben zu unterstützen.

Datenstruktur

Der Datensatz enthält etwa 3 Millionen Beispiele, von denen jedes eine Textaufforderung in natürlicher Sprache ist, von denen einige multimodale Einschränkungen enthalten (wie die Anforderung, Bild- und Textschlussfolgerungen zu kombinieren):

• Anweisung/Eingabeaufforderung: In natürlicher Sprache ausgedrückt, deckt sie multimodale Denkszenarien ab, wie etwa die Beantwortung visueller Fragen, Graph-Text-Denken und Szenenverständnis.
• Eingabekontext: Bei einigen Aufgaben enthält er Bilder, Text oder eine Kombination aus beidem, um das Modell zur Generierung von Ausgaben einzuschränken.
• Ausgabeformat: Das Format der in der Eingabeaufforderung angegebenen Antwort, z. B. „Gedankenkette“, „Gründe für Multiple-Choice“, „Erklärende Ausgabe“ usw.

Es ist zu beachten, dass der Datensatz selbst nicht die vom Modell generierten Antworten oder Präferenzkennzeichnungsergebnisse enthält, sondern als Ausgangspunkt für die Datengenerierung dient und Eingabeaufforderungen für die anschließende Erstellung multimodaler Präferenzrangdaten (MMPR-Datensatz) bereitstellt.