MMPR-Datensatz Für Multimodale Schlussfolgerungspräferenzen

MMPR (Multimodal Preference Dataset) ist ein umfangreicher multimodaler Präferenzdatensatz, der 2024 gemeinsam von den Forschungsteams des Shanghai Artificial Intelligence Laboratory, der Fudan University, der Nanjing University, der Chinese University of Hong Kong, der Tsinghua University und SenseTime veröffentlicht wurde. Die entsprechenden Ergebnisse der Studie sind „Verbesserung der Argumentationsfähigkeit multimodaler großer Sprachmodelle durch gemischte PräferenzoptimierungDer Datensatz enthält 750.000 Beispiele ohne eindeutige richtige Antworten und 2,5 Millionen Beispiele mit eindeutigen richtigen Antworten. Die Beispiele decken mehrere Bereiche ab, wie z. B. VQA, Naturwissenschaften, Grafik, Mathematik, OCR und Dokumente, um Vielfalt zu gewährleisten. Bei der Erstellung des Datensatzes achteten die Forscher besonders darauf, falsch positive und negative Antworten aufgrund der Einschränkungen heuristischer Regeln zu vermeiden, insbesondere in den allgemeinen VQA- und Dokumentdomänen. Der Datensatz wurde entwickelt, um die Leistung des Modells bei multimodalen Denkaufgaben zu verbessern und gleichzeitig potenzielle negative Effekte während des Trainings zu vermeiden.