Der Mantis-Instruct-Datensatz wurde 2024 von der University of Waterloo, der Tsinghua University und dem Shanghai Artificial Intelligence Laboratory veröffentlicht.MANTIS: Interleaved Multi-Image Instruction TuningEin multimodaler Datensatz mit Text- und Bildverschachtelung, der sich auf die Optimierung von Mehrbildanweisungen konzentriert und aus 14 Teilmengen mit 721.000 Beispielen besteht und zum Training der Mantis-Modellfamilie verwendet wird. Der Datensatz deckt eine Vielzahl von Mehrbildfähigkeiten ab, darunter Koreferenz, logisches Denken, Vergleichen und zeitliches Verständnis. Er enthält nicht nur 10 Teilmengen bestehender Datensätze, sondern ergänzt auch 4 neu kuratierte Datensätze, die die Denkfähigkeiten und andere Mehrbildfähigkeiten des Modells erweitern sollen.