SGPT: GPT-Satz-Embeddings für semantische Suche

Decoder-Transformers haben ihre Skala weiterhin erhöht und erreichen nun Hunderte von Milliarden Parameter. Aufgrund ihrer Größe erzielen dieselben Decoder state-of-the-art-Ergebnisse bei verschiedenen Sprachaufgaben mittels Prompting oder Fine-Tuning. Dennoch bleiben diese großen Foundation-Modelle für verwandte Gebiete wie semantische Suche und Satz-Embeddings unbrauchbar. Dies verhindert möglicherweise neue state-of-the-art-Ergebnisse und zwingt Organisationen, separate Modelle zu trainieren und zu pflegen. Hierfür schlagen wir SGPT vor, Decoder zur Erzeugung von Satz-Embeddings und semantischer Suche mittels Prompting oder Fine-Tuning zu nutzen. Mit 5,8 Milliarden Parametern übertrifft SGPT die bisher beste Methode für Satz-Embeddings um 7 % und erreicht dabei eine bessere Leistung als eine gleichzeitige Methode mit 175 Milliarden Parametern, gemessen am BEIR-Suchbenchmark. Der Code, die Modelle und die Ergebnisdateien sind frei zugänglich unter https://github.com/Muennighoff/sgpt.