Tongyi Qianwen Qwen2-7B-Instruct-GPTQ-Int4 Demo

Modelleinführung

Im Vergleich zu Qwen1.5 verfügt das aktualisierte Qwen2 über die folgenden Funktionen:

• Vortrainierte und fingerabgestimmte Modelle in 5 Größen: Qwen2-0,5B, Qwen2-1,5B, Qwen2-7B, Qwen2-57B-A14B, Qwen2-72B;
• Zusätzlich zu Englisch und Chinesisch wurde es anhand von Daten in 27 weiteren Sprachen trainiert.
• Spitzenleistung in einer breiten Palette von Benchmarks;
• Die Ergebnisse in den Bereichen Codierung und Mathematik verbesserten sich deutlich;
• Die erweiterte Kontextlänge unterstützt bis zu 128.000 Token mit Qwen2-7B-Instruct und Qwen2-72B-Instruct.

Schritte ausführen

1. Nachdem Sie das Tutorial geklont und gestartet haben, kopieren Sie die API-Adresse direkt und fügen Sie sie in eine beliebige URL ein (die Echtnamenauthentifizierung muss abgeschlossen sein, und es ist nicht erforderlich, den Arbeitsbereich für diesen Schritt zu öffnen).

2. Rufen Sie die Chat-Oberfläche auf und beginnen Sie mit dem Chatten