Orca 2: Kleine Sprachmodelle im Denken unterrichten

Orca 1 lernt aus reichen Signalen, wie Erklärungsspuren, was es ermöglicht, auf Benchmarks wie BigBench Hard und AGIEval konventionelle anweisungsbasierte Modelle zu übertreffen. In Orca 2 setzen wir die Erforschung fort, wie verbesserte Trainingsdaten die Schließenfähigkeiten kleinerer Sprachmodelle (LMs) steigern können. Die Forschung zum Training kleinerer LMs hat sich oft auf das Imitationslernen gestützt, um die Ausgabe fähigererer Modelle nachzubilden. Wir argumentieren jedoch, dass ein übermäßiger Fokus auf Imitation das Potenzial kleinerer Modelle einschränken könnte. Unser Ziel ist es, kleine LMs beizubringen, unterschiedliche Lösungsstrategien für verschiedene Aufgaben einzusetzen, die möglicherweise von denen des größeren Modells abweichen. Zum Beispiel könnten größere Modelle eine direkte Antwort auf eine komplexe Aufgabe geben, während kleinere Modelle dazu nicht dieselbe Kapazität haben. In Orca 2 lehren wir das Modell verschiedene Schließtechniken (Schritt-für-Schritt, Abruf-dann-Erzeugen, Abruf-Schlussfolgerung-Erzeugen, direkte Antwort usw.). Wichtiger noch ist unser Ziel, dem Modell beizubringen, die effektivste Lösungsstrategie für jede Aufgabe zu bestimmen. Wir bewerten Orca 2 anhand eines umfassenden Satzes von 15 diversen Benchmarks (die etwa 100 Aufgaben und mehr als 36.000 einzigartige Anfragen entsprechen). Orca 2 übertrifft signifikant Modelle ähnlicher Größe und erreicht Leistungsstufen vergleichbar oder besser als Modelle mit 5-10-mal der Größe bei komplexen Aufgaben, die erweiterte Schließfähigkeiten in Zero-Shot-Szenarien testen. Die Gewichte von Orca 2 werden öffentlich zur Verfügung gestellt unter aka.ms/orca-lm, um Forschungen zur Entwicklung, Bewertung und Ausrichtung kleinerer LMs zu unterstützen.