Baidu stellt ERNIE 4.5 mit bis zu 424 Milliarden Parametern offen vor.

Baidu macht ERNIE 4.5 Open Source: LLM-Reihe von 0,3 Milliarden bis 424 Milliarden Parametern Baidu hat seine neueste ERNIE 4.5-Reihe offiziell als Open Source veröffentlicht. Diese mächtige Familie von Grundmodellen ist darauf ausgelegt, die Sprachverarbeitung, das Schließen von Schlussfolgerungen und die Generierung von Text zu verbessern. Die Veröffentlichung umfasst zehn Modellvarianten, die von kompakten 0,3-Milliarden-Dichten-Modellen bis hin zu großen Misch-Architekturen (Mixture-of-Experts, MoE) reichen, wobei das größte Modell insgesamt 424 Milliarden Parameter hat. Diese Modelle sind nun für die globale Forschungs- und Entwicklergemeinschaft über Hugging Face kostenlos verfügbar, was offene Experimente und breitere Zugänge zu avantgardistischer chinesischer und mehrsprachiger Sprachtechnologie ermöglicht. Technische Übersicht der ERNIE 4.5-Architektur Die ERNIE 4.5-Reihe baut auf früheren Versionen der ERNIE-Modelle von Baidu auf und führt fortgeschrittene Architekturen ein, einschließlich dichter und sparsam aktivierter MoE-Designs. Die MoE-Varianten sind besonders bemerkenswert, da sie Parameterzahlen effizient skalieren: Die Varianten ERNIE 4.5-MoE-3B und ERNIE 4.5-MoE-47B aktivieren nur eine Teilmenge von Experten pro Eingabetoken (in der Regel 2 von 64 Experten), was die Anzahl der aktiven Parameter im Griff behält, während die Modellausdrucksfähigkeit und die Generalisierungsfähigkeit gewahrt bleiben. Die ERNIE 4.5-Modelle werden unter Verwendung einer Kombination aus überwachtem Feinabstimmung (Supervised Fine-Tuning, SFT), Verstärkungslernen mit menschlichem Feedback (Reinforcement Learning with Human Feedback, RLHF) und Kontrastaligenierungstechniken trainiert. Das Trainingskorpus umfasst 5,6 Billionen Tokens aus verschiedenen Bereichen in Chinesisch und Englisch, wobei Baidu seinen proprietären Mehrstufigen-Pretraining-Pipeline nutzt. Die resultierenden Modelle zeigen eine hohe Treue bei Anweisungsfolge, mehrstufigen Dialogen, langen Textgenerierungen und Schlussfolgerungsbenchmarks. Modellvarianten und Open-Source-Veröffentlichung Die ERNIE 4.5-Veröffentlichung umfasst die folgenden zehn Varianten: ERNIE 4.5-0.3B: Ein kompaktes Modell mit 0,3 Milliarden Parametern. ERNIE 4.5-3B: Ein Modell mit 3 Milliarden Parametern. ERNIE 4.5-17B: Ein Modell mit 17 Milliarden Parametern. ERNIE 4.5-47B: Ein MoE-Modell mit 47 Milliarden Parametern, das während der Inferenz nur 3 Milliarden Parameter aktiviert. ERNIE 4.5-91B: Ein Modell mit 91 Milliarden Parametern. ERNIE 4.5-134B: Ein Modell mit 134 Milliarden Parametern. ERNIE 4.5-175B: Ein Modell mit 175 Milliarden Parametern. ERNIE 4.5-263B: Ein MoE-Modell mit 263 Milliarden Parametern, das während der Inferenz nur 17 Milliarden Parameter aktiviert. ERNIE 4.5-424B: Das größte je von Baidu veröffentlichte Modell mit insgesamt 424 Milliarden Parametern, das während der Inferenz nur 47 Milliarden Parameter aktiviert. Diese Modelle unterstützen sowohl FP16- als auch INT8-Kuantisierung für eine effiziente Bereitstellung. Leistungsbewertungen Die ERNIE 4.5-Modelle zeigen erhebliche Verbesserungen bei mehreren wichtigen chinesischen und mehrsprachigen NLP-Aufgaben. Laut dem offiziellen technischen Bericht profitieren die Modelle bei Anweisungsfolgeaufgaben von kontrastiver Feinabstimmung, was eine bessere Angleichung an den Nutzerwillen und eine Verringerung der Halluzinationsraten im Vergleich zu früheren ERNIE-Versionen bedeutet. Anwendungen und Bereitstellung Die ERNIE 4.5-Modelle sind auf eine breite Palette von Anwendungen optimiert. Einige Varianten unterstützen Kontextlängen von bis zu 128.000 Tokens, was die Nutzung bei Aufgaben erfordert, die das Gedächtnis und die Schlussfolgerungskraft über lange Dokumente oder Sitzungen hinweg benötigen. Diese Flexibilität macht die ERNIE 4.5-Familie zu einem wertvollen Werkzeug für verschiedene NLP-Anwendungen, von Chatbots bis hin zu umfangreichen Textgenerierungen. Schlussfolgerung Die ERNIE 4.5-Reihe ist ein bedeutender Schritt in der Entwicklung offener KI, indem sie eine vielseitige Reihe von Modellen anbietet, die für skalierbare, mehrsprachige und anweisungsangleichte Aufgaben optimiert sind. Baidus Entscheidung, Modelle von leichtgewichtigen 0,3-Milliarden-Varianten bis hin zu einem 424-Milliarden-Parameter-MoE-Modell freizugeben, unterstreicht sein Engagement für inklusive und transparente KI-Forschung. Mit umfassender Dokumentation, freier Verfügbarkeit über Hugging Face und Unterstützung für effiziente Bereitstellung positioniert sich ERNIE 4.5, um globale Fortschritte in der natürlichen Sprachverarbeitung und -generierung zu beschleunigen. Industrie-Insider bewerten die Veröffentlichung als einen bedeutenden Beitrag zur KI-Gemeinschaft. Sie sehen in den ERNIE 4.5-Modellen eine wichtige Ressource für Forscher und Entwickler, die sich mit der Entwicklung hochpräziser und vielseitiger Sprachmodelle beschäftigen. Baidu, eines der führenden Tech-Unternehmen in China, hat durch diese Initiative seine Position als treibende Kraft in der KI-Forschung weiter gestärkt.