Tencent veröffentlicht effizientes Sprachmodell Hunyuan-A13B mit 256K Kontextlänge und dualer Denklogik.

Tencent macht Hunyuan-A13B öffentlich zugänglich: Ein 13-B-MoE-Modell mit Dual-Mode-Reasoning und 256K-Kontext Das Team Hunyuan von Tencent hat Hunyuan-A13B vorgestellt, ein neues großes Sprachmodell, das auf einer dünnbesetzten Mixture-of-Experts (MoE)-Architektur basiert. Obwohl das Modell insgesamt 80 Milliarden Parameter aufweist, sind nur 13 Milliarden beim Inferenzprozess aktiv, was eine hocheffiziente Balance zwischen Leistung und Rechenkosten bietet. Es unterstützt Grouped Query Attention (GQA), einen Kontext von 256K Tokens und eine Dual-Mode-Reasoning-Funktion, die zwischen schnellem und langsamen Denken wechselt. Entworfen für effizientes Deployment und robustes Reasoning, erreicht Hunyuan-A13B Spitzenleistungen in diversen Benchmarktests wie BFCL-v3, τ-Bench, C3-Bench und ComplexFuncBench. Besonders in Szenarien mit Tool-Befehlen und langen Kontexten übertrifft es häufig größere Modelle. Architektur: Dünnbesetzte MoE mit 13 Milliarden aktiven Parametern Im Kern folgt Hunyuan-A13B einer feingranularen MoE-Designphilosophie, die aus einem geteilten Experten und 64 nicht geteilten Experten besteht. Pro Vorwärtsdurchlauf werden 8 Experten aktiviert. Diese Architektur, die durch Skalierungsexperimente gestützt wird, gewährleistet konsistente Leistung bei geringen Inferenzkosten. Das Modell umfasst 32 Schichten, verwendet SwiGLU-Aktivierungen, verfügt über ein Vokabular von 128K und integriert GQA zur Verbesserung der Speichereffizienz bei langen Kontexten. Das MoE-Setup wird durch ein optimiertes Trainingscurriculum ergänzt: eine 20T-Token-Pretraining-Phase, gefolgt von schnellem Abkühlen und Anpassung an lange Kontexte. In dieser letzten Phase wird das Kontextfenster zunächst auf 32K und dann auf 256K Tokens skaliert, wobei NTK-bewusste positionale Codierung verwendet wird, um stabile Leistung bei großen Sequenzlängen zu gewährleisten. Dual-Mode-Reasoning: Schnelles und gründliches Denken Eine herausragende Eigenschaft von Hunyuan-A13B ist seine Dual-Mode-Chain-of-Thought (CoT)-Fähigkeit. Es unterstützt sowohl einen niedrig-latenten schnellen Denkmodus für Routineanfragen als auch einen detaillierten langsamen Denkmodus für mehrstufiges Reasoning. Diese Modi werden durch ein einfaches Tag-System gesteuert: /no think für schnelle Inferenz und /think für reflektiertes Denken. Diese Flexibilität ermöglicht es Benutzern, den Rechenaufwand an die Aufgabenkomplexität anzupassen. Nach-Training: Verstärktes Lernen mit aufgabenorientierten Belohnungsmodellen Der Nach-Training-Pipeline von Hunyuan-A13B enthält mehrstufiges supervisiertes Feinabstimmung (SFT) und Verstärktes Lernen (RL) sowohl für spezifische Reasoning-Aufgaben als auch allgemeine Aufgaben. Die RL-Phasen beinhalten belohnungsorientierte Feedbacks und tool-spezifische Rückmeldungen, darunter Sandbox-Ausführungs Umgebungen für Code und regelbasierte Überprüfungen für Agenten. Während des Agententraining-Phases haben die Entwickler verschiedene Tool-Nutzungsszenarien mit Planer-, Checker- und Tool-Rollen synthetisiert, wodurch über 20.000 Formatkombinationen erzeugt wurden. Dies stärkte die Fähigkeit von Hunyuan-A13B, reale Workflows wie Tabellenkalkulationsverarbeitung, Informationsuche und strukturiertes Reasoning auszuführen. Evaluation: Top-Performance in agenterischen Tests Hunyuan-A13B zeigt starke Ergebnisse in verschiedenen NLP-Aufgaben. Beim Benchmarktest PenguinScrolls erreicht es einen Score von 87,7, der nur knapp unter dem von Gemini 2.5 Pro liegt. Bei RULER behält es hohe Leistungen (73,9) auch bei Kontexten von 64K bis 128K, wobei es größere Modelle wie Qwen3-A22B und DeepSeek R1 in Kontext-Resilienz übertrifft. Inferenzoptimierung und Deployment Hunyuan-A13B ist vollständig in gängige Inferenzframeworks wie vLLM, SGLang und TensorRT-LLM integriert. Es unterstützt Genauigkeitsformate wie W16A16, W8A8 und KV Cache FP8 sowie Funktionen wie Auto Prefix Caching und Chunk Prefill. Es erreicht eine maximal Durchsatzrate von 1.981,99 Tokens pro Sekunde bei einer Batch-Größe von 32 (2.048 Eingänge, 14.336 Ausgänge), was es für Echtzeit-Anwendungen praktikabel macht. Open Source und Branchenrelevanz Hunyuan-A13B ist auf Hugging Face und GitHub unter einer permissiven Open-Source-Lizenz verfügbar. Es ist speziell für effizienten Forschungs- und Produktiviteitseinsatz entwickelt, insbesondere in latenzkritischen Umgebungen und bei Aufgaben mit langen Kontexten. Durch die Kombination von MoE-Skalierbarkeit, agenterischem Reasoning und offener Zugänglichkeit bietet Hunyuan-A13B eine überzeugende Alternative zu schweren LLMs, die es ermöglicht, breitere Experimente und Deployments ohne Verlust der Fähigkeiten durchzuführen. Brancheneinschätzung und Unternehmensprofil Experten in der Branche loben Hunyuan-A13B für seine effiziente Architektur und seine ausgezeichneten Leistungen in komplexen Szenarien. Das Modell stellt einen wichtigen Schritt in Richtung zugänglicher und leistungsfähiger KI dar, insbesondere für Unternehmen, die mit begrenzten Rechenressourcen arbeiten. Tencent, eines der führenden Technologiekonzerne in China, ist bekannt für seine fortschrittlichen KI-Initiativen und die Förderung von Open-Source-Projekten, die die technologische Innovation vorantreiben.