HyperAIHyperAI

Command Palette

Search for a command to run...

vor 2 Tagen

Ultra-schnelle Sprachgenerierung durch diskrete Diffusions-Divergenz-Instruktion

Haoyang Zheng Xinyang Liu Cindy Xiangrui Kong Nan Jiang Zheyuan Hu Weijian Luo Wei Deng Guang Lin

Ultra-schnelle Sprachgenerierung durch diskrete Diffusions-Divergenz-Instruktion

Abstract

Schnelle und hochwertige Sprachgenerierung ist das heilige Gralziel, das Menschen im Zeitalter der Künstlichen Intelligenz verfolgen. In dieser Arbeit stellen wir DiDi-Instruct (Discrete Diffusion Divergence Instruct) vor, eine auf Training basierende Methode, die von einem vortrainierten (maskierten) diskreten Diffusions-Sprachmodell (dLLM) ausgeht und ein mehrschrittiges Studentenmodell zur schnellen Generierung durch Distanzierung erzeugt. Das resultierende DiDi-Instruct-Modell erreicht eine Leistung, die der seines dLLM-Lehrers oder der des GPT-2-Baselines vergleichbar ist oder diese übertrifft, während es eine Beschleunigung von bis zu 64 ermöglicht. Die theoretische Grundlage von DiDi-Instruct ist ein neuartiges Framework, das auf der Minimierung der integralen KL-Divergenz basiert und ein praktikables Trainingsverfahren liefert. Zudem führen wir gruppierte Belohnungsnormierung, Matching der Zwischenzustände und den belohnungsgeleiteten abgeleiteten Sampler ein, die die Trainingsstabilität, die Modellabdeckung und die Inferenzqualität erheblich verbessern. Auf dem OpenWebText-Datensatz erzielt DiDi-Instruct eine Perplexität von 62,2 (8 NFEs) bis hin zu 18,4 (128 NFEs), was die Leistung vorheriger beschleunigter dLLMs und die des GPT-2-Baselines übertrifft. Diese Verbesserungen gehen mit einer vernachlässigbaren Entropieverlust (etwa ) einher und reduzieren die zusätzliche Trainingsdauer um mehr als gegenüber konkurrierenden Distanzierungsmethoden für dLLMs. Wir validieren die Robustheit und Effektivität von DiDi-Instruct zudem durch umfassende Ablationstudien, Modellvergrößerung sowie die Generierung diskreter Proteinsequenzen. Zusammenfassend ist DiDi-Instruct eine effiziente und dennoch leistungsfähige Distanzierungsmethode, die die Sprachgenerierung im Nu ermöglicht.

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Ultra-schnelle Sprachgenerierung durch diskrete Diffusions-Divergenz-Instruktion | Forschungsarbeiten | HyperAI