HyperAIHyperAI

Command Palette

Search for a command to run...

Jenseits von Fixiert: Variabel-lange Rauschunterdrückung für Diffusions- große Sprachmodelle

Jinsong Li Xiaoyi Dong Yuhang Zang Yuhang Cao Jiaqi Wang Dahua Lin

Zusammenfassung

Diffusionsbasierte große Sprachmodelle (DLLMs) etablieren sich als eine leistungsstarke Alternative zu den dominierenden autoregressiven großen Sprachmodellen und bieten eine effiziente parallele Generierung sowie die Fähigkeit zur globalen Kontextmodellierung. Allerdings wird die praktische Anwendung von DLLMs durch eine kritische architektonische Beschränkung beeinträchtigt: die Notwendigkeit einer statisch vordefinierten Generierungslänge. Diese starre Längenzuweisung führt zu einem problematischen Kompromiss: zu kurze Längen beeinträchtigen die Leistung bei komplexen Aufgaben erheblich, während zu lange Längen erhebliche Rechenkosten verursachen und gelegentlich sogar zu einer Leistungseinbuße führen. Obwohl der Inferenzrahmen rigid ist, beobachten wir, dass das Modell selbst interne Signale enthält, die mit der optimalen Antwortlänge für eine gegebene Aufgabe korrelieren. Um diese Lücke zu schließen, nutzen wir diese latenten Signale und stellen DAEDAL vor – eine neuartige, trainingsfreie Denoisings-Strategie, die eine dynamische, adaptive Längenverlängerung für Diffusionsbasierte große Sprachmodelle ermöglicht. DAEDAL arbeitet in zwei Phasen: 1) Vor dem Denoisingsprozess beginnt DAEDAL mit einer kurzen Ausgangslänge und erweitert diese iterativ auf eine grobe, auf die Aufgabe abgestimmte Länge, geleitet durch eine Metrik zur Sequenzvollständigkeit. 2) Während des Denoisings interveniert DAEDAL dynamisch, indem sie fehlende Generierungsbereiche durch die Einfügung von Maskentoken präzise identifiziert und erweitert, um sicherzustellen, dass die endgültige Ausgabe vollständig ausgebildet ist. Umfangreiche Experimente an DLLMs zeigen, dass DAEDAL eine Leistung erreicht, die mit sorgfältig abgestimmten festen Längen-Baselines vergleichbar ist und in einigen Fällen sogar übertrifft, gleichzeitig jedoch die Recheneffizienz durch eine höhere effektive Token-Rate verbessert. Durch die Aufhebung der statischen Längenbeschränkung erschließt DAEDAL ein neues Potenzial für DLLMs, schließt eine entscheidende Lücke zu ihren autoregressiven Gegenstücken und eröffnet den Weg für eine effizientere und leistungsfähigere Textgenerierung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp