Jenseits von Fixiert: Variabel-lange Rauschunterdrückung für Diffusions- große Sprachmodelle

Diffusionsbasierte große Sprachmodelle (DLLMs) etablieren sich als eine leistungsstarke Alternative zu den dominierenden autoregressiven großen Sprachmodellen und bieten eine effiziente parallele Generierung sowie die Fähigkeit zur globalen Kontextmodellierung. Allerdings wird die praktische Anwendung von DLLMs durch eine kritische architektonische Beschränkung beeinträchtigt: die Notwendigkeit einer statisch vordefinierten Generierungslänge. Diese starre Längenzuweisung führt zu einem problematischen Kompromiss: zu kurze Längen beeinträchtigen die Leistung bei komplexen Aufgaben erheblich, während zu lange Längen erhebliche Rechenkosten verursachen und gelegentlich sogar zu einer Leistungseinbuße führen. Obwohl der Inferenzrahmen rigid ist, beobachten wir, dass das Modell selbst interne Signale enthält, die mit der optimalen Antwortlänge für eine gegebene Aufgabe korrelieren. Um diese Lücke zu schließen, nutzen wir diese latenten Signale und stellen DAEDAL vor – eine neuartige, trainingsfreie Denoisings-Strategie, die eine dynamische, adaptive Längenverlängerung für Diffusionsbasierte große Sprachmodelle ermöglicht. DAEDAL arbeitet in zwei Phasen: 1) Vor dem Denoisingsprozess beginnt DAEDAL mit einer kurzen Ausgangslänge und erweitert diese iterativ auf eine grobe, auf die Aufgabe abgestimmte Länge, geleitet durch eine Metrik zur Sequenzvollständigkeit. 2) Während des Denoisings interveniert DAEDAL dynamisch, indem sie fehlende Generierungsbereiche durch die Einfügung von Maskentoken präzise identifiziert und erweitert, um sicherzustellen, dass die endgültige Ausgabe vollständig ausgebildet ist. Umfangreiche Experimente an DLLMs zeigen, dass DAEDAL eine Leistung erreicht, die mit sorgfältig abgestimmten festen Längen-Baselines vergleichbar ist und in einigen Fällen sogar übertrifft, gleichzeitig jedoch die Recheneffizienz durch eine höhere effektive Token-Rate verbessert. Durch die Aufhebung der statischen Längenbeschränkung erschließt DAEDAL ein neues Potenzial für DLLMs, schließt eine entscheidende Lücke zu ihren autoregressiven Gegenstücken und eröffnet den Weg für eine effizientere und leistungsfähigere Textgenerierung.