Samen-Diffusion: Ein großskaliges Diffusions-Sprachmodell mit hochgeschwindigkeitsfähiger Inferenz

Wir stellen Seed Diffusion Preview vor, ein großskaliges Sprachmodell auf Basis diskreter Diffusionsprozesse, das eine bemerkenswert hohe Inferenzgeschwindigkeit bietet. Durch die nicht-sequentielle, parallele Generierung ermöglichen diskrete Diffusionsmodelle eine erhebliche Beschleunigung und reduzieren so die inhärente Latenz der tokenweise Dekodierung, wie kürzlich gezeigt wurde (z. B. Mercury Coder, Gemini Diffusion). Seed Diffusion Preview erreicht eine Inferenzgeschwindigkeit von 2.146 Tokens pro Sekunde auf H20-GPUs, während es gleichzeitig wettbewerbsfähige Leistung auf einer Vielzahl standardisierter Code-Evaluierungsbenchmark-Tests zeigt. Damit ist es deutlich schneller als aktuelle Implementierungen wie Mercury und Gemini Diffusion und etabliert eine neue State-of-the-Art-Leistung auf der Speed-Qualität-Pareto-Front für Code-Modelle.