HyperAIHyperAI

Command Palette

Search for a command to run...

Warten wir nicht länger! Die Entfernung von Denk-Token verbessert die Rechengeschwindigkeit.

Zusammenfassung

Neuere Fortschritte bei großen Inferenzmodellen haben es ermöglicht, komplexe, schrittweise Schlussfolgerungen zu ziehen, führen aber oft zu erheblichem Überdenken, was zu umständlichen und redundanten Ausgaben resultiert und die Effizienz beeinträchtigt. In dieser Studie untersuchen wir, ob explizite Selbstreflexion, die durch Token wie „Warten“ (Wait) und „Hm“ (Hmm) signalisiert wird, für fortschrittliches Denken notwendig ist. Wir stellen NoWait vor, einen einfachen und dennoch effektiven Ansatz, der explizite Selbstreflexion durch Unterdrückung dieser Token während der Inferenz deaktiviert. Umfangreiche Experimente an zehn Benchmarks für textuelle, visuelle und videobasierte Inferenzaufgaben zeigen, dass NoWait die Länge der Gedankenkette in fünf R1-stilisierten Modellserien um bis zu 27-51 % reduziert, ohne die Nützlichkeit des Modells zu beeinträchtigen. NoWait bietet daher eine Plug-and-Play-Lösung für effizientes und nutzungserhaltendes multimodales Denken.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp