HyperAIHyperAI

Command Palette

Search for a command to run...

Konzentrieren Sie Ihre Aufmerksamkeit (mit adaptiven IIR-Filtern)

Shahar Lutati Itamar Zimerman Lior Wolf

Zusammenfassung

Wir stellen eine neue Schicht vor, in der dynamische (d. h. eingabehängige) Infinite Impulse Response (IIR)-Filter zweiter Ordnung eingesetzt werden, um die Eingabefolge zu verarbeiten, bevor herkömmliche Aufmerksamkeitsmechanismen angewendet werden. Die Eingabe wird in Blöcke aufgeteilt, und die Filterkoeffizienten werden basierend auf vorherigen Blöcken bestimmt, um Kausalität zu gewährleisten. Trotz ihrer relativ niedrigen Ordnung zeigen die kausalen adaptiven Filter eine Fähigkeit, die Aufmerksamkeit auf relevante Folgeelemente zu lenken. Die neue Schicht ist auf der Kontrolltheorie basiert und wird gezeigt, dass sie diagonale Zustandsraum-Schichten verallgemeinert. Die Schicht erreicht Leistungen auf dem Niveau modernster Netzwerke, mit einem Bruchteil der Parameter und einer Zeitkomplexität, die unter quadratisch in der Eingabegröße liegt. Die resultierende Schicht erweist sich gegenüber Schichten wie Heyna, GPT2 und Mega sowohl hinsichtlich der Anzahl der Parameter als auch hinsichtlich der erzielten Leistung bei mehreren Aufgaben mit langen Sequenzen als vorteilhaft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Konzentrieren Sie Ihre Aufmerksamkeit (mit adaptiven IIR-Filtern) | Paper | HyperAI