Konzentrieren Sie Ihre Aufmerksamkeit (mit adaptiven IIR-Filtern)

Wir stellen eine neue Schicht vor, in der dynamische (d. h. eingabehängige) Infinite Impulse Response (IIR)-Filter zweiter Ordnung eingesetzt werden, um die Eingabefolge zu verarbeiten, bevor herkömmliche Aufmerksamkeitsmechanismen angewendet werden. Die Eingabe wird in Blöcke aufgeteilt, und die Filterkoeffizienten werden basierend auf vorherigen Blöcken bestimmt, um Kausalität zu gewährleisten. Trotz ihrer relativ niedrigen Ordnung zeigen die kausalen adaptiven Filter eine Fähigkeit, die Aufmerksamkeit auf relevante Folgeelemente zu lenken. Die neue Schicht ist auf der Kontrolltheorie basiert und wird gezeigt, dass sie diagonale Zustandsraum-Schichten verallgemeinert. Die Schicht erreicht Leistungen auf dem Niveau modernster Netzwerke, mit einem Bruchteil der Parameter und einer Zeitkomplexität, die unter quadratisch in der Eingabegröße liegt. Die resultierende Schicht erweist sich gegenüber Schichten wie Heyna, GPT2 und Mega sowohl hinsichtlich der Anzahl der Parameter als auch hinsichtlich der erzielten Leistung bei mehreren Aufgaben mit langen Sequenzen als vorteilhaft.