HyperAIHyperAI

Command Palette

Search for a command to run...

Ein vollständig auf Aufmerksamkeit basierender Informationsretriever

Alvaro H. C. Correia Jorge L. M. Silva Thiago de C. Martins Fabio G. Cozman

Zusammenfassung

Recurrente Neuronale Netze sind derzeit der Stand der Technik im Bereich der natürlichen Sprachverarbeitung, da sie reichhaltige kontextuelle Darstellungen erstellen und Texte beliebiger Länge verarbeiten können. Kürzliche Entwicklungen im Bereich der Aufmerksamkeitsmechanismen haben jedoch Feedforward-Netze mit ähnlichen Fähigkeiten ausgestattet, was durch die Erhöhung der Anzahl von parallelisierbaren Operationen zu schnelleren Berechnungen führt. In dieser Arbeit untersuchen wir diese neue Architektur im Bereich der Frage-Antwort-Systeme und schlagen einen neuen Ansatz vor, den wir Fully Attention Based Information Retriever (FABIR) nennen. Wir zeigen, dass FABIR wettbewerbsfähige Ergebnisse im Stanford Question Answering Dataset (SQuAD) erzielt, während es weniger Parameter hat und sowohl beim Lernen als auch bei der Inferenz schneller ist als vergleichbare Methoden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp