HyperAIHyperAI

Command Palette

Search for a command to run...

Dynamische Bewertung von neuronalen Sequenzmodellen

Ben Krause; Emmanuel Kahembwe; Iain Murray; Steve Renals

Zusammenfassung

Wir präsentieren eine Methodik zur Verwendung dynamischer Evaluierung, um neuronale Sequenzmodelle zu verbessern. Die Modelle werden durch einen gradientenbasierten Mechanismus an die jüngste Geschichte angepasst, wodurch sie höhere Wahrscheinlichkeiten für wiederkehrende sequenzielle Muster zuweisen. In unseren Vergleichen übertrifft die dynamische Evaluierung bestehende Anpassungsansätze. Die dynamische Evaluierung verbessert den Stand der Technik in Bezug auf die Wort-Level-Perplexität auf den Datensätzen Penn Treebank und WikiText-2 auf 51,1 und 44,3 beziehungsweise und den Stand der Technik in Bezug auf die Zeichen-Level-Cross-Entropie auf den Datensätzen text8 und Hutter Prize auf 1,19 Bit/Zeichen und 1,08 Bit/Zeichen beziehungsweise.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Dynamische Bewertung von neuronalen Sequenzmodellen | Paper | HyperAI