HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung der end-to-end Sprache-zu-Intention-Klassifikation mit Reptile

Yusheng Tian Philip John Gorinski

Zusammenfassung

End-to-end-Systeme für die gesprochene Sprachverstehens (Spoken Language Understanding, SLU) bieten gegenüber herkömmlichen Pipeline-Systemen zahlreiche Vorteile. Allerdings ist die Beschaffung von domain-spezifischen Sprachdaten zur Trainingszeit eines End-to-End-Systems kostspielig und zeitaufwendig. Daraus ergibt sich die zentrale Frage: Wie kann ein End-to-End-SLU-System mit begrenzten Datenmengen trainiert werden? Viele Forscher haben Ansätze erforscht, die auf der Nutzung anderer verwandter Datenressourcen basieren, typischerweise durch die Vortrainierung von Teilen des Modells auf hochressourcenreichen Spracherkennungsaufgaben. In diesem Paper schlagen wir vor, die Generalisierungsfähigkeit von SLU-Modellen mit einem nicht-standardmäßigen Lernalgorithmus, Reptile, zu verbessern. Obwohl Reptile ursprünglich für modellunabhängiges Meta-Lernen vorgeschlagen wurde, argumentieren wir, dass es auch direkt zur Lernung einer Zielaufgabe eingesetzt werden kann und dabei eine bessere Generalisierung als herkömmliches Gradientenabstiegsverfahren erzielt. In dieser Arbeit wenden wir Reptile der Aufgabe der End-to-End-Sprechabsichtsklassifikation zu. Experimente an vier Datensätzen unterschiedlicher Sprachen und Domänen zeigen eine Steigerung der Genauigkeit der Absichtsvorhersage – sowohl wenn Reptile allein verwendet wird als auch in Kombination mit Vortrainierung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp