HyperAIHyperAI

Command Palette

Search for a command to run...

MuCoT: Multilinguale kontrastive Training für Frage-Antwort-Systeme in sprachlich armen Sprachen

Gokul Karthik Kumar Abhishek Singh Gehlot Sahal Shaji Mullappilly Karthik Nandakumar

Zusammenfassung

Die Genauigkeit von englischsprachigen Frage-Antwort-Systemen (QA) hat in den letzten Jahren erheblich zugenommen, insbesondere durch den Einsatz von Transformer-basierten Modellen (z. B. BERT). Diese Modelle werden zunächst selbstüberwacht mit großen Korpora aus englischen Texten vortrainiert und anschließend anhand umfangreicher englischer QA-Datensätze (z. B. SQuAD) feinabgestimmt. Für die meisten anderen Sprachen stehen jedoch Datensätze dieser Größenordnung nicht zur Verfügung. Häufig werden mehrsprachige BERT-basierte Modelle (mBERT) eingesetzt, um Wissen von sprachlich reich ausgestatteten Sprachen auf sprachlich benachteiligte Sprachen zu übertragen. Da diese Modelle mit riesigen, mehrsprachigen Textkorpora vortrainiert werden, lernen sie typischerweise sprachunabhängige Embeddings für Tokens verschiedener Sprachen. Die direkte Feinabstimmung eines mBERT-basierten QA-Systems für sprachlich benachteiligte Sprachen ist jedoch aufgrund des Mangels an Trainingsdaten herausfordernd. In dieser Arbeit ergänzen wir die QA-Beispiele der Zielsprache durch Übersetzung und Transliteration in andere Sprachen und nutzen die erweiterten Daten, um ein bereits auf Englisch vortrainiertes mBERT-basiertes QA-Modell zu feinabstimmen. Experimente am Google ChAII-Datensatz zeigen, dass die Feinabstimmung des mBERT-Modells mit Übersetzungen aus derselben Sprachfamilie die Leistung der Frage-Antwort-Systeme verbessert, während sich die Leistung bei Übersetzungen aus unterschiedlichen Sprachfamilien verschlechtert. Wir zeigen zudem, dass die Einführung eines kontrastiven Verlustes zwischen den Merkmalspaaren aus übersetzten Frage-Kontext-Beispielen während des Feinabstimmungsprozesses diese Verschlechterung bei mehrsprachigen Übersetzungen verhindert und zu einer marginalen Verbesserung führt. Der Quellcode für diese Arbeit ist unter https://github.com/gokulkarthik/mucot verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MuCoT: Multilinguale kontrastive Training für Frage-Antwort-Systeme in sprachlich armen Sprachen | Paper | HyperAI