HyperAIHyperAI

Command Palette

Search for a command to run...

Starke Baselines für neuronales semi-überwachtes Lernen bei Domänenverschiebung

Sebastian Ruder; Barbara Plank

Zusammenfassung

In den letzten Jahren wurden neue neuronale Modelle vorgeschlagen, um das Lernen bei Domänenverschiebungen zu verbessern. Die meisten Modelle bewerten jedoch nur eine einzelne Aufgabe, verwenden proprietäre Datensätze oder vergleichen sich mit schwachen Baselines, was die Vergleichbarkeit der Modelle erschwert. In dieser Arbeit evaluieren wir klassische allgemeine Bootstrapping-Methoden im Kontext von neuronalen Netzen bei Domänenverschiebungen neu und vergleichen sie mit aktuellen neuronalen Ansätzen. Wir schlagen zudem eine neuartige Multi-Task Tri-Training-Methode vor, die die zeitliche und räumliche Komplexität des klassischen Tri-Trainings reduziert. Ausführliche Experimente auf zwei Benchmarks ergaben negative Ergebnisse: während unsere neuartige Methode einen neuen Stand der Technik im Sentiment Analysis etabliert hat, erzielt sie nicht konsequent die besten Ergebnisse. Von größerer Bedeutung ist unser etwas überraschender Befund, dass das klassische Tri-Training, mit einigen Ergänzungen, den aktuellen Stand der Technik übertrifft. Wir kommen zu dem Schluss, dass klassische Ansätze eine wichtige und starke Baseline darstellen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp