Ein einfaches aber wirksames BERT-Modell für Dialogzustandstracking auf ressourcenbeschränkten Systemen

In einem zielorientierten Dialogsystem dient die Dialogzustandsverfolgung (Dialog State Tracking, DST) dazu, den Zustand des Gesprächs anhand der Dialoghistorie zu überwachen. In letzter Zeit wurden zahlreiche auf tiefen Lernverfahren basierende Ansätze für diese Aufgabe vorgeschlagen. Trotz ihrer beeindruckenden Leistungsfähigkeit sind die derzeitigen neuronalen Architekturen für DST typischerweise stark spezifisch ausgelegt und konzeptionell komplex, was ihre Implementierung, Fehlersuche und Pflege in produktiven Umgebungen erschwert. In dieser Arbeit stellen wir ein einfaches, jedoch wirksames DST-Modell vor, das auf BERT basiert. Neben seiner Einfachheit weist unsere Methode eine Reihe weiterer Vorteile auf: (a) Die Anzahl der Parameter wächst nicht mit der Größe der Ontologie, und (b) das Modell kann in Situationen arbeiten, in denen die Domänenontologie dynamisch verändert werden kann. Experimentelle Ergebnisse zeigen, dass unser BERT-basiertes Modell frühere Ansätze deutlich übertrifft und neue Sollwertresultate auf dem Standard-Datensatz WoZ 2.0 erreicht. Um das Modell schließlich klein und schnell genug für ressourcenbeschränkte Systeme zu machen, wenden wir die Methode des Knowledge Distillation an, um das Modell zu komprimieren. Das endgültige komprimierte Modell erreicht Ergebnisse, die mit denen des ursprünglichen Modells vergleichbar sind, ist jedoch 8-mal kleiner und 7-mal schneller.