Command Palette
Search for a command to run...
„Wo ist mein Paket?“ Schnelle und effiziente Klassifizierer zur Erkennung von Benutzerabsichten in natürlicher Sprache
„Wo ist mein Paket?“ Schnelle und effiziente Klassifizierer zur Erkennung von Benutzerabsichten in natürlicher Sprache
Nikos Konstantinidis David Wardrope Amal Vaidya Fabon Dzogang Constantina Nicolaou
Zusammenfassung
Wir untersuchen die Leistung von Kundenabsichtsklassifizierern, die darauf abzielen, die am häufigsten über die ASOS.com-Kundenservice-Abteilung eingehenden Absichten vorherzusagen, insbesondere die Anfrage „Wo ist meine Bestellung?“. Diese Anfragen zeichnen sich durch Umgangssprache, Label-Rauschen und kurze Nachrichtenlänge aus. Wir führen umfangreiche Experimente mit zwei etablierten Klassifikationsmodellen durch: Logistische Regression mittels n-Gramme, um Sequenzstrukturen in den Daten zu berücksichtigen, sowie rekurrente neuronale Netze, die diese sequenziellen Muster automatisch extrahieren. Bei Fixierung der Embedding-Schicht auf GloVe-Koordinaten ergab ein Mann-Whitney-U-Test, dass die F1-Score auf einer getrennten Testmenge für rekurrente neuronale Netze niedriger war als für lineare n-Gramm-Klassifizierer (M1 = 0,828, M2 = 0,815; U = 1.196, p = 1,46 × 10⁻²⁰), es sei denn, alle Schichten wurden gemeinsam mit allen anderen Netzwerkparametern trainiert (M1 = 0,831, M2 = 0,828, U = 4.280, p = 8,24 × 10⁻⁴). Dieses einfache neuronale Netz erzielte bei einer entschärften (denoisierten) Menge an Labels die beste Leistung (F1 = 0,887), was mit der Leistung menschlicher Annotationen (F1 = 0,889) übereinstimmt und die linearen Klassifizierer (F1 = 0,865) übertrifft. Bei Kalibrierung der Modelle, um Präzisionen über die menschliche Leistung (0,93 Präzision) zu erreichen, zeigen unsere Ergebnisse eine geringe Differenz in der Recall-Rate von 0,05 für das einfache neuronale Netz (Training unter 1 Stunde) und 0,07 für die linearen n-Gramme (Training unter 10 Minuten), was letztere als eine sinnvolle Wahl für Modellarchitekturen in modernen AI-Produktionssystemen erscheinen lässt.