„Wo ist mein Paket?“ Schnelle und effiziente Klassifizierer zur Erkennung von Benutzerabsichten in natürlicher Sprache

Wir untersuchen die Leistung von Kundenabsichtsklassifizierern, die darauf abzielen, die am häufigsten über die ASOS.com-Kundenservice-Abteilung eingehenden Absichten vorherzusagen, insbesondere die Anfrage „Wo ist meine Bestellung?“. Diese Anfragen zeichnen sich durch Umgangssprache, Label-Rauschen und kurze Nachrichtenlänge aus. Wir führen umfangreiche Experimente mit zwei etablierten Klassifikationsmodellen durch: Logistische Regression mittels n-Gramme, um Sequenzstrukturen in den Daten zu berücksichtigen, sowie rekurrente neuronale Netze, die diese sequenziellen Muster automatisch extrahieren. Bei Fixierung der Embedding-Schicht auf GloVe-Koordinaten ergab ein Mann-Whitney-U-Test, dass die F1-Score auf einer getrennten Testmenge für rekurrente neuronale Netze niedriger war als für lineare n-Gramm-Klassifizierer (M1 = 0,828, M2 = 0,815; U = 1.196, p = 1,46 × 10⁻²⁰), es sei denn, alle Schichten wurden gemeinsam mit allen anderen Netzwerkparametern trainiert (M1 = 0,831, M2 = 0,828, U = 4.280, p = 8,24 × 10⁻⁴). Dieses einfache neuronale Netz erzielte bei einer entschärften (denoisierten) Menge an Labels die beste Leistung (F1 = 0,887), was mit der Leistung menschlicher Annotationen (F1 = 0,889) übereinstimmt und die linearen Klassifizierer (F1 = 0,865) übertrifft. Bei Kalibrierung der Modelle, um Präzisionen über die menschliche Leistung (0,93 Präzision) zu erreichen, zeigen unsere Ergebnisse eine geringe Differenz in der Recall-Rate von 0,05 für das einfache neuronale Netz (Training unter 1 Stunde) und 0,07 für die linearen n-Gramme (Training unter 10 Minuten), was letztere als eine sinnvolle Wahl für Modellarchitekturen in modernen AI-Produktionssystemen erscheinen lässt.