HyperAIHyperAI

Command Palette

Search for a command to run...

„Wo ist mein Paket?“ Schnelle und effiziente Klassifizierer zur Erkennung von Benutzerabsichten in natürlicher Sprache

Nikos Konstantinidis David Wardrope Amal Vaidya Fabon Dzogang Constantina Nicolaou

Zusammenfassung

Wir untersuchen die Leistung von Kundenabsichtsklassifizierern, die darauf abzielen, die am häufigsten über die ASOS.com-Kundenservice-Abteilung eingehenden Absichten vorherzusagen, insbesondere die Anfrage „Wo ist meine Bestellung?“. Diese Anfragen zeichnen sich durch Umgangssprache, Label-Rauschen und kurze Nachrichtenlänge aus. Wir führen umfangreiche Experimente mit zwei etablierten Klassifikationsmodellen durch: Logistische Regression mittels n-Gramme, um Sequenzstrukturen in den Daten zu berücksichtigen, sowie rekurrente neuronale Netze, die diese sequenziellen Muster automatisch extrahieren. Bei Fixierung der Embedding-Schicht auf GloVe-Koordinaten ergab ein Mann-Whitney-U-Test, dass die F1-Score auf einer getrennten Testmenge für rekurrente neuronale Netze niedriger war als für lineare n-Gramm-Klassifizierer (M1 = 0,828, M2 = 0,815; U = 1.196, p = 1,46 × 10⁻²⁰), es sei denn, alle Schichten wurden gemeinsam mit allen anderen Netzwerkparametern trainiert (M1 = 0,831, M2 = 0,828, U = 4.280, p = 8,24 × 10⁻⁴). Dieses einfache neuronale Netz erzielte bei einer entschärften (denoisierten) Menge an Labels die beste Leistung (F1 = 0,887), was mit der Leistung menschlicher Annotationen (F1 = 0,889) übereinstimmt und die linearen Klassifizierer (F1 = 0,865) übertrifft. Bei Kalibrierung der Modelle, um Präzisionen über die menschliche Leistung (0,93 Präzision) zu erreichen, zeigen unsere Ergebnisse eine geringe Differenz in der Recall-Rate von 0,05 für das einfache neuronale Netz (Training unter 1 Stunde) und 0,07 für die linearen n-Gramme (Training unter 10 Minuten), was letztere als eine sinnvolle Wahl für Modellarchitekturen in modernen AI-Produktionssystemen erscheinen lässt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp