"أين حزمتي؟" تصنيفات سريعة وفعّالة للكشف عن نية المستخدم في اللغة الطبيعية

نُجري دراسة أداء تصنيفات نية العميل المصممة للتنبؤ بالنية الأكثر شيوعًا التي تتلقاها قسم خدمة العملاء في ASOS.com، وهي: "أين طلبي؟". تميز هذه الاستفسارات باستخدام تعبيرات عامية، ووجود ضجيج في التسميات، وطول رسالة قصير. نُجري تجارب واسعة باستخدام نموذجين معروفين جيدًا في التصنيف: الانحدار اللوجستي عبر n-grams لمعالجة التسلسلات في البيانات، والشبكات العصبية التكرارية التي تقوم باستخراج هذه الأنماط التسلسلية تلقائيًا. مع الحفاظ على طبقة التضمين ثابتة عند إحداثيات GloVe، أظهر اختبار مان-ويتني U أن مؤشر F1 على مجموعة من الرسائل المحفوظة كان أقل بالنسبة لتصنيفات الشبكات العصبية التكرارية مقارنة بتصنيفات الانحدار اللوجستي عبر n-grams (M1=0.828، M2=0.815؛ U=1,196، P=1.46e-20)، إلا عندما تم تدريب جميع الطبقات معًا مع باقي معاملات الشبكة (M1=0.831، M2=0.828، U=4,280، P=8.24e-4). أظهر هذا النموذج العصبي البسيط أفضل أداءً على مجموعة من التسميات المعفاة من الضجيج (0.887 F1)، مُساويًا أداء المُصنّفين البشريين (0.889 F1)، وتفوّق على النماذج الخطية (0.865 F1). عند معايرة هذه النماذج للوصول إلى مستويات دقة تفوق أداء الإنسان (0.93 دقة)، أظهرت النتائج فرقًا صغيرًا في الاحتواء (Recall) قدره 0.05 للشبكات العصبية البسيطة (بتدريب أقل من ساعة)، و0.07 للنماذج الخطية عبر n-grams (بتدريب أقل من 10 دقائق)، ما يُبرز الأخيرة كاختيار مناسب لتصميم النموذج في أنظمة الذكاء الاصطناعي الحديثة.