دراسة على تمثيلات N-gram وEmbedding لتحديد اللغة الأصلية

نُقدم في هذا التقرير نتائج تجاربنا باستخدام تمثيلات الميزات المستندة إلى N-gram وتمثيلات التضمين (Embeddings) لتحديد اللغة الأصلية (NLI) ضمن مهمة المشاركة المشتركة NLI 2017 (باسم الفريق: NLI-ISU). وقد حقق أفضل نظام لدينا على مجموعة الاختبار الخاصة بالنصوص المكتوبة F1 متعددة (macro F1) قدرها 0.8264، ويعتمد هذا النظام على ميزات الأحادية (unigram)، والثنائية (bigram)، والثلاثية (trigram) للكلمات. وقد استكشفنا تمثيلات N-gram التي تشمل الكلمات، والأحرف، وتصنيفات الجمل (POS)، بالإضافة إلى تمثيلات مختلطة بين الكلمات وتصنيفات الجمل. أما بالنسبة لتمثيلات الميزات المستندة إلى التضمين، فقد استخدمنا كلًا من تضمينات الكلمات (word embeddings) وتمثيلات المستندات (document embeddings). وسجلنا أداءً متوسطًا نسبيًا في حال استخدام جميع تمثيلات التضمين مقارنةً بتمثيلات N-gram، وقد يُعزى ذلك إلى حقيقة أن التضمينات تُمثّل التشابه الدلالي، بينما تتمحور الفروقات بين اللغات الأم (L1) أكثر على الطابع الأسلوبي.