كل-إلا-الأعلى: معالجة ما بعد بسيطة وفعالة لتمثيلات الكلمات

التمثيلات الرقمية الحقيقية للكلمات قد غيرت تطبيقات معالجة اللغة الطبيعية (NLP)؛ من الأمثلة الشائعة على ذلك word2vec وGloVe، اللذان يُعرفان بقدرتهما على التقاط القواعد اللغوية. في هذا البحث، نوضح تقنية ما بعد المعالجة بسيطة جداً ومع ذلك مخالفة للحدس -- وهي إزالة المتجه المتوسط ​​الشائع وبعض الاتجاهات الرئيسية العليا من متجهات الكلمات -- والتي تجعل التمثيلات الجاهزة {\em أكثر قوة}. تم التحقق من هذه التقنية ما بعد المعالجة تجريبياً في مجموعة متنوعة من المهام الداخلية على مستوى الكلمات (تشابه الكلمات، تصنيف المفاهيم، تشابه الكلمات التناظري) وفي مهام على مستوى الجمل (تشابه النص الدلالي وتصنيف النص) باستخدام عدة مجموعات بيانات ومع طرق تمثيل مختلفة واختيارات هايبربارامتر في لغات متعددة؛ وفي كل حالة، كانت التمثيلات المعالجة أفضل بشكل مستمر من التمثيلات الأصلية.