HyperAIHyperAI
منذ 2 أشهر

الغرس حسب الطلب: طريقة رخيصة ولكنها فعّالة لإدخال متجهات الخصائص الدلالية

Mikhail Khodak; Nikunj Saunshi; Yingyu Liang; Tengyu Ma; Brandon Stewart; Sanjeev Arora
الغرس حسب الطلب: طريقة رخيصة ولكنها فعّالة لإدخال متجهات الخصائص الدلالية
الملخص

الدوافع مثل التكيف النطقي (domain adaptation)، والتعلم النقل (transfer learning)، وتعلم السمات (feature learning) قد أثارت الاهتمام بتحفيز التمثيلات المتجهية للكلمات النادرة أو غير المشاهدة، والمجموعات الن-جرامية (n-grams)، ومجموعات المعاني (synsets)، وغيرها من الخصائص النصية. يقدم هذا البحث طريقة التمثيل المتجهي حسب الطلب (a la carte embedding)، وهي بديل بسيط وعام للطرق التقليدية القائمة على word2vec لبناء مثل هذه التمثيلات، والتي تعتمد على نتائج نظرية حديثة للتمثيلات المتجهية المشابهة لـ GloVe. تعتمد طريقتنا بشكل أساسي على تحويل خطي يمكن تعلمه بكفاءة باستخدام متجهات الكلمات المدربة مسبقًا والانحدار الخطي. يمكن تطبيق هذا التحويل في المستقبل عند مواجهة خاصية نصية جديدة أو كلمة نادرة، حتى لو كان متاحًا مثال واحد فقط لاستخدامها. نقدم مجموعة بيانات جديدة تظهر كيف أن طريقة التمثيل المتجهي حسب الطلب تتطلب أمثلة أقل من الكلمات في سياقها لتعلم تمثيلات متجهية ذات جودة عالية، وقد حققنا أفضل النتائج في مهمة nonce وبعض مهام تصنيف الوثائق بدون إشراف.

الغرس حسب الطلب: طريقة رخيصة ولكنها فعّالة لإدخال متجهات الخصائص الدلالية | أحدث الأوراق البحثية | HyperAI