TSDAE: استخدام مُشفّر تلقائي مُزيل للضوضاء تسلسلي مبني على Transformer لتعلم تمثيل الجملة بدون تعلّم مراقب

يُعدّ تعلّم تمثيل الجملة (sentence embeddings) في كثير من الأحيان مطلوبًا للكمّ الكبير من البيانات المُعلّمة. ومع ذلك، فإن البيانات المُعلّمة نادرة التوفر في معظم المهام والDomains، ويتطلب إنشاؤها تكاليف عالية. في هذا العمل، نقدّم طريقة غير مُعلّمة متطورة تُعدّ من أحدث الطرق في مجالها، تعتمد على نماذج Transformers المُدرّبة مسبقًا ونموذج إعادة بناء التسلسل المُتعدّد (Sequential Denoising Auto-Encoder) المُسمّى TSDAE، والذي يتفوّق على الطرق السابقة بنسبة تصل إلى 6.4 نقطة. كما يمكنه تحقيق ما يصل إلى 93.1% من أداء الطرق المُعلّمة المخصّصة للنطاق (in-domain). بالإضافة إلى ذلك، نُظهر أن TSDAE يُعدّ طريقة قوية للتكيف بين النطاقات (domain adaptation) وتدريب مسبق (pre-training) لتمثيل الجمل، حيث يتفوّق بشكل كبير على الطرق الأخرى مثل نموذج اللغة المُقنّع (Masked Language Model).إحدى العيوب الجوهرية في الدراسات السابقة هي تقييم محدود: فمعظم الأبحاث تقيّم الأداء على مهمة واحدة فقط، وهي مطابقة النصوص المعنوية (Semantic Textual Similarity - STS)، وهي مهمة لا تتطلب أي معرفة بنطاق معين. ولا يزال من غير الواضح ما إذا كانت هذه الطرق المقترحة قادرة على التعميم على نطاقات ومهام أخرى. ولسد هذه الفجوة، قمنا بتقييم TSDAE والطرق الحديثة الأخرى على أربع مجموعات بيانات مختلفة من نطاقات متنوعة ومتباينة.