متجهات التفكير المُتَجَاوِزة

نقوم بوصف منهجية للتعلم غير المشرف لمشفر جمل عام وموزع. باستخدام استمرارية النصوص من الكتب، ندرب نموذج مشفر-مفكك يحاول إعادة بناء الجمل المحيطة بمسار مشفّر. وبالتالي，则 الجمل التي تشترك في خصائص دلالية ونحوية تُرسَم إلى تمثيلات متجهية متشابهة. ثم نقدم طريقة بسيطة لتوسيع المفردات لترميز الكلمات التي لم تظهر كجزء من التدريب، مما يسمح لنا بتوسيع قاموسنا إلى مليون كلمة. بعد تدريب نموذجنا، نستخرج وتقيّم متجهاتنا باستخدام نماذج خطية في 8 مهام: الصلة الدلالية، اكتشاف الإعادة الصياغة، تصنيف صورة-جملة، تصنيف نوع السؤال وأربع مجموعات بيانات مقاييس للمزاج والخضوع. النتيجة النهائية هي مشفر جاهز يمكنه إنتاج تمثيلات جمل عامة للغاية تكون متينة وتؤدي بشكل جيد في التطبيق العملي. سنجعل مشفرنا متاحًا للجمهور.请注意，其中“则”字在阿拉伯语中没有直接对应的词语，因此在翻译时省略了这个词，以使句子更加通顺。其他部分均按照您的要求进行了翻译。