التعلم التمثيلي باستخدام الترميز التنبؤي المقارن

بينما مكّنت التعلم تحت الإشراف (supervised learning) من تحقيق تقدم كبير في العديد من التطبيقات، لم يشهد التعلم دون إشراف (unsupervised learning) مثل هذا الانتشار الواسع، ويبقى تحديًا مهمًا للذكاء الاصطناعي. في هذه الدراسة، نقترح نهجًا شاملًا للتعلم دون إشراف لاستخراج تمثيلات مفيدة من البيانات ذات الأبعاد العالية، والذي نسميه الترميز التنبؤي المقارن (Contrastive Predictive Coding). الفكرة الرئيسية في نموذجنا هي تعلم هذه التمثيلات من خلال التنبؤ بالمستقبل في الفضاء الكامن باستخدام النماذج الذاتية الانحدارية القوية. نستخدم دالة خسارة مقارنة احتمالية تجعل الفضاء الكامن يلتقط المعلومات الأكثر فائدة لتنبؤ العينات المستقبلية. كما أنها تجعل النموذج قابل للحل من خلال استخدام عينات سلبية. بينما ركزت معظم الأعمال السابقة على تقييم التمثيلات لوسيلة معينة، فقد أظهرنا أن نهجنا قادر على تعلم تمثيلات مفيدة تحقق أداءً قويًا في أربعة مجالات مختلفة: الكلام، الصور، النصوص والتعلم التعزيزي في بيئات ثلاثية الأبعاد.