التنظيم المتسق لمحولات التشفير التلقائي المتغيرة

تمثّل نماذج التشفير التبادلي المتغير (VAEs) منهجية قوية للتعلم غير الخاضع للإشراف. فهي تتيح استنتاجًا تقريبيًا قابلاً للتوسع في التوزيع الاحتمالي الخلفي ضمن النماذج ذات المتغيرات المخفية باستخدام الاستدلال التبادلي (VI). يفترض نموذج VAE عائلة تبادلية مُعلمة بواسطة شبكة عصبية عميقة تُسمى "المُشفّر" (encoder)، والتي تأخذ البيانات كمدخلات. ويتم مشاركة هذا المُشفّر بين جميع الملاحظات، مما يقلل من تكلفة الاستنتاج. ومع ذلك، فإن المُشفّر في نموذج VAE يمتلك خاصية غير مرغوبة تتمثل في تحويل ملاحظة معينة وتحويلًا معنويًا محفوظًا لها إلى تمثيلات مخفية مختلفة. تُعد هذه "عدم الاتساق" في المُشفّر سببًا في تقليل جودة التمثيلات المُتعلّمة، خصوصًا في المهام التالية (downstream)، كما تؤثر سلبًا على القدرة على التعميم. في هذا البحث، نقترح طريقة تنظيم (regularization) لفرض الاتساق في نماذج VAE. الفكرة تتمحور حول تقليل تباين كولبكار-ليبلر (KL divergence) بين التوزيع التبادلي عند التقييد بالملاحظة، والتوزيع التبادلي عند التقييد بتحويل عشوائي يحافظ على المعنى للملاحظة. تُطبّق هذه الطريقة على أي نموذج VAE. وقد أجرينا تجارب على أربع نماذج مختلفة من VAEs على عدة مجموعات بيانات معيارية، ووجدنا أن هذه الطريقة تحسّن دائمًا جودة التمثيلات المُتعلّنة، كما تؤدي إلى تحسين في التعميم. وبشكل خاص، عند تطبيقها على نموذج VAE الجديد (NVAE)، تُحقّق الطريقة أداءً من الدرجة الأولى (state-of-the-art) على مجموعتي بيانات MNIST وCIFAR-10. كما طبّقنا طريقة التحسين هذه على بيانات ثلاثية الأبعاد، ووجدنا أنها تتعلم تمثيلات ذات جودة أعلى، حسب دقة التصنيف في مهمة تابعة.