مصفوفات كبسولات مع توجيه EM

الكبسولة هي مجموعة من الخلايا العصبية التي تمثل خصائص مختلفة لكيان واحد. تحتوي كل طبقة في الشبكة الكبسولية على عدد كبير من الكبسولات. نصفّر نسخة من الكبسولات حيث تحتوي كل كبسولة على وحدة لوجستية تمثل وجود الكيان، ومحفظة 4×4 يمكنها تعلّم تمثيل العلاقة بين هذا الكيان والمتفرج (الوضعية). تقوم الكبسولة في طبقة ما بالتصويت لمحفظة الوضعية لعدة كبسولات مختلفة في الطبقة العلوية من خلال ضرب مصفوفة الوضعية الخاصة بها بمصفوفات تحويل قابلة للتدريب، والتي يمكنها تعلّم تمثيل العلاقات الجزء-الكل. يتم ترجيح كل تصويت بمعامل تعيين. يتم تحديث هذه المعاملات بشكل تكراري لكل صورة باستخدام خوارزمية التوقع-التحديث (Expectation-Maximization)، بحيث يتم توجيه مخرجات كل كبسولة إلى كبسولة في الطبقة العلوية التي تتلقى مجموعة من التصويتات المتشابهة. يتم تدريب مصفوفات التحويل بطريقة تمييزية من خلال التمرير العكسي (backpropagation) عبر التكرارات المُفكّكة لخوارزمية EM بين كل زوج من الطبقات المجاورة للكبسولات. على معيار smallNORB، تقلل الكبسولات عدد أخطاء الاختبار بنسبة 45% مقارنة بأفضل النماذج الحالية. كما تُظهر الكبسولات مقاومة أقوى بكثير للهجمات الخبيثة من نوع "الصندوق الأبيض" مقارنة بشبكة عصبية تلافيفية (CNN) كأساس.