تنسوريزينج الشبكات العصبية

تظهر الشبكات العصبية العميقة حاليًا أداءً متفوقًا في عدة مجالات. وفي الوقت نفسه، تكون نماذج هذا الصنف مكلفة للغاية من حيث الموارد الحاسوبية. بشكل خاص، تتطلب الطبقات المتصلة بالكامل (fully-connected layers) التي تُستخدم عادةً كمية كبيرة من الذاكرة، مما يجعل استخدام هذه النماذج على الأجهزة ذات المواصفات المنخفضة صعبًا ويعيق زيادة حجم النموذج بشكل أكبر. في هذا البحث، نحول مصفوفات الأوزان الكثيفة في الطبقات المتصلة بالكامل إلى تنسيق الـ Tensor Train بحيث يتم تقليل عدد المعلمات بمقدار ضخم وفي نفس الوقت يتم الحفاظ على قوة التعبير للطبقة. بشكل خاص، بالنسبة لشبكات VGG جدًا العميقة (Very Deep VGG networks)، نبلغ عن عامل الضغط لمصفوفة الأوزان الكثيفة في طبقة متصلة بالكامل يصل إلى 200000 مرة، مما يؤدي إلى عامل ضغط يصل إلى 7 أضعاف لشبكة كاملة.