HyperAIHyperAI
منذ 17 أيام

خوارزمية لتوجيه الكبسولات في جميع المجالات

Franz A. Heinsen
خوارزمية لتوجيه الكبسولات في جميع المجالات
الملخص

بناءً على الأبحاث الحديثة المتعلقة بشبكات الكبسولات، نقترح شكلًا جديدًا عامًا لـ "التحويل حسب الاتفاق"، حيث يتم تفعيل الكبسولات المخرجة في طبقة معينة كدالة تبعًا لفوائدها الصافية في الاستخدام وتكاليفها الصافية في تجاهل الكبسولات المدخلة من الطبقات السابقة. ولتوضيح فائدة خوارزمية التحويل لدينا، نقدم شبكتين للكبسولات تطبقانها في مجالات مختلفة: الرؤية واللغة. تحقق الشبكة الأولى دقة قياسية جديدة تبلغ 99.1% في مهمة التعرف على الصور الصغيرة (smallNORB)، مع عدد أقل من المعلمات وتدريب يقل عن مرتبة واحدة من حيث الحجم مقارنةً بالنماذج السابقة لشبكات الكبسولات، ونجد أدلة تشير إلى أنها تتعلم أداء نوع من "الرسم العكسي" (reverse graphics). أما الشبكة الثانية، فهي تحقق دقة قياسية جديدة على جمل الجذور في مختبر شجرة مشاعر ستانفورد (Stanford Sentiment Treebank): 58.5% بدقة مفصلة و95.6% للتصنيفات الثنائية، باستخدام نموذجًا واحدًا فقط يقوم بتحويل تضمينات مجمدة من نموذج تحويل (Transformer) مُدرّب مسبقًا على أنها كبسولات. وفي كلا المجالين، نقوم بالتدريب باستخدام نفس النظام. يُمكن الوصول إلى الكود عبر الرابط: https://github.com/glassroom/heinsen_routing، مع إرشادات لإعادة التكرار.