HyperAIHyperAI

Command Palette

Search for a command to run...

تعزيز الشبكات التلافيفية بوساطة تجميع مبني على الانتباه

Hugo Touvron Matthieu Cord Alaaeldin El-Nouby Piotr Bojanowski Armand Joulin Gabriel Synnaeve Hervé Jégou

الملخص

نُظهر كيف يمكن تعزيز أي شبكة تلافيفية بخريطة عالمية تعتمد على الانتباه لتحقيق استدلال غير محلي. نستبدل التجميع المتوسط النهائي بطبقة تجميع تعتمد على الانتباه، مشابهة لكتلة تحويلة واحدة (Transformer block)، حيث تُوزّن كيفية مشاركة البُقع في اتخاذ قرار التصنيف. نُدمج هذه الطبقة المُتعلّمة للتجميع مع شبكة تلافيفية قائمة على البُقع، بسيطة وتمتّع ببارامترَين فقط (العرض والعمق). على عكس التصميم الهرمي، يحتفظ هذا الأسرة المعمارية بحلّة البُقع المدخلة عبر جميع الطبقات. ويُنتج هذا التصميم توازنًا مفاجئًا وقويًا بين الدقة والتعقيد، خصوصًا من حيث استهلاك الذاكرة، كما يُظهره تجاربنا على مهام مختلفة في الرؤية الحاسوبية: التصنيف الكائن، التجزئة الصورية، والكشف.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp