HyperAIHyperAI

Command Palette

Search for a command to run...

تعلم تذكر الأحداث النادرة

Łukasz Kaiser; Ofir Nachum; Aurko Roy; Samy Bengio

الملخص

رغم التقدم الحديث، لا تزال شبكات العصب العميقة المدعومة بالذاكرة محدودة عند التعلم مدى الحياة والتعلم من مثال واحد، خاصة فيما يتعلق بحفظ الأحداث النادرة. نقدم في هذا البحث وحدة ذاكرة على نطاق كبير يمكن استخدامها في التعلم العميق. تعتمد الوحدة على خوارزميات الجيران الأقرب السريعة لتحقيق الكفاءة، وبالتالي فإنها قابلة للتوسع إلى أحجام ذاكرة كبيرة. باستثناء استعلام الجار الأقرب، تكون الوحدة قابلة للاشتقاق تمامًا وتتم تدريبها بشكل شامل دون أي إشراف إضافي. تعمل الوحدة بطريقة مستمرة مدى الحياة، أي بدون الحاجة إلى إعادة تعيينها أثناء التدريب.يمكن إضافة وحدتنا الذاكرية بسهولة إلى أي جزء من شبكة عصبية تحت الإشراف. لإظهار مرونتها، أضفناها إلى عدد من الشبكات، بدءًا من شبكات الإدراك البسيطة التي تم اختبارها على تصنيف الصور وصولاً إلى نماذج التحويل المتتابعة والمتكررة-الإدراكية العميقة. في جميع الحالات، تحصل الشبكة المعززة على القدرة على الحفظ والتعلم من مثال واحد مدى الحياة. تتذكر الوحدة أمثلة التدريب التي ظهرت قبل آلاف الخطوات وتستطيع تعميم النتائج بنجاح منها. حققنا أفضل مستوى حتى الآن في التعلم من مثال واحد على مجموعة بيانات Omniglot وأظهرنا لأول مرة القدرة على التعلم مدى الحياة من مثال واحد في الشبكات العصبية المتكررة عند مهمة الترجمة الآلية ذات الحجم الكبير.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp