HyperAIHyperAI

Command Palette

Search for a command to run...

الارتداد عبر الخوارزميات التوافقيّة: الهوية مع التProjected تعمل

Subham Sekhar Sahoo Anselm Paulus Marin Vlastelica Vít Musil Volodymyr Kuleshov Georg Martius

الملخص

إدماج حلّالات منفصلة كطبقات قابلة للتفاضل أعطى الهياكل الحديثة للتعلم العميق قدرة تعبيرية توليدية ومهارات استدلال منفصلة. ونظرًا لأن المشتقة لهذه الحلّالات تكون صفرًا أو غير معرفة، فإن استبدالها ببديل معنوي أمر بالغ الأهمية لتحقيق تعلم فعّال يعتمد على التدرج. تعتمد الدراسات السابقة على تمويه الحلّال بتوترات في المدخلات، أو تخفيف الحلّال إلى مشكلات مستمرة، أو على تداخل سطح الخسارة باستخدام تقنيات تتطلب غالبًا استدعاءات إضافية للحلّال، أو تُدخل معلمات إضافية، أو تُضعف الأداء. نقترح نهجًا مبنيًا على مبادئ علمية للاستفادة من الهندسة الخاصة بفضاء الحلول المنفصلة، بحيث يتم اعتبار الحلّال كهوية سالبة في مرحلة التراجع (backward pass)، ونقدّم أيضًا تبريرًا نظريًا لهذا المفهوم. تُظهر تجاربنا أن هذا النهج البسيط والخالي من المعلمات يمكنه التنافس مع الطرق المعقدة السابقة في عدد من التجارب، مثل التمرير العكسي عبر عيّنات منفصلة، والتطابق العميق للرسوم البيانية، واسترجاع الصور. علاوة على ذلك، نستبدل الهامش المحدد للمسألة والمتوقف على التصنيف الذي اقترح سابقًا بعملية ت régularisation عامة تمنع انهيار التكلفة وتعزز المرونة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
الارتداد عبر الخوارزميات التوافقيّة: الهوية مع التProjected تعمل | مستندات | HyperAI