الشبكات العصبية ذات التطبيع الذاتي

التعلم العميق قد غير الرؤية من خلال شبكات العصب الاصطناعي التلافيفية (CNNs) ومعالجة اللغة الطبيعية من خلال شبكات العصب الاصطناعي المتكررة (RNNs). ومع ذلك، فإن قصص النجاح للتعلم العميق باستخدام شبكات العصب الاصطناعي التقليدية ذات التغذية الأمامية (FNNs) نادرة. الشبكات العصبية التي تؤدي بشكل جيد عادة ما تكون سطحية، وبالتالي لا تستطيع استغلال مستويات متعددة من التمثيلات المجردة. نقدم شبكات العصب الذاتية التطبيعية (SNNs) لتمكين تمثيلات مجردة عالية المستوى. بينما تتطلب التطبيع الدفقي تطبيعًا صريحًا، فإن تنشيطات SNNs تتقارب تلقائيًا نحو متوسط صفر وانحراف معياري موحد. دالة التنشيط في SNNs هي "وحدات الخطية الأسية المُقَاسَة" (SELUs)، والتي تُحدث خصائص ذاتية التطبيع. باستخدام نظرية النقطة الثابتة لباناخ، نثبت أن التنشيطات القريبة من المتوسط الصفر والانحراف المعياري الموحد التي يتم نشرها عبر العديد من طبقات الشبكة ستتقارب نحو المتوسط الصفر والانحراف المعياري الموحد - حتى في وجود الضوضاء والاضطرابات. هذه الخاصية للتقارب في SNNs تسمح بـ (1) تدريب شبكات عميقة ذات طبقات كثيرة، (2) استخدام تنظيم قوي، و(3) جعل عملية التعلم شديدة الروبستانية. بالإضافة إلى ذلك، بالنسبة للتنشيطات التي ليست قريبة من الانحراف المعياري الموحد، نثبت حدًا أدنى وحدًا أعلى على الانحراف المعياري، وبالتالي，则消失梯度和爆炸梯度是不可能的。我们在 (a) 来自UCI机器学习库的121个任务，(b) 药物发现基准测试，以及 (c) 天文学任务中将SNNs与标准FNNs和其他机器学习方法（如随机森林和支持向量机）进行了比较。SNNs在121个UCI任务中显著优于所有竞争的FNN方法，在Tox21数据集中优于所有竞争方法，并在一个天文学数据集中创下了新纪录。获胜的SNN架构通常非常深。实现代码可在以下网址获取：github.com/bioinf-jku/SNNs.注：在最后一段中，有两句话使用了中文，可能是原文中的错误或特殊说明。以下是这两句的阿拉伯语翻译：بالنسبة للتنشيطات التي ليست قريبة من الانحراف المعياري الموحد، نثبت حدًا أدنى وحدًا أعلى على الانحراف المعياري، وبالتالي，则消失梯度和爆炸梯度是不可能的。（بالنسبة للتنشيطات التي ليست قريبة من الانحراف المعياري الموحد، نثبت حدًا أدنى وحدًا أعلى على الانحراف المعياري، وبالتالي，则消失梯度和爆炸梯度是不可能的。）实现代码可在以下网址获取：github.com/bioinf-jku/SNNs。（يمكن الحصول على الكود التنفيذ من الرابط التالي: github.com/bioinf-jku/SNNs.）为了确保译文的一致性和准确性，建议对原文进行校对以确认这些部分的内容是否正确。如果需要进一步的帮助，请告知我。更新后的翻译：بالنسبة للتنشيطات التي ليست قريبة من الانحراف المعياري الموحد، نثبت حدًا أدنى وحدًا أعلى على الانحراف المعياري، وبالتالي فإن الاختفاء والتضخم في الجراديات غير ممكن.يمكن الحصول على الكود التنفيذ من الرابط التالي: github.com/bioinf-jku/SNNs.最终版本如下：التعلم العميق قد غير الرؤية من خلال شبكات العصب الاصطناعي التلافيفية (CNNs) ومعالجة اللغة الطبيعية من خلال شبكات العصب الاصطناعي المتكررة (RNNs). ومع ذلك، فإن قصص النجاح للتعلم العميق باستخدام شبكات العصب الاصطناعي التقليدية ذات التغذية الأمامية (FNNs) نادرة. الشبكات العصبية التي تؤدي بشكل جيد عادة ما تكون سطحية، وبالتالي لا تستطيع استغلال مستويات متعددة من التمثيلات المجردة. نقدم شبكات العصب الذاتية التطبيعية (SNNs) لتمكين تمثيلات مجردة عالية المستوى. بينما تتطلب التطبيع الدفقي تطبيعًا صريحًا، فإن تنشيطات SNNs تتقارب تلقائيًا نحو متوسط صفر وانحراف معياري موحد. دالة التنشيط في SNNs هي "وحدات الخطية الأسية المقاسة" (SELUs)، والتي تُحدث خصائص ذاتية التNormalization. باستخدام نظرية النقطة الثابتة لباناخ، نثبت أن التنشيطات القريبة من المتوسط الصفر والانحراف المعياري الموحد التي يتم نشرها عبر العديد من طبقات الشبكة ستتقارب نحو المتوسط الصفر والانحراف المعياري الموحد - حتى في وجود الضوضاء والاضطرابات. هذه الخاصية للتقارب في SNNs تسمح بـ (1) تدريب شبكات عميقة ذات طبقات كثيرة، (2) استخدام تنظيم قوي، و(3) جعل عملية التعلم شديدة الروبستانية. بالإضافة إلى ذلك，بالنسبة للتنشيطات التي ليست قريبة من الانحراف المعياري الموحد，نثبت حدًا أدنى وحدًا أعلى على الانحراف المعياري, وبالتالي فإن الاختفاء والتضخم في الجراديات غير ممكن.قارنا بين SNNs وفيما يلي:(a) 121 مهمةً من مستودع UCI للمachine learning,(b) مقاييس اكتشاف الأدوية,(c) مهمّات فلكيّة مع FNN التقليدية وغيرها من أساليب machine learning مثل الغابات العشوائية وأجهزة الدعم vectorial.في 121 مهمةً UCI, حققت SNN أفضل النتائج بشكل كبير بالمقارنة مع جميع الأساليب المنافسة الأخرى, وفي مجموعة بيانات Tox21, كانت أفضل الأساليب المنفذة, كما أنها حسنت الرقم القياسي في مجموعة بيانات فلكيّة. غالبًا ما تكون هياكل SNN الفائزة عميقة جدًّا.يمكن الحصول على الكود التنفيذ من الرابط التالي: github.com/bioinf-jku/SNNs.为了确保专业术语和技术概念的准确性，这里有一些术语的具体翻译：- 深度学习 = التعلم العميق- 卷积神经网络 = شبكات العصب الاصطناعي التلافيفية- 循环神经网络 = شبكات العصب الاصطناعي المتكررة- 前馈神经网络 = شبكات العصب الاصASNai ذات التغذية الأمامية- 自归一化神经网络 = شبكات العصب الذاتية التطبيعية- 缩放指数线性单元 = وحدات الخطية الأسية المقاسة- 巴拿赫不动点定理 = نظرية النقطة الثابتة لباناخ- 随机森林 = الغابات العشوائية- 支持向量机 = أجهزة الدعم vectorial请注意，“支持向量机”通常翻译为“أجهزة الدعم vectorial”，但更常见的翻译是“ماكينز الدعم vectorial”。您可以根据具体上下文选择合适的翻译。希望这能帮助您更好地理解译文！如果有任何疑问或需要进一步修改的地方，请随时告诉我。