HyperAIHyperAI
منذ 17 أيام

هل يُساعد التمثيل غير المراقب للهيكل في البحث العصبي عن الهياكل؟

Shen Yan, Yu Zheng, Wei Ao, Xiao Zeng, Mi Zhang
هل يُساعد التمثيل غير المراقب للهيكل في البحث العصبي عن الهياكل؟
الملخص

تُستخدم الطرق الحالية لبحث الهياكل العصبية (NAS) إما ترميزات منفصلة للهياكل العصبية التي لا تُ-scalable جيدًا، أو تعتمد على مناهج تعليم مراقب لتعلم تمثيلات الهيكل العصبي وتحسين عملية البحث عليها بشكل متزامن، مما يؤدي إلى انحياز في عملية البحث. وعلى الرغم من الاستخدام الواسع، لا يزال فهم التمثيلات الهيكلية المُتعلّمة في NAS محدودًا. نلاحظ أن الخصائص الهيكلية للهياكل العصبية تكون صعبة الحفاظ عليها في الفضاء المخفي إذا تم دمج تعلُّم التمثيلات الهيكلية مع عملية البحث، مما يؤدي إلى أداء أقل فعالية في البحث. في هذا العمل، نجد تجريبيًا أن التدريب المسبق على تمثيلات الهياكل العصبية باستخدام فقط الهياكل العصبية دون استخدام دقة النموذج كعلامة (label) يُحسّن بشكل كبير كفاءة البحث في المهام اللاحقة. ولتفسير هذه الملاحظات، نقوم بتصور كيف أن تعلُّم التمثيلات الهيكلية غير المراقب يُعزز بشكل أفضل تجميع الهياكل العصبية ذات الاتصالات والعمليات المتشابهة معًا. وهذا يساعد على نقل الهياكل العصبية ذات الأداء المماثل إلى مناطق متماثلة في الفضاء المخفي، مما يجعل الانتقال بين الهياكل في الفضاء المخفي سلسًا نسبيًا، وهو ما يُفيد بشكل كبير الاستراتيجيات المتنوعة لعملية البحث اللاحقة.

هل يُساعد التمثيل غير المراقب للهيكل في البحث العصبي عن الهياكل؟ | أحدث الأوراق البحثية | HyperAI