HyperAIHyperAI
منذ 11 أيام

ابدأ صغيرًا، فكر كبيرًا: حول تحسين المعلمات الفائقة لتمثيلات الرسوم المعرفية الضخمة

Adrian Kochsiek, Fritz Niesel, Rainer Gemulla
ابدأ صغيرًا، فكر كبيرًا: حول تحسين المعلمات الفائقة لتمثيلات الرسوم المعرفية الضخمة
الملخص

نموذج تمثيل المعرفة (KGE) يُعدّ من الأساليب الفعّالة والشائعة لتمثيل البيانات متعددة العلاقات والاستدلال عليها. وقد أظهرت الدراسات السابقة أن نماذج KGE حساسة جدًا لضبط المعلمات الفائقة (hyperparameters)، وأن الاختيارات المناسبة تعتمد على نوع البيانات المستخدمة. في هذه الورقة، نستعرض عملية تحسين المعلمات الفائقة (HPO) بالنسبة لقواعد المعرفة الكبيرة جدًا، حيث تكون تكلفة تقييم كل تكوين من معلمات فائقة مكلفًا بشكل كبير. في السابق، تجنبت الدراسات السابقة هذه التكلفة من خلال استخدام مختلف الطرق التقديرية؛ مثل التدريب على رسم بياني جزئي أو استخدام عدد أقل من الدورات (epochs). نناقش ونقيّم بشكل منهجي جودة هذه الطرق التقديرية وفوائد التوفير في التكلفة، بالإضافة إلى تقنيات تقريب منخفضة التكلفة أخرى. استنادًا إلى نتائجنا، نقدّم نموذج GraSH، وهو خوارزمية فعّالة لتحسين المعلمات الفائقة متعددة الدقة (multi-fidelity) لتطبيقات KGE على نطاق واسع، تدمج تقنيات تقليل الرسم البياني وتقنيات تقليل الدورات، وتعمل عبر جولات متعددة بمستويات متزايدة من الدقة. أجرينا دراسة تجريبية ووجدنا أن GraSH تحقق نتائج متميزة على الرسوم البيانية الكبيرة بتكلفة منخفضة جدًا (ثلاثة تدريبات كاملة فقط إجمالًا).

ابدأ صغيرًا، فكر كبيرًا: حول تحسين المعلمات الفائقة لتمثيلات الرسوم المعرفية الضخمة | أحدث الأوراق البحثية | HyperAI