HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 4 أشهر

التدريب المتوازى لنماذج تمثيل المعرفة الرسومية: مقارنة بين التقنيات

{Rainer Gemulla Adrian Kochsiek}

الملخص

تمثيل رسم المعرفة (KGE) يُمثل الكيانات والعلاقات في رسم المعرفة (KG) باستخدام تمثيلات كثيفة مستمرة تُعرف بـ "الإدراجات" (embeddings). وقد اكتسبت طرق KGE مؤخرًا شعبيةً في مهام مثل استكمال رسم المعرفة والاستنتاج، فضلًا عن توفير تمثيلات مناسبة للكيانات لمهام التعلم التالية. وعلى الرغم من أن جزءًا كبيرًا من الأدبيات المتاحة يركز على رسم المعرفة الصغيرة، فقد تم مؤخرًا اقتراح عدد من الإطارات القادرة على تدريب نماذج KGE على رسم المعرفة الضخمة من خلال التوازي عبر وحدات معالجة رسومية متعددة (GPU) أو أجهزة متعددة. حتى الآن، لم تُجرَ دراسة شاملة للإيجابيات والسلبيات الناتجة عن التقنيات المختلفة للتوازي. في هذا البحث، نقدم دراسة تجريبية حيث عرضنا، ونُفذنا مجددًا ضمن إطار حسابي موحد، ودرسنا، وحسّنّا التقنيات المتاحة. ووجدنا أن منهجيات التقييم المستخدمة في الدراسات السابقة غالبًا ما تكون غير قابلة للمقارنة، ويمكن أن تكون مضللة، وأن معظم طرق التدريب المُطبقة حاليًا تؤثر سلبًا على جودة الإدراجات. ونُقترح تنويعًا بسيطًا ولكن فعّالًا لتقنية التصنيف (stratification) المستخدمة في PyTorch BigGraph للتخفيف من هذه المشكلة. علاوةً على ذلك، يمكن أن يكون التقسيم العشوائي الأساسي خيارًا فعّالًا، بل وأحيانًا الأفضل من حيث الأداء عند دمجه مع تقنيات عينة مناسبة. في النهاية، وجدنا أن التدريب المتوازِي الفعّال والفعّال لنموذج KGE الضخم ممكن بالفعل، لكنه يتطلب اختيارًا دقيقًا للتقنيات.

مستودعات الكود

المعايير القياسية

معيار قياسيالمنهجيةالمقاييس
link-prediction-on-wikidata5mComplEx
Hits@1: 0.255
Hits@10: 0.398
MRR: 0.308

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp