HyperAIHyperAI

Command Palette

Search for a command to run...

المحولات النقية قوية في تعلّم الرسوم البيانية

Jinwoo Kim Tien Dat Nguyen Seonwoo Min Sungjun Cho Moontae Lee Honglak Lee Seunghoon Hong

الملخص

نُظهر أن نماذج المُحَوِّل القياسيّة (Transformers) دون أي تعديلات مخصصة للرسوم البيانية يمكن أن تُحقق نتائج واعدة في تعلم الرسوم البيانية، سواء من الناحية النظرية أو التطبيقية. مع إعطاء رسم بياني معين، نُعامل جميع العقد والحواف كـ "أمثلة مستقلة" (tokens)، ونُضفي عليها تمثيلات (embeddings) للـ tokens، ثم نُدخلها إلى نموذج المُحَوِّل. وباختيار مناسب لتمثيلات الـ tokens، نُثبت أن هذا النهج يمتلك تعبيرًا نظريًا لا يقل تعبيرًا عن شبكة رسم بياني مُتَحَدِّثة (2-IGN) مكوّنة من طبقات خطية مُتَمَاثِلة (equivariant linear layers)، والتي تفوق بالفعل جميع شبكات التعلم العصبي للرسوم البيانية القائمة على تمرير الرسائل (GNNs). عند تدريب النموذج على مجموعة بيانات كبيرة الحجم (PCQM4Mv2)، يُحقّق أسلوبنا المُسمّى "Transformer الرسوم البيانية المُعبّرة بـ Tokens" (TokenGT) أداءً متفوّقًا بشكل ملحوظ مقارنةً بالأساليب الأساسية لشبكات GNN، وأداءً تنافسيًا مقارنةً بنسخ المُحَوِّل ذات التحيّزات المُخصصة للرسوم البيانية المعقدة. يمكن الوصول إلى التنفيذ العملي عبر الرابط: https://github.com/jw9730/tokengt.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp