متغير الرسم البياني للانتشار لتعلم تمثيل الرسم البياني

يقدم هذا البحث معمارية جديدة لمتحولات (Transformers) لتعلم تمثيل الرسوم البيانية (Graph Representation Learning). الفكرة الأساسية لطريقتنا هي الأخذ بعين الاعتبار بشكل كامل انتشار المعلومات بين العقد والحواف في الرسم البياني عند بناء وحدة الانتباه (Attention Module) في كتل المتحولات. وبشكل خاص، نقترح آلية انتباه جديدة تُسمى انتباه الانتشار الرسومي (Graph Propagation Attention - GPA). تقوم هذه الآلية بنقل المعلومات بين العقد والحواف بثلاث طرق صريحة، وهي: من عقدة إلى عقدة أخرى، ومن عقدة إلى حافة، ومن حافة إلى عقدة، مما يعتبر ضروريًا لتعلم البيانات ذات الهيكل الرسومي. على أساس ذلك، صممنا معمارية فعالة للمتحولات تُسمى متحول الانتشار الرسومي (Graph Propagation Transformer - GPTrans) لمساعدتنا بشكل أكبر في تعلم البيانات الرسومية. قمنا بتحقق أداء GPTrans في مجموعة واسعة من تجارب تعلم الرسوم البيانية على عدة مجموعات بيانات مرجعية. تظهر هذه النتائج أن طryptonا تتفوق على العديد من النماذج الرائدة القائمة على المتحولات لتعلم الرسوم البيانية بأداء أفضل. سيتم نشر الكود في https://github.com/czczup/GPTrans.