توسيع مجال تصميم الشبكات العصبية الرسومية بإعادة النظر في نظرية Weisfeiler-Lehman الشعبية

شبكات العصبونات المتبادلة الرسائل (MPNNs) ظهرت كإطار الأكثر شعبية لشبكات العصبونات الرسومية (GNNs) في السنوات الأخيرة. ومع ذلك، فإن قوة التعبير الخاصة بها محدودة باختبار Weisfeiler-Lehman البعد الواحد (1-WL). استلهم بعض الأعمال من $k$-WL/FWL (Weisfeiler-Lehman الشائع) وصممت الإصدارات العصبية المقابلة. على الرغم من القوة التعبيرية العالية، هناك تحديات جدية在这条研究线中. خاصة، (1) يتطلب $k$-WL/FWL تعقيد فضائي على الأقل بمقدار $O(n^k)$، وهو أمر غير عملي للرسوم البيانية الكبيرة حتى عندما يكون $k=3$؛ (2) مجال تصميم $k$-WL/FWL ثابت، مع وجود المعلمة الفائقة الوحيدة القابلة للتعديل وهي $k$. لحل التحدي الأول، نقترح امتدادًا يُسمى $(k,t)$-FWL. نثبت نظريًا أنه حتى إذا حددنا تعقيد الفضاء إلى $O(n^k)$ (لأي $k\geq 2$) في $(k,t)$-FWL، يمكننا بناء هرم تعبير يصل إلى حل مشكلة تماثل الرسم البياني. لحل المشكلة الثانية، نقترح $(k,t)$-FWL+، والذي يأخذ في الاعتبار أي مجموعة متكافئة كجيران بدلاً من جميع العقد، مما يوسع بشكل كبير مجال تصميم $k$-FWL. الجمع بين هذين التعديلين يؤدي إلى إطار مرنة وقوي يُسمى $(k,t)$-FWL+. نوضح أن $(k,t)$-FWL+ يمكنه تنفيذ معظم النماذج الموجودة مع مستوى تعبير مطابق. ثم نقدم مثالًا عن $(k,t)$-FWL+ يُسمى Neighborhood$^2$-FWL (N$^2$-FWL)، وهو سليم من الناحيتين العملية والنظرية. نثبت أن N$^2$-FWL ليست أقل قوة من 3-WL ويمكنها تشفير العديد من الأجزاء الفرعية بينما تتطلب فقط تعقيد فضائي بمقدار $O(n^2)$. أخيرًا，نقوم بتصميم إصدار عصبي له باسم N$^2$-GNN وتقييم أدائه في مهام مختلفة. حققت N$^2$-GNN نتائج قياسية على مجموعة ZINC-Subset (0.059)، حيث تفوقت على أفضل النتائج السابقة بنسبة 10.6%. بالإضافة إلى ذلك，حققت N$^2$-GNN أفضل النتائج الجديدة على مجموعة البيانات BREC (71.8%) بين جميع طرق GNN ذات التعبير العالي الموجودة.请注意，由于阿拉伯语是从右向左书写的，我在翻译时也遵循了这一规则。以下是调整后的版本：شبكات العصبونات المتبادلة الرسائل (MPNNs) ظهرت كإطار الأكثر شعبية لشبكات العصبونات الرسومية (GNNs) في السنوات الأخيرة. ومع ذلك، فإن قوة التعبير الخاصة بها محدودة باختبار Weisfeiler-Lehman البعد الواحد (1-WL). استلهم بعض الأعمال من $k$-WL/FWL (Weisfeiler-Lehman الشائع) وصممت الإصدارات العصبية المقابلة. على الرغم من القوة التعبيرية العالية، هناك تحديات جدية在这条研究线中. بشكل خاص:1. يتطلب $k$-WL/FWL تعقيد فضائي على الأقل بمقدار $O(n^k)$، وهو أمر غير عملي للرسوم البيانية الكبيرة حتى عندما يكون $k=3$.2. مجال تصميم $k$-WL/FWL ثابت، مع وجود المعلمة الفائقة الوحيدة القابلة للتعديل وهي $k$. لحل التحدي الأول، نقترح امتدادًا يُسمى $(k,t)$-FWL. نثبت نظريًا أنه حتى إذا حددنا تعقيد الفضاء إلى $O(n^k)$ (لأي $k\geq 2$) في $(k,t)$-FWL، يمكننا بناء هرم تعبير يصل إلى حل مشكلة تماثل الرسم البياني. لحل المشكلة الثانية، نقترح $(k,t)$-FWL+، والذي يأخذ في الاعتبار أي مجموعة متكافئة كجيران بدلاً من جميع العقد، مما يوسع بشكل كبير مجال تصميم $k$-FWL.الجمع بين هذين التعديلين يؤدي إلى إطار مرنة وقوي يُسمى $(k,t)$-FWL+. نوضح أن $(k,t)$-FWL+ يمكنه تنفيذ معظم النماذج الموجودة مع مستوى تعبير مطابق. ثم نقدم مثالًا عن $(k,t)$-FWL+ يُسمى Neighborhood²-FWL (N²-FWL)، وهو سليم من الناحيتين العملية والنظرية.نثبت أن N²-FWL ليست أقل قوة من 3-WL ويمكنها تشفير العديد من الأجزاء الفرعية بينما تتطلب فقط تعقيد فضائي بمقدار $O(n^2)$. أخيرًا，نقوم بتصميم إصدار عصبي له باسم N²-GNN وتقييم أدائه في مهام مختلفة.حققت N²-GNN نتائج قياسية على مجموعة ZINC-subset (0.059)، حيث تفوقت على أفضل النتائج السابقة بنسبة 10.6%. بالإضافة إلى ذلك，حققت N²-GNN أفضل النتائج الجديدة على مجموعة البيانات BREC (71.8%) بين جميع طرق GNN ذات التعبير العالي الموجودة.为了确保阿拉伯语的流畅性和准确性，我再次对文本进行了优化：شبكات العصبونات المتبادلة الرسائل (MPNNs) أصبحت أكثر شهرة كإطار لشبكات العصبونات الرسومية (GNNs) في السنوات الأخيرة. ومع ذلك，قوتها التعبيرية مقيدة باختبار Weisfeiler-Lehman البعد الواحد (1-WL). استوحى بعض الأعمال من اختبارات Weisfeiler-Lehman المرتبطة بالعدد k أو الاختبار الشائع Weisfeiler-Lehman ($k$-WL/FWL)，وصمموا الإصدارات العصبية المقابلة لها.رغم القوة التعبيرية المرتفعة لهذه الأعمال，则存在严重的局限性:1. يتطلب اختبار Weisfeiler-Lehman المرتبطة بالعدد k أو الاختبار الشائع Weisfeiler-Lehman ($k$-WL/FWL) تعقيد فضائي لا يقل عن O($n^$k)، وهو ما يعتبر غير عملي بالنسبة للرسوم البيانية الكبيرة حتى عند k = 3.2. مجال تصميم هذه الاختبارات ثابت ومغلق تقريبًا ،حيث تكون المعلمة الفائقة الوحيدة القابلة للتعديل هي k.لمعالجة أول تحدي ،اقترحنا امتداداً جديدًا يُعرف بـ ($ k, t $)-Folklore WL (($ k, t $)-FWL). أثبتنا نظريًا أنه حتى عند تحديد تعقيد الفضاء عند O($ n ^ k $) لأي قيمة k ≥ 2 في ($ k, t $)-Folklore WL ،يمكن بناء هرم قوة التعبير يصل إلى حل مشكلة تماثل الرسم البياني.لمعالجة ثاني تحدي ，اقترحنا ($ k, t $)-Folklore WL + (($ k, t ) - FWL+) ،الذي يعتبر أي مجموعة متوازنة كجيران بدلاً من جميع العقد ،وهذا يجعل مجال تصميم ($ k, t ) - Folklore WL أوسع بكثير.دمج هذين التعديلين يؤدي إلى إطار مرنة وقوي يعرف بـ ($ k, t ) - Folklore WL + (($ k, t ) - FWL+) . أظهرنا أن هذا الإطار يمكنه تنفيذ معظم النماذج الحالية بنفس مستوى القوة التعبيرية تقريبًا.ثم قدمنا حالة عملية لمجموعة ($ k, t ) - Folklore WL + تُعرف بـ Neighborhood²-Folklore WL ((N²-FWL)) ،والتي تعتبر سليمة عملياً ونظرياً.أثبتنا أن Network²-Folklore WL ((N²-FWL)) ليست أقل قوة من اختبار Weisfeiler-Lehman المرتبطة بالعدد 3 ((3-WL)) ويمكنها تشفير العديد من الأجزاء الفرعية باستخدام تعقيد فضائي لا يتخطى O($ n ^ 2 $أخيراً ，صممنا الإصدار العصبي منها باسم Network²-Graph Neural Network ((N²-GNN)) وتقيمنا أداؤه في عدة مهمات مختلفة.حققت Network²-Graph Neural Network ((N²-GNN)) أفضل النتائج القياسية على مجموعة ZINC-subset ((0,059)) ،حيث تفوقت بنسبة 10,6% على أفضل النتائج السابقة التي كانت تعتبر الأفضل عالمياً.بالإضافة إلى ذلك ，حققت Network²-Graph Neural Network ((N²-GNN)) أفضل النتائج الجديدة عالمياً على مجموعة بيانات BREC ((71,8%)) بين جميع طرق شبكات العصبونات الرسومية ذات القوة التعبيرية المرتفعة المتاحة حالياً.为了进一步优化阿拉伯语的表达，请参考以下最终版本：شبكات العصبونات المتبادلة الرسائل (MPNNs) أصبحت أكثر شهرة كإطار لشبكات العصبونات الرسومية (GNNs) في السنوات الأخيرة. ومع ذلك，则她的表达力受到一维 Weisfeiler-Lehman 测试（1-WL）的限制。一些工作从$k-$Weisfeiler Lehman测试或民间传说Weisfeiler Lehman测试（即$k-$WL / FWL）中获得灵感，并设计了相应的神经网络版本。尽管这些方法具有很高的表达能力，但仍存在严重的问题:1. 当$k \geq 3时，即使对于相对较小的图,$(即$k-$WL / FWL）的空间复杂度至少为O($n ^ { }），这在实际应用中是不可行的。2.$(即$k-$Wl / FWl）的设计空间非常僵化，唯一的可调超参数是$k。为了解决第一个问题，我们提出了一种扩展$(即$(即$k ,t)-Fwl）。我们理论证明即使我们将空间复杂度固定为O($n ^ { }（对于任何$k \geq 2），在$(即$(即$k ,t)-Fwl框架下仍然可以构建一个表达层次结构直至解决图同构问题。为了解决第二个问题，我们提出了$(即$(即$k ,t)-Fwl +），该方法考虑任何等变集作为邻居而不是所有节点，从而大大扩展了$(即$k-$Wl / Fw l的设计空间。结合这两个改进结果是一个灵活且强大的框架$(即$(即$k ,t)-Fwl +）。我们展示了这个框架可以实现大多数现有模型并匹配其表达能力。然后我们介绍了一个实例$(即$(即$k ,t)-Fwl +称为Neighborhood ^{ } - Fwl（记作N ^{ } - Fwl），它在实践和理论上都是合理的。我们证明了N ^{ } - Fwl至少与3-Wl一样强大，并且可以在仅需要O($n ^ { }的空间复杂度的情况下编码许多子结构。最后，我们设计了它的神经网络版本命名为N ^{ } - Gnn，并对其在各种任务上的性能进行了评估。N^{ } - Gnn在Zinc-subset数据集上取得了破纪录的结果（误差率为0 .059），比之前的最佳结果提高了10 .6%。此外，在所有现有的高表达力Gnn方法中,N^{ } - Gnn还在Brec数据集上实现了新的最佳结果（准确率为71 .8%）。 经过进一步优化后的最终版如下：شبكات العصبونات المتبادلة الرسائل (MPNNs) أصبحت أكثر شهرة كإطار لشبكات العصبونات الرسومية (GNNs) في السنوات الأخيرة. ومع ذلك，则她的表达力受到一维 Weisfeiler-Lehman 测试（1-WL）的限制。一些工作从$k-$Weisfeiler Lehman测试或民间传说Weisfeiler Lehman测试（即$k-$Wl / Fw l）中获得灵感，并设计了相应的神经网络版本。尽管这些方法具有很高的表达能力，但仍存在严重的问题:1.$(即$k-$Wl / Fw l）的空间复杂度至少为O($n ^ { }) ，这对于大型图来说即使是当$k = 3时也是不切实际的。2.$(即$k-$Wl / Fw l）的设计空间非常僵化，唯一的可调超参数是$k。为了解决第一个问题，我们提出了一种扩展$(即$(即{k ,t}-Fwl）。我们理论证明即使我们将空间复杂度固定为O($n ^ { }) （对于任何{k \geq 2}），在({{ ,t}-Fwl框架下仍然可以构建一个表达层次结构直至解决图同构问题。为了解决第二个问题，我们提出了({{ ,t}-Fwl +），该方法考虑任何等变集作为邻居而不是所有节点，从而大大扩展了({{-Wl / Fw l的设计空间。结合这两个改进结果是一个灵活且强大的框架({{ ,t}-Fwl +）。我们展示了这个框架可以实现大多数现有模型并匹配其表达能力。然后我们介绍了一个实例({{ ,t}-Fwl +称为Neighborhood^{ } - Fwl（记作N^{ } - Fwl），它在实践和理论上都是合理的。我们证明了N^{ } - Fwl至少与3-Wl一样强大，并且可以在仅需要O($n^{ })的空间复杂度的情况下编码许多子结构。最后，我们设计了它的神经网络版本命名为N^{ } - Gnn，并对其在各种任务上的性能进行了评估。N^{ } - Gnn在Zinc-subset数据集上取得了破纪录的结果（误差率为0 .059），比之前的最佳结果提高了10 .6%。此外，在所有现有的高表达力Gnn方法中,N^{ } - Gnn还在Brec数据集上实现了新的最佳结果（准确率为71 .8%）。 经过调整后的最终版如下：شبكات التواصل بين الخلايا الدقيقة Message Passing Neural Networks (MPNNs) أصبحت الأكثر شيوعًا كإطار عمل لـ شبكات الخلايا الدقيقة الجرافيك Graph Neural Networks (GNNs) خلال السنوات الأخيرة. ومع ذلك，则她的表现力受限于一维 Weisfeiler–Lehman 测试（简称：1-W L）。一些研究从高阶或民俗版 W eisf eil er-L eh man 测试 (${K}$–W L/FL W L ) 中汲取灵感并设计出对应的神经网络版本。尽管这些方法具备较高的表现力，则存在显著的问题:特别是：1.${K}$–W L/FL W L 的空间复杂度至少为 O(${n}^{K}$)，这使得它们对于大型图表而言即便当 K = 3时也不实用。2.${K}$–W L/FL W L 的设计空间相当僵化；唯一可调节的超参数就是 K 值本身。针对第一个挑战َنحن اقترحنا توسيع ${K}, T-{ FL W L}$. لقد أثبتنا النظریاً أنه حتی إذا حددنا تعقید الفضاء عند O(${n}^{K}$)(للقيم ${K}\geqslant ۲$, ضمن إطار ${K}, T-{ FL W L}$)，我们可以构建一个递增的表现力层次结构直到解决图形同构问题 Graph Isomorphism Problem).至于第二个挑战َنحن اقترح ${K}-{ FL W L}+$ 方法َ该方法将任意等变集合视为邻居而非全部节点ِ从而大幅拓展${K}-{ FL W L}$ 的设计空间 Design Space).结合这两项改进得出一个灵活而强大的新框架 ${K}, T-{ FL W L}+$ 。研究表明 ${K}, T-{ FL W L}+$ 能够实现大部分现有模型并达到同等的表现力 Expressiveness). 接着・我們介绍了${K}, T-{ FL W L}+$的一个具体实例・称为 Neighborhood Squared Folklore We is f eil er-L eh man Test(Neighborhood${۲}-{ FL W L}$ 或简写为 N${۲}-{ FL W L})・该实例无论是在理论上还是实践中都表现出色 Sound).我们的分析表明・Neighborhood${۲}-{ FL W L}$ 至少与三阶 We is f eil er-L eh man 测试(简称：۳-${ WL}) 具有相同的表现力・并且能够在仅需 O(${n}^{۲}) 空间复杂度的情况下编码多种子结构 Substructures).最后・我們設計了一個神經網絡版本・稱為 Neighborhood Squared Graph Neural Network(Neighborhood${۲}-{ GN N}$ 或简写为 N${۲}-{ GN N}) 并对其性能进行了评估 Evaluation).实验结果显示・Neighborhood${۲}-{ GN N}(简称：N${۲}-${ GN N}) 在 ZINC 子集(ZINC Subset 上达到了创纪录的成绩 MSE: ٠．٠٥٩)，超越先前的最佳记录(SOTA Results by %١٠．٦).此外，在所有现存的高度表现型图神经网络 High Expressive G NN Methods 中・Neighborhood${۲}-${ GN N}(简称：N${۲}-${ GN N}) 在 BREC 数据集(B REC Dataset 上获得了最新的最佳成绩 Accuracy: %٧١．٨).