Command Palette
Search for a command to run...
Die unterschätzte Kraft von Vision-Modellen für das Verständnis graphischer Strukturen
Die unterschätzte Kraft von Vision-Modellen für das Verständnis graphischer Strukturen
Xinjian Zhao Wei Pang Zhongkai Xue Xiangru Jian Lei Zhang Yaoyao Xu Xiaozhuang Song Shu Wu Tianshu Yu
Zusammenfassung
Graph Neural Networks arbeiten über eine bottom-up-Nachrichtenübertragung und unterscheiden sich grundlegend von der menschlichen visuellen Wahrnehmung, die intuitiv zunächst globale Strukturen erfasst. Wir untersuchen das bisher unterschätzte Potenzial von Vision-Modellen für die Verständnis von Graphen und stellen fest, dass diese Modellleistung auf etablierten Benchmarks vergleichbar mit GNNs erreichen, dabei aber deutlich andere Lernmuster aufweisen. Diese divergierenden Verhaltensweisen, kombiniert mit den Beschränkungen bestehender Benchmarks, die Domänenmerkmale mit topologischem Verständnis vermischen, motivieren unsere Einführung von GraphAbstract. Dieses Benchmark evaluiert die Fähigkeit von Modellen, globale Grapheneigenschaften so wahrzunehmen wie Menschen: Erkennung organisatorischer Archetypen, Erkennung von Symmetrie, Wahrnehmung der Verbindungsstärke sowie Identifikation kritischer Elemente. Unsere Ergebnisse zeigen, dass Vision-Modelle GNNs bei Aufgaben, die ein ganzheitliches strukturelles Verständnis erfordern, erheblich übertrumpfen und gleichzeitig eine hohe Generalisierbarkeit über verschiedene Graphengrößen hinweg aufweisen, während GNNs mit der Abstraktion globaler Muster Schwierigkeiten haben und mit wachsender Graphengröße abnehmen. Diese Arbeit demonstriert, dass Vision-Modelle bemerkenswerte, jedoch bisher untergenutzte Fähigkeiten für die strukturelle Verständnis von Graphen besitzen, insbesondere für Probleme, die ein globales topologisches Bewusstsein und skaleninvariantes Schließen erfordern. Diese Erkenntnisse eröffnen neue Wege, dieses bisher unterschätzte Potenzial zu nutzen, um effektivere Graphen-Grundmodelle für Aufgaben zu entwickeln, die von ganzheitlicher Mustererkennung geprägt sind.