Apprentissage de l'attention non locale sur les grands réseaux d'information hétérogènes

Le réseau d'information hétérogène (HIN) synthétise une information structurelle riche présente dans les jeux de données du monde réel et joue un rôle fondamental dans de nombreuses applications liées aux grands ensembles de données. Récemment, les réseaux de neurones graphiques ont été étendus à l'apprentissage de représentations dans les HIN. Une avancée récente notable est le mécanisme d'attention hiérarchique, qui intègre à la fois une attention au niveau des nœuds et une attention au niveau sémantique. Toutefois, étant donné que les HIN sont susceptibles d’être fortement connectés en raison de la diversité de leurs arêtes, l’application répétée de couches de convolution graphique conduit très rapidement à une indiscernabilité des embeddings des nœuds. Afin d’éviter le phénomène de sur-lissage, les réseaux de neurones graphiques existants dédiés aux HIN souffrent généralement d’une architecture peu profonde. Par conséquent, ces approches négligent l’information située au-delà du voisinage local, ce qui constitue une faille conceptuelle qui contredit le principe d’apprentissage non local, mettant l’accent sur l’importance de capturer les dépendances à longue portée. Pour remédier efficacement à cette limitation, nous proposons un cadre novateur d’attention non locale dans les réseaux d’information hétérogènes (NLAH). Notre cadre exploite une structure d’attention non locale afin de compléter le mécanisme d’attention hiérarchique, permettant ainsi de tirer parti simultanément des informations locales et non locales. En outre, un schéma d’échantillonnage pondéré est conçu pour NLAH afin de réduire le coût computationnel sur de grands jeux de données. Des expériences étendues sur trois réseaux d’information hétérogènes réels démontrent que notre cadre présente une scalabilité exceptionnelle et surpasse significativement les meilleures méthodes de l’état de l’art.