Neuronale Prozesse mit stochastischer Aufmerksamkeit: Mehr Aufmerksamkeit dem Kontextdatensatz widmen

Neuronale Prozesse (Neural Processes, NPs) zielen darauf ab, unbekannte Datenpunkte stochastisch auf Basis eines gegebenen Kontextdatensatzes zu ergänzen. NPs nutzen einen vorgegebenen Datensatz im Wesentlichen als Kontextrepräsentation, um einen geeigneten Identifier für eine neue Aufgabe abzuleiten. Um die Vorhersagegenauigkeit zu verbessern, haben zahlreiche Varianten von NPs Kontext-Embedding-Ansätze untersucht, die im Allgemeinen neuartige Netzwerkarchitekturen und Aggregationsfunktionen entwerfen, die permutationsinvariant sind. In dieser Arbeit schlagen wir eine stochastische Aufmerksamkeitsmechanik für NPs vor, um geeignete Kontextinformationen zu erfassen. Aus der Perspektive der Informationstheorie zeigen wir, dass die vorgeschlagene Methode das Kontext-Embedding von einem Ziel-Datensatz unterscheidet, wodurch NPs in der Lage sind, Merkmale im Ziel-Datensatz und das Kontext-Embedding unabhängig voneinander zu berücksichtigen. Wir beobachten, dass die vorgeschlagene Methode selbst unter verrauschten Datensätzen und eingeschränkten Aufgabeverteilungen angemessene Kontext-Embeddings erfassen kann, wobei herkömmliche NPs an Mangel an Kontext-Embeddings leiden. Experimentell zeigen wir, dass unser Ansatz in verschiedenen Domänen – anhand von 1D-Regression, eines Prädator-Beute-Modells und Bildergänzung – erheblich besser abschneidet als herkömmliche NPs. Zudem wird die Wirksamkeit des vorgeschlagenen Verfahrens auch anhand des realen Datensatzes MovieLens-10k validiert.