Neural TMDlayer: Modellierung des instantanen Flusses von Merkmalen mittels SDE-Generatoren

Wir untersuchen, wie Ideen auf der Basis stochastischer Differentialgleichungen (SDEs) neue Modifikationen bestehender Algorithmen für eine Reihe von Problemen im Bereich des Computer-Vision inspirieren können. In loser Formulierung steht unsere Herangehensweise in Beziehung sowohl zu expliziten als auch zu impliziten Strategien für Datenverstärkung und Gruppenequivarianz, ist jedoch auf neuen Ergebnissen aus der SDE-Literatur zur Schätzung infinitesimaler Generatoren einer Klasse stochastischer Prozesse basiert. Sobald und falls eine hinreichende Übereinstimmung zwischen den Anforderungen einer Anwendungsaufgabe und den inhärenten Eigenschaften sowie dem Verhalten der Prozessklassen besteht, die wir effizient behandeln können, erhalten wir eine sehr einfache und effiziente Plug-in-Schicht, die nahezu unverändert in beliebige bestehende Netzarchitekturen integriert werden kann, wobei lediglich wenige zusätzliche Parameter hinzukommen. Wir präsentieren vielversprechende Experimente auf mehreren visuellen Aufgaben, darunter Few-Shot-Lernen, Point-Cloud-Transformer und tiefe variative Segmentierung, bei denen sowohl Effizienz als auch Leistungssteigerung erzielt werden.