Lernen der probabilistischen Symmetrisierung für architekturagnostische Äquivarianz

Wir präsentieren ein neues Framework, um die Einschränkungen von äquivarianten Architekturen beim Lernen von Funktionen mit Gruppensymmetrien zu überwinden. Im Gegensatz zu äquivarianten Architekturen verwenden wir ein beliebiges Basismodell, wie zum Beispiel ein mehrschichtiges Perzeptron (MLP) oder einen Transformer, und symmetrisieren es durch den Einsatz eines kleinen äquivarianten Netzwerks, das die Wahrscheinlichkeitsverteilung unterliegt, die der Symmetrisierung zugrunde liegt. Die Verteilung wird zusammen mit dem Basismodell von Anfang bis Ende trainiert, was die Leistung maximieren und die Stichprobenkomplexität der Symmetrisierung reduzieren kann. Wir zeigen, dass dieser Ansatz nicht nur Äquivarianz zur gegebenen Gruppe gewährleistet, sondern auch eine universelle Approximationsfähigkeit im Erwartungswert. Unser Verfahren wird auf verschiedene Basismodelle implementiert, darunter patchbasierte Transformers, die aus vortrainierten visuellen Transformers initialisiert werden können. Diese Modelle werden für eine breite Palette von Symmetriegruppen getestet, einschließlich Permutations- und euklidischen Gruppen sowie deren Kombinationen. Empirische Tests erbringen wettbewerbsfähige Ergebnisse gegenüber speziell angepassten äquivarianten Architekturen und deuten auf das Potenzial hin, äquivariante Funktionen für verschiedene Gruppen mit Hilfe einer nicht-äquivarianten universellen Basisarchitektur zu lernen. Darüber hinaus liefern wir Beweise für verbessertes Lernen in symmetrischen Modalitäten wie Graphen, wenn diese aus nicht-symmetrischen Modalitäten wie Vision vortrainiert wurden. Der Quellcode ist unter https://github.com/jw9730/lps verfügbar.