HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen der probabilistischen Symmetrisierung für architekturagnostische Äquivarianz

Jinwoo Kim; Tien Dat Nguyen; Ayhan Suleymanzade; Hyeokjun An; Seunghoon Hong

Zusammenfassung

Wir präsentieren ein neues Framework, um die Einschränkungen von äquivarianten Architekturen beim Lernen von Funktionen mit Gruppensymmetrien zu überwinden. Im Gegensatz zu äquivarianten Architekturen verwenden wir ein beliebiges Basismodell, wie zum Beispiel ein mehrschichtiges Perzeptron (MLP) oder einen Transformer, und symmetrisieren es durch den Einsatz eines kleinen äquivarianten Netzwerks, das die Wahrscheinlichkeitsverteilung unterliegt, die der Symmetrisierung zugrunde liegt. Die Verteilung wird zusammen mit dem Basismodell von Anfang bis Ende trainiert, was die Leistung maximieren und die Stichprobenkomplexität der Symmetrisierung reduzieren kann. Wir zeigen, dass dieser Ansatz nicht nur Äquivarianz zur gegebenen Gruppe gewährleistet, sondern auch eine universelle Approximationsfähigkeit im Erwartungswert. Unser Verfahren wird auf verschiedene Basismodelle implementiert, darunter patchbasierte Transformers, die aus vortrainierten visuellen Transformers initialisiert werden können. Diese Modelle werden für eine breite Palette von Symmetriegruppen getestet, einschließlich Permutations- und euklidischen Gruppen sowie deren Kombinationen. Empirische Tests erbringen wettbewerbsfähige Ergebnisse gegenüber speziell angepassten äquivarianten Architekturen und deuten auf das Potenzial hin, äquivariante Funktionen für verschiedene Gruppen mit Hilfe einer nicht-äquivarianten universellen Basisarchitektur zu lernen. Darüber hinaus liefern wir Beweise für verbessertes Lernen in symmetrischen Modalitäten wie Graphen, wenn diese aus nicht-symmetrischen Modalitäten wie Vision vortrainiert wurden. Der Quellcode ist unter https://github.com/jw9730/lps verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp