Effiziente Diffusion-Transformer-Politiken mit Mixtur aus Experten-Denoisern für Multitask-Lernen

Diffusionspolitiken sind in der Nachahmungslernmethodik (Imitation Learning) weit verbreitet geworden und bieten mehrere attraktive Eigenschaften, wie die Generierung multimodaler und diskontinuierlicher Verhaltensweisen. Da Modelle zunehmend größer werden, um komplexere Fähigkeiten zu erfassen, steigen ihre rechnerischen Anforderungen, wie jüngste Skalierungsgesetze zeigen. Die Fortsetzung der derzeitigen Architekturen wird daher zu einer erheblichen rechnerischen Herausforderung führen. Um diese Lücke zu schließen, stellen wir Mixture-of-Denoising Experts (MoDE) als eine neuartige Politik für das Imitation Learning vor. MoDE übertrifft die derzeitigen State-of-the-Art-Transformer-basierten Diffusionspolitiken und ermöglicht dennoch parameter-effizientes Skalieren durch spärliche Experten und geräuschbedingte Routing-Mechanismen. Dadurch werden sowohl die aktiven Parameter um 40 % als auch die Inferenzkosten um 90 % reduziert, was durch Experten-Caching erreicht wird. Unsere Architektur kombiniert diese effiziente Skalierung mit einem geräuschbedingten Selbst-Attention-Mechanismus, der eine effektivere Entrauschung über verschiedene Rauschniveaus hinweg ermöglicht. MoDE erreicht Spitzenleistung bei 134 Aufgaben in vier etablierten Benchmarks für Imitation Learning (CALVIN und LIBERO). Insbesondere erreichen wir bei Vortrainierung von MoDE auf vielfältigen Robotik-Daten 4,01 auf CALVIN ABC und 0,95 auf LIBERO-90. MoDE übertrifft sowohl CNN-basierte als auch Transformer-basierte Diffusionspolitiken im Durchschnitt um 57 % über vier Benchmarks hinweg, wobei sie 90 % weniger FLOPs und weniger aktive Parameter im Vergleich zu Standard-Diffusion-Transformer-Architekturen nutzt. Darüber hinaus führen wir umfassende Ablationsstudien zu den Komponenten von MoDE durch und liefern wertvolle Erkenntnisse für die Gestaltung effizienter und skalierbarer Transformer-Architekturen für Diffusionspolitiken. Der Quellcode und Demonstrationen sind verfügbar unter: https://mbreuss.github.io/MoDE_Diffusion_Policy/.