La perception visuelle humaine peut facilement généraliser à des données visuelles hors distribution, une capacité qui dépasse largement celle des modèles d’apprentissage automatique modernes. La généralisation de domaine (Domain Generalization, DG) vise à combler cet écart, les méthodes DG existantes se concentrant principalement sur la conception de fonctions de perte. Dans cet article, nous proposons d’explorer une direction orthogonale, à savoir la conception de l’architecture fondamentale (backbone). Cette approche est motivée par une observation empirique selon laquelle les modèles basés sur les transformateurs, entraînés par minimisation du risque empirique (ERM), surpassent les modèles basés sur les réseaux de neurones convolutifs (CNN), même lorsqu’ils utilisent des algorithmes DG de pointe (SOTA), sur plusieurs jeux de données DG. Nous développons un cadre formel pour caractériser la robustesse d’un réseau face aux décalages de distribution en étudiant l’alignement de son architecture avec les corrélations présentes dans les données. Cette analyse nous conduit à proposer un nouveau modèle DG fondé sur les transformateurs visuels, nommé Generalizable Mixture-of-Experts (GMoE). Des expériences étendues sur DomainBed montrent que GMoE, entraîné avec ERM, surpasse largement les méthodes DG de pointe. En outre, GMoE s’avère complémentaire aux méthodes DG existantes, et son efficacité est sensiblement améliorée lorsqu’il est entraîné avec des algorithmes DG.