Nous étudions le problème du empilement robotique d'objets à géométrie complexe. Nous proposons un ensemble varié et difficile de tels objets, conçu avec soin pour nécessiter des stratégies dépassant une simple solution de « prise et pose ». Notre méthode combine une approche d'apprentissage par renforcement (RL) avec la distillation de politiques interactives basées sur la vision et le transfert de simulation à la réalité. Les politiques apprises peuvent gérer efficacement plusieurs combinaisons d'objets dans le monde réel et démontrent une grande variété de compétences en empilement. Dans une vaste étude expérimentale, nous examinons les choix qui comptent pour l'apprentissage d'agents visuels généraux en simulation, ainsi que ce qui influence le transfert optimal au robot réel. Nous utilisons ensuite les données collectées par ces politiques pour les améliorer grâce à l'apprentissage par renforcement hors ligne (offline RL). Une vidéo et un article de blog de notre travail sont fournis comme matériel complémentaire.