Pour comprendre le comportement humain, il ne suffit pas de reconnaître des actions individuelles : il faut modéliser des activités et interactions groupales potentiellement complexes. Les modèles hiérarchiques obtiennent les meilleurs résultats en reconnaissance d’activités collectives, mais nécessitent des annotations d’actions individuelles au niveau de chaque acteur. Dans cet article, nous montrons qu’en n’utilisant que des données squelettiques, il est possible d’entraîner un système d’état de l’art en mode end-to-end, en ne disposant que d’étiquettes d’activités collectives au niveau de la séquence. Nos expériences montrent que les modèles entraînés sans supervision d’actions individuelles se comportent médiocrement. En revanche, nous démontrons que des pseudo-étiquettes peuvent être calculées à partir de tout extracteur de caractéristiques pré-entraîné, avec des performances finales comparables. Enfin, notre architecture soigneusement conçue, basée uniquement sur les poses (pose-only), atteint des résultats très compétitifs par rapport aux approches multimodales plus complexes, même dans sa variante auto-supervisée.