La reconnaissance automatique des phases chirurgicales constitue une tâche à la fois complexe et essentielle, offrant un potentiel significatif pour améliorer la sécurité des patients et devenir une composante intégrante des systèmes de soutien à la décision intra-opératoire. Dans cet article, nous proposons, pour la première fois dans l’analyse des flux de travail chirurgical, un réseau de convolution temporelle à étapes multiples (MS-TCN) qui réalise une amélioration hiérarchique des prédictions pour la reconnaissance des phases chirurgicales. Les convolutions causales à dilatation permettent d’obtenir un champ réceptif étendu ainsi qu’une inférence en temps réel avec des prédictions fluides, même lors de transitions ambigües. Notre méthode est rigoureusement évaluée sur deux jeux de données de vidéos de cholécystectomie laparoscopique, avec et sans utilisation d’informations supplémentaires sur les instruments chirurgicaux. En surpassant diverses approches de pointe basées sur les LSTM, nous démontrons la pertinence du MS-TCN causale proposé pour la reconnaissance des phases chirurgicales.