La reconnaissance automatique des gestes chirurgicaux est fondamentale pour améliorer l'intelligence dans la chirurgie assistée par les robots, notamment pour réaliser des tâches complexes de surveillance chirurgicale et d'évaluation des compétences. Cependant, les méthodes actuelles traitent chaque image individuellement et produisent des résultats sans une prise en compte efficace des informations futures. Dans cet article, nous proposons un cadre basé sur l'apprentissage par renforcement et la recherche arborescente pour la segmentation et la classification conjointes des gestes chirurgicaux. Un agent est formé pour segmenter et classer la vidéo chirurgicale de manière similaire à celle d'un humain, dont les décisions directes sont réexaminées de manière appropriée par la recherche arborescente. Notre algorithme de recherche arborescente proposé unit les sorties de deux réseaux neuronaux conçus, à savoir le réseau de politique (policy network) et le réseau de valeur (value network). Grâce à l'intégration d'informations complémentaires provenant de modèles distincts, notre cadre est capable d'atteindre une meilleure performance que les méthodes de base utilisant l'un ou l'autre des réseaux neuronaux. Pour une évaluation globale, notre approche développée surpasse constamment les méthodes existantes sur la tâche de sutures du jeu de données JIGSAWS en termes de précision, de score d'édition et de score F1. Notre étude souligne l'utilisation de la recherche arborescente pour affiner les actions dans un cadre d'apprentissage par renforcement pour les applications robotiques chirurgicales.