Die automatische Erkennung chirurgischer Gesten ist grundlegend für die Verbesserung der Intelligenz bei roboterassistierter Chirurgie, insbesondere bei der Durchführung komplexer Aufgaben wie Operationsüberwachung und Fähigkeitsbewertung. Derzeitige Methoden behandeln jedoch jedes Bild einzeln und erzeugen die Ergebnisse ohne effektive Berücksichtigung zukünftiger Informationen. In dieser Arbeit schlagen wir ein Framework vor, das auf Verstärkungslernen und BaumSuche basiert, um die Segmentierung und Klassifizierung chirurgischer Gesten gemeinsam durchzuführen. Ein Agent wird trainiert, das chirurgische Video auf menschenähnliche Weise zu segmentieren und zu klassifizieren, wobei seine direkten Entscheidungen durch BaumSuche angemessen überprüft werden. Unser vorgeschlagener BaumSuchalgorithmus vereint die Ausgaben von zwei entworfenen neuronalen Netzen, nämlich dem Policy-Netzwerk und dem Value-Netzwerk. Durch die Integration ergänzender Informationen aus verschiedenen Modellen kann unser Framework eine bessere Leistung als Baseline-Methoden erzielen, die nur eines der neuronalen Netze verwenden. Insgesamt zeigt unsere entwickelte Methode konsistent bessere Ergebnisse als bestehende Methoden bei der Näh-Aufgabe des JIGSAWS-Datensatzes hinsichtlich Genauigkeit, Edit-Score und F1-Score. Unsere Studie unterstreicht die Nutzung von BaumSuche zur Verfeinerung von Aktionen in einem Verstärkungslern-Framework für chirurgische Robotikanwendungen.