Die gemeinsame Segmentierung und Klassifikation feinabgestimmter Aktionen ist für Anwendungen im Bereich Mensch-Roboter-Interaktion, Videoüberwachung sowie die Beurteilung menschlicher Fähigkeiten von großer Bedeutung. Dennoch bleibt die Leistung aktueller Ansätze zur Erkennung feinabgestimmter Aktionen trotz erheblicher Fortschritte in der großskaligen Aktionserkennung weiterhin begrenzt. Wir stellen ein Modell zur Aktionssegmentierung vor, das niedrigstufige räumlich-zeitliche Merkmale mit einem hochstufigen segmentalen Klassifikator kombiniert. Unser räumlich-zeitliches CNN besteht aus einer räumlichen Komponente, die konvolutionale Filter nutzt, um Informationen über Objekte und deren Beziehungen zu erfassen, sowie einer zeitlichen Komponente, die große eindimensionale konvolutionale Filter verwendet, um Veränderungen in den Objektbeziehungen über die Zeit hinweg zu erfassen. Diese Merkmale werden gemeinsam mit einem semi-Markov-Modell verwendet, das Übergänge zwischen Aktionen modelliert. Wir stellen einen effizienten, beschränkten segmentalen Inferenzalgorithmus für dieses Modell vor, der um Größenordnungen schneller ist als der aktuelle Ansatz. Wir demonstrieren die Wirksamkeit unseres segmentalen räumlich-zeitlichen CNN anhand von Datensätzen zu Koch- und chirurgischen Aktionen, bei denen wir eine deutlich verbesserte Leistung im Vergleich zu jüngeren Baseline-Methoden beobachten.