Ein wesentlicher Hemmnis bei der Entwicklung von Modellen für eine effektive semantische Segmentierung, insbesondere für videobasierte semantische Segmentierung, ist das Fehlen großer und gut annotierter Datensätze. Dieser Engpass ist besonders herausfordernd in hochspezialisierten und regulierten Bereichen wie der Medizin und Chirurgie, in denen videobasierte semantische Segmentierung wichtige Anwendungen bieten könnte, jedoch aufgrund von knappen Daten und fehlenden Expertenannotationen stark eingeschränkt ist. In solchen Kontexten können zeitliche Hinweise und anatomische Einschränkungen während des Trainings genutzt werden, um die Leistung zu verbessern. In dieser Arbeit präsentieren wir Temporally Constrained Neural Networks (TCNN), einen semi-supervised Rahmen für die videobasierte semantische Segmentierung chirurgischer Videos. Wir zeigen, dass Autoencoder-Netzwerke effizient sowohl räumliche als auch zeitliche überwachende Signale liefern können, um tiefe Lernmodelle zu trainieren. Wir evaluieren unsere Methode an einem neu vorgestellten Video-Datensatz laparoskopischer Cholezystektomien, Endoscapes, sowie an einer Adaptierung eines öffentlichen Datensatzes chirurgischer Kataraktoperationen, CaDIS. Wir demonstrieren, dass niedrigdimensionale Darstellungen der vorhergesagten Masken genutzt werden können, um sowohl auf sparsam beschrifteten Datensätzen eine konsistente Verbesserung zu erzielen, ohne zusätzlichen Rechenaufwand bei der Inferenz zu verursachen. Darüber hinaus ist der TCNN-Framework modellunabhängig und lässt sich mit anderen Modellarchitekturen mit minimalem zusätzlichen Aufwand kombinieren.