時系列制約付きニューラルネットワーク（TCNN）：準教師付き動画セマンティックセグメンテーションのためのフレームワーク

効果的な意味分割（semantic segmentation）モデル、特に動画意味分割の構築における主要な障壁は、大規模かつ高品質なラベル付きデータセットの不足にある。このボトルネックは、動画意味分割が重要な応用が期待されるが、データと専門家によるラベリングが極めて限られている医療や外科領域など、高度に専門的かつ規制が厳しい分野において特に顕著である。このような状況下では、学習段階で時間的制約（temporal clues）や解剖学的制約（anatomical constraints）を活用することで、モデル性能の向上が可能となる。本研究では、外科動画の動画意味分割に用いるための半教師付きフレームワーク「時系列制約付きニューラルネットワーク（Temporally Constrained Neural Networks: TCNN）」を提案する。本研究では、自己符号化器（autoencoder）ネットワークが、深層学習モデルの学習に効率的に空間的および時間的監視信号を提供できることを示す。我々は、腹腔鏡胆嚢切除術の動画データセット「Endoscapes」および白内障手術の公開データセット「CaDIS」の変形版を用いて、本手法の有効性を検証した。その結果、予測マスクの低次元表現を活用することで、ラベルが疎なデータセットにおいて一貫した性能向上が得られ、推論時の追加計算コストは一切発生しないことを明らかにした。さらに、TCNNフレームワークはモデルに依存せず、他のモデル設計選択と組み合わせて使用可能であり、追加の複雑さを最小限に抑えることができる。