教師なしディープ動画ノイズ除去

動画ノイズ除去に用いられる深層畳み込みニューラルネットワーク（CNN）は、通常、クリーンな動画の存在を仮定して教師あり学習によって訓練される。しかし、顕微鏡観察など多くの応用分野では、ノイズのない動画は得られず、実際には利用不可能である。このような課題に対処するため、本研究では「非教師型深層動画ノイズ除去器（Unsupervised Deep Video Denoiser: UDVD）」を提案する。UDVDは、ノイズを含むデータのみを用いて訓練可能なCNNアーキテクチャであり、クリーンなデータを必要としない。その性能は、教師ありの最先端手法と同等であり、たとえ単一の短いノイズ動画のみで訓練された場合でも、高いノイズ除去効果を発揮する。我々は、原始的な動画データ、蛍光顕微鏡画像、電子顕微鏡画像のノイズ除去を通じて、本手法の実世界における応用可能性を実証した。現在の多くの動画ノイズ除去手法とは異なり、UDVDは明示的な運動補償（motion compensation）を必要としない。これは、運動補償が計算コストが高く、入力データにノイズが含まれる場合には信頼性が低下するという点で大きな利点である。勾配に基づく解析により、UDVDが入力のノイズを含む動画における局所的な運動に自動的に適応していることが明らかになった。すなわち、UDVDはノイズ除去の学習のみを目的としているにもかかわらず、暗黙的な運動補償を学習していることが示された。