畳み込み型画像取得に基づく効率的なニューラルビジョンシステム

近年の深層学習分野における著しい進展にもかかわらず、最先端の手法は依然として計算コストが非常に高い。精度と計算時間・エネルギー消費のトレードオフが、低消費電力やその他のリソース制約のあるシステムにおけるリアルタイム応用への適用を制限している。本論文では、光学画像系の点拡散関数（PSF）を工学的に設計する手法に基づき、コンボリューショナルニューラルネットワーク（CNN）のハイブリッド光デジタル実装を提案することで、この根本的な課題に取り組む。具体的には、事前に学習されたCNNの第1層に相当する大規模な畳み込みカーネルを再現するように、画像取得アパーチャを符号化する。このようにして、畳み込み演算を光学領域で実行することで、エネルギー消費はゼロであり、カーネルサイズに依存しないゼロの遅延を実現する。2つのデータセットを用いた実験結果から、本手法は計算コストを2桁以上削減しつつ、ほぼ最先端の精度を達成するか、あるいは同一の計算コストでより高い精度を実現できることを示した。