View Inter-Prediction GAN: 3D形状の非監督表現学習における全体的な形状記憶の学習による局所ビュー予測の支援

本論文では、3D形状の非監督表現学習に向けた新しいアプローチを提案します。これは重要な研究課題であり、監督データの収集に必要な手動の労力を回避するためです。当方の手法は、各形状に対する複数ビュー間予測タスクを解くためにRNNベースのニューラルネットワークアーキテクチャを訓練します。形状のいくつかの近接したビューが与えられた場合、ビュー間予測は入力ビュー間の中間ビューを予測し、低レベル特徴空間で入力ビューを再構築することを目的としたタスクとして定義されます。当方アプローチの主要なアイデアは、形状固有のグローバルメモリを実装し、各形状に対して共有されるすべての局所的なビュー間予測で利用することです。直感的には、このメモリによりシステムは各形状に対するビュー間予測タスクをよりよく解くために有用な情報を集約でき、またそのメモリを視点に依存しない形状表現として活用できます。当方のアプローチでは、L_2損失と敵対的損失（adversarial losses）の組み合わせを使用することで最良の結果を得ています。VIP-GANが3つの大規模3D形状ベンチマークにおいて非監督3D特徴学習における最先端手法よりも優れていることを示しています。