要約
点群（PCD）異常検出は、有望な研究分野として着実に進展しています。本研究では、手作業で生成されたPCD記述子と強力な事前学習済み2Dニューラルネットワークを組み合わせることで、PCD異常検出の性能向上を目指します。この目的達成のために、本研究では補完擬似多モーダル特徴量（Complementary Pseudo Multimodal Feature: CPMF）を提案します。CPMFは、手作業で生成されたPCD記述子を使用して3Dモーダリティにおける局所幾何情報を統合し、事前学習済み2Dニューラルネットワークを使用して生成された擬似2Dモーダリティにおける全体的な意味情報を統合します。全体的な意味情報の抽出には、CPMFが元のPCDをマルチビュー画像を含む擬似2Dモーダリティに射影します。これらの画像は、情報豊富な2Dモーダリティ特徴量の抽出のために事前学習済み2Dニューラルネットワークに供給されます。3Dおよび2Dモーダリティ特徴量は集約され、PCD異常検出用のCPMFが得られます。広範な実験により、2Dと3Dモーダリティ特徴量間の補完能力とCPMFの有効性が示されています。MVTec3Dベンチマークにおいて、画像レベルでのAU-ROCが95.15%、ピクセルレベルでのPROが92.93%という結果を得ています。コードはhttps://github.com/caoyunkang/CPMF で公開されています。