要約
近年、ロボットビジョンタスクにおけるRGB-Dデータの活用が、ロボティクスや自動運転などの分野で注目を集めている。しかし、この分野における顕著な課題の一つは、特徴量のロバスト性がセグメンテーションおよびポーズ推定の両タスクに大きな影響を与える点にある。この課題に対処するため、本研究では、セグメンテーションとポーズ推定を連携して処理する画期的な2段階ハイブリッド畳み込みニューラルネットワーク（CNN）アーキテクチャを提案した。具体的には、RGBと深度モダリティ間の補完的情報を活用し、ネットワークの複数層から得られる階層的特徴を有効に活用するため、クロスモーダル（CM）モジュールおよびクロスレイヤー（CL）モジュールを設計した。CMとCLの統合戦略により、空間的および文脈的情報を効果的に捉えることで、セグメンテーション精度が顕著に向上した。さらに、畳み込みブロック注意モジュール（CBAM）を導入し、特徴マップを動的に再調整することで、ネットワークが情報量の多い領域やチャネルに焦点を当てる能力を高め、ポーズ推定タスク全体の性能向上を実現した。提案手法の有効性を検証するため、標準ベンチマークデータセット上で広範な実験を実施した結果、優れたターゲットポーズ推定性能を達成し、ADD-S AUC指標において平均94.5％の精度を記録するとともに、ADD-Sが2cm未満となる割合は97.6％に達した。これらの結果は、本研究で提案する手法の優れた性能を示している。