最近、3次元手の再構成は人間とコンピュータの協調作業において特に手と物体の相互作用シナリオで注目を集めています。しかし、相互作用によって引き起こされる深刻な手の被覆（hand-occlusion）の問題により、精度と物理的妥当性のバランス、モデルパラメータの高次非線形マッピング、被覆特徴量の強化といった課題が依然として存在しています。これらの課題を克服するために、我々はモデルベースアプローチとモデルフリーアプローチの利点を組み合わせた3次元手の再構成ネットワークを提案します。これにより、手と物体の相互作用シナリオにおける精度と物理的妥当性のバランスを取ることができます。まず、我々は2次元関節から直接MANOポーズパラメータを回帰する新しいモジュールを提示します。これにより、抽象的な画像特徴から高次非線形マッピングを行う過程が避けられ、正確な3次元関節に依存しなくなります。さらに、MANOによってガイドされる頂点-関節相互グラフ注意モデルも提案します。このモデルは頂点-頂点および関節-関節間の依存関係をモデリングし、それぞれグラフ内のノード特徴量とグラフ間のノード特徴量を集約するために頂点-関節間の相関関係を捉えます。実験結果は、本手法が最新ベンチマークデータセットHO3DV2およびDex-YCBにおいて競争力のある性能を達成していることを示しており、全てのモデルベースアプローチおよびモデルフリーアプローチを超える性能を発揮しています。