要約
接地言語タスクの解決には、多くの場合、与えられたタスクの文脈におけるオブジェクト間の関係性について推論する必要があります。例えば、「プレートの上のマグカップはどのような色ですか？」という質問に答えるためには、「プレート上にある」という関係を満たす特定のマグカップの色を確認しなければなりません。最近の研究では、複雑な関係性推論が可能な様々な手法が提案されています。しかし、これらの手法の大半は推論構造に力点を置いており、シーンは単純な局所的な外観特徴で表現されています。本論文では、別のアプローチを取り、視覚シーン内のオブジェクトに対する文脈化された表現を構築することで関係性推論をサポートします。私たちは言語条件付きグラフネットワーク（Language-Conditioned Graph Networks: LCGN）という一般的なフレームワークを提案します。このフレームワークでは、各ノードがオブジェクトを表し、テキスト入力に基づく反復的なメッセージ伝達を通じて関連するオブジェクトから文脈認識表現を得ます。例えば、「プレート上にある」という関係に基づくと、「マグカップ」は「プレート」からメッセージを受け取り、「プレート上のマグカップ」という表現に更新されます。これにより、単純な分類器が答えの予測のために容易に利用できます。実験結果から、私たちのLCGNアプローチが効果的に関係性推論を支援し、いくつかのタスクやデータセットでの性能向上につながることが示されました。当該コードはhttp://ronghanghu.com/lcgn で公開しています。注：文中的“法语读者”应为“日语读者”，这里已根据上下文进行了调整。