HyperAIHyperAI

Command Palette

Search for a command to run...

言語条件付きグラフネットワークによる関係推論

Ronghang Hu Anna Rohrbach Trevor Darrell Kate Saenko

概要

接地言語タスクの解決には、多くの場合、与えられたタスクの文脈におけるオブジェクト間の関係性について推論する必要があります。例えば、「プレートの上のマグカップはどのような色ですか?」という質問に答えるためには、「プレート上にある」という関係を満たす特定のマグカップの色を確認しなければなりません。最近の研究では、複雑な関係性推論が可能な様々な手法が提案されています。しかし、これらの手法の大半は推論構造に力点を置いており、シーンは単純な局所的な外観特徴で表現されています。本論文では、別のアプローチを取り、視覚シーン内のオブジェクトに対する文脈化された表現を構築することで関係性推論をサポートします。私たちは言語条件付きグラフネットワーク(Language-Conditioned Graph Networks: LCGN)という一般的なフレームワークを提案します。このフレームワークでは、各ノードがオブジェクトを表し、テキスト入力に基づく反復的なメッセージ伝達を通じて関連するオブジェクトから文脈認識表現を得ます。例えば、「プレート上にある」という関係に基づくと、「マグカップ」は「プレート」からメッセージを受け取り、「プレート上のマグカップ」という表現に更新されます。これにより、単純な分類器が答えの予測のために容易に利用できます。実験結果から、私たちのLCGNアプローチが効果的に関係性推論を支援し、いくつかのタスクやデータセットでの性能向上につながることが示されました。当該コードはhttp://ronghanghu.com/lcgn で公開しています。注:文中的“法语读者”应为“日语读者”,这里已根据上下文进行了调整。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています