HyperAIHyperAI

Command Palette

Search for a command to run...

Console
4ヶ月前

Transform-Retrieve-Generate:自然言語中心型外部知識を活用した視覚質問応答

{Prem Natarajan Ying Nian Wu Aishwarya Reganti Govind Thattai Qing Ping Feng Gao}

Transform-Retrieve-Generate:自然言語中心型外部知識を活用した視覚質問応答

要約

外部知識を活用する視覚質問応答(OK-VQA)は、エージェントが画像を理解し、インターネット全体から関連する知識を活用し、すべての情報を統合して質問に回答することを要求する。従来の手法では、まず画像と質問をマルチモーダル空間で統合するアプローチが採用されてきたが、この方法は膨大な外部知識とのさらなる統合に対して柔軟性に欠ける。本論文では、OK-VQAタスクに対する代替的な枠組みを提案する。この枠組みは、画像を単純なテキストに変換することで、自然言語空間内で知識の取得と生成型質問応答を可能にする。このアプローチは、巨大な知識ベースの規模と事前学習された言語モデルの豊かさを活用できる。提案する「Transform-Retrieve-Generate(TRiG)」フレームワークは、異なる画像からテキストへの変換モデルやテキストベースの知識ベースと即座に統合可能なプラグアンドプレイ型の設計である。実験結果により、本TRiGフレームワークは、すべての最先端の教師あり手法を11.1%以上の絶対的な差で上回ることが確認された。

ベンチマーク

ベンチマーク方法論指標
visual-question-answering-on-ok-vqaTRiG (T5-Large)
Accuracy: 50.50

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
Transform-Retrieve-Generate:自然言語中心型外部知識を活用した視覚質問応答 | 論文 | HyperAI超神経