HyperAIHyperAI

Command Palette

Search for a command to run...

ソフトラベル連鎖条件付き確率場によるフレーズグラウンディング

Jiacheng Liu; Julia Hockenmaier

概要

フレージングラウンディングタスクは、画像のキャプションに記載された各エンティティをその画像内の対応する領域に接地することを目指しています。同じキャプション内の異なるメンションがどのように接地されるべきかには明確な依存関係がありますが、このような依存関係を捉えるために設計された従来の構造化予測手法では、近似推論や非微分可能な損失関数を使用せざるを得ませんでした。本論文では、フレージングラウンディングをシーケンスラベリングタスクとして定式化し、候補領域を潜在的なラベルとして扱い、神経連鎖条件随伴場(Neural Chain Conditional Random Fields: CRFs)を使用して隣接するメンション間の領域の依存関係をモデル化します。標準的なシーケンスラベリングタスクとは異なり、フレージングラウンディングタスクでは複数の正解候補領域が存在する可能性があります。この正解ラベルの多重性に対処するために、我々は「ソフトラベル連鎖CRFs」を定義し、端から端まで便利に学習できるアルゴリズムを提示します。我々の方法は、Flickr30k Entitiesデータセットにおけるフレージングラウンディングにおいて新しい最先端の成果を達成しました。分析によると、我々のモデルはCRFによって捉えられたエンティティ間の依存関係とソフトラベル訓練体制の両方から恩恵を受けていることが示されています。我々のコードは\url{github.com/liujch1998/SoftLabelCCRF}で入手可能です。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています