11日前

グラフノミー:グラフ推論と転移を用いたユニバーサル画像解析

Liang Lin, Yiming Gao, Ke Gong, Meng Wang, Xiaodan Liang
グラフノミー:グラフ推論と転移を用いたユニバーサル画像解析
要約

従来の高度に最適化された画像解析モデルは、特定のドメインおよび特定の意味的ラベルセットにおいて研究されることが多く、他のシナリオ(例えば、ラベルの粒度が異なる場合)に拡張する際には、膨大な再訓練を要するため、容易に適応ができない。異なるドメインや多様な粒度レベルにおけるラベル注釈を統合することで、一つの汎用的な解析モデルを学習するという課題は、極めて重要ではあるが、これまでほとんど取り組まれてこなかった。このような課題は、さまざまなラベル粒度間の潜在的な意味構造の発見や、関連するタスク間におけるラベル相関の抽出といった、多くの根本的な学習課題を伴う。こうした課題に対処するために、本研究では「Graphonomy」という、局所的な畳み込みを超えた中間グラフ表現学習に、人間の知識およびラベル階層構造を統合したグラフ推論と転移学習フレームワークを提案する。Graphonomyは、意味に敏感なグラフ推論と転移を用いて、複数のドメインにおけるグローバルかつ構造的な意味的整合性を学習し、ドメイン間(例えば、異なるデータセットや関連するタスク)における解析の相互恩恵を促進する。Graphonomyは、二つの反復的モジュールから構成される:「イントラ・グラフ推論モジュール」と「インタ・グラフ転移モジュール」である。前者は各ドメインにおける意味グラフを抽出し、グラフを介した情報伝達によって特徴表現学習を向上させる。後者は、異なるドメイン間のグラフ間の依存関係を活用し、双方向の知識転移を実現する。本フレームワークは、人間の姿勢解析とパノプティックセグメンテーションという、関連しつつも異なる画像理解の研究課題に適用し、従来の最先端手法と比較して、標準的なパイプラインにより両タスクを効果的に処理できることを示した。さらに、本フレームワークの利点として、異なるデータセット間のラベル注釈を統合することで、多様な粒度レベルにおける人間のパースを生成できる点も実証された。

グラフノミー:グラフ推論と転移を用いたユニバーサル画像解析 | 最新論文 | HyperAI超神経