要約
現代のデジタル世界はますますマルチモーダル化している。インターネット上で画像とテキストがしばしば関連付けられていることから、この2つのモダリティを対象とした分類問題は非常に一般的である。本論文では、同一概念のテキスト情報と視覚的表現を用いたマルチモーダル分類に着目する。我々は、マルチモーダル統合を実現する2つの基本的手法を検討し、それらをスタッキング手法と組み合わせることで、このような問題に対してより効果的な処理を可能にする。本研究では、困難かつノイズが多い特性を持つマルチモーダルデータセット「UPMC Food-101」を用い、この種のマルチモーダル問題を適切に表現していることを確認した。実験結果から、提案する早期統合手法とスタッキングに基づくアプローチの組み合わせが、使用したデータセットにおいて従来の最先端技術を上回ることを示した。